RU2628553C1

RU2628553C1 - Устройство вычисления собственной позиции и способ вычисления собственной позиции

Info

Publication number: RU2628553C1
Application number: RU2016137788A
Authority: RU
Inventors: Итиро ЯМАГУТИ; Хидекадзу НИСИУТИ
Original assignee: Ниссан Мотор Ко., Лтд.
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2017-08-18
Also published as: EP3113145A1; CN105981086A; JP6237874B2; MX349023B; BR112016018603B1; EP3113145B1; US10026196B2; US20170186186A1; EP3113145A4; MX2016010589A; BR112016018603A2; JPWO2015125296A1; CN105981086B; WO2015125296A1; BR112016018603A8

Abstract

Изобретение относится к устройствам вычисления собственной позиции. Устройство вычисления собственной позиции содержит световой проектор, выполненный с возможностью проецировать световой луч с предварительно установленным шаблоном на поверхность дороги вблизи от транспортного средства, модуль захвата изображений, выполненный с возможностью захватывать изображение поверхности дороги вблизи транспортного средства. Изображение включает в себя область, на которую проецируется световой луч с предварительно установленным шаблоном. Устройство также содержит модуль вычисления угла ориентации, модуль вычисления величины изменения ориентации и модуль вычисления собственной позиции. Модуль вычисления величины изменения ориентации выполнен с возможностью вычислять величину изменения ориентации транспортного средства на основе временных изменений множества характерных точек на поверхности дороги, которые обнаруживаются из изображения, полученного посредством модуля захвата изображения. Для определения условий обнаружения характерных точек используется секция определения условий обнаружения. Технический результат точная и стабильная оценка текущей позиции транспортного средства вне зависимости от условия, в котором обнаруживаются характерные точки. 2 н. и 6 з.п. ф-лы, 12 ил.

Description

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству вычисления собственной позиции и к способу вычисления собственной позиции.

Уровень техники

[0002] Известна технология, в которой: камеры, установленные в транспортном средстве, захватывают изображения окрестности транспортного средства; и величина перемещения транспортного средства получается на основе изменений изображений (см. патентный документ 1). Патентный документ 1 направлен на точное получение величины перемещения транспортного средства, даже когда транспортное средство перемещается незначительно на низкой скорости. С этой целью, характерная точка обнаруживается из каждого изображения; получается позиция характерной точки в изображении; и в силу этого величина перемещения транспортного средства получается из направления и расстояния перемещения (величины перемещения) характерной точки.

Список библиографических ссылок

Патентные документы

[0003] Патентный документ 1. Публикация заявки на патент (Япония) номер 2008-175717

Сущность изобретения

[0004] Тем не менее, если характерная точка обнаруживается при плохих условиях, затруднительно точно получать величину перемещения транспортного средства из позиции характерной точки.

[0005] Настоящее изобретение осуществлено с учетом вышеприведенной ситуации. Задача настоящего изобретения состоит в том, чтобы предоставить устройство вычисления собственной позиции и способ вычисления собственной позиции, которые допускают точную и стабильную оценку текущей позиции транспортного средства вне зависимости от условия, при котором обнаруживаются характерные точки.

[0006] Устройство вычисления собственной позиции согласно аспекту настоящего изобретения включает в себя: световой проектор, выполненный с возможностью проецировать световой луч с предварительно установленным шаблоном на поверхность дороги вблизи от транспортного средства; и модуль захвата изображений, выполненный с возможностью захватывать изображение поверхности дороги вблизи от транспортного средства, включающее в себя область, на которую проецируется световой луч с предварительно установленным шаблоном. Устройство вычисления собственной позиции вычисляет угол ориентации транспортного средства относительно поверхности дороги из позиции светового луча с предварительно установленным шаблоном в изображении, полученном посредством модуля захвата изображений, и вычисляет величину изменения ориентации транспортного средства на основе временных изменений нескольких характерных точек на поверхности дороги, которые обнаруживаются из изображения. Кроме того, устройство вычисления собственной позиции вычисляет текущую позицию и угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и углом ориентации транспортного средства. Если условие, при котором обнаруживаются несколько характерных точек, является слишком плохим для того, чтобы удовлетворять первому критерию, устройство вычисления собственной позиции задает начальную позицию и угол ориентации транспортного средства равными текущей позиции транспортного средства в это время и углу ориентации транспортного средства, вычисленному из позиции светового луча с предварительно установленным шаблоном в это время, соответственно. Затем устройство вычисления собственной позиции начинает суммировать величину изменения ориентации.

Краткое описание чертежей

[0007] Фиг.1 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по первому варианту осуществления.

Фиг.2 является внешним видом, показывающим пример того, как световой проектор 11 и камера 12 устанавливаются в транспортном средстве 10.

Фиг.3(a) является схемой, показывающей то, как позиции мест на поверхности 31 дороги, на которые, соответственно, проецируются световые пятна, вычисляются из базовой длины Lb между световым проектором 11 и камерой 12, а также координат (U_j, V_j) каждого светового пятна. Фиг.3(b) является принципиальной схемой, показывающей то, как направление 34 перемещения камеры 12 получается из временных изменений характерных точек, обнаруженных из другой области 33, которая отличается от области, на которую проецируется световой луч 32a с предварительно установленным шаблоном.

Фиг.4(a) и 4(b) являются схемами, показывающими изображение светового луча 32a с предварительно установленным шаблоном, которое получается посредством применения процесса преобразования в двоичную форму к изображению, полученному посредством камеры 12. Фиг.4(a) является схемой, в целом показывающей изображение светового луча 32a с предварительно установленным шаблоном. Фиг.4(b) является увеличенной схемой, показывающей изображение одного светового пятна S_p. Фиг.4(c) является схемой, показывающей позицию H_eцентра тяжести каждого светового пятна S_p, извлеченного посредством модуля 21 извлечения световых лучей с предварительно установленным шаблоном.

Фиг.5 является принципиальной схемой для пояснения того, как вычислять величины изменений расстояния и угла ориентации.

Фиг.6(a) показывает пример первого кадра 38 (изображения), полученного во время t. Фиг.6(b) показывает второй кадр 38', полученный во время (t+Δt), до которого время Δt истекает со времени t.

Фиг.7 является графиком, показывающим результат определения того, при каком условии обнаруживаются характерные точки T_e, при этом характерные точки T_e соответствуют числу характерных точек, ассоциированных между предыдущим и текущим кадрами.

Фиг.8 является блок-схемой последовательности операций способа, показывающей пример способа вычисления собственной позиции с использованием устройства вычисления собственной позиции, показанного на фиг.1.

Фиг.9 является блок-схемой последовательности операций способа, показывающей подробную процедуру для этапа S09 на фиг.8.

Фиг.10(a) и 10(b) являются графиками, показывающими ошибку в оценке угла крена транспортного средства 10 и ошибку в оценке величины перемещения транспортного средства 10 в направлении ширины транспортного средства.

Фиг.11 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по второму варианту осуществления.

Фиг.12 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по третьему варианту осуществления.

Подробное описание вариантов осуществления

[0008] Со ссылкой на чертежи, предоставляется описание вариантов осуществления. Идентичные компоненты на чертежах обозначаются посредством идентичных позиционных обозначений. Описание таких компонентов опускается.

[0009] Первый вариант осуществления

Аппаратная конфигурация

Для начала, со ссылкой на фиг.1, ниже предоставляется описание аппаратной конфигурации устройства вычисления собственной позиции по первому варианту осуществления. Устройство вычисления собственной позиции включает в себя световой проектор 11, камеру 12 и модуль 13 управления двигателем (ECU). Световой проектор 11 устанавливается в транспортном средстве и проецирует световой луч с предварительно установленным шаблоном на поверхность дороги вблизи от транспортного средства. Камера 12 устанавливается в транспортном средстве и является примером модуля захвата изображений, выполненного с возможностью захватывать и за счет этого получать изображения поверхности дороги вблизи от транспортного средства, в том числе и области, на которую проецируется световой луч с предварительно установленным шаблоном. ECU 13 является примером контроллера, выполненного с возможностью управлять световым проектором 11 и выполнять последовательность циклов обработки информации для оценки величины перемещения транспортного средства из изображений, полученных посредством камеры 12.

[0010] Камера 12 представляет собой цифровую камеру с использованием полупроводникового датчика изображений, к примеру, CCD и CMOS, и получает обрабатываемые цифровые изображения. То, что захватывает камера 12, представляет собой поверхность дороги вблизи от транспортного средства. Поверхность дороги вблизи от транспортного средства включает в себя поверхности дороги впереди, сзади, по бокам и под транспортным средством. Как показано на фиг.2, камера 12 может устанавливаться в передней секции транспортного средства 10, более конкретно, например, над передним бампером.

[0011] Высота и направление, в которых можно задавать камеру 12, регулируются таким способом, который позволяет камере 12 захватывать изображения характерных точек (текстур) на поверхности 31 дороги перед транспортным средством 10 и светового луча 32b с предварительно установленным шаблоном, проецируемого из светового проектора 11. Фокус и диафрагма линзы камеры 12 также регулируются автоматически. Камера 12 многократно захватывает изображения с предварительно определенными временными интервалами и за счет этого получает последовательность групп изображений (кадров). Данные изображений, полученные посредством камеры 12, передаются в ECU 13 и сохраняются в запоминающем устройстве, включенном в ECU 13.

[0012] Как показано на фиг.2, световой проектор 11 проецирует световой луч 32b с предварительно установленным шаблоном, имеющий предварительно определенную форму, в том числе квадратную или прямоугольную решетчатую форму, на поверхность 31 дороги в диапазоне захвата изображений камеры 12. Камера 12 захватывает изображения светового луча с предварительно установленным шаблоном, проецируемого на поверхность 31 дороги. Световой проектор 11 включает в себя, например, лазерный указатель и дифракционную решетку. Дифракционная решетка дифрагирует лазерный луч, проецируемый из указателя. В силу этого, как показано на фиг.2-4, световой проектор 11 формирует световой луч (32b, 32a) с предварительно установленным шаблоном, который включает в себя несколько световых пятен, размещаемых в решетчатом или матричном шаблоне. В примерах, показанных на фиг.3 и 4, световой проектор 11 формирует световой луч 32a с предварительно установленным шаблоном, включающий в себя 5*7 световых пятен S_p.

[0013] Возвращаясь к фиг.1, ECU 13 включает в себя CPU, запоминающее устройство и микроконтроллер, включающий в себя секцию ввода-вывода. Посредством выполнения предварительно установленных компьютерных программ, ECU 13 формирует несколько информационных процессоров, которые предоставляются с устройством вычисления собственной позиции. Для каждого изображения (кадра), ECU 13 многократно выполняет последовательность циклов обработки информации для вычисления собственной позиции транспортного средства из изображений, полученных посредством камеры 12. ECU 13 также может использоваться в качестве ECU для управления другими системами, связанными с транспортным средством 10.

[0014] Несколько информационных процессоров включают в себя модуль 21 извлечения световых лучей с предварительно установленным шаблоном, модуль 22 вычисления угла ориентации, модуль 24 вычисления величины изменения ориентации, модуль 26 вычисления собственной позиции, контроллер 27 световых лучей с предварительно установленным шаблоном, секцию 30 определения условий обнаружения и секцию 35 определения состояний вычисления. Модуль 24 вычисления величины изменения ориентации включает в себя детектор 23 характерных точек.

[0015] Модуль 21 извлечения световых лучей с предварительно установленным шаблоном считывает изображение, полученное посредством камеры 12, из запоминающего устройства и извлекает позицию светового луча с предварительно установленным шаблоном из этого изображения. Например, как показано на фиг.3(a), световой проектор 11 проецирует световой луч 32a с предварительно установленным шаблоном, который включает в себя несколько световых пятен, размещаемых в матричном шаблоне, на поверхность 31 дороги, в то время как камера 12 обнаруживает световой луч 32a с предварительно установленным шаблоном, отражаемый от поверхности 31 дороги. Модуль 21 извлечения световых лучей с предварительно установленным шаблоном применяет процесс преобразования в двоичную форму к изображению, полученному посредством камеры 12, и за счет этого извлекает только изображение световых пятен S_p, как показано на фиг.4(a) и 4(b). После этого, как показано на фиг.4(c), модуль 21 извлечения световых лучей с предварительно установленным шаблоном извлекает позицию светового луча 32a с предварительно установленным шаблоном посредством вычисления позиции H_e центра тяжести каждого светового пятна S_p, другими словами, координаты (U_j, V_j) каждого светового пятна S_p в изображении. Координаты выражаются с использованием числа, назначаемого соответствующему пикселу в датчике изображений камеры 12. В случае если световой луч с предварительно установленным шаблоном включает в себя 5*7 световых пятен S_p, j является целым числом, не меньшим 1, но не большим 35. Запоминающее устройство сохраняет координаты (U_j, V_j) светового пятна S_p в изображении в качестве данных по позиции светового луча 32a с предварительно установленным шаблоном.

[0016] Модуль 22 вычисления угла ориентации считывает данные по позиции светового луча 32a с предварительно установленным шаблоном из запоминающего устройства и вычисляет расстояние и угол ориентации транспортного средства 10 относительно поверхности 31 дороги из позиции светового луча 32a с предварительно установленным шаблоном в изображении, полученном посредством камеры 12. Например, как показано на фиг.3(a), с использованием принципа тригонометрических измерений, модуль 22 вычисления угла ориентации вычисляет позицию каждой области световых пятен на поверхности 31 дороги, в качестве позиции области световых пятен относительно камеры 12, из базовой длины Lb между световым проектором 11 и камерой 12, а также координат (U_j, V_j) каждого светового пятна в изображении. После этого, модуль 22 вычисления угла ориентации вычисляет уравнение плоскости поверхности 31 дороги, на которую проецируется световой луч 32a с предварительно установленным шаблоном, другими словами, расстояние и угол ориентации (вектор нормали) камеры 12 относительно поверхности 31 дороги, из позиции каждого светового пятна относительно камеры 12. Следует отметить, что в варианте осуществления, расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги вычисляются в качестве примера расстояния и угла ориентации транспортного средства 10 относительно поверхности 31 дороги, поскольку позиция установки камеры 12 в транспортном средстве 10 и угол для захвата изображений посредством камеры 12 уже известны. В дальнейшем в этом документе, расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги называются "расстоянием и углом ориентации". Расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации, сохраняются в запоминающем устройстве.

[0017] Более конкретно, поскольку камера 12 и световой проектор 11 закрепляются на транспортном средстве 10, направление, в котором можно проецировать световой луч 32a с предварительно установленным шаблоном, и расстояние (базовая длина Lb) между камерой 12 и световым проектором 11 уже известны. По этой причине, с использованием принципа тригонометрических измерений, модуль 22 вычисления угла ориентации допускает получение позиции каждой области световых пятен на поверхности 31 дороги, в качестве позиции (X_j, Y_j, Z_j) каждого светового пятна относительно камеры 12, из координат (U_j, V_j) каждого светового пятна в изображении.

[0018] Следует отметить, что во многих случаях, позиция (X_j, Y_j, Z_j) каждого светового пятна относительно камеры 12 не присутствует на идентичной плоскости. Это обусловлено тем, что относительная позиция каждого светового пятна изменяется согласно неровности асфальта поверхности 31 дороги. По этой причине, метод наименьших квадратов может использоваться для того, чтобы получать уравнение плоскости, которое делает наименьшей сумму квадратов разности расстояния каждого светового пятна.

[0019] Детектор 23 характерных точек считывает изображение, полученное посредством камеры 12, из запоминающего устройства и обнаруживает характерные точки на поверхности 31 дороги из изображения, считываемого из запоминающего устройства. Чтобы обнаруживать характерные точки на поверхности 31 дороги, детектор 23 характерных точек может использовать способ, описанный в работе D. G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints", Int. J. Comput. Vis., издание 60, № 2, стр. 91-110, ноябрь 2000 года. В противном случае, детектор 23 характерных точек может использовать способ, описанный в работе Kanazawa Yasushi, Kanatani Kenichi, "Detection of Feature Points for Computer Vision", IEICE Journal, издание 87, № 12, стр. 1043-1048, декабрь 2004 года.

[0020] Более конкретно, например, детектор 23 характерных точек использует оператор Харриса или оператор SUSAN, поскольку эти точки, к примеру, вершины объекта, значения яркости которых существенно отличаются от значений яркости окрестностей точек, обнаруживаются в качестве характерных точек. Тем не менее, вместо этого, детектор 23 характерных точек может использовать характерную величину по принципу SIFT (масштабно-инвариантного преобразования признаков), так что точки, вблизи от которых значения яркости изменяются с определенной регулярностью, обнаруживаются в качестве характерных точек. После обнаружения характерных точек, детектор 23 характерных точек подсчитывает общее число N характерных точек, обнаруженных из одного изображения, и назначает идентификационные номера (i (1≤i≤N)) для соответствующих характерных точек. Позиция (U_i, V_i) каждой характерной точки в изображении сохраняется в запоминающем устройстве в ECU 13. Фиг.6(a) и 6(b) показывают примеры характерных точек T_e, которые обнаруживаются из изображения, полученного посредством камеры 12. Позиции (U_i, V_i) соответствующих характерных точек в изображении сохраняются в запоминающем устройстве.

[0021] Следует отметить, что вариант осуществления трактует смесь частиц асфальта с размером частиц не менее 1 см, но не более 2 см, в качестве характерных точек на поверхности 31 дороги. Камера 12 использует режим VGA-разрешения (приблизительно 300 тысяч пикселов) для того, чтобы обнаруживать характерные точки. Помимо этого, расстояние от камеры 12 до поверхности 31 дороги составляет приблизительно 70 см. Кроме того, направление, в котором камера 12 захватывает изображения, наклонено приблизительно под 45 градусами к поверхности 31 дороги от горизонтальной плоскости. Более того, значение яркости каждого изображения, полученного посредством камеры 12 и после этого отправленного в ECU 13, находится в пределах диапазона от 0 до 255 (0: самое темное, 255: самое яркое).

[0022] Модуль 24 вычисления величины изменения ориентации считывает, из запоминающего устройства, позиции (U_i, V_i) соответствующих нескольких характерных точек в изображении, включенном в предыдущий кадр, который находится в числе кадров, захваченных в течение каждого определенного цикла обработки информации. Кроме того, модуль 24 вычисления величины изменения ориентации считывает, из запоминающего устройства, позиции (U_i, V_i) соответствующих нескольких характерных точек в изображении, включенном в текущий кадр. После этого, на основе изменений позиций нескольких характерных точек в изображениях, модуль 24 вычисления величины изменения ориентации получает величину изменения ориентации транспортного средства. В этом отношении, величина изменения ориентации транспортного средства включает в себя как "величины изменений расстояния и угла ориентации" транспортного средства относительно поверхности 31 дороги, так и "величину перемещения транспортного средства (камеры)" на поверхности дороги. Ниже предоставляется описание того, как вычислять величины изменений расстояния и угла ориентации и величину перемещения транспортного средства.

[0023] Фиг.6(a) показывает пример первого кадра 38 (изображения), полученного во время t. Допустим случай, в котором, как показано на фиг.5 или 6(a), вычисляется относительная позиция (X_i, Y_i, Z_i) каждой из трех характерных точек T_e1, T_e2, T_e3, например, для первого кадра 38. В этом случае, плоскость G, идентифицированная посредством характерных точек T_e1, T_e2, T_e3, может рассматриваться в качестве поверхности дороги. Соответственно, модуль 24 вычисления величины изменения ориентации допускает получение расстояния и угла ориентации (вектора нормали) камеры 12 относительно поверхности дороги (плоскости G) из относительной позиции (X_i, Y_i, Z_i). Кроме того, из уже известной модели камеры, модуль 24 вычисления величины изменения ориентации допускает получение расстояния l₁ между характерными точками T_e1, T_e2, расстояния l₂ между характерными точками T_e2, T_e3 и расстояния l₃ между характерными точками T_e3, T_e1, а также угла между прямой линией, соединяющей характерные точки T_e1, T_e2, и прямой линией, соединяющей характерные точки T_e2, T_e3, угла между прямой линией, соединяющей характерные точки T_e2, T_e3, и прямой линией, соединяющей характерные точки T_e3, T_e1, и угла между прямой линией, соединяющей характерные точки T_e3, T_e1, и прямой линией, соединяющей характерные точки T_e1, T_e2. Камера 12 на фиг.5 показывает то, где расположена камера, когда камера служит для первого кадра.

[0024] Следует отметить, что трехмерные координаты (X_i, Y_i, Z_i) относительной позиции относительно камеры 12 задаются таким способом, что: ось Z совпадает с направлением, в котором камера 12 захватывает изображение; и оси X и Y, ортогональные друг к другу в плоскости, включающей в себя камеру 12, представляют собой линии, нормальные к направлению, в котором камера 12 захватывает изображение. Между тем, координаты в изображении 38 задаются таким образом, что: ось V совпадает с горизонтальным направлением; и ось U совпадает с вертикальным направлением.

[0025] Фиг.6(b) показывает второй кадр, полученный во время (t+Δt), в которое продолжительность Δt истекает со времени t. Камера 12' на фиг.5 показывает то, где расположена камера, камера захватывает второй кадр 38'. Как показано на фиг.5 или 6(b), камера 12' захватывает изображение, включающее в себя характерные точки T_e1, T_e2, T_e3, в качестве второго кадра 38', и детектор 23 характерных точек обнаруживает характерные точки T_e1, T_e2, T_e3 из изображения. В этом случае, модуль 24 вычисления величины изменения ориентации допускает вычисление не только величины ΔL перемещения камеры 12 в интервале Δt времени, но также и величины изменений расстояния и угла ориентации камеры 12 в интервале Δt времени из: относительной позиции (X_i, Y_i, Z_i) каждой из характерных точек T_e1, T_e2, T_e3 во время t; позиции P1(U_i, V_i) каждой характерной точки на втором кадре 38'; и модели камеры для камеры 12. Например, модуль 24 вычисления величины изменения ориентации допускает вычисление величины (ΔL) перемещения камеры 12 (транспортного средства) и величины изменений расстояния и угла ориентации камеры 12 (транспортного средства) посредством решения следующей системы уравнений (1)-(4). В этой связи, уравнение (1) основано на идеальной камере с точечной диафрагмой без деформации и оптического осевого рассогласования, которая моделируется после камеры 12, где λi и f обозначают константу и фокусную длину. Параметры модели камеры могут калиброваться заранее.

[0026] уравнение 1

...(1)

уравнение 2

...(2)

уравнение 3

...(3)

уравнение 4

...(4)

[0027] Фиг.3(b) схематично показывает то, как направление 34 перемещения камеры 12 получается из временных изменений характерных точек, обнаруженных из другой области 33 в диапазоне захвата изображений камеры 12, которая отличается от области, на которую проецируется световой луч 32a с предварительно установленным шаблоном. Кроме того, фиг.6(a) и 6(b) показывают пример изображения, в котором каждый вектор D_te представляет направление и величину изменения позиции своей соответствующей характерной точки T_e. Модуль 24 вычисления величины изменения ориентации допускает вычисление не только величины (ΔL) перемещения камеры 12 для продолжительности Δt, но также и величин изменений расстояния и угла ориентации для продолжительности Δt, одновременно. По этой причине, с учетом величин изменений расстояния и угла ориентации, модуль 24 вычисления величины изменения ориентации допускает точное вычисление величины (ΔL) перемещения с шестью степенями свободы. Другими словами, ошибка в оценке величины (ΔL) перемещения может быть минимизирована, даже когда расстояние и угол ориентации изменяются посредством крена или наклона в продольном направлении вследствие поворота, ускорения или замедления транспортного средства 10.

[0028] Следует отметить, что вместо использования всех характерных точек, относительные позиции которых вычисляются, модуль 24 вычисления величины изменения ориентации может выбирать оптимальные характерные точки на основе позиционных взаимосвязей между характерными точками. Пример способа выбора, применимого для этой цели, представляет собой эпиполярную геометрию (геометрию эпиполярных линий, описанную в работе R. I. Hartley "A linear method for reconstruction from lines and points", Proc. 5th International Conference on Computer Vision, Кембридж, штат Массачусетс, стр. 882-887 (1995)).

[0029] Ассоциирование характерных точек в текущем кадре с характерными точками в предыдущем кадре может достигаться, например, посредством: сохранения изображения небольшой области вблизи от каждой обнаруженной характерной точки в запоминающем устройстве; и для каждой характерной точки, выполнения определения из подобия в информации яркости и подобия в цвете информация. Более конкретно, ECU 13 сохраняет 5 (по горизонтали) * 5 (по вертикали)-пиксельное изображение вблизи от каждой обнаруженной характерной точки в запоминающем устройстве. Если, например, разность в информации яркости для 20 или более пикселов равна или меньше 1%, модуль 24 вычисления величины изменения ориентации определяет то, что рассматриваемая характерная точка ассоциирована между текущим и предыдущим кадрами.

[0030] Если, как в этом случае, характерные точки T_e1, T_e2, T_e3, относительные позиции (X_i, Y_i, Z_i) которых вычисляются, также обнаруживаются из кадрового изображения 38', полученного в последующее время, модуль 24 вычисления величины изменения ориентации допускает вычисление "величины изменения ориентации транспортного средства" из временных изменений нескольких характерных точек на поверхности дороги.

[0031] Модуль 26 вычисления собственной позиции вычисляет текущее расстояние и угол ориентации транспортного средства 10 из "величин изменений расстояния и угла ориентации", вычисленных посредством модуля 24 вычисления величины изменения ориентации. Помимо этого, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства из "величины перемещения транспортного средства", вычисленной посредством модуля 24 вычисления величины изменения ориентации.

[0032] Более конкретно, в случае если расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации (см. фиг.1), задаются в качестве начальных точек, модуль 26 вычисления собственной позиции обновляет расстояние и угол ориентации на последние числовые значения посредством последовательного суммирования (выполнения операции интегрирования) величин изменений расстояния и угла ориентации, вычисленных для каждого кадра посредством модуля 24 вычисления величины изменения ориентации, с начальными точками (расстоянием и углом ориентации). Помимо этого, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства посредством: задания начальной точки (начальной позиции транспортного средства) как позиции транспортного средства, полученной, когда модуль 22 вычисления угла ориентации вычисляет расстояние и угол ориентации; и последовательного суммирования (выполнения операции интегрирования) величины перемещения транспортного средства с его такой заданной начальной позицией. Например, если начальная точка (начальная позиция транспортного средства) задается таким образом, что она совпадает с позицией транспортного средства на карте, модуль 26 вычисления собственной позиции допускает последовательное вычисление текущей позиции транспортного средства на карте.

[0033] Более конкретно, если три или более характерных точек, соответствующих промежутку между предыдущим и текущим кадрами, могут обнаруживаться непрерывно из двух кадров, продолжение процесса (операции интегрирования) суммирования величин изменений расстояния и угла ориентации позволяет непрерывно обновлять расстояние и угол ориентации без использования светового луча 32a с предварительно установленным шаблоном. Тем не менее, расстояние и угол ориентации, вычисленные с использованием светового луча 32a с предварительно установленным шаблоном или предварительно определенного начального расстояния и угла ориентации, могут использоваться для первого цикла обработки информации. Другими словами, расстояние и угол ориентации, которые являются начальными точками операции интегрирования, могут вычисляться с использованием светового луча 32a с предварительно установленным шаблоном либо могут задаваться равным предварительно определенным начальным значениям. Желательно, если предварительно определенное начальное расстояние и предварительно определенный начальный угол ориентации представляют собой расстояние и угол ориентации, определенные по меньшей мере с учетом пассажиров и рабочей нагрузки транспортного средства 10. Например, расстояние и угол ориентации, вычисленные с использованием светового луча 32a с предварительно установленным шаблоном, который проецируется в то время, когда переключатель зажигания транспортного средства 10 включен, и когда позиция переключения коробки передач перемещается из позиции для парковки в другую позицию, могут использоваться в качестве предварительно определенного начального расстояния и предварительно определенного начального угла ориентации. В силу этого, можно получать расстояние и угол ориентации, которые не затрагиваются посредством крена или наклона в продольном направлении транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0034] Вариант осуществления имеет такую конфигурацию, в которой: величины изменений расстояния и угла ориентации многократно вычисляются и каждый раз суммируются; и в силу этого величины изменений расстояния и угла ориентации обновляются на последние числовые значения. Тем не менее, вместо этого, вариант осуществления может иметь такую конфигурацию, в которой: только величина изменения угла ориентации камеры 12 относительно поверхности 31 дороги многократно вычисляется и каждый раз обновляется. В этом случае, можно предполагать, что расстояние между поверхностью 31 дороги и камерой 12 остается постоянным. Это позволяет уменьшать рабочую нагрузку на ECU 13 при минимизации ошибки в оценке величины (ΔL) перемещения с учетом величины изменения угла ориентации и повышать скорость работы ECU 13.

[0035] Секция 30 определения условий обнаружения определяет то, является или нет условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, слишком плохим для того, чтобы удовлетворять первому критерию. Например, в случае, к примеру, бетонного покрытия в туннеле, поверхность дороги является менее шаблонной и неровной за счет смеси частиц асфальта, уменьшается число характерных точек, обнаруживаемых из изображения поверхности дороги. Сокращенное число обнаруживаемых характерных точек затрудняет непрерывное обнаружение характерных точек, которые ассоциированы между предыдущим и текущим кадрами, и снижает точность, с которой обновляются расстояние и угол ориентации.

[0036] В качестве меры против этой проблемы, секция 30 определения условий обнаружения определяет то, что условие для обнаружения характерных точек является слишком плохим для того, чтобы удовлетворять первому критерию, если, например, число характерных точек, позиции которых относительно камеры 12 вычисляются и могут обнаруживаться из изображения, полученного в последующем цикле обработки информации, равно или меньше предварительно определенного порогового значения (например, трех). Другими словами, как показано на фиг.7, если четыре или более характерных точек, ассоциированных между предыдущим и текущим кадрами, не могут обнаруживаться, секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки T_e, является слишком плохим для того, чтобы удовлетворять первому критерию. В этой связи, как показано на фиг.6, по меньшей мере три характерных точки, ассоциированные между предыдущим и текущим кадрами, необходимы для того, чтобы получать величины изменений расстояния и угла ориентации. Это обусловлено тем, что три характерных точки необходимы для того, чтобы задавать плоскость G. Поскольку большее число характерных точек необходимо для того, чтобы повышать точность оценки, желательно, если предварительно определенное пороговое значение составляет четыре, пять или более.

[0037] Если секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, удовлетворяет первому критерию, модуль 26 вычисления собственной позиции сохраняет начальные точки операций интегрирования. С другой стороны, если секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, модуль 26 вычисления собственной позиции сбрасывает начальные точки операций интегрирования (угол ориентации и начальную позицию транспортного средства) на расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации (см. фиг.1), и позицию транспортного средства, полученную во время вычисления, в идентичном цикле обработки информации. После этого, модуль 26 вычисления собственной позиции начинает суммировать величину изменения ориентации транспортного средства с этими сброшенные начальными точками.

[0038] Следует отметить, что в первом варианте осуществления, на основе числа характерных точек, ассоциированных между предыдущим и текущим кадрами, секция 30 определения условий обнаружения определяет то, при каком условии обнаруживаются характерные точки. Тем не менее, вместо этого, секция 30 определения условий обнаружения может иметь такую конфигурацию, в которой на основе общего числа N характерных точек, обнаруженных из одного изображения, секция 30 определения условий обнаружения определяет то, при каком условии обнаруживаются характерные точки. Более конкретно, может быть предусмотрена такая конфигурация, в которой если общее число N характерных точек, обнаруженных из одного изображения, равно или меньше предварительно определенного порогового значения (например, 9), секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию. Числовое значение (9), в три раза превышающее предварительно определенное пороговое значение (3), может задаваться в качестве такого порогового значения, поскольку имеется вероятность того, что некоторые обнаруженные характерные точки не ассоциированы между предыдущим и текущим кадрами.

[0039] Секция 35 определения состояний вычисления определяет то, является или нет состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации слишком плохим для того, чтобы удовлетворять второму критерию. Например, в случае если световой луч с предварительно установленным шаблоном проецируется на бугор на поверхности 31 дороги, точность вычисления расстояния и угла ориентации значительно уменьшается, поскольку бугор на поверхности 31 дороги выше выбоин и выступов асфальтобетонного покрытия. Если условие, при котором обнаруживаются характерные точки, хуже первого критерия, и параллельно, если состояние вычисления расстояния и угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, то отсутствует средство для точного обнаружения расстояния и угла ориентации, а также величин изменений расстояния и угла ориентации.

[0040] С учетом этого, секция 35 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, если среднеквадратические отклонения расстояния и угла ориентации, вычисленных посредством модуля 22 вычисления угла ориентации, превышают предварительно определенные пороговые значения. Кроме того, если число световых пятен, обнаруженных из 35 световых пятен, меньше трех, секция 35 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, поскольку теоретически, уравнение плоскости поверхности 31 дороги не может получаться. В случае если уравнение плоскости получается с использованием метода наименьших квадратов, если абсолютное значение максимального значения для разностей между световыми пятнами и плоскостью, полученное посредством уравнения плоскости, равно или выше определенного порогового значения (например, 0,05 м), секция 35 определения состояний вычисления может определять то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию.

[0041] Если секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, и параллельно, если секция 35 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию, модуль 26 вычисления собственной позиции использует расстояние и угол ориентации, полученные в предыдущем цикле обработки информации, а также текущую позицию транспортного средства, в качестве начальных точек операций интегрирования. Это позволяет минимизировать ошибку в вычислении величины перемещения транспортного средства.

[0042] Контроллер 27 световых лучей с предварительно установленным шаблоном управляет тем, как световой проектор 11 проецирует световой луч 32a с предварительно установленным шаблоном. Например, контроллер 27 световых лучей с предварительно установленным шаблоном начинает проецировать световой луч 32a с предварительно установленным шаблоном одновременно с тем, как устройство вычисления собственной позиции становится активированным после того, как включается переключатель зажигания транспортного средства 10. После этого, контроллер 27 световых лучей с предварительно установленным шаблоном продолжает проецирование светового луча 32a с предварительно установленным шаблоном до тех пор, пока устройство вычисления собственной позиции не прекратит работу. Вместо этого, устройство вычисления собственной позиции может быть выполнено с возможностью попеременно проецировать и прекращать проецирование света с предварительно определенными временными интервалами. В противном случае, устройство вычисления собственной позиции может быть выполнено с возможностью временно проецировать световой луч 32a с предварительно установленным шаблоном только в случае, если секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки T_e, является слишком плохим для того, чтобы удовлетворять первому критерию.

[0043] Цикл обработки информации

Далее, в качестве примера способа вычисления собственной позиции для оценки величины перемещения транспортного средства 10 из изображения 38, полученного посредством камеры 12, описывается цикл обработки информации, который должен многократно выполняться посредством ECU 13, со ссылкой на фиг.8 и 9. Цикл обработки информации, показанный на блок-схеме последовательности операций способа по фиг.8, начинается одновременно с тем, как устройство вычисления собственной позиции становится активированным после того, как включается переключатель зажигания транспортного средства 10, и многократно выполняется до тех пор, пока устройство вычисления собственной позиции не прекратит работу.

[0044] На этапе S01 на фиг.8, контроллер 27 световых лучей с предварительно установленным шаблоном проецирует световой луч 32a с предварительно установленным шаблоном на поверхность 31 дороги вблизи от транспортного средства посредством управления световым проектором 11. Ниже описывается пример, в котором световой луч 32a с предварительно установленным шаблоном продолжает проецирование, с использованием блок-схемы последовательности операций способа на фиг.8.

[0045] Переходя к этапу S03, ECU 13 управляет камерой 12 таким образом, чтобы получать изображение 38, с инструктированием камере 12 выполнять съемку поверхности 31 дороги вблизи от транспортного средства 10, в том числе и области, на которую проецируется световой луч 32a с предварительно установленным шаблоном. ECU 13 сохраняет данные для изображения, полученного посредством камеры 12, в запоминающем устройстве.

[0046] Следует отметить, что ECU 13 допускает автоматическое управление диафрагмой камеры 12. ECU 13 может быть выполнен с возможностью осуществлять управление с обратной связью диафрагмы камеры 12 таким способом, который приводит к тому, что значение яркости следующего изображения становится равным среднему значению между максимальным и минимальным значениями в соответствии со средним яркости изображения 38, полученного в предыдущем цикле обработки информации. В противном случае, в качестве значения яркости области, на которую проецируется световой луч 32a с предварительно установленным шаблоном, ECU 13 может получать среднее значение яркости ранее полученного изображения 38 из области за пределами части, из которой извлекается световой луч 32a с предварительно установленным шаблоном.

[0047] Последовательность операций переходит к этапу S05, на котором модуль 21 извлечения световых лучей с предварительно установленным шаблоном, во-первых, считывает изображение 38, полученное посредством камеры 12, из запоминающего устройства, и извлекает позицию светового луча 32a с предварительно установленным шаблоном из изображения 38, как показано на фиг.4(c). Модуль 21 извлечения световых лучей с предварительно установленным шаблоном сохраняет в запоминающем устройстве позиции (U_i, V_i) соответствующих световых пятен S_p в изображении, которые вычисляются как данные по позиции светового луча 32a с предварительно установленным шаблоном.

[0048] На этапе S05, модуль 22 вычисления угла ориентации считывает данные на позиции светового луча 32a с предварительно установленным шаблоном из запоминающего устройства, вычисляет расстояние и угол ориентации из позиции светового луча 32a с предварительно установленным шаблоном и сохраняет результаты вычисления в запоминающем устройстве.

[0049] Переходя к этапу S07, ECU 13 обнаруживает характерные точки из изображения 38, извлекает характерные точки, соответствующие промежутку между предыдущим и текущим циклами обработки информации, из обнаруженных характерных точек и вычисляет величины изменений расстояния и угла ориентации и величину перемещения транспортного средства из позиций (U_i, V_i) соответствующих извлеченных характерных точек в изображении.

[0050] Более конкретно, для начала, детектор 23 характерных точек считывает изображение 38, полученное посредством камеры 12, из запоминающего устройства, обнаруживает характерные точки на поверхности 31 дороги из изображения 38 и сохраняет позиции (U_i, V_i) соответствующих характерных точек в изображении в запоминающем устройстве. Модуль 24 вычисления величины изменения ориентации считывает позиции (U_i, V_i) соответствующих характерных точек в изображении из запоминающего устройства и вычисляет позиции (X_i, Y_i, Z_i) соответствующих характерных точек относительно камеры 12 из расстояния и угла ориентации, а также позиций (U_i, V_i) соответствующих характерных точек в изображении. В этой связи, модуль 24 вычисления величины изменения ориентации использует начальные точки (расстояние и угол ориентации), которые задаются на этапе S09 в предыдущем цикле обработки информации. После этого, модуль 24 вычисления величины изменения ориентации сохраняет позиции (X_i, Y_i, Z_i) соответствующих характерных точек относительно камеры 12 в запоминающем устройстве.

[0051] Далее модуль 24 вычисления величины изменения ориентации считывает позиции (U_i, V_i) соответствующих характерных точек в изображении и относительных позициях (X_i, Y_i, Z_i) соответствующих характерных точек, вычисленных на этапе S07 в предыдущем цикле обработки информации, из запоминающего устройства. Модуль 24 вычисления величины изменения ориентации вычисляет величины изменений расстояния и угла ориентации с использованием: относительных позиций (X_i, Y_i, Z_i) надлежащих характерных точек, соответствующих промежутку между предыдущим и текущим циклами обработки информации; и позиций (U_i, V_i) надлежащих таких соответствующих характерных точек в изображении. Кроме того, модуль 24 вычисления величины изменения ориентации вычисляет величину перемещения транспортного средства из предыдущих относительных позиций (X_i, Y_i, Z_i) соответствующих характерных точек в предыдущем цикле обработки информации и текущих относительных позиций (X_i, Y_i, Z_i) соответствующих характерных точек в текущем цикле обработки информации. "Величины изменений расстояния и угла ориентации" и "величина перемещения транспортного средства", которые вычисляются на этапе S07, используются для процесса на этапе S11.

[0052] Переходя к этапу S09, ECU 13 задает начальные точки операций интегрирования в зависимости от: условия, при котором обнаруживается несколько характерных точек; и состояния вычисления расстояния и угла ориентации из светового луча с предварительно установленным шаблоном. Ниже описываются подробности со ссылкой на фиг.9.

[0053] Переходя к этапу S11, модуль 26 вычисления собственной позиции вычисляет текущую позицию транспортного средства 10 из: начальных точек операций интегрирования, заданных в процессе на этапе S09; и величины перемещения транспортного средства, вычисленной на этапе S07.

[0054] Таким образом, устройство вычисления собственной позиции по варианту осуществления допускает вычисление текущей позиции транспортного средства 10 посредством повторного выполнения вышеприведенной последовательности циклов обработки информации для того, чтобы интегрировать величину перемещения транспортного средства 10.

[0055] В отношении блок-схемы последовательности операций способа, показанной на фиг.9, предоставляется описание подробной процедуры для этапа S09 на фиг.8. На этапе S900, ECU 13 определяет то, является или нет текущий цикл обработки информации первым. Если текущий цикл обработки информации является первым, другими словами, если данные по циклу предшествующей информации недоступны, процедура переходит к процессу на этапе S905. С другой стороны, если текущий цикл обработки информации не является первым, процедура переходит к процессу на этапе S901. На этапе S901, секция 30 определения условий обнаружения определяет то, является или нет условие, при котором детектор 23 характерных точек обнаруживает характерные точки T_e, слишком плохим для того, чтобы удовлетворять первому критерию. Если секция 30 определения условий обнаружения определяет то, что условие является плохим (если "Да" на этапе S901), процедура переходит к этапу S903. Если секция 30 определения условий обнаружения определяет то, что условие не является плохим (если "Нет" на этапе S901), процедура переходит к этапу S909.

[0056] На этапе S909, ECU 13 сохраняет текущие заданные начальные точки операций интегрирования как есть.

[0057] На этапе S903, секция 35 определения состояний вычисления определяет то, является или нет состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации слишком плохим для того, чтобы удовлетворять второму критерию. Например, секция 35 определения состояний вычисления определяет то, успешно выполняет или нет модуль 22 вычисления угла ориентации вычисление расстояния и угла ориентации на этапе S509, в идентичном цикле обработки информации. Если секция 35 определения состояний вычисления определяет то, что модуль 22 вычисления угла ориентации выполняет операцию успешно (если "Да" на этапе S903), процедура переходит к этапу S905. Если секция 35 определения состояний вычисления определяет то, что модуль 22 вычисления угла ориентации выполняет операцию неудачно (если "Нет" на этапе S903), процедура переходит к этапу S907.

[0058] На этапе S905, ECU 13 задает начальную точку операции интегрирования для величины перемещения транспортного средства равной текущей позиции транспортного средства и задает начальные точки операций интегрирования равными расстоянию и углу ориентации, вычисленным на этапе S05, в идентичном цикле обработки информации. С использованием расстояния и угла ориентации в качестве начальных точек, операции интегрирования начинаются заново. Помимо этого, с использованием текущей позиции транспортного средства в качестве начальной точки, операция интегрирования для величины перемещения транспортного средства начинается заново.

[0059] На этапе S907, ECU 13 задает начальную точку операции интегрирования для величины перемещения транспортного средства равной текущей позиции транспортного средства и задает начальные точки операций интегрирования равными расстоянию и углу ориентации, используемым в предыдущем цикле обработки информации. С использованием расстояния и угла ориентации в качестве начальных точек, операции интегрирования начинаются заново. Помимо этого, с использованием текущей позиции транспортного средства в качестве начальной точки, операция интегрирования для величины перемещения транспортного средства начинается заново. После этого процесс переходит к этапу S11 на фиг.8.

[0060] Следующее функциональное преимущество может получаться из первого варианта осуществления, как описано выше.

[0061] Обнаружение характерных точек при плохих условиях приводит к уменьшению точности, с которой модуль 24 вычисления величины изменения ориентации вычисляет расстояние и угол ориентации, и, соответственно, приводит к увеличению ошибки в оценке величины перемещения транспортного средства 10. Фиг.10(a) и 10(b) являются графиками, соответственно, показывающими пример ошибки в оценке угла крена (примера угла ориентации) транспортного средства 10 и пример ошибки в оценке величины перемещения (в направлении ширины транспортного средства) транспортного средства 10. Фиг.10(a) показывает временное изменение значения угла крена, которое вычисляется в случае, если транспортное средство 10 движется по прямой на ровной поверхности дороги без наклонов, в то время как фиг.10(b) показывает временное изменение значения величины перемещения, которое вычисляется в идентичном случае. Ссылки с номерами "P1" и "P2" на фиг.10(a) и 10(b), соответственно, представляют оцененное значение угла крена и вычисленное значение величины перемещения, которые получаются в сравнительном примере, в котором начальная точка для вычисления величины перемещения и начальные точки для выполнения операции интегрирования для расстояния и угла ориентации поддерживаются неизменными независимо от условия, при котором обнаруживаются характерные точки. Ссылки с номерами "Q1" и "Q2" на фиг.10(a) и 10(b), соответственно, представляют истинное значение угла крена и истинное значение величины перемещения. Поскольку транспортное средство 10 движется по прямой, истинное значение (Q1) угла крена и истинное значение (Q2) величины перемещения в направлении ширины транспортного средства остаются неизменно равными нулю. Тем не менее, во временном интервале от времени t1 до времени t2, возникает ошибка в уравнении плоскости поверхности дороги, и эта ошибка вызывает ошибку в оценке угла крена, поскольку транспортное средство 10 движется на бетонном покрытии, которое приводит к обнаружению характерных точек при плохих условиях. Ошибка в углу крена становится отраженной в величине перемещения в направлении ширины транспортного средства. В сравнительном примере, независимо от условия, при котором обнаруживаются характерные точки, начальные точки для выполнения операции интегрирования для угла крена не сбрасываются, или начальная точка для вычисления величины перемещения не сбрасывается. Это усиливает ошибку в величине перемещения транспортного средства 10.

[0062] Согласно первому варианту осуществления, если условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, операции интегрирования могут начинаться заново с использованием начальных точек, которые сбрасываются на расстояние и угол ориентации с минимизированной ошибкой, вычисленные из светового луча 32a с предварительно установленным шаблоном. Соответственно, может точно и стабильно оцениваться текущая позиция транспортного средства 10.

[0063] Кроме того, поверхность дороги, которая приводит к обнаружению характерных точек при плохих условиях, включает в себя, например, поверхность дороги, которая содержит небольшие числа шаблонов, выбоин и выступов, которые должны использоваться в качестве характерных точек. Поскольку поверхность дороги, содержащая небольшие числа шаблонов, выбоин и выступов, является очень плоской, меньшее число компонентов шума включено в расстояние и угол ориентации, вычисленные из светового луча 32a с предварительно установленным шаблоном. С другой стороны, в случае поверхности 31 дороги, из которой могут обнаруживаться характерные точки при хороших условиях, позиции на поверхности 31 дороги, от которой отражается световой луч с предварительно установленным шаблоном, являются нестабильными вследствие выбоин и выступов асфальтобетонного покрытия, и, соответственно, большее число компонентов шума включается в расстояние и угол ориентации, вычисленные из светового луча 32a с предварительно установленным шаблоном. Согласно первому варианту осуществления, расстояние и угол ориентации могут точно и стабильно получаться посредством либо избирательного обновления расстояния и угла ориентации с использованием характерных точек, либо вычисления расстояния и угла ориентации с использованием светового луча 32a с предварительно установленным шаблоном в зависимости от условий, при которых обнаруживаются характерные точки.

[0064] Кроме того, в некоторых случаях, условие, при котором обнаруживаются характерные точки, становится плохим вследствие уменьшения контрастности изображения 38 вследствие внезапного изменения освещенности поверхности 31 дороги. Согласно первому варианту осуществления, датчики, к примеру, люксметр, не должны обязательно дополнительно предоставляться для устройства вычисления собственной позиции, поскольку условие, при котором обнаруживаются характерные точки, определяется непосредственно. Это способствует уменьшению затрат и снижению веса устройства.

[0065] Если число характерных точек, ассоциированных посредством модуля 24 вычисления величины изменения ориентации между предыдущим и текущим кадрами, равно или меньше предварительно определенного порогового значения, секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому условию ("Да" на этапе S901). Если число характерных точек, ассоциированных между предыдущим и текущим кадрами, становится меньшим, снижается точность обновления расстояния и угла ориентации. В этом случае, можно предотвращать снижение точности обновления расстояния и угла ориентации и снижение точности вычисления величины перемещения транспортного средства 10, посредством сброса начальных точек для вычисления величины перемещения на расстояние и угол ориентации, вычисленные из светового луча 32a с предварительно установленным шаблоном.

[0066] Если условие, при котором обнаруживаются характерные точки, хуже первого критерия ("Да" на этапе S901), и если состояние вычисления расстояния и угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию ("Нет" на этапе S903), начальные точки для вычисления величины перемещения сбрасываются на расстояние и угол ориентации, вычисленные в предыдущем цикле обработки информации. Другими словами, расстояние и угол ориентации, вычисленные посредством модуля 26 вычисления собственной позиции до того, как секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются несколько характерных точек, является слишком плохим для того, чтобы удовлетворять первому критерию, используются в качестве начальных точек для или вычисления величины перемещения. В силу этого, можно предотвращать ошибку в оценке величины перемещения транспортного средства 10.

[0067] Первая модификация

Определение посредством секции 30 определения условий обнаружения условия, при котором обнаруживаются характерные точки T_e, может быть основано на распределении характерных точек вместо числа характерных точек. Например, секция 30 определения условий обнаружения может быть выполнена с возможностью определять то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, в случае если плотность характерных точек, обнаруженных из изображения 38, равна или меньше предварительно определенной пороговой плотности. Когда плотность характерных точек становится более низкой, общее число N характерных точек уменьшается, и число характерных точек, ассоциированных между предыдущим и текущим кадрами, соответственно, уменьшается. В противном случае, секция 30 определения условий обнаружения может быть выполнена с возможностью определять то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, в случае если характерные точки не обнаруживаются из соответствующих областей, на которые равномерно разделено изображение 38. Например, может задаваться такая конфигурация, в которой: изображение 38 равномерно разделено на четыре области; и секция 30 определения условий обнаружения определяет то, обнаруживаются или нет характерные точки из каждой области.

[0068] Когда секция 30 определения условий обнаружения определяет условие, при котором обнаруживаются характерные точки, на основе плотности характерных точек, обнаруженных из изображения 38, можно предотвращать снижение точности обновления расстояния и угла ориентации и снижение точности вычисления величины перемещения транспортного средства 10.

[0069] Кроме того, уменьшение плотности обнаруженных характерных точек делает расстояния между характерными точками большими. Это приводит к тому, что плоскость, заданная посредством характерных точек, с большей вероятностью должна становиться отличающейся от поверхности 31 дороги, и затрудняет точное вычисление расстояния и угла ориентации. Это обусловлено тем, что, вообще говоря, поверхность 31 дороги не является плоской вследствие наклона (уклона), предоставленного на поверхности дороги для того, чтобы упрощать дренаж. Помимо этого, более низкая плотность обнаруживаемых характерных точек означает то, что, как описано выше, поверхность 31 дороги является менее неровной и шаблонной. Это уменьшает число компонентов шума, которые включены в расстояние и угол ориентации, вычисленные из светового луча 32a с предварительно установленным шаблоном. Тем не менее, расстояние и угол ориентации могут точно и стабильно получаться посредством либо избирательного обновления расстояния и угла ориентации с использованием характерных точек, либо вычисления расстояния и угла ориентации с использованием светового луча 32a с предварительно установленным шаблоном в зависимости от условий, при которых обнаруживаются характерные точки.

[0070] Вторая модификация

Кроме того, определение посредством секции 30 определения условий обнаружения условия, при котором обнаруживаются характерные точки, может быть основано на среднем яркости изображения 38, полученного посредством камеры 12. Например, секция 30 определения условий обнаружения может быть выполнена с возможностью определять то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, если среднее яркости изображения 38 превышает верхнее предельное значение B_max или меньше нижнего предельного значения B_min. Другими словами, секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является плохим, если очень ярко или темно. Например, верхнее предельное значение B_max и нижнее предельное значение B_min могут задаваться равными 200 и 50, соответственно.

[0071] Третья модификация

На этапе S907 на фиг.9, ECU 13 может быть выполнен с возможностью задавать начальные точки операций интегрирования равными предварительно определенному начальному расстоянию и углу ориентации вместо расстояния и угла ориентации, используемых в предыдущем цикле обработки информации. Более подробно, модуль 26 вычисления собственной позиции может быть выполнен с возможностью задавать начальные точки операций интегрирования равными предварительно определенному начальному расстоянию и углу ориентации, полученными по меньшей мере с учетом пассажиров и рабочей нагрузки транспортного средства 10, если секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию, и параллельно, если секция 35 определения состояний вычисления определяет то, что состояние вычисления расстояния и угла ориентации посредством модуля 22 вычисления угла ориентации является слишком плохим для того, чтобы удовлетворять второму критерию. Например, расстояние и угол ориентации, вычисленные на этапе S05 в цикле обработки информации сразу после того, как активируется устройство вычисления собственной позиции, может использоваться в качестве начальных точек. В силу этого, расстояние и угол ориентации могут обновляться, и величина перемещения может вычисляться посредством задания начальных точек равными расстоянию и углу ориентации, которые не затрагиваются посредством крена или наклона в продольном направлении транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0072] Второй вариант осуществления

Как показано на фиг.11, устройство вычисления собственной позиции второго варианта осуществления отличается от устройства вычисления собственной позиции, показанного на фиг.1, тем, что ECU 13 дополнительно включает в себя модуль 36 вычисления плоскости. Модуль 36 вычисления плоскости вычисляет плоскость G, включающую в себя характерные точки T_e1, T_e2, T_e3, показанные на фиг.6, из относительных позиций (X_i, Y_i, Z_i) некоторых характерных точек. Если точность, с которой модуль 36 вычисления плоскости вычисляет плоскость G, равна или меньше предварительно определенной пороговой точности, секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию. Остальная конфигурация является идентичной конфигурации в первом варианте осуществления. По этой причине, описание остальной конфигурации опускается.

[0073] Например, в случае если характерные точки, относительные позиции (X_i, Y_i, Z_i) которых вычисляются, находятся на прямой линии, модуль 36 вычисления плоскости определяет то, что точность, с которой вычисляется плоскость G, равна или меньше предварительно определенной пороговой точности. Более конкретно, с использованием преобразования Хафа, модуль 36 вычисления плоскости вычисляет распределение градиентов характерных точек и расстояний характерных точек от центра плоскости G. Если 90% обнаруженных характерных точек удовлетворяют как такому условию, что которое их градиенты попадают в диапазон между минус и плюс 5 градусов от определенного угла, так и такому условию, что их расстояния от центра плоскости G попадают в диапазон между минус и плюс 10 пикселов, модуль 36 вычисления плоскости определяет то, что характерные точки находятся на прямой линии. В этой связи, координаты характерных точек, которые должны использоваться для преобразования Хафа, являются их позициями (U_i, V_i) в изображении.

[0074] Если дорожные знаки, в том числе пешеходный переход и осевая линия дороги, наносятся краской на поверхности 31 дороги, имеется вероятность того, что характерные точки, обнаруженные из них, распределены сконцентрированным образом в форме определенной полосы или линии. В этом случае, обнаруженные характерные точки лежат на прямой линии с высокой достоверностью. Это снижает точность, с которой вычисляется плоскость G, заданная посредством характерных точек. Снижение точности не может быть доказано из числа характерных точек или из плотности характерных точек. Тем не менее, второй вариант осуществления может надлежащим образом определять условие, при котором обнаруживаются характерные точки, согласно точности, с которой вычисляется плоскость G, заданная посредством характерных точек.

[0075] Третий вариант осуществления

Как показано на фиг.12, устройство вычисления собственной позиции по третьему варианту осуществления отличается от устройства вычисления собственной позиции, показанного на фиг.1, тем, что устройство вычисления собственной позиции по третьему варианту осуществления дополнительно включает в себя датчик 37 освещенности в качестве примера детектора освещенности для обнаружения величины изменения освещенности вблизи от транспортного средства. Если величина изменения освещенности, обнаруженная посредством датчика 37 освещенности, равна или выше предварительно определенной пороговой освещенности, секция 30 определения условий обнаружения определяет то, что условие, при котором обнаруживаются характерные точки, является слишком плохим для того, чтобы удовлетворять первому критерию. Остальная конфигурация является идентичной конфигурации в первом варианте осуществления. По этой причине, описание остальной конфигурации опускается.

[0076] Если диафрагма камеры 12 или автоматическое регулирование ISO-чувствительности не может соответствовать резкому изменению освещенности вблизи от транспортного средства, пустые яркие части или заполненные тени возникают в изображении, полученном посредством камеры 12. Это затрудняет обнаружение характерных точек из изображения и, соответственно, ухудшает условие, при котором обнаруживаются характерные точки. С учетом этого, аналогично камере 12 и световому проектору 11, датчик 37 освещенности устанавливается перед транспортным средством, и выполняется определение в отношении условия, при котором обнаруживаются характерные точки, согласно величине изменения освещенности, обнаруженной посредством датчика 37 освещенности. Посредством обнаружения заранее вероятности того, что характерные точки не становятся способными к обнаружению посредством камеры 12, расстояние и угол ориентации вычисляются из светового луча 32a с предварительно установленным шаблоном, проецируемого на поверхность 31 дороги. Это позволяет надлежащим образом определять условие, при котором обнаруживаются характерные точки.

[0077] Хотя выше описаны первый-третий варианты осуществления, ни одно из описаний и чертежей, составляющих части раскрытия сущности, не должны истолковываться как ограничивающие настоящее изобретение. Раскрытие сущности должно прояснять различные альтернативные варианты осуществления, примеры и функциональные технологии для специалистов в данной области техники.

[0078] В этой связи, хотя фиг.2 показывает пример, в котором камера 12 и световой проектор 11 устанавливаются перед транспортным средством 10, камера 12 и световой проектор 11 могут устанавливаться по бокам, сзади или снизу транспортного средства 10. Кроме того, хотя фиг.2 показывает четырехколесный легковой автомобиль в качестве примера транспортного средства 10 по вариантам осуществления, настоящее изобретение является применимым ко всем движущимся телам (транспортным средствам), таким как мотоциклы, грузовики и специальные транспортные средства для транспортировки строительной техники, при условии, что характерные точки на поверхностях дороги и поверхностях стен могут захватываться из таких движущихся тел.

Список позиционных обозначений

[0079]

10 - транспортное средство

11 - световой проектор

12 - камера (модуль захвата изображений)

21 - модуль извлечения световых лучей с предварительно установленным шаблоном

22 - модуль вычисления угла ориентации

23 - детектор характерных точек

24 - модуль вычисления величины изменения ориентации

26 - модуль вычисления собственной позиции

30 - секция определения состояния поверхности дороги

31 - поверхность дороги

32a, 32b - световой луч с предварительно установленным шаблоном

35 - секция определения состояний вычисления

36 - модуль вычисления плоскости

37 - датчик освещенности (детектор освещенности)

Te - характерная точка

Claims

1. Устройство вычисления собственной позиции, содержащее:

световой проектор (11), выполненный с возможностью проецировать световой луч (32a, 32b) с предварительно установленным шаблоном на поверхность (31) дороги вблизи от транспортного средства (10);

модуль (12) захвата изображений, установленный в транспортном средстве (10) и выполненный с возможностью захватывать изображение поверхности (31) дороги вблизи от транспортного средства (10), включающее в себя область, на которую проецируется световой луч (32a, 32b) с предварительно установленным шаблоном;

модуль (22) вычисления угла ориентации, выполненный с возможностью вычислять угол ориентации транспортного средства (10) относительно поверхности (31) дороги из позиции светового луча (32a, 32b) с предварительно установленным шаблоном в изображении, полученном посредством модуля (12) захвата изображений;

модуль (24) вычисления величины изменения ориентации, выполненный с возможностью вычислять величину изменения ориентации транспортного средства (10) на основе временных изменений множества характерных точек на поверхности (31) дороги, которые обнаруживаются из изображения, полученного посредством модуля (12) захвата изображений;

модуль (26) вычисления собственной позиции, выполненный с возможностью вычислять текущую позицию и угол ориентации транспортного средства (10) посредством суммирования величины изменения ориентации с начальной позицией и углом ориентации транспортного средства (10); и

секцию (30) определения условий обнаружения, выполненную с возможностью определять то, при каком условии множество характерных точек (Te) обнаруживается посредством модуля (24) вычисления величины изменения ориентации, при этом,

если условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию, модуль (26) вычисления собственной позиции задает текущую позицию транспортного средства (10) в это время и угол ориентации транспортного средства (10), вычисленные посредством модуля (22) вычисления угла ориентации равными начальной позиции и углу ориентации транспортного средства (10), и начинает суммировать величину изменения ориентации с начальной позицией и углом ориентации.

2. Устройство вычисления собственной позиции по п.1, в котором, если число для множества характерных точек (Te), используемых посредством модуля (24) вычисления величины изменения ориентации, равно или меньше предварительно определенного порогового значения, секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию.

3. Устройство вычисления собственной позиции по п.1, в котором, если плотность характерных точек (Te), обнаруженных из изображения, равна или меньше предварительно определенной пороговой плотности, секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию.

4. Устройство вычисления собственной позиции по п.1, дополнительно содержащее

модуль (36) вычисления плоскости, выполненный с возможностью вычислять плоскость, включающую в себя множество характерных точек (Te), из относительных позиций множества характерных точек (Te), обнаруженных из изображения, при этом,

если точность, с которой модуль (36) вычисления плоскости вычисляет плоскость, равна или меньше предварительно определенной пороговой точности, секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию.

5. Устройство вычисления собственной позиции по п.1, дополнительно содержащее

детектор освещенности (37), выполненный с возможностью обнаруживать величину изменения освещенности вблизи от транспортного средства (10), при этом,

если величина изменения освещенности, обнаруженная посредством детектора освещенности (37), равна или выше предварительно определенной пороговой освещенности, секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию.

6. Устройство вычисления собственной позиции по любому из пп.1-5, дополнительно содержащее

секцию (35) определения состояний вычисления, выполненную с возможностью определять состояние вычисления угла ориентации посредством модуля (22) вычисления угла ориентации, при этом,

если секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию, и если секция (35) определения состояний вычисления определяет то, что состояние вычисления угла ориентации не удовлетворяет второму критерию, модуль (26) вычисления собственной позиции начинает суммировать величину изменения ориентации с начальным углом ориентации, который задается по меньшей мере с учетом пассажиров и рабочей нагрузки транспортного средства (10).

7. Устройство вычисления собственной позиции по любому из пп.1-5, дополнительно содержащее

если секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию, и если секция (35) определения состояний вычисления определяет то, что состояние вычисления угла ориентации не удовлетворяет второму критерию, модуль (26) вычисления собственной позиции начинает суммировать величину изменения ориентации с углом ориентации, который вычисляется до того, как секция (30) определения условий обнаружения определяет то, что условие, при котором обнаруживается множество характерных точек, не удовлетворяет первому критерию.

8. Способ вычисления собственной позиции, содержащий:

этап, на котором проецируют световой луч (32a, 32b) с предварительно установленным шаблоном на поверхность (31) дороги вблизи от транспортного средства (10) посредством светового проектора (11), установленного в транспортном средстве (10);

этап, на котором захватывают изображение поверхности (31) дороги вблизи от транспортного средства (10), включающее в себя область, на которую проецируется световой луч (32a, 32b) с предварительно установленным шаблоном, посредством модуля (12) захвата изображений, установленного в транспортном средстве (10);

этап, на котором вычисляют угол ориентации транспортного средства (10) относительно поверхности (31) дороги из позиции светового луча (32a, 32b) с предварительно установленным шаблоном в изображении посредством контроллера (13) транспортного средства (10);

этап вычисления величины изменения угла ориентации, на котором вычисляют величину изменения ориентации транспортного средства (10) на основе временных изменений множества характерных точек (Te) на поверхности (31) дороги, которые обнаруживаются из изображения, посредством контроллера (13);

этап вычисления собственной позиции, на котором вычисляют текущую позицию и угол ориентации транспортного средства (10) посредством суммирования величины изменения ориентации с начальной позицией и углом ориентации транспортного средства (10), посредством контроллера (13); и

этап, на котором определяют то, при каком условии множество характерных точек (Te) обнаруживается на этапе вычисления величины изменения ориентации, посредством контроллера (13), при этом,

если условие, при котором обнаруживается множество характерных точек (Te), не удовлетворяет первому критерию, этап вычисления собственной позиции задает текущую позицию транспортного средства (10) в это время и угол ориентации транспортного средства (10), вычисленные из позиции светового луча (32a, 32b) с предварительно установленным шаблоном равными начальной позиции и углу ориентации транспортного средства (10), и начинает суммировать величину изменения ориентации с начальной позицией и углом ориентации.