RU2627914C1

RU2627914C1 - Устройство вычисления собственной позиции и способ вычисления собственной позиции

Info

Publication number: RU2627914C1
Application number: RU2016137949A
Authority: RU
Inventors: Итиро ЯМАГУТИ; Хидекадзу НИСИУТИ
Original assignee: Ниссан Мотор Ко., Лтд.
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2017-08-14
Also published as: EP3113149A1; BR112016019494A2; CN105993042B; MX2016010500A; JPWO2015125300A1; WO2015125300A1; CN105993042A; US20170045889A1; JP6187671B2; EP3113149A4; US9772627B2; MX354763B; EP3113149B1; BR112016019494B1

Abstract

Изобретение относится к устройству вычисления собственной позиции и к способу вычисления собственной позиции. Устройство вычисления собственной позиции включает в себя: световой проектор 11, выполненный с возможностью проецировать световой луч с предварительно установленным шаблоном на поверхность дороги вокруг транспортного средства; модуль 12 захвата изображений, установленный в транспортном средстве и выполненный с возможностью захватывать и получать изображение поверхности дороги вокруг транспортного средства, покрывающее область проецируемого светового луча с предварительно установленным шаблоном; модуль 22 вычисления угла ориентации, выполненный с возможностью вычислять угол ориентации транспортного средства относительно поверхности дороги из позиции светового луча с предварительно установленным шаблоном в изображении, полученном посредством модуля 12 захвата изображений; детектор 23 характерных точек, выполненный с возможностью задавать область обнаружения характерных точек, окружающую область проецируемого светового луча с предварительно установленным шаблоном в изображении, полученном посредством модуля 12 захвата изображений, и обнаруживать несколько характерных точек на поверхности дороги в области обнаружения характерных точек; модуль 24 вычисления величины изменения ориентации, выполненный с возможностью вычислять величину изменения ориентации транспортного средства на основе временных изменений нескольких характерных точек на поверхности дороги; и модуль 25 вычисления собственной позиции, выполненный с возможностью вычислять текущую позицию и текущий угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства относительно поверхности дороги. Обеспечивается простая идентификация характерных точек при различии между характерными точками и световым лучом с предварительно установленным шаблоном и в силу этого точное вычисление собственной позиции транспортного средства. 2 н. и 4 з.п. ф-лы., 23 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству вычисления собственной позиции и к способу вычисления собственной позиции.

УРОВЕНЬ ТЕХНИКИ

[0002] Известна технология, в которой: камеры, установленные в транспортном средстве, захватывают и получают изображения окрестности транспортного средства; и величина перемещения транспортного средства получается на основе изменений изображений (см. патентный документ 1). Патентный документ 1 направлен на точное получение величины перемещения транспортного средства, даже если транспортное средство перемещается незначительно на низкой скорости. С этой целью, характерная точка обнаруживается из каждого изображения; получается позиция характерной точки; и в силу этого величина перемещения транспортного средства получается из направления и расстояния перемещения (величины перемещения) характерной точки.

[0003] Помимо этого, известна технология выполнения трехмерного измерения с использованием лазерного лучевого проектора для проецирования лазерного луча в сетчатом шаблоне (светового луча с предварительно установленным шаблоном) (см. патентный документ 2). Согласно патентному документу 2, изображение области проецируемого светового луча с предварительно установленным шаблоном захватывается с помощью камеры; световой луч с предварительно установленным шаблоном извлекается из захваченного изображения; и поведение транспортного средства получается из позиции светового луча с предварительно установленным шаблоном.

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0004] Патентный документ 1. Публикация заявки на патент (Япония) номер 2008-175717

Патентный документ 2. Публикация заявки на патент (Япония) номер 2007-278951

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Тем не менее, в случае использования технологии, описанной в патентном документе 1, для того чтобы обнаруживать характерные точки на поверхности дороги в области, идентичной области проецируемого светового луча с предварительно установленным шаблоном, описанной в патентном документе 2, затруднительно различать между световым лучом с предварительно установленным шаблоном и характерными точками. С другой стороны, в случае, если характерные точки на поверхности дороги обнаруживаются в области на большом расстоянии от области проецируемого светового луча с предварительно установленным шаблоном, ошибка в вычислении величин перемещений характерных точек становится большей.

[0006] С учетом вышеуказанных проблем, цель настоящего изобретения заключается в том, чтобы предоставлять устройство вычисления собственной позиции и способ вычисления собственной позиции, которые допускают простую идентификацию характерных точек при различении между характерными точками и световым лучом с предварительно установленным шаблоном и в силу этого допускают точное вычисление собственной позиции транспортного средства.

[0007] Устройство вычисления собственной позиции по первому аспекту настоящего изобретения проецирует световой луч с предварительно установленным шаблоном на поверхность дороги вокруг транспортного средства; захватывает и за счет этого получает изображение поверхности дороги вокруг транспортного средства, включающее в себя область проецируемого светового луча с предварительно установленным шаблоном; вычисляет угол ориентации транспортного средства относительно поверхности дороги из позиции светового луча с предварительно установленным шаблоном в полученном изображении; задает область обнаружения характерных точек, окружающую область проецируемого светового луча с предварительно установленным шаблоном в полученном изображении, и обнаруживает несколько характерных точек на поверхности дороги в области обнаружения характерных точек; вычисляет величину изменения ориентации транспортного средства на основе временных изменений нескольких обнаруженных характерных точек на поверхности дороги; и вычисляет текущую позицию и текущий угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства относительно поверхности дороги.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по первому варианту осуществления.

Фиг. 2 является внешним видом, показывающим пример того, как световой проектор и камера устанавливаются в транспортном средстве.

Фиг. 3(a) является схемой, показывающей то, как позиция областей световых пятен на поверхности дороги вычисляется с использованием светового проектора и камеры. Фиг. 3(b) является схемой, показывающей то, как направление перемещения камеры получается из временных изменений характерной точки, которая обнаруживается за пределами области проецируемого светового луча с предварительно установленным шаблоном.

Фиг. 4 является схемой, показывающей изображение светового луча с предварительно установленным шаблоном, которое получается посредством применения процесса преобразования в двоичную форму к изображению, полученному с помощью камеры. Фиг. 4(a) является схемой, полностью показывающей световой луч с предварительно установленным шаблоном. Фиг. 4(b) является увеличенной схемой, показывающей одно световое пятно. Фиг. 4(c) является схемой, показывающей позицию центра тяжести световых пятен.

Фиг. 5 является принципиальной схемой для описания способа вычисления величин изменений расстояния и угла ориентации.

Фиг. 6 является схемой, показывающей характерные точки, обнаруженные в изображении. Фиг. 6(a) является схемой, показывающей первый кадр (изображение), полученный во время t. Фиг. 6(b) является схемой, показывающей второй кадр, полученный во время t+Δt.

Фиг. 7(a) является схемой, показывающей изображение, полученное посредством камеры. Фиг. 7(b) является схемой, показывающей изображение светового луча с предварительно установленным шаблоном, которое получается посредством применения процесса преобразования в двоичную форму к изображению, полученному посредством камеры. Фиг. 7(c) является схемой, показывающей результат обнаружения характерных точек.

Фиг. 8 является принципиальной схемой, показывающей области световых лучей с предварительно установленным шаблоном 5*5 проецируемых световых пятен.

Фиг. 9 является принципиальной схемой, показывающей пример области обнаружения характерных точек, заданной таким образом, что она окружает области световых лучей с предварительно установленным шаблоном 5*5 проецируемых световых пятен.

Фиг. 10 является блок-схемой последовательности операций для пояснения примера способа вычисления собственной позиции по первому варианту осуществления.

Фиг. 11 является принципиальной схемой, показывающей пример области световых лучей с предварительно установленным шаблоном плотно проецируемых световых пятен.

Фиг. 12 является принципиальной схемой, показывающей пример области световых лучей с предварительно установленным шаблоном, если проецируется световой луч с сетчатым шаблоном.

Фиг. 13 является принципиальной схемой, показывающей пример области обнаружения характерных точек, заданной как окружающей область световых лучей с предварительно установленным шаблоном плотно проецируемых световых пятен.

Фиг. 14 является принципиальной схемой, показывающей пример областей обнаружения характерных точек, заданных слева и справа от областей световых лучей с предварительно установленным шаблоном 5*5 проецируемых световых пятен.

Фиг. 15 является принципиальной схемой, показывающей другой пример областей обнаружения характерных точек, заданных слева и справа от области световых лучей с предварительно установленным шаблоном плотно проецируемых световых пятен.

Фиг. 16 является блок-схемой, показывающей общую конфигурацию устройства вычисления собственной позиции по второму варианту осуществления.

Фиг. 17(a) является принципиальной схемой, показывающей пример областей обнаружения характерных точек, заданных, когда скорость в поперечном направлении является относительно небольшой. Фиг. 17(b) является принципиальной схемой, показывающей пример областей обнаружения характерных точек, заданных, когда скорость в поперечном направлении является относительно большой.

Фиг. 18 является принципиальной схемой для пояснения конкретного примера способа задания областей обнаружения характерных точек.

Фиг. 19(a) является графиком, показывающим временное изменение абсолютного значения скорости в поперечном направлении. Фиг. 19(b) является графиком, показывающим поперечную ширину областей обнаружения характерных точек.

Фиг. 20 является блок-схемой последовательности операций для пояснения примера способа вычисления собственной позиции по второму варианту осуществления.

Фиг. 21(a) является принципиальной схемой, показывающей пример областей обнаружения характерных точек, заданных, когда скорость транспортного средства является относительно низкой. Фиг. 21(b) является принципиальной схемой, показывающей пример областей обнаружения характерных точек, заданных, когда скорость транспортного средства является относительно высокой.

Фиг. 22(a) является графиком, показывающим временные изменения абсолютного значения скорости транспортного средства. Фиг. 22(b) является графиком, показывающим временные изменения ширины в продольном направлении областей обнаружения характерных точек.

Фиг. 23(a) является принципиальной схемой, показывающей пример области проецирования световых лучей с предварительно установленным шаблоном плотно проецируемых световых пятен. Фиг. 23(b) является принципиальной схемой, показывающей пример областей обнаружения характерных точек, заданных в зависимости от скорости транспортного средства и скорости в поперечном направлении.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0009] Со ссылкой на чертежи, ниже предоставляется описание для первого и второго вариантов осуществления, к которым применяется настоящее изобретение.

[0010] ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

АППАРАТНАЯ КОНФИГУРАЦИЯ

Для начала, ссылаясь на фиг. 1, ниже предоставляется описание для аппаратной конфигурации устройства вычисления собственной позиции по первому варианту осуществления. Устройство вычисления собственной позиции включает в себя световой проектор 11, камеру 12 и модуль 13 управления двигателем (ECU). Световой проектор 11 устанавливается в транспортном средстве и проецирует световой луч с предварительно установленным шаблоном на поверхность дороги вокруг транспортного средства. Камера 12 устанавливается в транспортном средстве и является примером модуля захвата изображений, выполненного с возможностью захватывать и за счет этого получать изображения поверхности дороги вокруг транспортного средства, в том числе и области проецируемого светового луча с предварительно установленным шаблоном. ECU 13 является примером контроллера, выполненного с возможностью управлять световым проектором 11 и выполнять последовательность циклов обработки информации для вычисления собственной позиции транспортного средства из изображений, полученных с помощью камеры 12.

[0011] Камера 12 представляет собой цифровую камеру с использованием полупроводникового датчика изображений, к примеру, CCD и CMOS, и получает обрабатываемые цифровые изображения. То, что захватывает камера 12, представляет собой поверхность дороги вокруг транспортного средства. Поверхность дороги вокруг транспортного средства включает в себя поверхности дороги впереди, сзади, по бокам и под транспортным средством. Как показано на фиг. 2, камера 12 может устанавливаться в передней секции транспортного средства 10, более конкретно, например, над передним бампером. Высота и направление, в которых можно задавать камеру 12, регулируются таким способом, который позволяет камере 12 захватывать изображения характерных точек (текстур) на поверхности 31 дороги перед транспортным средством 10 и светового луча 32b с предварительно установленным шаблоном, проецируемого из светового проектора 11. Фокус и диафрагма линзы камеры 12 также регулируются автоматически. Камера 12 многократно захватывает изображения с предварительно определенными временными интервалами и за счет этого получает последовательность групп изображений (кадров). Каждый раз, когда камера 12 захватывает изображение, данные изображений, полученные с помощью камеры 12, передаются в ECU 13 и сохраняются в запоминающем устройстве, включенном в ECU 13.

[0012] Как показано на фиг. 2, световой проектор 11 проецирует световой луч 32b с предварительно установленным шаблоном, имеющий предварительно определенную форму, в том числе форму квадратной или прямоугольной сетки, на поверхность 31 дороги в диапазоне захвата изображений камеры 12. Камера 12 захватывает изображения проецируемого светового луча с предварительно установленным шаблоном на поверхность 31 дороги. Световой проектор 11 включает в себя, например, лазерный указатель и дифракционную решетку. Дифракционная решетка дифрагирует лазерный луч, проецируемый из указателя. В силу этого, как показано на фиг. 2-4, световой проектор 11 формирует световой луч (32b, 32a) с предварительно установленным шаблоном, который включает в себя несколько световых пятен, размещаемых в сетчатом или матричном шаблоне. В примерах, показанных на фиг. 3 и 4, световой проектор 11 формирует световой луч 32a с предварительно установленным шаблоном, включающий в себя 5*7 световых пятен.

[0013] Возвращаясь к фиг. 1, ECU 13 включает в себя CPU, запоминающее устройство и микроконтроллер, включающий в себя секцию ввода-вывода. Посредством выполнения предварительно установленных компьютерных программ, ECU 13 формирует несколько информационных процессоров, которые выступают в качестве устройства вычисления собственной позиции. Для каждого изображения (кадра), ECU 13 многократно выполняет последовательность циклов обработки информации для вычисления собственной позиции транспортного средства из изображений, полученных с помощью камеры 12. В этой связи, ECU 13 также может использоваться в качестве ECU для управления другими системами транспортного средства 10.

[0014] В этом отношении, несколько информационных процессоров включают в себя модуль 21 извлечения световых лучей с предварительно установленным шаблоном, модуль 22 вычисления угла ориентации, детектор 23 характерных точек, модуль 24 вычисления величины изменения ориентации, модуль 25 вычисления собственной позиции и контроллер 26 световых лучей с предварительно установленным шаблоном.

[0015] Модуль 21 извлечения световых лучей с предварительно установленным шаблоном считывает изображение, полученное с помощью камеры 12, из запоминающего устройства и извлекает позицию светового луча с предварительно установленным шаблоном из этого изображения. Например, как показано на фиг. 3(a), световой проектор 11 проецирует световой луч 32a с предварительно установленным шаблоном, который включает в себя несколько световых пятен, размещаемых в матричном шаблоне, на поверхность 31 дороги, в то время как камера 12 обнаруживает световой луч 32a с предварительно установленным шаблоном, отражаемый от поверхности 31 дороги. Модуль 21 извлечения световых лучей с предварительно установленным шаблоном применяет процесс преобразования в двоичную форму к изображению, полученному с помощью камеры 12, и за счет этого извлекает только изображение световых пятен Sp, как показано на фиг. 4(a) и 4(b). После этого, как показано на фиг. 4(c), модуль 21 извлечения световых лучей с предварительно установленным шаблоном извлекает позицию светового луча 32a с предварительно установленным шаблоном посредством вычисления позиции He центра тяжести каждого светового пятна Sp, другими словами, координаты (Uj, Vj) каждого светового пятна Sp в изображении. Координаты выражаются с использованием числа, назначаемого соответствующему пикселу в датчике изображений камеры 12. В случае, если световой луч с предварительно установленным шаблоном включает в себя 5*7 световых пятен Sp, j является целым числом, не меньшим 1, но не большим 35. Запоминающее устройство сохраняет координаты (Uj, Vj) светового пятна Sp в изображении в качестве данных по позиции светового луча 32a с предварительно установленным шаблоном.

[0016] Модуль 22 вычисления угла ориентации считывает данные по позиции светового луча 32a с предварительно установленным шаблоном из запоминающего устройства и вычисляет расстояние и угол ориентации транспортного средства 10 относительно поверхности 31 дороги из позиции светового луча 32a с предварительно установленным шаблоном в изображении, полученном с помощью камеры 12. Например, как показано на фиг. 3(a), с использованием принципа тригонометрических измерений, модуль 22 вычисления угла ориентации вычисляет позицию каждой области световых пятен на поверхности 31 дороги, в качестве позиции области световых пятен относительно камеры 12, из базовой длины Lb между световым проектором 11 и камерой 12, а также координат (Uj, Vj) каждого светового пятна в изображении. После этого, модуль 22 вычисления угла ориентации вычисляет уравнение плоскости поверхности 31 дороги, на которую проецируется световой луч 32a с предварительно установленным шаблоном, другими словами, расстояние и угол ориентации (вектор нормали) камеры 12 относительно поверхности 31 дороги, из позиции каждого светового пятна относительно камеры 12.

[0017] Следует отметить, что в настоящем варианте осуществления, расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги вычисляются как пример расстояния и угла ориентации транспортного средства 10 относительно поверхности 31 дороги, поскольку позиция установки камеры 12 в транспортном средстве 10 и угол для захвата посредством камеры 12 изображений уже известны. Другими словами, расстояние между поверхностью 31 дороги и транспортным средством 10, а также угол ориентации транспортного средства 10 относительно поверхности 31 дороги могут получаться посредством вычисления расстояния и угла ориентации камеры 12 относительно поверхности 31 дороги.

[0018] Более конкретно, поскольку камера 12 и световой проектор 11 закрепляются на транспортном средстве 10, направление, в котором можно проецировать световой луч 32a с предварительно установленным шаблоном, и расстояние (базовая длина Lb) между камерой 12 и световым проектором 11 уже известны. По этой причине, с использованием принципа тригонометрических измерений, модуль 22 вычисления угла ориентации допускает получение позиции каждой области световых пятен на поверхности 31 дороги, в качестве позиции (Xj, Yj, Zj) каждого светового пятна относительно камеры 12, из координат (Uj, Vj) каждого светового пятна в изображении. В дальнейшем в этом документе, расстояние и угол ориентации камеры 12 относительно поверхности 31 дороги сокращенно называются "расстоянием и углом ориентации". Расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации, сохраняются в запоминающем устройстве.

[0019] Следует отметить, что описание предоставляется для варианта осуществления, в котором расстояние и угол ориентации вычисляются в каждом цикле обработки информации.

[0020] Кроме того, во многих случаях, позиция (Xj, Yj, Zj) каждого светового пятна относительно камеры 12 не присутствует на идентичной плоскости. Это обусловлено тем, что относительная позиция каждого светового пятна изменяется согласно неровности асфальта поверхности 31 дороги. По этой причине, метод наименьших квадратов может использоваться для того, чтобы получать уравнение плоскости, которое минимизирует сумму квадратов разности расстояния каждого светового пятна. Данные по такому вычисленному расстоянию и углу ориентации используются посредством модуля 25 вычисления собственной позиции, показанного на фиг. 1.

[0021] Детектор 23 характерных точек считывает изображение, полученное с помощью камеры 12, из запоминающего устройства и обнаруживает характерные точки на поверхности 31 дороги из изображения, считываемого из запоминающего устройства. Чтобы обнаруживать характерные точки на поверхности 31 дороги, детектор 23 характерных точек может использовать способ, описанный в работе D. G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints", Int. J. Comput. Vis., издание 60, № 2, стр. 91-110, ноябрь 2000 года. В противном случае, детектор 23 характерных точек может использовать способ, описанный в работе Kanazawa Yasushi, Kanatani Kenichi, "Detection of Feature Points for Computer Vision", IEICE Journal, издание 87, № 12, стр. 1043-1048, декабрь 2004 года.

[0022] Более конкретно, например, детектор 23 характерных точек использует оператор Харриса или оператор SUSAN, поскольку те точки, к примеру, вершины объекта, значения яркости которых существенно отличаются от значений яркости окрестностей точек, обнаруживаются в качестве характерных точек. Тем не менее, вместо этого, детектор 23 характерных точек может использовать характерную величину по принципу SIFT (масштабно-инвариантного преобразования признаков), так что точки, вокруг которых значения яркости изменяются с определенной регулярностью, обнаруживаются в качестве характерных точек. После обнаружения характерных точек, детектор 23 характерных точек подсчитывает общее число N характерных точек, обнаруженных из одного изображения, и назначает идентификационные номера (i (1≤i≤N)) для соответствующих характерных точек. Позиция (Ui, Vi) каждой характерной точки в изображении сохраняется в запоминающем устройстве в ECU 13. Фиг. 6(a) и 6(b) показывают примеры характерных точек Te, которые обнаруживаются из изображения, захваченного с помощью камеры 12. Кроме того, на фиг. 6(a) и 6(b), направления изменений и величины изменений характерных точек Te выражаются с помощью векторов Dte, соответственно.

[0023] Следует отметить, что настоящий вариант осуществления трактует смесь частиц асфальта с размером частиц не менее 1 см, но не более 2 см, в качестве характерных точек на поверхности 31 дороги. Камера 12 использует режим VGA-разрешения (приблизительно 300 тысяч пикселов) для того, чтобы обнаруживать характерные точки. Помимо этого, расстояние от камеры 12 до поверхности 31 дороги составляет приблизительно 70 см. Кроме того, направление, в котором камера 12 захватывает изображения, наклонено приблизительно под 45 градусами к поверхности 31 дороги от горизонтальной плоскости. Более того, значение яркости каждого изображения, захваченного с помощью камеры 12 и после этого отправленного в ECU 13, находится в пределах диапазона от 0 до 255 (0: самое темное, 255: самое яркое).

[0024] Модуль 24 вычисления величины изменения ориентации считывает, из запоминающего устройства, позиционные координаты (Ui, Vi) каждой из нескольких характерных точек в изображении, включенном в предыдущий кадр с изображением (во время t), который находится в числе кадров с изображениями, захваченных в каждом определенном цикле обработки информации. Кроме того, модуль 24 вычисления величины изменения ориентации считывает, из запоминающего устройства, позиционные координаты (Ui, Vi) каждой из нескольких характерных точек в изображении, включенном в текущий кадр (во время t+Δt). После этого, на основе временных изменений позиций нескольких характерных точек, модуль 24 вычисления величины изменения ориентации получает величину изменения ориентации транспортного средства. В этом отношении, величина изменения ориентации транспортного средства включает в себя как "величины изменений расстояния и угла ориентации" транспортного средства относительно поверхности дороги, так и "величину перемещения транспортного средства" на поверхности дороги. Ниже предоставляется описание того, как вычислять "величины изменений расстояния и угла ориентации" и "величину перемещения транспортного средства".

[0025] Величины изменений расстояния и угла ориентации могут получаться, например, следующим образом. Фиг. 6(a) показывает пример первого кадра 38 (изображения) (на фиг. 5), захваченного во время t. Допустим случай, в котором, как показано на фиг. 5 и 6(a), относительная позиция (Xi, Yi, Zi) каждой из трех характерных точек Te1, Te2, Te3 вычисляется, например, в первом кадре 38. В этом случае, плоскость G (см. фиг. 6(a)), идентифицированная посредством характерных точек Te1, Te2, Te3, может рассматриваться в качестве поверхности дороги. Соответственно, модуль 24 вычисления величины изменения ориентации допускает получение расстояния и угла ориентации (вектора нормали) камеры 12 относительно поверхности дороги (плоскости G) из относительной позиции (Xi, Yi, Zi) каждой из характерных точек. Кроме того, из уже известной модели камеры, модуль 24 вычисления величины изменения ориентации допускает получение расстояния l1 между характерными точками Te1, Te2, расстояния l2 между характерными точками Te2, Te3 и расстояния l3 между характерными точками Te3, Te1, а также угла между прямой линией, соединяющей характерные точки Te1, Te2, и прямой линией, соединяющей характерные точки Te2, Te3, угла между прямой линией, соединяющей характерные точки Te2, Te3 и прямой линией, соединяющей характерные точки Te3, Te1, и угла между прямой линией, соединяющей характерные точки Te3, Te1, и прямой линией, соединяющей характерные точки Te1, Te2. Камера 12 на фиг. 5 показывает то, где расположена камера, когда камера захватывает первый кадр.

[0026] Следует отметить, что на фиг. 5, трехмерные координаты (Xi, Yi, Zi) относительной позиции каждой характерной точки относительно камеры 12 задаются таким способом, что: ось Z совпадает с направлением, в котором камера 12 захватывает изображение; и оси X и Y, ортогональные друг к другу в плоскости, включающей в себя камеру 12, представляют собой линии, нормальные к направлению, в котором камера 12 захватывает изображение. Между тем, координаты в изображении 38 задаются таким образом, что: ось V совпадает с горизонтальным направлением; и ось U совпадает с вертикальным направлением.

[0027] Фиг. 6(b) показывает второй кадр 38', полученный во время (t+Δt), в которое продолжительность Δt истекает со времени t. Камера 12' на фиг. 5 показывает то, где расположена камера, камера захватывает второй кадр 38'. Как показано на фиг. 5 и 6(b), камера 12' захватывает изображение, включающее в себя характерные точки Te1, Te2, Te3, в качестве второго кадра 38', и детектор 23 характерных точек обнаруживает характерные точки Te1, Te2, Te3 из изображения. В этом случае, модуль 24 вычисления величины изменения ориентации допускает вычисление величины ΔL перемещения камеры 12 в интервале Δt времени из: относительной позиции (Xi, Yi, Zi) каждой из характерных точек Te1, Te2, Te3 во время t; позиция P1(Ui, Vi) каждой характерной точки на втором кадре 38'; и модели камеры для камеры 12. Соответственно, модуль 24 вычисления величины изменения ориентации допускает вычисление величины перемещения транспортного средства. Кроме того, модуль 24 вычисления величины изменения ориентации также допускает вычисление величин изменений расстояния и угла ориентации. Например, модуль 24 вычисления величины изменения ориентации допускает вычисление величины (ΔL) перемещения камеры 12 (транспортного средства) и величин изменений расстояния и угла ориентации камеры 12 (транспортного средства) посредством решения следующей системы уравнений (1)-(4). В этой связи, уравнение (1), приведенное ниже, основано на идеальной камере с точечной диафрагмой без деформации и оптического осевого рассогласования, которая моделируется после камеры 12, где λi и f обозначают константу и фокусную длину. Параметры модели камеры могут калиброваться заранее.

[0028] уравнение 1

.(1)

[0029] уравнение 2

.(2)

[0030] уравнение 3

.(3)

[0031] уравнение 4

.(4)

[0032] Следует отметить, что вместо использования всех характерных точек, относительные позиции которых вычисляются в изображениях, обнаруженных во время t и во время t+Δt, модуль 24 вычисления величины изменения ориентации может выбирать оптимальные характерные точки на основе позиционных взаимосвязей между характерными точками. Пример метода выбора, применимого с этой целью, представляет собой эпиполярную геометрию (геометрию эпиполярных линий, описанную в работе R. I. Hartley "A linear method for reconstruction from lines and points", Proc. 5th International Conference on Computer Vision, Кембридж, штат Массачусетс, стр. 882-887 (1995)).

[0033] Если как в этом случае, характерные точки Te1, Te2, Te3, относительные позиции которых в кадровом изображении 38 во время t вычисляются, также обнаруживаются посредством детектора 23 характерных точек из кадрового изображения 38' во время t+Δt, модуль 24 вычисления величины изменения ориентации допускает вычисление "величины изменения угла ориентации транспортного средства" из временных изменений относительных позиций (Xi, Yi, Zi) соответствующих характерных точек на поверхности дороги и временных изменений позиций (Ui, Vi) соответствующих характерных точек в изображении. Кроме того, модуль 24 вычисления величины изменения ориентации допускает вычисление величины перемещения транспортного средства.

[0034] Более конкретно, если три или более характерных точек, соответствующих промежутку между предыдущим и текущим кадрами, могут обнаруживаться непрерывно из двух кадров, продолжение процесса (операции интегрирования) суммирования величин изменений расстояния и угла ориентации позволяет непрерывно обновлять расстояние и угол ориентации без использования светового луча 32a с предварительно установленным шаблоном. Тем не менее, расстояние и угол ориентации, вычисленные с использованием светового луча 32a с предварительно установленным шаблоном или предварительно определенной начальной позиции и угла ориентации, могут использоваться для первого цикла обработки информации. Другими словами, расстояние и угол ориентации, которые являются начальными точками операции интегрирования, могут вычисляться с использованием светового луча 32a с предварительно установленным шаблоном либо могут задаваться равным предварительно определенным начальным значениям. Желательно, если предварительно определенная начальная позиция и предварительно определенный начальный угол ориентации представляют собой расстояние и угол ориентации, определенные, по меньшей мере, с учетом пассажиров и рабочий нагрузки транспортного средства 10. Например, расстояние и угол ориентации, вычисленные с использованием светового луча 32a с предварительно установленным шаблоном, который проецируется в то время, когда переключатель зажигания транспортного средства 10 включен, и когда позиция переключения коробки передач перемещается из позиции для парковки в другую позицию, могут использоваться в качестве предварительно определенной начальной позиции и предварительно определенного начального угла ориентации. В силу этого, можно получать расстояние и угол ориентации, которые не затрагиваются посредством наклона в продольном направлении или крена транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.

[0035] Следует отметить, что ассоциирование характерных точек в текущем кадре с характерными точками в предыдущем кадре может достигаться, например, посредством: сохранения изображения небольшой области вокруг каждой обнаруженной характерной точки в запоминающем устройстве; и для каждой характерной точки, выполнения определения из подобия в информации яркости и подобия в цвете информация. Более конкретно, ECU 13 сохраняет 5 (по горизонтали) * 5 (по вертикали)-пиксельное изображение вокруг каждой обнаруженной характерной точки в запоминающем устройстве. Если, например, разность в информации яркости для 20 или более пикселов равна или меньше 1%, модуль 24 вычисления величины изменения ориентации определяет то, что рассматриваемые характерные точки соответствуют промежутку между текущим и предыдущим кадрами. После этого, величина изменения ориентации, полученная посредством вышеприведенного процесса, используется посредством модуля 25 вычисления собственной позиции на следующем этапе процесса для того, чтобы вычислять собственную позицию транспортного средства 10.

[0036] Модуль 25 вычисления собственной позиции вычисляет текущее расстояние и угол ориентации транспортного средства 10 из "величин изменений расстояния и угла ориентации", вычисленных посредством модуля 24 вычисления величины изменения ориентации. Помимо этого, модуль 25 вычисления собственной позиции вычисляет собственную позицию транспортного средства 10 из "величины перемещения транспортного средства", вычисленной посредством модуля 24 вычисления величины изменения ориентации.

[0037] Ниже предоставляется описание для того, как выполнять вышеприведенные вычисления в конкретном случае, в котором расстояние и угол ориентации, вычисленные посредством модуля 22 вычисления угла ориентации (другими словами, расстояние и угол ориентации, вычисленные с использованием светового луча с предварительно установленным шаблоном), задаются в качестве начальных точек вычислений. В этом случае, модуль 25 вычисления собственной позиции обновляет расстояние и угол ориентации с последними числовыми значениями посредством последовательного суммирования (выполнения операции интегрирования) величин изменений расстояния и угла ориентации, вычисленных для каждого кадра посредством модуля 24 вычисления величины изменения ориентации, с начальными точками, другими словами, расстоянием и углом ориентации, вычисленными посредством модуля 22 вычисления угла ориентации. Помимо этого, модуль 25 вычисления собственной позиции вычисляет собственную позицию транспортного средства посредством: задания позиции транспортного средства, которая получается, когда модуль 22 вычисления угла ориентации вычисляет расстояние и угол ориентации, в качестве начальной точки (начальной позиции транспортного средства); и посредством последовательного суммирования (выполнения операции интегрирования) величины перемещения транспортного средства с начальной позицией транспортного средства. Например, посредством задания начальной точки (начальной позиции транспортного средства), которая совпадает с позицией транспортного средства на карте, модуль 25 вычисления собственной позиции допускает последовательное вычисление текущей собственной позиции транспортного средства на карте.

[0038] В силу этого, модуль 24 вычисления величины изменения ориентации допускает вычисление собственной позиции транспортного средства посредством получения величины (ΔL) перемещения камеры 12 для продолжительности Δt. Помимо этого, модуль 24 вычисления величины изменения ориентации допускает одновременное вычисление величин изменений расстояния и угла ориентации. По этим причинам, с учетом величин изменений расстояния и угла ориентации транспортного средства, модуль 24 вычисления величины изменения ориентации допускает точное вычисление величины (ΔL) перемещения в шести степенях свободы (перемещение вперед/назад, перемещение влево/вправо, перемещение вверх/вниз, перемещение относительно вертикальной оси, наклон в продольном направлении и крен). Другими словами, ошибка в оценке величины (ΔL) перемещения может быть минимизирована, даже если расстояние и угол ориентации изменяются посредством наклона в продольном направлении или крена вследствие поворота, ускорения или замедления транспортного средства 10.

[0039] В настоящем варианте осуществления, величина (ΔL) перемещения камеры 12 вычисляется посредством: вычисления величин изменений расстояния и угла ориентации; и обновления расстояния и угла ориентации. Тем не менее, вместо этого, величина (ΔL) перемещения камеры 12 может вычисляться посредством: вычисления величины изменения только угла ориентации камеры 12 относительно поверхности 31 дороги; и обновления только угла ориентации камеры 12. В этом случае, можно предполагать, что расстояние между поверхностью 31 дороги и камерой 12 остается постоянным. Это позволяет уменьшать рабочую нагрузку на ECU 13 при минимизации ошибки в оценке величины (ΔL) перемещения с учетом величины изменения угла ориентации и повышать скорость работы ECU 13.

[0040] Контроллер 26 световых лучей с предварительно установленным шаблоном управляет проецированием светового луча 32a с предварительно установленным шаблоном посредством светового проектора 11. Например, после того, как переключатель зажигания транспортного средства 10 включается, как только устройство вычисления собственной позиции становится активированным, контроллер 26 световых лучей с предварительно установленным шаблоном начинает проецировать световой луч 32a с предварительно установленным шаблоном. После этого, до тех пор, пока устройство вычисления собственной позиции не прекратит работу, контроллер 26 световых лучей с предварительно установленным шаблоном продолжает проецирование световой луч 32a с предварительно установленным шаблоном. В противном случае, контроллер 26 световых лучей с предварительно установленным шаблоном может попеременно включать и выключать проецирование света с предварительно определенными интервалами.

[0041] В случае, если проецируется световой луч 32a с предварительно установленным шаблоном, включающий в себя 5*7 световых пятен Sp, изображение, как показано на фиг 7(a), получается посредством камеры 12. При применении процесса преобразования в двоичную форму к изображению, модуль 21 извлечения световых лучей с предварительно установленным шаблоном может извлекать световой луч Sp с предварительно установленным шаблоном (световые пятна), как показано на фиг. 7(b). Между тем, детектор 23 характерных точек испытывает затруднение при обнаружении характерных точек на поверхности 31 дороги из области, идентичной области проецируемого светового луча Sp с предварительно установленным шаблоном, поскольку, как показано на фиг. 7(c), затруднительно идентифицировать характерные точки на поверхности 31 дороги в сравнении со световым лучом Sp с предварительно установленным шаблоном. В отличие от этого, когда характерные точки на поверхности 31 дороги обнаруживаются посредством детектора 23 характерных точек из области на большом расстоянии от области проецируемого светового луча 32a с предварительно установленным шаблоном, ошибки в вычислении величин перемещений характерных точек становятся большими.

[0042] С учетом этого, в этом варианте осуществления, детектор 23 характерных точек выполнен с возможностью задавать область обнаружения характерных точек, окружающую области, на которые световой проектор 11 проецирует световой луч с предварительно установленным шаблоном, и выполнять обнаружение характерных точек на поверхности 31 дороги в области обнаружения характерных точек. В этом отношении, область обнаружения характерных точек означает область на таком расстоянии от световых лучей с предварительно установленным шаблоном, которое делает влияние световых лучей с предварительно установленным шаблоном достаточно небольшим, с тем чтобы обнаруживать характерные точки на поверхности 31 дороги, и смежную со световыми лучами с предварительно установленным шаблоном на этом расстоянии. Расстояние, которое приводит к тому, что влияние световых лучей с предварительно установленным шаблоном становится достаточно небольшим, может получаться посредством эксперимента заранее. В этом варианте осуществления, в качестве примера расстояния, которое делает влияние световых лучей с предварительно установленным шаблоном достаточно небольшим, заранее получается расстояние, которое исключает ложные обнаружения с 99%-ой или более высокой вероятностью, в возможных световых окружениях.

[0043] Например, как показано на фиг. 8, световой проектор 11 проецирует 25 (5*5) световых пятен в качестве световых лучей 40a с предварительно установленным шаблоном на внутреннюю часть области 30 захвата изображений камеры 12. На фиг. 8, стрелка 51 указывает направление перемещения транспортного средства 10, в то время как стрелка 52, указывающая в направлении, противоположном направлению стрелки 51, указывает направление перемещения характерных точек. В этом случае, каждая область 40b световых лучей с предварительно установленным шаблоном представляет собой область с границей на таком расстоянии от светового луча 40a с предварительно установленным шаблоном (светового пятна), которое делает влияние светового луча 40a с предварительно установленным шаблоном достаточно небольшим, с тем чтобы обнаруживать характерные точки.

[0044] Как показано на фиг. 9, детектор 23 характерных точек задает область 40c обнаружения характерных точек в области 30 захвата изображений камеры 12 таким образом, что она окружает области 40b световых лучей с предварительно установленным шаблоном. Область 40c обнаружения характерных точек имеет форму сетки и является смежной с областями 40b световых лучей с предварительно установленным шаблоном. Детектор 23 характерных точек выполняет обнаружение характерных точек в области 40c обнаружения характерных точек в области 30 захвата изображений камеры 12 при исключении внутренних частей областей 40b световых лучей с предварительно установленным шаблоном из покрытия обнаружения характерных точек. Как результат, можно легко отличать между световыми лучами 40a с предварительно установленным шаблоном и характерными точками. Соответственно, характерные точки могут обнаруживаться точно. Область 40c обнаружения характерных точек может задаваться рядом со световыми лучами 40a с предварительно установленным шаблоном вместо рядом с областями 40b световых лучей с предварительно установленным шаблоном. Другими словами, область 40c обнаружения характерных точек может задаваться в качестве области за исключением световых лучей 40a с предварительно установленным шаблоном.

[0045] ЦИКЛ ОБРАБОТКИ ИНФОРМАЦИИ

Далее, ссылаясь на фиг. 10, предоставляется описание для цикла обработки информации, который должен многократно выполняться посредством ECU 13. Этот цикл обработки информации является примером способа вычисления собственной позиции для вычисления собственной позиции транспортного средства 10 из изображения, полученного посредством камеры 12.

[0046] Цикл обработки информации, показанный на блок-схеме последовательности операций способа по фиг. 10, начинается одновременно с тем, как устройство вычисления собственной позиции становится активированным после того, как переключатель зажигания транспортного средства 10 включается, и многократно выполняется до тех пор, пока устройство вычисления собственной позиции не прекратит работу.

[0047] На этапе S01 на фиг. 10, контроллер 26 световых лучей с предварительно установленным шаблоном управляет световым проектором 11, чтобы инструктировать световому проектору 1 проецировать световой луч 32a с предварительно установленным шаблоном на поверхность 31 дороги. С использованием блок-схемы последовательности операций способа на фиг. 10, ниже предоставляется описание для случая, в котором непрерывно проецируется световой луч 40a с предварительно установленным шаблоном, показанный на фиг. 8.

[0048] Переходя к этапу S03, ECU 13 управляет камерой 12 таким образом, чтобы получать изображение 38, с инструктированием камере 12 выполнять съемку поверхности 31 дороги вокруг транспортного средства 10, в том числе и области проецируемого светового луча с предварительно установленным шаблоном 40a. ECU 13 сохраняет данные для изображения, полученного с помощью камеры 12, в запоминающем устройстве.

[0049] Следует отметить, что ECU 13 допускает автоматическое управление диафрагмой камеры 12. ECU 13 может быть выполнен с возможностью осуществлять управление с обратной связью диафрагмы камеры 12 таким способом, который приводит к тому, что значение яркости следующего изображения становится равным среднему значению между максимальным и минимальным значениями в соответствии со средним яркости изображения 38, полученного в предыдущем цикле обработки информации. В противном случае, в качестве значения яркости области проецируемого светового луча с предварительно установленным шаблоном 40a, ECU 13 может получать среднее значение яркости ранее полученного изображения 38 из области за пределами части, из которой извлекается световой луч 40a с предварительно установленным шаблоном.

[0050] Переходя к этапу S05, для начала, модуль 21 извлечения световых лучей с предварительно установленным шаблоном считывает изображение 38, полученное с помощью камеры 12, из запоминающего устройства и извлекает позицию светового луча 40a с предварительно установленным шаблоном из изображения 38, как показано на фиг. 4(c). Модуль 21 извлечения световых лучей с предварительно установленным шаблоном сохраняет координаты (Uj, Vj) каждого светового пятна Sp в изображении, которые вычисляются как данные по позиции светового луча 40a с предварительно установленным шаблоном, в запоминающем устройстве.

[0051] Кроме того, на этапе S05, модуль 22 вычисления угла ориентации считывает данные по позиции светового луча 40a с предварительно установленным шаблоном из запоминающего устройства, вычисляет расстояние и угол ориентации транспортного средства 10 относительно поверхности 31 дороги из позиции светового луча 40a с предварительно установленным шаблоном и сохраняет такое вычисленное расстояние и угол ориентации в запоминающем устройстве.

[0052] Переходя к этапу S07, ECU 13 обнаруживает характерные точки Te из изображения 38, извлекает характерные точки Te, соответствующие промежутку между предыдущим и текущим циклами обработки информации, из обнаруженных характерных точек Te и вычисляет величины изменений расстояния и угла ориентации из позиций (Ui, Vi) соответствующих извлеченных характерных точек Te в изображении. Помимо этого, ECU 13 вычисляет величину перемещения транспортного средства.

[0053] Более конкретно, для начала детектор 23 характерных точек считывает изображение 38 области 30 захвата изображений, соответствующей фиг. 8, которое получается с помощью камеры 12, из запоминающего устройства и задает область 40c обнаружения характерных точек таким образом, что она окружает область 40b световых лучей с предварительно установленным шаблоном, как показано на фиг. 9. Помимо этого, детектор 23 характерных точек обнаруживает характерные точки Te, которые находятся на поверхности 31 дороги в области 40c обнаружения характерных точек, из изображения 38 и сохраняет позиции (Ui, Vi) соответствующих характерных точек Te в изображении в запоминающем устройстве.

[0054] Модуль 24 вычисления величины изменения ориентации считывает позиции (Ui, Vi) соответствующих характерных точек Te в изображении из запоминающего устройства и вычисляет позиции (Xi, Yi, Zi) соответствующих характерных точек Te относительно камеры 12 из расстояния и угла ориентации, а также позиции (Ui, Vi) соответствующих характерных точек Te в изображении, которые вычисляются посредством модуля 22 вычисления угла ориентации. В этой связи, модуль 24 вычисления величины изменения ориентации использует расстояние и угол ориентации, которые задаются на этапе S09 в предыдущем цикле обработки информации. После этого, модуль 24 вычисления величины изменения ориентации сохраняет позиции (Xi, Yi, Zi) соответствующих характерных точек Te относительно камеры 12 в запоминающем устройстве.

[0055] После этого, модуль 24 вычисления величины изменения ориентации считывает позиции (Ui, Vi) соответствующих характерных точек Te в изображении и относительных позициях (Xi, Yi, Zi) соответствующих характерных точек Te, вычисленных на этапе S07 в предыдущем цикле обработки информации, из запоминающего устройства. Модуль 24 вычисления величины изменения ориентации вычисляет величины изменений расстояния и угла ориентации с использованием: относительных позиций (Xi, Yi, Zi) надлежащих характерных точек Te, соответствующих промежутку между предыдущим и текущим циклами обработки информации; и позиций (Ui, Vi) надлежащих таких соответствующих характерных точек Te в изображении. Кроме того, модуль 24 вычисления величины изменения ориентации вычисляет величину перемещения транспортного средства из предыдущих относительных позиций (Xi, Yi, Zi) соответствующих характерных точек Te и текущих относительных позиций (Xi, Yi, Zi) соответствующих характерных точек Te и сохраняет результирующую величину перемещения транспортного средства в запоминающем устройстве. "Величины изменений расстояния и угла ориентации" и "величина перемещения транспортного средства", которые вычисляются на этапе S07, используются для процесса на этапе S11.

[0056] Переходя к этапу S09, на котором в первом цикле обработки информации, ECU 13 задает начальные точки операций интегрирования для вычисления собственной позиции посредством использования расстояния и угла ориентации, вычисленных с использованием светового луча 40a с предварительно установленным шаблоном, или посредством использования предварительно определенной начальной позиции и предварительно определенного начального угла ориентации. В последующих циклах обработки информации, если три или более характерных точек, ассоциированных между предыдущим и текущим кадрами, могут быть непрерывно обнаружены, продолжение процессов (процессов интегрирования) суммирования величин изменений расстояния и угла ориентации позволяет непрерывно обновлять расстояние и угол ориентации без использования светового луча 40a с предварительно установленным шаблоном.

[0057] Переходя к этапу S11, модуль 25 вычисления собственной позиции вычисляет собственную позицию транспортного средства 10 из: начальных точек операции интегрирования, заданных на этапе S09; и величин изменений расстояния и угла ориентации транспортного средства 10, вычисленных в процессе на этапе S07.

[0058] Таким образом, устройство вычисления собственной позиции варианта осуществления допускает вычисление собственной позиции транспортного средства 10 посредством повторного выполнения вышеприведенной последовательности циклов обработки информации для интегрирования величины перемещения транспортного средства 10.

[0059] ПЕРВАЯ МОДИФИКАЦИЯ

Далее, в качестве первой модификации, описывается другой пример способа задания областей обнаружения характерных точек. Как показано на фиг. 11, световой проектор 11 может быть выполнен с возможностью плотно проецировать 35 (7*5) световых пятен в качестве световых лучей 41a с предварительно установленным шаблоном. В этом случае, область 41b световых лучей с предварительно установленным шаблоном задается в качестве области на таком расстоянии от световых лучей 41a с предварительно установленным шаблоном, которое делает влияние световых лучей 41a с предварительно установленным шаблоном достаточно небольшим, с тем чтобы обнаруживать характерные точки. Поскольку световые пятна в качестве световых лучей 41a с предварительно установленным шаблоном проецируются плотно, область 41b световых лучей с предварительно установленным шаблоном формируется с покрытием всех световых пятен в целом. В этой связи, в случае, если, как показано на фиг. 12, проецируется световой луч с сетчатым шаблоном в качестве светового луча 42a с предварительно установленным шаблоном вместо световых пятен, область световых лучей с предварительно установленным шаблоном аналогично формируется как окружающая световой луч с сетчатым шаблоном.

[0060] В случае, если проецируются световые лучи 41a с предварительно установленным шаблоном, показанные на фиг. 11, детектор 23 характерных точек задает область 41c обнаружения характерных точек таким образом, что она окружает область 41b световых лучей с предварительно установленным шаблоном, как показано на фиг. 13. Область 41c обнаружения характерных точек имеет форму кадра и является смежной с областью 41b световых лучей с предварительно установленным шаблоном. Детектор 23 характерных точек выполняет обнаружение характерных точек в области 41c обнаружения характерных точек в области 30 захвата изображений камеры 12 при исключении области 41b световых лучей с предварительно установленным шаблоном из покрытия обнаружения характерных точек.

[0061] ВТОРАЯ МОДИФИКАЦИЯ

Далее, в качестве второй модификации, описывается другой пример способа задания областей обнаружения характерных точек.

Детектор 23 характерных точек может быть выполнен с возможностью, как показано на фиг. 14, задавать области 43a, 43b, 43c, 43d обнаружения характерных точек слева и справа (в направлении ширины транспортного средства) от областей 40b световых лучей с предварительно установленным шаблоном в случае, если, как показано на фиг. 8, световой проектор 11 проецирует 25 (5*5) световых пятен в качестве световых лучей 40a с предварительно установленным шаблоном. Области 43a, 43b, 43c, 43d обнаружения характерных точек являются смежными с областями 40b световых лучей с предварительно установленным шаблоном и имеют прямоугольный шаблон, ширина которого больше в направлении 52 перемещения характерных точек, чем в направлении ширины транспортного средства. Направление ширины транспортного средства представляет собой направление, которое является ортогональным к направлению 52 перемещения характерных точек, и в котором характерные точки перемещаются меньше, чем в направлении 52 перемещения. Детектор 23 характерных точек выполняет обнаружение характерных точек в каждой из областей 43a, 43b, 43c, 43d обнаружения характерных точек в области 30 захвата изображений камеры 12.

[0062] Кроме того, детектор 23 характерных точек может быть выполнен с возможностью, как показано на фиг. 15, задавать области 44a, 44b обнаружения характерных точек слева и справа (в направлении ширины транспортного средства) от световых лучей 41a с предварительно установленным шаблоном в случае, если плотно проецируются световые пятна в качестве световых лучей 41a с предварительно установленным шаблоном, как показано на фиг. 11, либо в случае, если проецируется световой луч с сетчатым шаблоном. Области 44a, 44b обнаружения характерных точек являются смежными с областью 41b световых лучей с предварительно установленным шаблоном и имеют прямоугольный шаблон, ширина которого больше в направлении 52 перемещения характерных точек, чем в направлении ширины транспортного средства. Детектор 23 характерных точек выполняет обнаружение характерных точек в каждой из областей 44a, 44b обнаружения характерных точек в области 30 захвата изображений камеры 12.

[0063] ПРЕИМУЩЕСТВА ПЕРВОГО ВАРИАНТА ОСУЩЕСТВЛЕНИЯ

Согласно первому варианту осуществления, область 40c, 41c обнаружения характерных точек задается как окружающая области 40b, 41b световых лучей с предварительно установленным шаблоном, включающие световые лучи 40a, 41a с предварительно установленным шаблоном; и обнаружение характерных точек Te выполняется в области 40c, 41c обнаружения характерных точек. Это позволяет обнаруживать характерные точки в области, отличающейся, но смежной с областью, из которой извлекаются световые лучи 40a с предварительно установленным шаблоном или световые лучи 41a с предварительно установленным шаблоном. По этой причине, характерные точки могут быть точно обнаружены при одновременном различении от световых лучей 40a с предварительно установленным шаблоном и световых лучей 41a с предварительно установленным шаблоном. Соответственно, собственная позиция транспортного средства может быть точно обнаружена с использованием таких обнаруженных характерных точек.

[0064] В противном случае, области 43a-43d обнаружения характерных точек или области 44a, 44b обнаружения характерных точек задаются слева и справа (в направлении ширины транспортного средства) от областей 40b, 41b световых лучей с предварительно установленным шаблоном, включающих световые лучи 40a, 41a с предварительно установленным шаблоном, и обнаружение характерных точек выполняется в областях 43a-43d обнаружения характерных точек или областях 44a, 44b обнаружения характерных точек. В силу этого, обнаружение характерных точек может выполняться в областях, ширины которых в направлении 52 перемещения характерных точек превышают ширины в направлении ширины транспортного средства, так что могут обнаруживаться характерные точки, более легко ассоциированные между предыдущим и текущим кадрами.

[0065] ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

АППАРАТНАЯ КОНФИГУРАЦИЯ

Устройство вычисления собственной позиции по второму варианту осуществления отличается от устройства вычисления собственной позиции по первому варианту осуществления тем, что как показано на фиг. 16, устройство вычисления собственной позиции по второму варианту осуществления включает в себя детектор 14 поведения транспортного средства в дополнение к конфигурации устройства вычисления собственной позиции по первому варианту осуществления. Датчик скорости вращения колес, выполненный с возможностью определять скорость транспортного средства, или датчик скорости относительно вертикальной оси, выполненный с возможностью обнаруживать скорость транспортного средства в поперечном направлении (скорость относительно вертикальной оси), может использоваться, например, в качестве детектора 14 поведения транспортного средства. Остальная конфигурация устройства вычисления собственной позиции по второму варианту осуществления является практически идентичной конфигурации устройства вычисления собственной позиции по первому варианту осуществления. По этой причине, дублированное описание опускается.

[0066] Детектор 23 характерных точек задает область(и) обнаружения характерных точек в зависимости от поведения транспортного средства 10, которое обнаруживается посредством детектора 14 поведения транспортного средства. Например, в случае, если плотно проецируются 5*7 световых пятен в качестве световых лучей 41a с предварительно установленным шаблоном, детектор 23 характерных точек инструктирует то, что поперечная ширина w1 областей 44a, 44b обнаружения характерных точек становится меньшей, как показано на фиг. 17(a), по мере того, как абсолютное значение скорости в поперечном направлении, обнаруженное посредством детектора 14 поведения транспортного средства, становится меньшим, и инструктирует то, что поперечная ширина w1 областей 44a, 44b обнаружения характерных точек становится большей, как показано на фиг. 17(b), по мере того, как абсолютное значение скорости в поперечном направлении, обнаруженное посредством детектора 14 поведения транспортного средства, становится большим.

[0067] Более конкретно, поперечная ширина w1 областей 44a, 44b обнаружения характерных точек определяется в зависимости от: позиции области 30 захвата изображений камеры 12; и частоты кадров. Например, рассмотрим случай, показанный на фиг. 18, в котором: позиция области 30 захвата изображений камеры 12 расположена на расстоянии L (м) от центра O оси задних колес транспортного средства 10; и частота кадров составляет F (кадров/с). В этом случае, если скорость относительно вертикальной оси в качестве скорости в поперечном направлении транспортного средства 10, движущегося на очень низкой скорости при поворачивании вокруг центра O оси задних колес, составляет γ (рад/сек), величина перемещения в поперечном направлении характерных точек Te в расчете на кадр составляет Lγ/F (м). Теоретически, обнаружение характерных точек Te при ассоциировании характерных точек Te между предыдущим и текущим кадрами требует от областей иметь ширину в поперечном направлении, которая равна или выше Lγ/F. В этом варианте осуществления, с учетом допустимого запаса, ширина, которая в пять раз превышает величину перемещения в поперечном направлении характерных точек Te в расчете на кадр (5*Lγ/F), задается в качестве поперечной ширины w1 областей 44a, 44b обнаружения характерных точек.

[0068] Фиг. 19(a) показывает временные изменения абсолютного значения скорости γ относительно вертикальной оси. Фиг. 19(b) показывает временные изменения поперечной ширины (5*Lγ/F) областей обнаружения характерных точек. Времена t0-t7 представляют времена, в которые выполняются соответствующие циклы обработки информации. Как показано на фиг. 19(a) и 19(b), поперечная ширина (5*Lγ/F) областей обнаружения характерных точек может увеличиваться или уменьшаться пропорционально увеличению или уменьшению абсолютного значения скорости γ относительно вертикальной оси. В противном случае, может задаваться такая конфигурация, в которой: одно, два или более пороговых значений предоставляются для скорости γ относительно вертикальной оси заранее; и поперечная ширина (5*Lγ/F) областей обнаружения характерных точек увеличивается или уменьшается пошагово каждый раз, когда скорость γ относительно вертикальной оси становится равной или превышающей пороговые значения.

[0069] ЦИКЛ ОБРАБОТКИ ИНФОРМАЦИИ

Далее, ссылаясь на фиг. 20, предоставляется описание подробностей этапа S07 способа вычисления собственной позиции по второму варианту осуществления. Остальные этапы способа вычисления собственной позиции по второму варианту осуществления являются практически идентичными этапам способа вычисления собственной позиции по первому варианту осуществления. По этой причине, дублированное описание опускается.

[0070] На этапе S101, детектор 14 поведения транспортного средства обнаруживает поведение (в данном случае, скорость γ относительно вертикальной оси) транспортного средства 10. На этапе S102, детектор 23 характерных точек считывает из запоминающего устройства изображение 38, которое получается с помощью камеры 12, области 30 захвата изображений, соответствующей фиг. 8, а также задает область 40c обнаружения характерных точек таким образом, что она окружает области 40b световых лучей с предварительно установленным шаблоном. В этом случае, в зависимости от скорости γ относительно вертикальной оси транспортного средства 10, детектор 23 характерных точек задает поперечную ширину w1 области 40c обнаружения характерных точек больше таким способом, что значение поперечной ширины w1 становится равным (5*Lγ/F). На этапе S103, детектор 23 характерных точек обнаруживает характерные точки Te на поверхности 31 дороги из внутренней части области 40c обнаружения характерных точек в изображении 38 и сохраняет позиции (Ui, Vi) характерных точек Te в изображении в запоминающем устройстве.

[0071] На этапе S104, как и в случае первого варианта осуществления, модуль 24 вычисления величины изменения ориентации вычисляет расстояние и угол ориентации посредством использования: относительных позиций (Xi, Yi, Zi) характерных точек Te, которые могут быть ассоциированы между предыдущим и текущим циклами обработки информации; и позиций (Ui, Vi) таких ассоциированных характерных точек Te в предыдущем и текущем изображениях. Помимо этого, модуль 24 вычисления величины изменения ориентации вычисляет величину перемещения транспортного средства из относительных позиций (Xi, Yi, Zi) характерных точек Te в предыдущем цикле обработки информации и относительных позиций (Xi, Yi, Zi) характерных точек Te в текущем цикле обработки информации, а также сохраняет величину перемещения в запоминающем устройстве.

[0072] ПЕРВАЯ МОДИФИКАЦИЯ

Далее, в качестве первой модификации, описывается другой пример способа задания областей обнаружения характерных точек. Детектор 23 характерных точек может быть выполнен с возможностью изменять ширину области(ей) обнаружения характерных точек в продольном направлении транспортного средства в зависимости от абсолютного значения скорости V транспортного средства, обнаруженного посредством детектора 14 поведения транспортного средства. Например, когда абсолютное значение скорости V транспортного средства, обнаруженное посредством детектора 14 поведения транспортного средства, является относительно небольшим, детектор 23 характерных точек задает ширину w2 в продольном направлении областей 44a, 44b обнаружения характерных точек относительно небольшой, как показано на фиг. 21(a). С другой стороны, когда абсолютное значение скорости V транспортного средства, обнаруженное посредством детектора 14 поведения транспортного средства, является относительно большим, детектор 23 характерных точек задает ширину w2 в продольном направлении областей 44a, 44b обнаружения характерных точек относительно большей, как показано на фиг. 21(b).

[0073] Рассмотрим, например, конкретный случай, в котором частота кадров камеры 12 составляет F [кадр/с]. В этом случае, если транспортное средство 10 движется на скорости V (м/с), величина перемещения характерных точек Te на экране в продольном направлении транспортного средства в расчете на кадр составляет V/F (м). В принципе, обнаружение характерных точек Te при ассоциировании характерных точек Te между предыдущим и текущим кадрами требует областей с шириной в продольном направлении, которая равна или выше V/F. В этом варианте осуществления, с допустимым запасом, ширина в продольном направлении, которая в пять раз превышает величину перемещения в расчете на кадр (5*V/F), задается в качестве ширины w2 в продольном направлении областей 44a, 44b обнаружения характерных точек.

[0074] Фиг. 22(a) показывает временное изменение абсолютного значения скорости V транспортного средства. Фиг. 22(b) показывает временное изменение ширины в продольном направлении (5*V/F) областей обнаружения характерных точек. Времена t1-t7 представляют времена, в которые выполняются соответствующие циклы обработки информации. Как показано на фиг. 22(a) и 22(b), ширина в продольном направлении (5*V/F) областей 44a, 44b обнаружения характерных точек увеличивается или уменьшается согласно увеличению или уменьшению абсолютного значения скорости V транспортного средства. В противном случае, может задаваться такая конфигурация, в которой: одно, два или более пороговых значений предоставляются для скорости V транспортного средства заранее; и ширина в продольном направлении (5*V/F) областей обнаружения характерных точек увеличивается или уменьшается пошагово, когда скорость V транспортного средства становится равной или превышающей каждое из пороговых значений.

[0075] ВТОРАЯ МОДИФИКАЦИЯ

Далее, в качестве второй модификации, описывается другой пример способа задания областей обнаружения характерных точек. Как показано на фиг. 23(a), детектор 23 характерных точек может быть выполнен с возможностью задавать поперечную ширину w4 и ширину w3 в продольном направлении областей 44a, 44b обнаружения характерных точек в зависимости от скорости γ в поперечном направлении и скорости V транспортного средства в случае, если световые пятна в качестве световых лучей 41a с предварительно установленным шаблоном проецируются плотно. Например, в случае, если направление 51 перемещения транспортного средства 10 направлено вперед и вправо по диагонали, детектор 23 характерных точек увеличивает поперечную ширину w3 областей 44a, 44b обнаружения характерных точек до (5*Lγ/F) и увеличивает ширину в продольном направлении w4 областей 40c обнаружения характерных точек до (5*V/F), как показано на фиг. 23(b).

[0076] ПРЕИМУЩЕСТВА ВТОРОГО ВАРИАНТА ОСУЩЕСТВЛЕНИЯ

Устройство вычисления собственной позиции по второму варианту осуществления задает области 44a, 44b обнаружения характерных точек около области 41b световых лучей с предварительно установленным шаблоном, включающей в себя световые лучи 41a с предварительно установленным шаблоном, и обнаружение характерных точек выполняется в областях 44a, 44b обнаружения характерных точек. В силу этого, устройство вычисления собственной позиции допускает точное обнаружение характерных точек при различении характерных точек от световых лучей 41a с предварительно установленным шаблоном и, соответственно, точное обнаружение собственной позиции транспортного средства.

[0077] Помимо этого, означенное устройство вычисления собственной позиции задает области 44a, 44b обнаружения характерных точек слева и справа (в направлении ширины транспортного средства) от области 41b световых лучей с предварительно установленным шаблоном, включающей в себя световые лучи 41a с предварительно установленным шаблоном, и обнаружение характерных точек выполняется в областях 44a, 44b обнаружения характерных точек. В силу этого, устройство вычисления собственной позиции допускает обнаружение характерных точек, которые легко ассоциированы между предыдущим и текущим кадрами.

[0078] Кроме того, означенное устройство вычисления собственной позиции увеличивает поперечную ширину w1 областей 44a, 44b обнаружения характерных точек в зависимости от скорости в поперечном направлении, обнаруженной посредством детектора 14 поведения транспортного средства. В силу этого, устройство вычисления собственной позиции допускает эффективное обнаружение характерных точек, которые могут быть ассоциированы между предыдущим и текущим кадрами, независимо от того, как перемещается транспортное средство 10.

[0079] Кроме того, означенное устройство вычисления собственной позиции увеличивает ширину w2 в продольном направлении областей 44a, 44b обнаружения характерных точек в зависимости от скорости V транспортного средства, обнаруженной посредством детектора 14 поведения транспортного средства. В силу этого, устройство вычисления собственной позиции допускает эффективное обнаружение характерных точек, которые могут быть ассоциированы между предыдущим и текущим кадрами, независимо от того, как перемещается транспортное средство 10.

[0080] ДРУГИЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ

Хотя контент настоящего изобретения описан на основе первого и второго вариантов осуществления, настоящее изобретение не ограничено тем, что описано выше. Специалистам в данной области техники должно быть очевидным, что настоящее изобретение может быть модифицировано и улучшено различными способами.

СПИСОК НОМЕРОВ ССЫЛОК

[0081] 10 – транспортное средство

11 – световой проектор

12 – камера (модуль захвата изображений)

13 – ECU

14 – детектор поведения транспортного средства

21 – модуль извлечения световых лучей с предварительно установленным шаблоном

22 – модуль вычисления угла ориентации

23 – детектор характерных точек

24 – модуль вычисления величины изменения ориентации

25 – модуль вычисления собственной позиции

26 – контроллер световых лучей с предварительно установленным шаблоном

30 – область захвата изображений

31 – поверхность дороги

32a, 32b, 40a, 41a, 42a – световой луч с предварительно установленным шаблоном

40b, 41b, 42b – область световых лучей с предварительно установленным шаблоном

40c, 41c, 43a, 43b, 43c, 43d, 44a, 44b – область обнаружения характерных точек

Te – характерная точка

Claims

1. Устройство вычисления собственной позиции, содержащее:

- световой проектор, выполненный с возможностью проецировать световой луч с предварительно установленным шаблоном на поверхность дороги вокруг транспортного средства;

- модуль захвата изображений, установленный в транспортном средстве и выполненный с возможностью захватывать и получать изображение поверхности дороги вокруг транспортного средства, покрывающее область проецируемого светового луча с предварительно установленным шаблоном;

- модуль вычисления угла ориентации, выполненный с возможностью вычислять угол ориентации транспортного средства относительно поверхности дороги из позиции светового луча с предварительно установленным шаблоном в изображении, полученном посредством модуля захвата изображений;

- детектор характерных точек, выполненный с возможностью задавать область обнаружения характерных точек, окружающую область проецируемого светового луча с предварительно установленным шаблоном в изображении, полученном посредством модуля захвата изображений, и обнаруживать множество характерных точек на поверхности дороги в области обнаружения характерных точек;

- модуль вычисления величины изменения ориентации, выполненный с возможностью вычислять величину изменения ориентации транспортного средства на основе временных изменений множества характерных точек на поверхности дороги; и

- модуль вычисления собственной позиции, выполненный с возможностью вычислять текущую позицию и текущий угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства относительно поверхности дороги.

2. Устройство вычисления собственной позиции по п. 1, в котором:

- световой луч с предварительно установленным шаблоном включает в себя множество световых пятен, и

- детектор характерных точек задает область обнаружения характерных точек, окружающую области проецируемых световых пятен.

3. Устройство вычисления собственной позиции по п. 1 или 2, в котором детектор характерных точек задает область обнаружения характерных точек рядом с областью проецируемого светового луча с предварительно установленным шаблоном в направлении ширины транспортного средства.

4. Устройство вычисления собственной позиции по п. 1 или 2, в котором детектор характерных точек расширяет область обнаружения характерных точек в направлении ширины транспортного средства, в зависимости от скорости в поперечном направлении транспортного средства.

5. Устройство вычисления собственной позиции по п. 1 или 2, в котором детектор характерных точек расширяет область обнаружения характерных точек в продольном направлении транспортного средства, в зависимости от скорости транспортного средства.

6. Способ вычисления собственной позиции, содержащий этапы, на которых:

- инструктируют световому проектору, установленному в транспортном средстве, проецировать световой луч с предварительно установленным шаблоном на поверхность дороги вокруг транспортного средства;

- инструктируют модулю захвата изображений, установленному в транспортном средстве, захватывать и получать изображение поверхности дороги вокруг транспортного средства, покрывающее область проецируемого светового луча с предварительно установленным шаблоном;

- инструктируют модулю управления транспортного средства вычислять угол ориентации транспортного средства относительно поверхности дороги из позиции светового луча с предварительно установленным шаблоном в полученном изображении;

- инструктируют модулю управления задавать область обнаружения характерных точек, окружающую область, на которую проецируется световой луч с предварительно установленным шаблоном в полученном изображении, и обнаруживать множество характерных точек на поверхности дороги в области обнаружения характерных точек;

- инструктируют модулю управления вычислять величину изменения ориентации транспортного средства на основе временных изменений множества характерных точек на поверхности дороги; и

- инструктируют модулю управления вычислять текущую позицию и текущий угол ориентации транспортного средства посредством суммирования величины изменения ориентации с начальной позицией и начальным углом ориентации транспортного средства относительно поверхности дороги.