RU2016103197A - Система и способ моделирования и калибровки устройства формирования изображения - Google Patents

Claims (85)

1. Реализуемый в компьютере способ моделирования устройства формирования изображения для использования при калибровке и коррекции изображений, содержащий этапы, на которых:

определяют первую трехмерную ортогональную систему координат, имеющую начало координат, расположенное в точке фокусирования устройства формирования изображения, причем первая ось первой системы координат проходит вдоль направления линии визирования устройства формирования изображения;

определяют вторую трехмерную ортогональную систему координат, имеющую начало координат, расположенное на единичном расстоянии от точки фокусирования, причем первая ось второй системы координат проходит вдоль направления линии визирования, вторая и третья ось второй системы координат по существу параллельны соответственно второй и третьей осям первой системы координат, тем самым вторая и третья оси второй системы координат задают плоскость истинного масштаба, перпендикулярную линии визирования;

определяют третью трехмерную систему координат, имеющую начало координат, расположенное на фокусном расстоянии от точки фокусирования, причем первая ось третьей системы координат проходит вдоль направления линии визирования, а вторая и третья оси третьей системы координат наклонены соответственно под первым и вторым углом относительно ориентации второй и третьей оси второй системы координат, тем самым вторая и третья оси третьей системы координат задают неперпендикулярность плоскости изображения относительно линии визирования;

принимают набор трехмерных координат, связанных с точкой реального трехмерного объекта, снятого устройством формирования изображения;

вычисляют проекцию точки на плоскость истинного масштаба, тем самым получая первый набор плоских координат, и на плоскость изображения, тем самым получая второй набор плоских координат; и

выводят второй набор плоских координат, указывающих местоположение точки изображения, соответствующей точке трехмерного объекта.

2. Способ по п. 1, в котором вторая система координат задана так, что плоскость истинного масштаба устанавливает вход в систему объектива устройства формирования изображения, а проекция на плоскость истинного масштаба выражает выход из внешней модели устройства формирования изображения, а третья система координат задана так, что плоскость изображения устанавливает выход для системы объектива, а проекция на плоскость изображения выражает выход из внутренней модели устройства формирования изображения.

3. Способ по п. 1, в котором принятый набор трехмерных координат представляет собой

, и проекция точки трехмерного объекта на плоскость истинного масштаба рассчитывается по формуле:

где знак ≈ представляет собой эквивалентный оператор масштабирования, a P₁ задает операцию проецирования на плоскость истинного масштаба относительно первой системы координат.

4. Способ по п. 3, в котором проекция точки трехмерного объекта на плоскость изображения рассчитывается по формуле:

,

где

задает операцию проецирования на плоскость изображения,

- фокусное расстояние, α - первый угол, β - второй угол, R (х, α) - матрица поворота на угол α относительно оси х плоскости изображения, причем ось х задана по существу параллельной второй оси второй системы координат перед выполнением поворота на угол α, R (y, β) - матрица поворота на угол β относительно оси y плоскости изображения, причем ось y задана по существу параллельной третьей оси второй системы координат перед выполнением поворота на угол β, поворот на угол α рассчитывают в самом правом положении, так что поворот на угол β выполняют относительно оси х, повернутой на угол α, и где

h₁₁=cosβ,

h12=sinβsinα,

h13=sinβcosα,

h22=cosα,

h23=-sinα,

h31=-sinβ,

h32=cosβsinα, и

h33=cosβcosα.

5. Способ по n. 4, дополнительно содержащий этап, на котором определяют гомографию Н между плоскостью истинного масштаба и плоскостью изображения по формуле:

, где h₃₁ и h₃₂ - ненулевые элементы, применяющие коррекцию перспективы для масштабов х и y в плоскости изображения, и второй набор плоских координат (хʺ, yʺ) представляет собой гомографическое преобразование искаженного положения (х', y') изображения точки на плоскости истинного масштаба, причем гомографическое преобразование выражается следующей формулой:

где

w=-sinβх'+cosβsinαy'+cosβcosα,

хʺ=u/w+С_X, и

yʺ=v/w+C_Y, где (C_X, C_Y) представляет положение начала третьей системы координат.

6. Способ по п. 5, в котором гомография Н определена формулой:

,

где аппроксимация cosθ~1 и sinθ~θ используется для малых углов α и β.

7. Способ по п. 1, дополнительно содержащий этап, на котором компенсируют искажение объектива устройства формирования изображения в плоскости истинного масштаба, причем компенсация содержит этап, на котором: применяют модель искажения объектива, задаваемую формулой:

r'=r+k₁r³+k₂r⁵+…,

где первый набор плоских координат содержит положение (х, y) без искажений для изображения точки на плоскости истинного масштаба, выраженной в полярных координатах (r, θ), где r²=х²+y² и tgθ=y/х, (х', y') представляет искаженное положение (х, y) на выходе объектива перед проекцией точки на плоскость изображения, r' представляет собой искаженное радиальное расстояние, рассчитанное на основе (х', y'), a k₁ и k₂ представляют собой параметры геометрических искажений объектива.

8. Система для моделирования устройства формирования изображения для использования при калибровке и коррекции изображения, содержащая:

запоминающее устройство;

процессор; и

по меньшей мере одно приложение, хранящееся в запоминающем устройстве и исполняемое процессором для

определения первой трехмерной ортогональной системы координат, имеющей начало координат, расположенное в точке фокусирования устройства формирования изображения, причем первая ось первой системы координат проходит вдоль направления линии визирования устройства формирования изображения;

определения второй трехмерной ортогональной системы координат, имеющей начало координат, расположенное на единичном расстоянии от точки фокусирования, причем первая ось второй системы координат проходит вдоль направления линии визирования, вторая и третья оси второй системы координат по существу параллельны соответственно второй и третьей оси первой системы координат, тем самым вторая и третья оси второй системы координат задают плоскость истинного масштаба, перпендикулярную линии визирования;

определения третьей трехмерной системы координат, имеющей начало координат, расположенное на фокусном расстоянии от точки фокусирования, причем первая ось третьей системы координат проходит вдоль направления линии визирования, вторая и третья оси третьей системы координат наклонены соответственно под первым и вторым углом относительно ориентации второй и третьей оси второй системы координат, тем самым вторую и третью оси третьей системы координат задают неперпендикулярность плоскости изображения относительно линии визирования;

приема набора трехмерных координат, связанных с точкой реального трехмерного объекта, снятого устройством формирования изображения;

вычисления проекции точки на плоскость истинного масштаба, тем самым получая первый набор плоских координат, и на плоскость изображения, тем самым получая второй набор плоских координат; и

вывода второго набора плоских координат, указывающих местоположение точки изображения, соответствующее точке трехмерного объекта.

9. Система по п. 8, в которой указанное по меньшей мере одно приложение выполнено с возможностью выполнения процессором для определения второй системы координат так, что плоскость истинного масштаба устанавливает вход в систему объектива устройства формирования изображения, а проекция на плоскость истинного масштаба выражает выход из внешней модели устройства формирования изображения, и определения третьей системы координат так, что плоскость изображения устанавливает выход для системы объектива, а проекция на плоскость формирования изображения выражает выход из внутренней модели устройства формирования изображения.

10. Система по п. 8, в которой указанное по меньшей мере одно приложение выполнено с возможностью выполнения процессором для приема набора трехмерных координат в виде

и расчета проекции точки трехмерного объекта на плоскость истинного масштаба по формуле:

где ≈ представляет собой эквивалентный оператор масштабирования, и P₁ задает операцию проецирования на плоскость истинного масштаба относительно первой системы координат.

11. Система по п. 10, в которой указанное по меньшей мере одно приложение выполнено с возможностью выполнения процессором для расчета проекции точки трехмерного объекта на плоскость формирования изображения по формуле:

,

где

определяет операцию проецирования на плоскость изображения,

- фокусное расстояние, α - первый угол, β - второй угол, R (х, α) - матрица поворота на угол α относительно оси х плоскости изображения, причем ось х определена как по существу параллельная второй оси второй системы координат перед выполнением поворота на угол α, R (y, β) - матрица поворота на угол β относительно оси y плоскости изображения, причем ось y определена как по существу параллельная третьей оси второй системы координат перед выполнением поворота на угол β, поворот на угол α рассчитан в крайнем правом положении, так что поворот на угол β выполняется относительно оси х, повернутой на угол α, и где

h11=cosβ,

h12=sinβsinα,

h13=sinβcosα,

h22=cosα,

h23=-sinα,

h31=-sinβ,

h32=cosβsinα, и

h33=cosβcosα.

12. Система по n. 11, в которой указанное по меньшей мере одно приложение выполнено с возможностью выполнения процессором для определения гомографии Н между плоскостью истинного масштаба и плоскостью изображения по формуле:

, где h31 и h32 представляют собой ненулевые элементы,

применяющие коррекцию перспективы для масштабов х и y в плоскости изображения, а второй набор плоских координат (хʺ, yʺ) представляют собой гомографическое преобразование искаженного положения (х', y') изображения точки плоскости истинного масштаба, причем гомографическое преобразование выражено следующей формулой:

9

где

w=-sinβх'+cosβsinαy'+cosβcosα,

хʺ=u/w+C_X, и

yʺ=v/w+C_Y, где (C_X, C_Y) - положение начала координат для третьей системы координат.

13. Система по п. 12, в которой указанное по меньшей мере одно приложение исполняется процессором для определения гомографии Н по формуле:

,

где аппроксимация cosθ~1 и sinθ~θ используется для малых углов α и β.

14. Система по п. 1, в которой указанное по меньшей мере одно приложение выполнено с возможностью выполнения процессором для компенсации искажений объектива устройства формирования изображения в плоскости истинного масштаба, при этом компенсация содержит применение модели искажений объектива, определяемой формулой:

r'=r+k₁r³+k₂r⁵+…,

где первый набор плоских координат содержит неискаженное положение (х, y) изображения точки на плоскости истинного масштаба, которое выражено в полярных координатах (r, θ), при r²=х²+y², и tgθ=y/х, (х', y') - искаженное положение (х, y) на выходе объектива перед проекцией точки на плоскость изображения, r' - искаженное радиальное расстояние, рассчитанное на основе (х', y'), а k₁ и k₂ - параметры геометрического искажения объектива.

15. Система по п. 8, в которой устройство формирования изображения содержит одно устройство из камеры с объективом с переменным фокусным расстоянием, устройства формирования изображения в близком инфракрасном свете, устройства формирования изображения в коротковолновом инфракрасном свете, устройства

формирования изображения в длинноволновом инфракрасном свете, радарного устройства, устройства детектирования и ранжирования света, формирователя изображения в виде телескопа с параболическим зеркалом, хирургической эндоскопической камеры, устройства сканирования для компьютерной томографии, спутникового устройства формирования изображения, сонарного устройства и многоспектральной системы с множеством различных датчиков.

16. Считываемый компьютером носитель информации, на котором содержится программный код, исполняемый процессором, для моделирования устройства формирования изображения для использования при калибровке и коррекции изображения, причем программный код исполняется для:

определения первой трехмерной ортогональной системы координат, имеющей начало координат, расположенное в точке фокусирования устройства формирования изображения, причем первая ось первой системы координат проходит вдоль направления линии визирования устройства формирования изображения;

определения второй трехмерной ортогональной системы координат, имеющей начало координат, расположенное на единичном расстоянии от точки фокусирования, причем первая ось второй системы координат проходит вдоль направления линии визирования, а вторая и третья оси второй системы координат по существу параллельны соответственно второй и третьей осям первой системы координат, тем самым вторая и третья оси второй системы координат задают плоскость истинного масштаба, перпендикулярную линии визирования;

определения третьей трехмерной системы координат, имеющей начало координат, расположенное на фокусном расстоянии от точки фокусирования, причем первая ось третьей системы координат проходит вдоль направления линии визирования, вторая и третья оси третьей системы координат наклонены соответственно на первый и второй угол относительно ориентации второй и третьей осей второй системы координат, тем самым вторая и третья оси третьей системы координат образуют неперпендикулярность плоскости изображения относительно линии визирования;

приема набора трехмерных координат, связанных с точкой трехмерного объекта реального мира, снятого устройством формирования изображения;

вычисления проекции точки на плоскость истинного масштаба, тем самым получая первый набор плоских координат, и на плоскость изображения, тем самым получая второй набор плоских координат; и

вывода второго набора плоских координат, указывающих местоположение точки изображения, соответствующей точке трехмерного объекта.