RU2734387C1 - System and method of initial exposure by optical flow method for strapdown inertial navigation of coal mining machine - Google Patents

System and method of initial exposure by optical flow method for strapdown inertial navigation of coal mining machine Download PDF

Info

Publication number
RU2734387C1
RU2734387C1 RU2020108319A RU2020108319A RU2734387C1 RU 2734387 C1 RU2734387 C1 RU 2734387C1 RU 2020108319 A RU2020108319 A RU 2020108319A RU 2020108319 A RU2020108319 A RU 2020108319A RU 2734387 C1 RU2734387 C1 RU 2734387C1
Authority
RU
Russia
Prior art keywords
inertial navigation
coal
navigation system
optical flow
strapdown inertial
Prior art date
Application number
RU2020108319A
Other languages
Russian (ru)
Inventor
Вэй Ли
Юймин ЧЭНЬ
Юйцяо ВАН
Сюэфэн ЯН
Мэнбао ФАНЬ
Цзиньюн ЦЗЮЙ
Энь ЛУ
Ляньчао ШЭН
Чао ВАН
Тин СЯ
Original Assignee
Чайна Юниверсити Оф Майнинг Энд Текнолоджи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Чайна Юниверсити Оф Майнинг Энд Текнолоджи filed Critical Чайна Юниверсити Оф Майнинг Энд Текнолоджи
Application granted granted Critical
Publication of RU2734387C1 publication Critical patent/RU2734387C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)

Abstract

FIELD: optics.
SUBSTANCE: present invention relates to a system and method of initial display of platform-free inertial navigation of coal mining machine by optical flow method. System includes explosion-proof box, strap-free inertial navigation system, processor, fixed support and video camera. Explosion-proof box is rigidly mounted on combine body, strapdown inertial navigation system and processor are installed inside explosion-proof box. Video camera is fixed on hydraulic support on one side of coal mining machine by means of fixed support, and during shooting video camera is directed towards combine. Video camera records coal-mining machine movement pattern, and in combination with optical flow technology, direction of movement and actual speed relative to coal mining machine ground are obtained. Equation of specific force of inertial navigation is used to derive equation of multivector orientation determination. At the end with the help of the Wahba optimum matrix the matrix of the initial position of the strap-free inertial navigation system can be solved, and thus the initial exhibition of the strap-down inertial navigation system is realized.
EFFECT: present invention achieves accurate initial exhibition of movable base of strap-down inertial navigation system with assistance of external speed factor and does not require coarse levelling.
7 cl, 4 dwg

Description

Область техникиTechnology area

Настоящее изобретение относится к системам и способам для начальной выставки угледобывающих комбайнов, в частности, к устройству и способу начальной выставки для бесплатформенной инерциальной навигации угледобывающего комбайна с использованием метода оптического потока.The present invention relates to systems and methods for an initial display of coal miners, in particular to an initial display apparatus and method for strapdown inertial navigation of a coal miner using an optical flow method.

Уровень техникиState of the art

На сегодняшний день уголь является наиболее распространенным энергетическим ресурсом в мире, который всегда доминировал в мировой энергетической системе. Уголь является основным источником энергии и сырьем национальной экономики Китая, занимает около 70% первичных энергоресурсов. Хотя в последние годы правительство Китая призывает к экономии энергоресурсов и уменьшению выбросов, поощряет разработку новых источников энергии, но энергетическая структура, основанная на угле, все же играет важную роль в производственно-экономической деятельности государства. Поэтому, здоровое и стабильное развитие угольной промышленности имеет большое значение для энергетической стабильности и экономического развития Китая.Today, coal is the most abundant energy resource in the world and has always dominated the global energy system. Coal is the main source of energy and raw material for the national economy of China, accounting for about 70% of primary energy resources. Although in recent years, the Chinese government has called for energy conservation and emission reductions, and encouraged the development of new energy sources, the coal-based energy structure still plays an important role in the country's production and economic activities. Therefore, the healthy and stable development of the coal industry is of great importance for the energy stability and economic development of China.

Для осуществления связи «трех машин» в горных работах имеет большое значение точное определение пространственного положения и ориентации угледобывающего комбайна, а именно динамическое позиционирование угледобывающего комбайна. С целью реализации контроля положения и ориентации угледобывающего комбайна, некоторые исследователи предложили метод инерциальной навигации угледобывающего комбайна. Бесплатформенная инерциальная навигационная система характеризуется тем, что гироскоп и акселерометр непосредственно закреплены на носителе, и измерение трехосной угловой скорости и трехосного ускорения движущегося носителя осуществляется в реальном времени посредством таких инерциально чувствительных элементов, как гироскоп и акселерометр, и посредством высокоскоростной интеграции в сочетании с начальной информацией об инерции движущегося носителя обеспечивается получение навигационных данных, таких как пространственное положение, скорость и ориентация движущегося носителя. Во время работы бесплатформенная инерциальная навигационная система не опирается на внешние данные, не излучает энергию во внешнюю среду и не восприимчива к помехам и повреждению. Она представляет собой автономную навигационную систему и обладает такими преимуществами, как высокая скорость обновления данных, полнота данных и высокая точность краткосрочного позиционирования. Данный способ осуществляет точную начальную выставку подвижного основания бесплатформенной инерциальной навигационной системы при помощи внешней скорости и не требует этапа грубой выставки.For the communication of the “three machines” in mining operations, it is of great importance to accurately determine the spatial position and orientation of the coal miner, namely, the dynamic positioning of the coal miner. In order to control the position and orientation of a coal miner, some researchers have proposed a method of inertial navigation of a coal miner. A strapdown inertial navigation system is characterized by the fact that the gyroscope and accelerometer are directly attached to the carrier, and the triaxial angular velocity and triaxial acceleration of the moving carrier are measured in real time by means of inertial sensitive elements such as a gyroscope and accelerometer, and through high-speed integration in combination with initial information. on the inertia of the moving medium, navigation data such as the attitude, speed and orientation of the moving medium are obtained. During operation, the strapdown inertial navigation system does not rely on external data, does not emit energy into the external environment, and is not susceptible to interference and damage. It is an autonomous navigation system and has such advantages as high data update rate, data completeness and high short-term positioning accuracy. This method realizes an accurate initial alignment of the movable base of the strapdown inertial navigation system using an external speed and does not require a rough alignment stage.

Перед началом работы инерциальная навигационная система сначала инициализирует навигационные данные, при этом процесс получения данных об исходной ориентации называется начальной выставкой. Однако, поскольку в процессе работы угледобывающий комбайн легко подвержен помехам при встряхивании корпуса комбайна, то исходное определение гироскопом угловой скорости вращения Земли легко маскируется угловой скоростью движения корпуса, поэтому обычный аналитический способ дает слишком большую погрешность и даже непригоден для начальной выставки, тогда как начальная выставка, основанная на инерциальной системе координат, обеспечивает лучшую помехоустойчивость при угловом встряхивании.Before starting operation, the inertial navigation system first initializes the navigation data, and the process of obtaining the initial attitude data is called the initial alignment. However, since in the process of operation the coal miner is easily susceptible to interference when shaking the body of the harvester, the initial determination by the gyroscope of the angular velocity of the Earth's rotation is easily masked by the angular velocity of the movement of the body, therefore the usual analytical method gives too much error and is even unsuitable for the initial exhibition, whereas the initial exhibition based on an inertial coordinate system, provides better noise immunity when angled shaking.

Для использования алгоритма начальной выставки, основанного на инерциальной системе координат, требуется вектор скорости угледобывающего комбайна на поверхности земли. Среди традиционных алгоритмов измерения скорости по видеокадрам имеются метод вычитания фона, метод межкадровой разности, метод оптического потока и д т.д. При этом метод вычитания фона не может хорошо адаптироваться к изменению сцен. Метод межкадровой разности не способен полностью извлечь состояние всех соответствующих характерных точек, и, таким образом, получается нечистое фоновое изображение, приводящее к неточным результатам измерений, что не способствует анализу целей и измерению скорости.To use the initial alignment algorithm based on the inertial coordinate system, the speed vector of the coal miner at the surface of the earth is required. Among the traditional algorithms for measuring the rate of video frames are the background subtraction method, the interframe difference method, the optical flow method, etc. However, the background subtraction method cannot adapt well to changing scenes. The interframe difference method is not able to fully extract the state of all the relevant feature points, and thus an impure background image is obtained, leading to inaccurate measurements, which is not conducive to target analysis and speed measurement.

Краткое описание изобретенияBrief description of the invention

Ввиду вышеупомянутых проблем существующего уровня техники, настоящее изобретение предлагает систему и способ начальной выставки по методу оптического потока бесплатформенной инерциальной навигационной системы угледобывающего комбайна, которые не требуют этапа грубой выставки и улучшают корректировку погрешности точной начальной выставки подвижного основания угледобывающего комбайна и обеспечивают достижение точной выставки подвижного основания бесплатформенной инерциальной навигационной системы.In view of the aforementioned problems of the prior art, the present invention provides a system and method for the optical flow initial alignment of a strapdown inertial navigation system of a coal miner that does not require a rough alignment step and improves the error correction of the exact initial alignment of the coal miner mobile base and achieves an accurate alignment of the mobile base. strapdown inertial navigation system.

Для осуществления указанных целей согласно настоящему изобретению система начальной выставки по методу оптического потока для бесплатформенной инерциальной навигации угледобывающего комбайна включает в себя взрывозащищенную коробку, бесплатформенную инерциальную навигационную систему, процессор, неподвижную опору и видеокамеру, причем указанная взрывозащищенная коробка установлена на корпусе угледобывающего комбайна, бесплатформенная инерциальная навигационная система и процессор установлены внутри взрывозащищенной коробки, а указанная видеокамера камера закреплена на гидравлической крепи с одной стороны угледобывающего комбайна с помощью неподвижной опоры так, что во время съемки камера направлена в сторону угледобывающего комбайна.To achieve these goals, according to the present invention, the optical flow initial exhibition system for strapdown inertial navigation of a coal mining combine includes an explosion-proof box, a strapdown inertial navigation system, a processor, a fixed support and a video camera, and said explosion-proof box is installed on the body of a coal mining combine, strapdown inertial navigation system the navigation system and the processor are installed inside the explosion-proof box, and the specified video camera is mounted on a hydraulic support on one side of the coal mining harvester with a fixed support so that during shooting the camera is directed towards the coal mining harvester.

В варианте реализации настоящего изобретения указанный процессор содержит модуль микропроцессорной обработки, модуль связи, модуль сигнализации, модуль хранения данных, разделительную цепь и модуль энергоснабжения. Модуль микропроцессорной обработки подключен, соответственно, к модулю связи, модулю сигнализации, модулю хранения данных, разделительной цепи и модулю энергоснабжения.In an embodiment of the present invention, said processor comprises a microprocessor processing module, a communication module, an alarm module, a data storage module, a dividing circuit, and a power supply module. The microprocessor processing module is connected to a communication module, an alarm module, a data storage module, a dividing circuit and a power supply module, respectively.

Далее, в указанном процессоре в качестве модуля микропроцессорной обработки может быть использована микросхема DSP, произведенная компанией TI.Further, in the specified processor, a DSP chip manufactured by TI can be used as a microprocessor processing unit.

Далее, в качестве указанной взрывозащищенной коробки может быть использована специальная взрывозащищенная коробка для угольных шахт.Further, as the specified explosion-proof box, a special explosion-proof box for coal mines can be used.

Далее, указанная камера может быть шарнирно соединена с неподвижной опорой.Further, the specified chamber can be pivotally connected to the fixed support.

Далее, в качестве указанной бесплатформенной инерциальной навигационной системы используется лазерная бесплатформенная инерциальная навигационная система, где стабильность случайного дрейфа лазерного гироскопа составляет 0,01°/ч, а стабильность смещения нуля акселерометра составляет 10-5g.Further, as the specified strapdown inertial navigation system, a laser strapdown inertial navigation system is used, where the stability of the random drift of the laser gyroscope is 0.01 ° / h, and the stability of the zero offset of the accelerometer is 10 -5 g.

Способ начальной выставки по методу оптического потока для бесплатформенной инерциальной навигационной системы угледобывающего комбайна согласно изобретению включает следующие этапы:The optical flow initial alignment method for a strapdown inertial navigation system of a coal miner according to the invention comprises the following steps:

а) съемку посредством видеокамеры с частотой 25 кадров в секунду изображений окружающей среды, в которой находится угледобывающий комбайн, и передачу отснятых изображений в процессор;a) filming by means of a video camera at a frequency of 25 frames per second of images of the environment in which the coal mining combine is located, and transferring the captured images to the processor;

б) обработку с помощью процессора с использованием режима градаций серого отснятых изображений по шкале серого, когда при перемещении комбайна в съемочной среде и изменении изображения объекта съемки движение поверхности изображения в режиме градаций серого представляет собой оптический поток, и определение направления движения угледобывающего комбайна согласно связи между полем движения угледобывающего комбайна и полем оптического потока по принципу основного направления движения;b) processing by a processor using the grayscale mode of the captured images on a gray scale, when when the combine moves in the shooting environment and changes the image of the shooting object, the movement of the image surface in the grayscale mode is an optical flow, and the direction of movement of the coal mining machine is determined according to the relationship between the field of movement of the coal-mining combine and the field of optical flow according to the principle of the main direction of movement;

в) вычисление скорости оптического потока движения угледобывающего комбайна на изображении по методу оптического потока Лукаса-Канаде и преобразование расчетной скорости оптического потока на изображении в фактическую скорость угледобывающего комбайна над землей, обозначаемую как νb, для получения данных о скорости в направлении движения угледобывающего комбайна;c) calculating the optical flow rate of the coal miner in the image using the Lucas-Kanade optical flow method and converting the calculated optical flow rate in the image into the actual speed of the coal miner over the ground, denoted as ν b , to obtain speed data in the direction of the coal miner;

г) проецирование посредством уравнения удельных сил бесплатформенной инерциальной навигационной системы информации об удельных силах на инерциальную систему координат для получения данных об изменении направления удельной силы относительно инерциального пространства по мере вращения Земли, при этом уравнение удельных сил является следующим:d) projection, by means of the equation of specific forces of a strapdown inertial navigation system, of information on specific forces onto an inertial coordinate system to obtain data on the change in the direction of specific force relative to inertial space as the Earth rotates, while the equation of specific forces is as follows:

Figure 00000001
Figure 00000001

где

Figure 00000002
- скорость в системе координат корпуса,
Figure 00000003
- проекция угловой скорости вращения Земли в системе координат корпуса, νb(t) - скорость угледобывающего комбайна относительно поверхности,
Figure 00000004
- удельная сила, измеренная акселерометром в системе координат корпуса, gb - гравитационное ускорение в системе координат корпуса;Where
Figure 00000002
- speed in the frame coordinate system,
Figure 00000003
is the projection of the angular velocity of the Earth's rotation in the frame coordinate system, ν b (t) is the speed of the coal-mining combine relative to the surface,
Figure 00000004
is the specific force measured by the accelerometer in the frame coordinates, g b is the gravitational acceleration in the frame coordinates;

затем выведение уравнения определения многовекторной ориентации из уравнения удельных сил бесплатформенной инерциальной навигационной системы в комбинации со скоростью над землей угледобывающего комбайна, полученной на этапе (в):then deriving the equation for determining the multi-vector orientation from the equation of the specific forces of the strapdown inertial navigation system in combination with the speed over the ground of the coal miner obtained at stage (c):

Figure 00000005
Figure 00000005

д) выбор m-ного количества различных моментов интегрирования и построение m-ного количества некомпланарных векторов в трехмерном пространстве:e) choosing the m-th number of different integration moments and constructing the m-th number of non-coplanar vectors in three-dimensional space:

Figure 00000006
Figure 00000006

и в конце решение матрицы исходного положения бесплатформенной инерциальной навигационной системы с использованием оптимальной матрицы Wahba для обеспечения тем самым начальной выставки бесплатформенной инерциальной навигационной системы.and finally solving the strapdown inertial navigation system home position matrix using the Wahba optimal matrix to thereby provide an initial strapdown inertial navigation system exhibition.

В отличие от существующего уровня техники, настоящее изобретение позволяет получить направление движения угледобывающего комбайна и его фактическую скорость относительно земли благодаря видеокамере, установленной на гидравлической крепи, и с использованием технологии оптического потока вывести через уравнение удельных сил бесплатформенной инерциальной навигации уравнение определения многовекторной ориентации и решить матрицу исходного положения бесплатформенной инерциальной навигации с помощью оптимальной матрицы Wahba, чтобы осуществить начальную выставку бесплатформенной инерциальной навигационной системы. Настоящее изобретение позволяет осуществлять точную начальную выставку подвижного основания бесплатформенной инерциальной навигационной системы при помощи данных внешней скорости и без необходимости этапа грубой выставки. Вместе с тем комбинация технологии оптического потока и технологии бесплатформенной инерциальной навигации позволяет дополнительно снизить погрешность угла ориентации угледобывающего комбайна, тем самым улучшить эффект корректировки погрешности для точной начальной выставки угледобывающего комбайна на подвижном основании.In contrast to the existing state of the art, the present invention makes it possible to obtain the direction of movement of a coal mining harvester and its actual speed relative to the ground thanks to a video camera mounted on a hydraulic support, and using optical flow technology, to derive an equation for determining a multi-vector orientation through the equation of specific forces of strapdown inertial navigation and solve the matrix strapdown inertial navigation home position using the Wahba optimal matrix to perform the initial strapdown inertial navigation system exposure. The present invention allows an accurate initial alignment of the strapdown inertial navigation system's movable base using external speed data and without the need for a rough alignment step. However, the combination of optical flow technology and strapdown inertial navigation technology can further reduce the orientation angle error of the coal miner, thereby improving the error correction effect for accurate initial alignment of the coal miner on the moving bed.

Описание чертежейDescription of drawings

Фиг. 1 - конструктивная схема в соответствии с настоящим изобретением;FIG. 1 is a structural diagram in accordance with the present invention;

Фиг. 2 - схема двумерной проекции движения трехмерного тела в одной точке согласно настоящему изобретению;FIG. 2 is a diagram of a two-dimensional projection of the motion of a three-dimensional body at one point according to the present invention;

Фиг. 3 - схема последовательности процесса измерения скорости угледобывающего комбайна в сочетании с методом оптического потока согласно настоящему изобретению;FIG. 3 is a flow diagram of a process for measuring the speed of a coal miner in combination with an optical flow method according to the present invention;

Фигура 4 -схема последовательности процесса начальной выставки бесплатформенной инерциальной навигационной системы согласно настоящему изобретению.Figure 4 is a sequence diagram of an initial alignment process of a strapdown inertial navigation system according to the present invention.

На чертежах приняты следующие обозначения: 1 - угледобывающий комбайн; 2 -взрывозащищенная коробка; 3 - бесплатформенная инерциальная навигационная система; 4 - процессор; 5 - гидравлическая крепь; 6 - неподвижная опора; 7 - видеокамера.The following designations are adopted in the drawings: 1 - coal-mining combine; 2 - explosion-proof box; 3 - strapdown inertial navigation system; 4 - processor; 5 - hydraulic support; 6 - fixed support; 7 - video camera.

Подробное описание изобретенияDetailed description of the invention

Ниже приводится подробное описание настоящего изобретения.The following is a detailed description of the present invention.

Как показано на чертеже Фиг. 1, система начальной выставки по методу оптического потока для бесплатформенной инерциальной навигации угледобывающего комбайна включает в себя взрывозащищенную коробку 2, бесплатформенную инерциальную навигационную систему 3, процессор 4, неподвижную опору 6 и видеокамеру 7. Указанная взрывозащищенная коробка 2 неподвижно установлена на корпусе угледобывающего комбайна 1, бесплатформенная инерциальная навигационная система 3 и процессор 4 установлены внутри взрывозащищенной коробки 2, видеокамера 7 закреплена на гидравлической крепи 5 с одной стороны угледобывающего комбайна 1 с помощью неподвижной опоры 6, причем во время съемки камера 7 обращена в сторону угледобывающего комбайна 1.As shown in FIG. 1, the initial exhibition system using the optical flow method for strapdown inertial navigation of a coal mining harvester includes an explosion-proof box 2, a strapdown inertial navigation system 3, a processor 4, a fixed support 6 and a video camera 7. The specified explosion-proof box 2 is fixedly mounted on the body of the coal mining harvester 1, the strapdown inertial navigation system 3 and the processor 4 are installed inside the explosion-proof box 2, the video camera 7 is fixed on the hydraulic support 5 on one side of the coal mining harvester 1 using a fixed support 6, and during the shooting, the camera 7 is directed towards the coal mining harvester 1.

В варианте реализации изобретения процессор 4 содержит модуль микропроцессорной обработки, модуль связи, модуль сигнализации, модуль хранения данных, разделительную цепь и модуль энергоснабжения. Модуль микропроцессорной обработки подключен к модулю связи, модулю сигнализации, модулю хранения данных, разделительной цепи и модулю энергоснабжения, соответственно.In an embodiment of the invention, the processor 4 comprises a microprocessor processing module, a communication module, an alarm module, a data storage module, a dividing circuit, and a power supply module. The microprocessor processing module is connected to a communication module, an alarm module, a data storage module, a dividing circuit, and a power supply module, respectively.

Далее, в процессоре 4 в качестве модуля микропроцессорной обработки используется микросхема DSP, произведенная компанией TI. Микросхема DSP предназначена для сбора и обработки данных, собранных бесплатформенной инерциальной навигационной системой и видеокамерой.Further, the processor 4 uses a DSP chip manufactured by TI as a microprocessor processing unit. The DSP microcircuit is designed to collect and process data collected by a strapdown inertial navigation system and a video camera.

Далее, в качестве взрывозащищенной коробки используется специальная взрывозащищенная коробка для угольных шахт.Further, a special explosion-proof box for coal mines is used as an explosion-proof box.

Далее, видеокамера 7 соединяется с неподвижной опорой 6 с помощью шарнира. Данный способ соединения позволяет камере 7 осуществлять 360-градусное вращение вокруг неподвижной опоры 6.Further, the video camera 7 is connected to the fixed support 6 by means of a hinge. This connection method allows the camera 7 to perform 360-degree rotation around the fixed support 6.

Далее, в качестве бесплатформенной инерциальной навигационной системы 3 используется лазерная бесплатформенная инерциальная навигационная система, у которой стабильность случайного смещения лазерного гироскопа составляет 0,01°/ч, а стабильность смещения нуля акселерометра составляет 10-5g.Further, as a strapdown inertial navigation system 3, a laser strapdown inertial navigation system is used, in which the stability of the random displacement of the laser gyroscope is 0.01 ° / h, and the stability of the zero offset of the accelerometer is 10 -5 g.

Способ начальной выставки по методу оптического потока для бесплатформенной инерциальной навигационной системы угледобывающего комбайна согласно изобретению заключается в следующем.The optical flow initial alignment method for the strapdown inertial navigation system of a coal miner according to the invention is as follows.

Видеокамера 7 снимает изображение окружающей среды, в которой находится угледобывающий комбайн 1, с частотой 25 кадров в секунду и передает отснятые изображения в процессор 4.The video camera 7 takes an image of the environment in which the coal miner 1 is located at a rate of 25 frames per second and transmits the captured images to the processor 4.

Процессор 4, используя режим градаций серого, выполняет обработку отснятых изображений по шкале серого. Когда угледобывающий комбайн 1 перемещается в съемочной среде, изменяется изображение объекта съемки и поверхностное движение на изображении в режиме градаций серого представляет собой оптический поток. Оптический поток в каждой точке изображения образует поле оптического потока. Поле оптического потока представляет собой мгновенное двумерное поле скоростей, где вектор двумерного поля скоростей является проекцией трехмерного вектора скорости видимой точки в сцене на поверхности полученного изображения. Если задать один вектор скорости каждому пикселю на изображении, то образуется поле движения изображения. В определенный момент движения, некоторой точке pi на изображении соответствует некоторая точка p0 на угледобывающем комбайне, такую соотносительную связь можно получить через уравнение проекции. При перспективном проецировании линия, соединяющая точку на изображении и соответствующую точку объекта, проходит через оптический центр и называется прямой соединения точки изображения (точечным лучом), как показано на Фиг. 2.The processor 4, using the grayscale mode, processes the captured images in grayscale. When the coal miner 1 moves in the shooting environment, the image of the subject changes and the surface movement in the grayscale image is the optical flow. The optical flow at each point of the image forms an optical flow field. The optical flow field is an instantaneous two-dimensional velocity field, where the vector of the two-dimensional velocity field is the projection of the three-dimensional velocity vector of a visible point in the scene on the surface of the resulting image. If you set one velocity vector for each pixel in the image, then the image movement field is formed. At a certain moment of movement, a certain point p i on the image corresponds to a certain point p 0 on a coal miner, such a relational relationship can be obtained through the projection equation. In perspective projection, the line connecting a point in the image and the corresponding point of the object passes through the optical center and is called the direct connection of the image point (point ray), as shown in FIG. 2.

Реляционная модель данных выглядит следующим образом: предположим, что точка p0 на объекте обладает скоростью ν0 относительно камеры, так что соответствующая точка проекции pi на плоскости изображения обладает скоростью νi. При интервале времени δt точка p0 переместилась на νiδt. Скорость выражается следующей формулой:The relational data model looks as follows: assume that the point p 0 on the object has a speed ν 0 relative to the camera, so that the corresponding projection point p i on the image plane has a speed ν i . For the time interval δt, the point p 0 moved to ν i δt. The speed is expressed by the following formula:

Figure 00000007
Figure 00000007

где кинематическое соотношение между r0 и ri выглядит следующим образом:where the kinematic relationship between r 0 and r i is as follows:

Figure 00000008
Figure 00000008

где ƒ - фокусное расстояние объектива, z - расстояние от центра объектива до цели. Векторное соотношение скоростей, как показано в формуле (3), заданное для каждого пикселя, получается по формуле (2) и формуле (1), и эти векторы образуют поле движения.where ƒ is the focal length of the lens, z is the distance from the center of the lens to the target. The vector ratio of velocities, as shown in the formula (3), given for each pixel, is obtained by the formula (2) and the formula (1), and these vectors form the motion field.

Figure 00000009
Figure 00000009

Из формулы (3) можно получить зависимость между скоростью движения трехмерного объекта и скоростью проекции на плоскость изображения.From formula (3), it is possible to obtain the relationship between the speed of motion of a three-dimensional object and the speed of projection onto the image plane.

Согласно зависимости между полем движения угледобывающего комбайна 1 и полем оптического потока, на основе принципа основного направления движения определяется направление перемещения угледобывающего комбайна 1.According to the relationship between the field of movement of the coal-mining combine 1 and the field of the optical flow, on the basis of the principle of the main direction of movement, the direction of movement of the coal-mining combine 1 is determined.

Посредством метода оптического потока Лукаса-Канаде вычисляется скорость оптического потока каждой точки на изображении в горизонтальном и вертикальном направлениях, также вычисляются средние значения скоростей оптического потока этих характерных точек в горизонтальном и вертикальном направлениях, u и ν, соответственно. Формула расчета выглядит следующим образом:The Lucas-Kanade optical flow method calculates the optical flow rate of each point in the image in the horizontal and vertical directions, and also calculates the average values of the optical flow rates of these characteristic points in the horizontal and vertical directions, u and ν, respectively. The calculation formula is as follows:

Figure 00000010
Figure 00000010

Таким образом, можно получить макроскопическую скорость I=vi оптического потока объекта движения, и формула расчета представляет собой:Thus, it is possible to obtain the macroscopic velocity I = v i of the optical flow of the object of movement, and the calculation formula is:

Figure 00000011
Figure 00000011

Согласно формуле (3) скорость, выраженную в пикселях, можно преобразовать в скорость, выраженную через расстояние, тем самым получить фактическую скорость перемещения угледобывающего комбайна:According to formula (3), the speed, expressed in pixels, can be converted to the speed expressed in terms of distance, thereby obtaining the actual speed of movement of the coal miner:

Figure 00000012
Figure 00000012

Таким образом, можно получить данные о скорости в направлении движения угледобывающего комбайна 1.Thus, data on the speed in the direction of travel of the coal miner 1 can be obtained.

Посредством уравнения удельных сил бесплатформенной инерциальной навигационной системы информация об удельных силах проецируется на инерциальную систему координат для получения данных об изменении направления удельных сил по мере вращения Земли относительно инерциального пространства, при этом уравнение удельных сил является следующим:By means of the equation of specific forces of a strapdown inertial navigation system, information on specific forces is projected onto an inertial coordinate system to obtain data on changes in the direction of specific forces as the Earth rotates relative to inertial space, while the equation of specific forces is as follows:

Figure 00000013
Figure 00000013

где,

Figure 00000014
- угловая скорость в системе координат корпуса,
Figure 00000015
- проекция угловой скорости вращения Земли в системе координат корпуса,
Figure 00000016
- скорость угледобывающего комбайна относительно земной поверхности,
Figure 00000017
- удельная сила, измеренная акселерометром в системе координат корпуса, gb - гравитационное ускорение в системе координат корпуса.Where,
Figure 00000014
- angular velocity in the frame coordinate system,
Figure 00000015
- projection of the angular velocity of the Earth's rotation in the frame coordinate system,
Figure 00000016
- the speed of the coal miner relative to the earth's surface,
Figure 00000017
is the specific force measured by the accelerometer in the frame coordinates, g b is the gravitational acceleration in the frame coordinates.

Затем с учетом полученной скорости угледобывающего комбайна 1 относительно земли обе стороны уравнения одновременно умножаются на матрицу

Figure 00000018
и после выполнения необходимых вычислений получают следующую формулу:Then, taking into account the obtained speed of the coal miner 1 relative to the ground, both sides of the equation are simultaneously multiplied by the matrix
Figure 00000018
and after performing the necessary calculations, the following formula is obtained:

Figure 00000019
Figure 00000019

затем, принимая во внимание, что:then, taking into account that:

Figure 00000020
Figure 00000020

Figure 00000021
Figure 00000021

получают уравнение определения многовекторной ориентации:the equation for determining the multi-vector orientation is obtained:

Figure 00000022
Figure 00000022

Выбирается m различных моментов интегрирования и в соответствии с уравнением определения многовекторной ориентации строится m некомпланарных векторов в трехмерном пространстве:Choose m different moments of integration and, in accordance with the equation for determining the multi-vector orientation, construct m non-coplanar vectors in three-dimensional space:

Figure 00000023
Figure 00000023

Определение многовекторной ориентации заключается в решении оптимальной матрицы ориентации

Figure 00000024
, удовлетворяющей вышеприведенной формуле. В целях количественного описания «оптимальных» характеристик (термин «оптимальный» подразумевает достижение наименьшего значения взвешенной суммы квадратов погрешностей измерения) строится индексная функция:The definition of multi-vector orientation consists in solving the optimal orientation matrix
Figure 00000024
satisfying the above formula. In order to quantitatively describe the "optimal" characteristics (the term "optimal" implies the achievement of the smallest value of the weighted sum of the squares of the measurement errors), an index function is constructed:

Figure 00000025
Figure 00000025

где, wi - известный весовой коэффициент, равный

Figure 00000026
, и при одинаковом средневзвешенном значении
Figure 00000027
, и
Figure 00000028
отражает погрешность несоответствия одного и того же физического вектора, измеренного в географической системе координат и в системе координат носителя. В конце находят константную матрицу
Figure 00000029
с помощью алгоритма решения оптимальной матрицы Wahba и, таким образом, осуществляется начальная выставка бесплатформенной инерциальной навигационной системы угледобывающего комбайна 1.where, w i is a known weighting factor equal to
Figure 00000026
, and with the same weighted average
Figure 00000027
and
Figure 00000028
reflects the discrepancy error of the same physical vector measured in the geographic coordinate system and in the carrier coordinate system. At the end, find the constant matrix
Figure 00000029
with the Wahba optimal matrix solution algorithm and thus the initial exhibition of the strapdown inertial navigation system of the coal miner 1 is carried out.

Claims (17)

1. Система начальной выставки по методу оптического потока для бесплатформенной инерциальной навигации угледобывающего комбайна, характеризующаяся тем, что включает в себя взрывозащищенную коробку, бесплатформенную инерциальную навигационную систему, процессор, неподвижную опору и видеокамеру, указанная взрывозащищенная коробка установлена на корпусе угледобывающего комбайна, бесплатформенная инерциальная навигационная система и процессор установлены внутри взрывозащищенной коробки, видеокамера закреплена на гидравлической крепи с одной стороны угледобывающего комбайна с помощью неподвижной опоры таким образом, что во время съемки видеокамера направлена в сторону угледобывающего комбайна.1. The system of the initial exhibition by the method of optical flow for strapdown inertial navigation of a coal mining harvester, characterized by the fact that it includes an explosion-proof box, a strapdown inertial navigation system, a processor, a fixed support and a video camera, the specified explosion-proof box is installed on the body of a coal mining combine, a navigation strapdown inertial the system and the processor are installed inside the explosion-proof box, the video camera is attached to the hydraulic support on one side of the coal mining harvester using a fixed support so that during shooting the video camera is directed towards the coal mining harvester. 2. Система по п. 1, характеризующаяся тем, что процессор содержит модуль микропроцессорной обработки, модуль связи, модуль сигнализации, модуль хранения данных, разделительную цепь и модуль энергоснабжения, при этом модуль микропроцессорной обработки подключен к модулю связи, модулю сигнализации, модулю хранения данных, разделительной цепи и модулю энергоснабжения, соответственно.2. The system according to claim 1, characterized in that the processor comprises a microprocessor processing module, a communication module, an alarm module, a data storage module, a dividing circuit and a power supply module, while the microprocessor processing module is connected to a communication module, an alarm module, a data storage module , dividing circuit and power supply module, respectively. 3. Система по п. 2, характеризующаяся тем, что в качестве модуля микропроцессорной обработки в указанном процессоре используется микросхема DSP производства компании TI.3. The system according to claim 2, characterized in that a TI DSP chip is used as a microprocessor processing module in said processor. 4. Система по п. 2, характеризующаяся тем, что в качестве взрывозащищенной коробки используется специальная взрывозащищенная коробка для угольных шахт.4. The system according to claim 2, characterized in that a special explosion-proof box for coal mines is used as the explosion-proof box. 5. Система по п. 2, характеризующаяся тем, что видеокамера шарнирно соединена с неподвижной опорой.5. The system of claim. 2, characterized in that the video camera is pivotally connected to the fixed support. 6. Система по п. 2, характеризующаяся тем, что в качестве бесплатформенной инерциальной навигационной системы используется лазерная бесплатформенная инерциальная навигационная система, где стабильность случайного смещения лазерного гироскопа равна 0,01°/ч, а стабильность смещения нуля акселерометра равна 10-5g.6. The system according to claim 2, characterized in that a laser strapdown inertial navigation system is used as a strapdown inertial navigation system, where the stability of the random displacement of the laser gyroscope is 0.01 ° / h, and the stability of the zero offset of the accelerometer is 10 -5 g. 7. Способ начальной выставки по методу оптического потока для бесплатформенной инерциальной навигационной системы угледобывающего комбайна, охарактеризованной в п. 1, согласно которому:7. The method of the initial exhibition according to the optical flow method for the strapdown inertial navigation system of a coal miner, described in paragraph 1, according to which: а) с помощью видеокамеры осуществляют съемку с частотой 25 кадров в секунду изображений окружающей среды, в которой находится угледобывающий комбайн, и передают отснятые изображения в процессор;a) with the help of a video camera, images of the environment in which the coal mining combine is located are taken at a rate of 25 frames per second, and the captured images are transmitted to the processor; б) с помощью процессора с использованием режима градаций серого выполняют обработку отснятых изображений по шкале серого, когда при движении комбайна в условиях съемки и изменении изображения объекта съемки перемещение поверхности изображения в режиме градаций серого представляет собой оптический поток, и определяют направление движения угледобывающего комбайна согласно связи между полем движения угледобывающего комбайна и полем оптического потока по принципу основного направления движения;b) with the help of the processor using the grayscale mode, the captured images are processed on a gray scale, when, when the combine moves under the conditions of shooting and the image of the shooting object changes, the movement of the image surface in the grayscale mode is an optical flow, and the direction of movement of the coal miner is determined according between the field of movement of a coal-mining combine and the field of optical flow according to the principle of the main direction of movement; в) посредством метода оптического потока Лукаса-Канаде вычисляют скорость оптического потока движения угледобывающего комбайна на изображении и преобразуют полученную скорость оптического потока на изображении в фактическую скорость угледобывающего комбайна относительно земли, обозначаемую как νb, для получения данных о скорости в направлении движения угледобывающего комбайна;c) using the Lucas-Kanade optical flow method, calculate the optical flow rate of the coal miner in the image and convert the obtained optical flow rate in the image into the actual speed of the coal miner relative to the ground, denoted as ν b , to obtain speed data in the direction of movement of the coal miner; г) посредством уравнения удельных сил бесплатформенной инерциальной навигационной системы проецируют информацию об удельных силах на инерциальную систему координат для получения данных об изменении направления удельной силы относительно инерциального пространства по мере вращения Земли, при этом уравнение удельных сил является следующим:d) by means of the equation of specific forces of the strapdown inertial navigation system, information about specific forces is projected onto the inertial coordinate system to obtain data on the change in the direction of the specific force relative to the inertial space as the Earth rotates, while the equation of specific forces is as follows:
Figure 00000030
,
Figure 00000030
, где
Figure 00000031
- угловая скорость системы координат корпуса,
Figure 00000032
- проекция угловой скорости вращения Земли в системе координат корпуса, νb(t) - скорость угледобывающего комбайна относительно поверхности,
Figure 00000033
- удельная сила, измеренная акселерометром в системе координат корпуса, и gb - гравитационное ускорение в системе координат корпуса;Where
Figure 00000031
- angular velocity of the frame coordinate system,
Figure 00000032
is the projection of the angular velocity of the Earth's rotation in the frame coordinate system, ν b (t) is the speed of the coal-mining combine relative to the surface,
Figure 00000033
is the specific force measured by the accelerometer in the frame coordinate system, and g b is the gravitational acceleration in the frame coordinate system; затем, учитывая скорость над землей угледобывающего комбайна, полученную на этапе (в), из уравнения удельной силы бесплатформенной инерциальной навигационной системы выводят уравнение определения многовекторной ориентации:
Figure 00000034
;then, taking into account the speed over the ground of the coal-mining combine obtained at stage (c), the equation for determining the multi-vector orientation is derived from the equation of the specific force of the strapdown inertial navigation system:
Figure 00000034
; д) выбирают m различных моментов интегрирования и строят m некомпланарных векторов в трехмерном пространстве:e) choose m different moments of integration and construct m non-coplanar vectors in three-dimensional space:
Figure 00000035
,
Figure 00000035
, и решают матрицу исходного положения бесплатформенной инерциальной навигационной системы с использованием оптимальной матрицы Wahba, обеспечивая начальную выставку бесплатформенной инерциальной навигационной системы.and solve the strapdown inertial navigation system home position matrix using the Wahba optimal matrix, providing the strapdown inertial navigation system initial exposure.
RU2020108319A 2018-05-30 2018-11-16 System and method of initial exposure by optical flow method for strapdown inertial navigation of coal mining machine RU2734387C1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810540173.0 2018-05-30
CN201810540173.0A CN108592951B (en) 2018-05-30 2018-05-30 A kind of coalcutter inertial navigation Initial Alignment Systems and method based on optical flow method
PCT/CN2018/115777 WO2019227865A1 (en) 2018-05-30 2018-11-16 Optical flow method-based coal mining machine strap-down inertial navigation initial alignment system and method

Publications (1)

Publication Number Publication Date
RU2734387C1 true RU2734387C1 (en) 2020-10-15

Family

ID=63630241

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020108319A RU2734387C1 (en) 2018-05-30 2018-11-16 System and method of initial exposure by optical flow method for strapdown inertial navigation of coal mining machine

Country Status (5)

Country Link
CN (1) CN108592951B (en)
AU (1) AU2018421458B2 (en)
CA (1) CA3071299C (en)
RU (1) RU2734387C1 (en)
WO (1) WO2019227865A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108592951B (en) * 2018-05-30 2019-08-02 中国矿业大学 A kind of coalcutter inertial navigation Initial Alignment Systems and method based on optical flow method
CN109839109B (en) * 2019-02-25 2020-11-24 中国矿业大学 Development machine absolute pose detection method based on image recognition and multi-sensor fusion
GB2599380A (en) * 2020-09-30 2022-04-06 Roadmetric Ltd Measuring vehicle speeds with an uncalibrated camera
CN112731930A (en) * 2020-12-23 2021-04-30 重庆华渝电气集团有限公司 Cantilever type excavator control system based on inertial navigation unit
CN112901273A (en) * 2021-01-27 2021-06-04 中煤科工开采研究院有限公司 Fully mechanized coal mining face coal mining machine positioning method and system based on coded pattern recognition
CN113804913B (en) * 2021-10-13 2022-11-29 东南大学 Method for acquiring rotating speed of spherical motor by using single optical flow sensor
CN116295511B (en) * 2022-12-16 2024-04-02 南京安透可智能系统有限公司 Robust initial alignment method and system for pipeline submerged robot
CN115808137B (en) * 2022-12-19 2024-06-21 山东科技大学 Hydraulic support group straightness detection method for marker point assisted binocular vision
CN116358606B (en) * 2023-05-31 2023-08-29 中国船舶集团有限公司第七〇七研究所 Initial coarse alignment method, device, equipment and medium of inertial navigation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866618B2 (en) * 2010-07-03 2014-10-21 Raytheon Company Mine personnel carrier integrated information display
CN102829779B (en) * 2012-09-14 2015-05-06 北京航空航天大学 Aircraft multi-optical flow sensor and inertia navigation combination method
RU2591738C1 (en) * 2015-05-19 2016-07-20 Акционерное общество "Московский институт электромеханики и автоматики" (АО "МИЭА") Method of increasing accuracy of initial alignment of strapdown inertial system
CN105371871B (en) * 2015-12-02 2018-01-02 中国矿业大学 The combination Initial Alignment Systems and alignment methods of silo shearer SINS

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE261108T1 (en) * 1998-04-24 2004-03-15 Inco Ltd AUTOMATIC DRIVEN VEHICLE
CN104964688B (en) * 2015-05-28 2017-12-26 中国矿业大学 The explosion-proof positioner of coal-winning machine and its calibration method based on strap-down inertial
CN105300410B (en) * 2015-12-01 2018-01-12 中国矿业大学 Coal-winning machine inertial navigation position error calibrating installation and method
CN106708066B (en) * 2015-12-20 2019-07-26 中国电子科技集团公司第二十研究所 View-based access control model/inertial navigation unmanned plane independent landing method
CN108592951B (en) * 2018-05-30 2019-08-02 中国矿业大学 A kind of coalcutter inertial navigation Initial Alignment Systems and method based on optical flow method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866618B2 (en) * 2010-07-03 2014-10-21 Raytheon Company Mine personnel carrier integrated information display
CN102829779B (en) * 2012-09-14 2015-05-06 北京航空航天大学 Aircraft multi-optical flow sensor and inertia navigation combination method
RU2591738C1 (en) * 2015-05-19 2016-07-20 Акционерное общество "Московский институт электромеханики и автоматики" (АО "МИЭА") Method of increasing accuracy of initial alignment of strapdown inertial system
CN105371871B (en) * 2015-12-02 2018-01-02 中国矿业大学 The combination Initial Alignment Systems and alignment methods of silo shearer SINS

Also Published As

Publication number Publication date
CN108592951B (en) 2019-08-02
CA3071299A1 (en) 2019-12-05
CA3071299C (en) 2022-08-30
WO2019227865A1 (en) 2019-12-05
CN108592951A (en) 2018-09-28
AU2018421458A1 (en) 2019-12-19
AU2018421458B2 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
RU2734387C1 (en) System and method of initial exposure by optical flow method for strapdown inertial navigation of coal mining machine
US11054258B2 (en) Surveying system
Cortés et al. ADVIO: An authentic dataset for visual-inertial odometry
CN110009739A (en) The extraction and coding method of the motion feature of the digital retina of mobile camera
US20160260250A1 (en) Method and system for 3d capture based on structure from motion with pose detection tool
US20140022539A1 (en) Use of a sky polarization sensor for absolute orientation determination in position determining systems
US20090262974A1 (en) System and method for obtaining georeferenced mapping data
CN107289910B (en) Optical flow positioning system based on TOF
KR101308744B1 (en) System for drawing digital map
CN103983263A (en) Inertia/visual integrated navigation method adopting iterated extended Kalman filter and neural network
WO2015134795A2 (en) Method and system for 3d capture based on structure from motion with pose detection tool
CN112461210A (en) Air-ground cooperative building surveying and mapping robot system and surveying and mapping method thereof
CN103003666A (en) Parallel online-offline reconstruction for three-dimensional space measurement
CN112129263B (en) Distance measurement method of separated mobile stereo distance measurement camera
CN111307146A (en) Virtual reality wears display device positioning system based on binocular camera and IMU
CN115049795B (en) Three-dimensional structure reconstruction device and method based on image external orientation element
CN111402702A (en) Map construction method, device and system
CN116027351A (en) Hand-held/knapsack type SLAM device and positioning method
CN203772276U (en) Independent mapping equipment
CN114910933B (en) RTK receiver system with vision measurement function, board card and measurement method
CN117367441A (en) Robot system and method for constructing three-dimensional true color point cloud map through autonomous movement
CN118243083A (en) Visual SLAM system construction method suitable for urban underground rescue
CN117268404A (en) Unmanned aerial vehicle indoor and outdoor autonomous navigation method utilizing multi-sensor fusion
CN117870803A (en) Multi-sensor fusion three-dimensional point cloud extraction device and method for bulk volume measurement