RU2626551C1 - Method for generating panoramic images from video stream of frames in real time mode - Google Patents

Method for generating panoramic images from video stream of frames in real time mode Download PDF

Info

Publication number
RU2626551C1
RU2626551C1 RU2016122251A RU2016122251A RU2626551C1 RU 2626551 C1 RU2626551 C1 RU 2626551C1 RU 2016122251 A RU2016122251 A RU 2016122251A RU 2016122251 A RU2016122251 A RU 2016122251A RU 2626551 C1 RU2626551 C1 RU 2626551C1
Authority
RU
Russia
Prior art keywords
image
current frame
frames
images
coordinates
Prior art date
Application number
RU2016122251A
Other languages
Russian (ru)
Inventor
Радий Михайлович Кадушников
Владимир Станиславович Негашев
Артем Сергеевич Сыропятов
Original Assignee
Общество с ограниченной ответственностью "СИАМС"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "СИАМС" filed Critical Общество с ограниченной ответственностью "СИАМС"
Priority to RU2016122251A priority Critical patent/RU2626551C1/en
Priority to EA201692174A priority patent/EA030790B1/en
Application granted granted Critical
Publication of RU2626551C1 publication Critical patent/RU2626551C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

FIELD: physics.
SUBSTANCE: in the method for generating panoramic images from the video stream of frames in the real time mode, the sets of characteristic elements are detected on the images of the frames, the image of the current frame is compared with the resulting image, the coordinates of the displacement vector of the current frame are determined and the image of the current frame is shifted by the calculated coordinates of the displacement vector, the overlap and the offset image of the current frame are added to the result. Around the detected characteristic elements, characteristic rectangular areas are formed, many characteristic rectangular areas are compared. The image of the current frame is compared only with the neighboring reference frames and only in the interest areas of the images of the current and reference frames, the average intensity of the pixels of the current frame is calculated; the coordinates of the displacement vector of the current frame are determined with respect to the neighboring reference frames; the image of the current frame is shifted relative to the images of adjacent reference frames and added to the resulting image.
EFFECT: ensuring the algorithm acceleration of generating panoramic images.
3 cl, 8 dwg

Description

Изобретение относится к обработке цифровых изображений, а более конкретно к способам формирования панорамных изображений из видеопотока кадров, полученных устройствами для цифровой видеосъемки (камерами, фотоаппаратами, в том числе используемыми совместно с оптическими микроскопами, эндоскопами и т.д.), в режиме реального времени. The invention relates to the processing of digital images, and more particularly to methods for generating panoramic images from a video stream of frames obtained by devices for digital video recording (cameras, cameras, including those used in conjunction with optical microscopes, endoscopes, etc.), in real time .

Получение панорамных изображений является важной задачей во многих отраслях науки и техники: биологии, медицине (гистологии, цитологии, эндоскопии), материаловедении (металлографии, петрографии, минералогии) и т.д., так как дает возможность исследователю составить более полное представление об изучаемом объекте и уменьшить методическую составляющую погрешности при дальнейшем анализе изображений, что в конечном итоге позволяет получать более точные результаты исследования (диагностики). Obtaining panoramic images is an important task in many branches of science and technology: biology, medicine (histology, cytology, endoscopy), materials science (metallography, petrography, mineralogy), etc., since it allows the researcher to make a more complete picture of the object under study and reduce the methodological component of the error in the further analysis of images, which ultimately allows you to get more accurate research results (diagnostics).

Из уровня техники известен способ обработки видеосигнала с цифровой камеры устройства, позволяющий получать панорамные изображения (US 20120257006) [1]. Способ реализован в устройстве, которое помимо прочих элементов включает в себя блок обработки видеосигнала и центральный процессор (ЦП). С помощью блока обработки видеосигнала выполняют интерполяцию пикселей, коррекцию координат, генерацию яркости цветового сигнала, настраивают баланс белого, корректируют экспозицию, сжимают видеопоток и преобразовывают его формат. В одном из вариантов реализации c помощью блока обработки видеосигнала выравнивают стороны смежных кадров. С помощью ЦП контролируют работу всех блоков схемы и осуществляют объединение изображений. Недостатком данного способа является то, что он подходит только для устройств получения кадров, оснащенных сенсорами направления движения и ускорения. Кроме этого, объединение кадров возможно только при движении устройства в горизонтальном направлении.The prior art method for processing a video signal from a digital camera of a device that allows you to receive panoramic images (US 20120257006) [1]. The method is implemented in a device which, among other elements, includes a video signal processing unit and a central processing unit (CPU). Using the video signal processing unit, pixels are interpolated, coordinates corrected, the color signal brightness is adjusted, white balance is adjusted, exposure is adjusted, video stream is compressed and its format is converted. In one embodiment, the sides of adjacent frames are aligned using a video processing unit. Using the CPU, the operation of all blocks of the circuit is monitored and the images are combined. The disadvantage of this method is that it is suitable only for devices for obtaining frames equipped with sensors of the direction of movement and acceleration. In addition, the combination of frames is possible only when the device moves in the horizontal direction.

В патенте US 20090153647 A1 [2] панорамные изображения из видеопотока строят с помощью устройства, которое включает в себя микропроцессор, блок вычислений, блок бинаризации, блок оценки движения, RAM– и EEPROM-памяти. Способ получения панорамного изображения включает в себя следующие основные этапы: получение изображения; бинаризацию изображения; сравнение бинарного изображения текущего кадра с бинарным изображением предыдущего кадра и расчет среднего вектора смещения текущего кадра относительно предыдущего; «пришивку» текущего изображения к панораме, т.е. к результирующему изображению; обрезку изображения для получения прямоугольной панорамы.In patent US 20090153647 A1 [2], panoramic images from a video stream are constructed using a device that includes a microprocessor, a computing unit, a binarization unit, a motion estimation unit, RAM– and EEPROM memory. The panoramic image acquisition method includes the following main steps: image acquisition; image binarization; comparing the binary image of the current frame with the binary image of the previous frame and calculating the average displacement vector of the current frame relative to the previous one; “Sewing” the current image to the panorama, i.e. to the resulting image; crop the image to get a rectangular panorama.

В данном способе расчет вектора смещения осуществляется по бинарным изображениям, что в большинстве случаев сопряжено с большой вероятностью ошибки. Анализ бинарных изображений подходит для изображений с достаточным количеством контрастных элементов. Кроме того, операции сравнения изображений проводятся на центральном процессоре, который выполняет их в 3-4 раза медленнее, чем, например, процессор видеокарты. In this method, the displacement vector is calculated from binary images, which in most cases is fraught with a high probability of error. Binary image analysis is suitable for images with enough contrast elements. In addition, image comparison operations are carried out on the central processor, which performs them 3-4 times slower than, for example, a video card processor.

Наиболее близким к заявленному изобретению является способ формирования составного (панорамного) изображения, в котором предложен оригинальный алгоритм определения последовательности объединения кадров в панорамное изображение (RU 2421814) [3]. Согласно этому способу анализируют входные изображения, поступающие в произвольном порядке и в произвольной ориентации, выявляя на каждом изображении множество особых точек, и определяют дескрипторы этих точек, выполняют попарное сравнение всех входных изображений путем расчета суммы квадратов разностей дескрипторов особых точек и нахождение совместимых особых точек, при этом формируют квадратно-симметричную таблицу, состоящую из количества совместимых особых точек для каждой пары изображений, выбирают первое изображение путем суммирования элементов строк таблицы и выбора изображения с тем порядковым номером, которому соответствует строка с максимальной суммой элементов, результирующее множество особых точек и дескрипторов формируют из множества особых точек и дескрипторов первого выбранного изображения, далее один за другим выбирают изображения, имеющие максимальное количество совместимых особых точек с результирующим множеством особых точек, восстанавливают параметры аффинного вращения/смещения между множеством совместимых особых точек выбранного изображения и результирующим множеством особых точек, найденные параметры аффинного вращения/смещения сохраняют в памяти, после чего результирующее множество особых точек дополняют совместимыми особыми точками и их дескрипторами данного выбранного изображения, предварительно подвергнутого найденному аффинному преобразованию, один за другим выбирают входные изображения и поочередно деформируют, используя сохраненные параметры аффинного вращения/смещения, затем преобразованное изображение включают в результирующее изображение путем нахождения оптимального шва, проходящего через расположенные на перекрывающихся участках пиксели, имеющие минимальные различия, при этом шов между объединенными изображениями заметен как можно меньше. Closest to the claimed invention is a method of forming a composite (panoramic) image, which proposed an original algorithm for determining the sequence of combining frames into a panoramic image (RU 2421814) [3]. According to this method, input images arriving in an arbitrary order and in arbitrary orientation are analyzed, identifying a set of singular points on each image, and the descriptors of these points are determined, pairwise comparison of all input images is performed by calculating the sum of the squared differences of the descriptors of the singular points and finding compatible singular points, at the same time, a square-symmetric table is formed, consisting of the number of compatible singular points for each pair of images, the first image is selected by sum of the elements of the table rows and selecting the image with the sequence number corresponding to the line with the maximum sum of elements, the resulting set of singular points and descriptors is formed from the set of singular points and descriptors of the first selected image, then images are selected one after another with the maximum number of compatible singular points with the resulting set of singular points, the parameters of the affine rotation / displacement between the set of compatible singular points of the selected image are restored and the resulting set of singular points, the found affine rotation / displacement parameters are stored in memory, after which the resulting set of singular points is supplemented with compatible singular points and their descriptors for this selected image, previously subjected to the found affine transformation, input images are selected one after the other and deformed one by one, using the stored affine rotation / displacement parameters, then the converted image is included in the resulting image by ahozhdeniya optimum suture that passes through overlapping portions disposed on the pixels having the minimum difference, the seam between the combined images visible as little as possible.

Данный способ имеет следующие недостатки:This method has the following disadvantages:

- предложенный алгоритм формирования составного (панорамного) изображения предполагает первичное получение всего множества входных кадров, из которых формируется панорама, с их последующим объединением. Таким образом, данный алгоритм не позволяет строить панорамные изображения в режиме реального времени, когда процесс объединения текущего кадра с результирующим изображением непосредственно следует за операцией его получения через устройство ввода изображения;- the proposed algorithm for the formation of a composite (panoramic) image involves the initial receipt of the entire set of input frames from which the panorama is formed, with their subsequent combination. Thus, this algorithm does not allow building panoramic images in real time, when the process of combining the current frame with the resulting image immediately follows the operation of its receipt through the image input device;

- производится попарное сравнение всех входных кадров, включая и те, которые могут не иметь общей области перекрытия друг с другом, что существенно увеличивает время построения панорамы.- a pairwise comparison of all input frames, including those that may not have a common area of overlap with each other, is made, which significantly increases the panorama building time.

Задачей настоящего изобретения является создание способа формирования панорамных изображений из видеопотока кадров, полученных устройствами для цифровой видеосъемки (камерами, фотоаппаратами, в том числе используемыми совместно с оптическими микроскопами, эндоскопами и т.д.), в режиме реального времени. An object of the present invention is to provide a method for generating panoramic images from a video stream of frames obtained by digital video recording devices (cameras, cameras, including those used in conjunction with optical microscopes, endoscopes, etc.) in real time.

Для решения поставленной задачи предложен способ формирования панорамных изображений из видеопотока кадров в режиме реального времени, в котором на изображениях кадров выявляют множества характерных элементов, изображение текущего кадра сравнивают с результирующим изображением, далее определяют координаты вектора смещения текущего кадра, и изображение текущего кадра сдвигают на рассчитанные координаты вектора смещения, далее рассчитывают границу области перекрытия и смещенное изображение текущего кадра добавляют к результирующему, при этом вокруг выявленных характерных элементов строят характерные прямоугольные области, при сравнении изображений на кадрах сравнивают множества характерных прямоугольных областей, при этом изображение текущего кадра сравнивают только с соседними опорными кадрами, входящими в результирующее изображение, и только в областях интереса изображений текущего и опорных кадров, рассчитывают величину средней интенсивности пикселей изображения текущего кадра, определяют координаты вектора смещения текущего кадра относительно соседних опорных кадров, за координаты векторов смещения между текущим и опорными кадрами принимают средние координаты смещения между всеми совместимыми характерными прямоугольными областями на изображениях текущего и опорных кадров с их последующим уточнением путем наложения ограничений на величину среднеквадратичного отклонения координат векторов смещения совместимых характерных прямоугольных областей и на величину разницы между координатами векторов смещения совместимых характерных прямоугольных областей и их средних значений, изображение текущего кадра сдвигают относительно изображений соседних опорных кадров и добавляют к результирующему изображению, операцию сравнения характерных прямоугольных областей изображений осуществляют на процессоре видеокарты.To solve this problem, a method is proposed for generating panoramic images from a video stream of frames in real time, in which many characteristic elements are detected on the images of the frames, the image of the current frame is compared with the resulting image, then the coordinates of the displacement vector of the current frame are determined, and the image of the current frame is shifted to the calculated coordinates of the displacement vector, then the border of the overlap region is calculated and the displaced image of the current frame is added to the resulting mu, in this case, characteristic rectangular areas are built around the identified characteristic elements, when comparing images on frames, sets of characteristic rectangular areas are compared, while the image of the current frame is compared only with neighboring reference frames included in the resulting image, and only in the areas of interest of the images of the current and reference frames, calculate the average intensity of the image pixels of the current frame, determine the coordinates of the displacement vector of the current frame relative to the neighbor their reference frames, for the coordinates of the displacement vectors between the current and reference frames, take the average coordinates of the displacement between all compatible characteristic rectangular regions in the images of the current and reference frames with their subsequent refinement by imposing restrictions on the magnitude of the standard deviation of the coordinates of the displacement vectors of the compatible characteristic rectangular regions and the value the differences between the coordinates of the displacement vectors of the compatible characteristic rectangular regions and their average values, and siderations current frame image shifted with respect to adjacent reference frames and added to the resultant image comparison operation characteristic of rectangular areas of the images is performed on the processor card.

В частном случае, при величине средней интенсивности пикселей текущего кадра больше заданной пользователем пороговой величины, в качестве характерной прямоугольной области текущего кадра используют всю область интереса текущего кадра.In the particular case, when the average pixel intensity of the current frame is greater than the threshold set by the user, the entire region of interest of the current frame is used as a characteristic rectangular region of the current frame.

При реализации способа анализирует изображения последовательно захваченных кадров с произвольным направлением смещения друг относительно друга.When implementing the method, it analyzes images of sequentially captured frames with an arbitrary direction of displacement relative to each other.

Сущность заявленного способа заключается в следующем. В отличие от способа–прототипа, в заявленном способе в качестве объектов сравнения на изображениях выступают не дескрипторы особых точек, а характерные прямоугольные области, которые строят вокруг выявленных характерных элементов. Попиксельное сравнение характерных прямоугольных областей на процессоре видеокарты происходит в 3-4 раза быстрее чем сравнение дескрипторов особых точек на ЦП. При этом изображение текущего кадра сравнивают только с соседними опорными изображениями и только в областях интереса этих кадров. Это позволяет существенно сократить количество операций сравнения изображений и, как следствие, ускорить работу алгоритма. The essence of the claimed method is as follows. In contrast to the prototype method, in the claimed method, the objects of comparison on the images are not descriptors of singular points, but characteristic rectangular areas that are built around the identified characteristic elements. A pixel-by-pixel comparison of characteristic rectangular regions on a video card processor is 3-4 times faster than comparison of descriptors of singular points on a CPU. The image of the current frame is compared only with neighboring reference images and only in the areas of interest of these frames. This allows you to significantly reduce the number of image comparison operations and, as a result, speed up the algorithm.

Выбор сравниваемых характерных прямоугольных областей определяется величиной средней интенсивности пикселей изображения текущего кадра. Это позволяет для изображений с большим числом характерных элементов проводить сравнения не всех соответствующих им характерных прямоугольных областей, а ограничиться для этого всего лишь одной областью – областью интереса текущего кадра. При этом количество операций сравнения характерных прямоугольных областей, а значит и время расчета, уменьшается в несколько десятков раз. Далее определяют координаты вектора смещения текущего кадра относительно соседних опорных кадров. За координаты векторов смещения между текущим и опорными кадрами принимают средние координаты смещения между всеми совместными характерными прямоугольными областями на изображениях текущего и опорных кадров с их последующим уточнением путем наложения ограничений на величину среднеквадратичного отклонения координат векторов смещения совместимых характерных прямоугольных областей и на величину разницы между координатами векторов смещения совместимых характерных прямоугольных областей и их средних значений. Изображение текущего кадра сдвигают относительно изображений соседних опорных кадров. После этого рассчитывают границу области перекрытия, и смещенное изображение текущего кадра добавляют к результирующему. Операция сравнения характерных прямоугольных областей изображений осуществляется на процессоре видеокарты, что обеспечивает более высокую скорость расчетов, т.к. процессор видеокарты позволяет проводить операции попиксельного сравнения изображений в 3-4 раза быстрее, чем центральный процессор.The choice of compared characteristic rectangular areas is determined by the average intensity of the image pixels of the current frame. This allows for images with a large number of characteristic elements to compare not all of the corresponding characteristic rectangular regions, but to limit themselves to only one region - the region of interest of the current frame. In this case, the number of operations for comparing characteristic rectangular regions, and hence the calculation time, decreases by several tens of times. Next, the coordinates of the displacement vector of the current frame relative to adjacent reference frames are determined. For the coordinates of the displacement vectors between the current and reference frames, take the average coordinates of the displacement between all joint characteristic rectangular regions on the images of the current and reference frames with their subsequent refinement by imposing restrictions on the standard deviation of the coordinates of the displacement vectors of the compatible characteristic rectangular regions and on the difference between the coordinates of the vectors displacements of compatible characteristic rectangular regions and their average values. The image of the current frame is shifted relative to the images of neighboring reference frames. After that, the border of the overlapping region is calculated, and the shifted image of the current frame is added to the resulting one. The operation of comparing the characteristic rectangular areas of the images is carried out on the processor of the video card, which provides a higher calculation speed, because the processor of the video card allows performing pixel-by-pixel image comparison operations 3-4 times faster than the central processor.

Технический результат от использования настоящего изобретения состоит в сокращении количества операций сравнения изображений и ускорении расчетов координат векторов смещения текущих кадров относительно опорных, что позволяет в целом ускорить работу алгоритма формирования панорамных изображений и реализовать его в режиме реального времени. The technical result from the use of the present invention is to reduce the number of image comparison operations and speed up the calculation of the coordinates of the displacement vectors of the current frames relative to the reference frames, which allows to generally speed up the operation of the panoramic image formation algorithm and to realize it in real time.

Заявленный способ поясняется чертежами, где на Фиг. 1 представлена схема основных элементов устройства, реализующих заявленный способ; на Фиг. 2, 3 изображена блок-схема процесса получения панорамного изображения; на Фиг.4 представлена блок-схема алгоритма сравнения изображений двух кадров; на Фиг. 5 изображены: область интереса текущего кадра (С) и область интереса опорного кадра (Z); на Фиг. 6 изображены координаты векторов смещения между совместимыми характерными элементами на изображениях текущего и опорного кадров (границы характерных прямоугольных областей не указаны); на Фиг. 7 показан вектор смещения Р текущего кадра относительно опорного; рассчитанная граница области перекрытия, по которой будет производиться объединение двух изображений (жирная линия); результирующее изображение после объединения двух кадров.The claimed method is illustrated by drawings, where in FIG. 1 presents a diagram of the main elements of the device that implement the claimed method; in FIG. 2, 3 shows a flowchart of a panoramic image acquisition process; figure 4 presents a block diagram of an algorithm for comparing images of two frames; in FIG. 5 shows: the region of interest of the current frame (C) and the region of interest of the reference frame (Z); in FIG. 6 shows the coordinates of the displacement vectors between compatible characteristic elements in the images of the current and reference frames (the boundaries of the characteristic rectangular regions are not indicated); in FIG. 7 shows the displacement vector P of the current frame relative to the reference; the calculated border of the overlap region along which the two images will be merged (thick line); The resulting image after combining two frames.

Процесс функционирования устройства, реализующего заявленный способ и представленный на Фиг.1, управляется центральным процессором 2 (ЦП). Изображения кадров через устройство ввода изображения 1 (камеры, фотоаппараты, в том числе используемые совместно с оптическими микроскопами, эндоскопами и т.д.) и шину данных, попадают в процессор видеокарты 3, где и подвергаются анализу. В частности, процессор видеокарты 3 осуществляет преобразование изображений из формата RAW в формат RGB и поиск характерных элементов на изображениях. Характерными элементами на изображении могут являться особые точки, линии и характерные области. Несшитые кадры панорамного изображения сохраняются в буфере несшитых кадров 5, роль которого может выполнять оперативная память. Объединенное панорамное изображение сохраняется в устройстве хранения панорамного изображения 4 (реализуемое в виде носителя на жестких магнитных дисках или иного накопителя данных). The process of functioning of a device that implements the claimed method and is presented in figure 1, is controlled by a Central processor 2 (CPU). Image frames through the image input device 1 (cameras, cameras, including those used in conjunction with optical microscopes, endoscopes, etc.) and the data bus, get into the processor of the video card 3, where they are analyzed. In particular, the processor of the video card 3 converts images from the RAW format to the RGB format and searches for characteristic elements in the images. The characteristic elements in the image may be singular points, lines, and characteristic regions. Unlinked frames of a panoramic image are stored in a buffer of unlinked frames 5, the role of which can be performed by random access memory. The combined panoramic image is stored in the panoramic image storage device 4 (sold as a medium on hard magnetic disks or other data storage device).

При работе с оптическим микроскопом, снабженным камерой и автоматизированным столиком, вначале по заданной пользователем области сканирования производится расчет количества снимаемых кадров в этой области (Шаг 1, Фиг. 2). Сканирование кадров производится слева направо и сверху вниз, при этом каждый последующий кадр имеет область перекрытия с предыдущим кадром. Зная размер области перекрытия кадров вдоль одной оси, например, оси Х, которую обозначим через dx, размер стороны кадра kx и размер области сканирования Lx вдоль этой же оси, несложно найти количество перекрывающихся кадров Nx, которые предстоит снять, сканируя вдоль оси X:When working with an optical microscope equipped with a camera and an automated table, first, based on a user-defined scanning area, the number of shot frames in this area is calculated (Step 1, Fig. 2). The frames are scanned from left to right and from top to bottom, with each subsequent frame having an overlap area with the previous frame. Knowing the size of the area of overlapping frames along one axis, for example, the X axis, which is denoted by d x , the size of the side of the frame k x and the size of the scanning area L x along the same axis, it is easy to find the number of overlapping frames N x to be scanned along X axis:

Figure 00000001
. (1)
Figure 00000001
 . (one)

Аналогично производится расчет количества перекрывающихся кадров Ny, которые предстоит снять, сканируя вдоль оси Y. Тогда общее количество кадров, которое будет получено в результате сканирования, определится как произведение чисел Nx и Ny (Шаг 1, Фиг. 2).Similarly, the number of overlapping frames N y to be taken is calculated, scanning along the Y axis. Then the total number of frames that will be obtained as a result of scanning is determined as the product of the numbers N x and N y (Step 1, Fig. 2).

При получении текущего кадра система при помощи оператора Собеля [4] осуществляет поиск на его изображении характерных элементов (точек, областей, линий, углов и пр.). В данном способе текущим кадром называется последний полученный системой кадр через устройство ввода изображения (Фиг.1). После этого по изображению текущего кадра производится расчет величины средней интенсивности пикселей Grad (Шаг 2, Фиг. 2).:Upon receipt of the current frame, the system, using the Sobel operator [4], searches on its image for characteristic elements (points, areas, lines, angles, etc.). In this method, the current frame is called the last frame received by the system through the image input device (Figure 1). After that, the average intensity of the pixels Grad is calculated from the image of the current frame (Step 2, Fig. 2) .:

Figure 00000002
, (2)
Figure 00000002
 , (2)

где max(Ri,Gi,Bi) – максимальное значение интенсивности из интенсивностей 3-х цветовых каналов (R-red, G- green, B – blue) для i-го пикселя; М – общее количество пикселей на текущем кадре.where max (R i , G i , B i ) is the maximum intensity value from the intensities of 3 color channels (R-red, G-green, B - blue) for the i-th pixel; M is the total number of pixels in the current frame.

Следует отметить, что вместо оператора Собеля может быть применен любой другой оператор, выделяющий характерные элементы на изображении.It should be noted that instead of the Sobel operator, any other operator can be used that highlights the characteristic elements in the image.

Фиг. 4 описывает алгоритм сравнения двух кадров. На шаге 3.1 на изображении текущего кадра выделяется область интереса текущего кадра (С) (Фиг. 5), которая с вероятностью 100% попадает в область перекрытия с изображением на опорном кадре. В данном способе опорным кадром называется кадр, который имеет с текущим кадром общую область перекрытия. Область интереса текущего кадра - это область, которая с вероятностью 100% попадает в область перекрытия текущего кадра с опорным. Область интереса опорного кадра - область, которая имеет ненулевую вероятность попасть в область перекрытия опорного кадра с текущим. Размеры области интереса текущего кадра (С) рассчитываются, исходя из того, что размер области перекрытия кадров по всем осям (dx и dy) при автоматизированном сканировании устанавливается равным 3/4 длины кадра вдоль соответствующих осей (Lx и Ly): dx=3/4Lx и dy=3/4Ly. Если, к примеру, сканирование образца производится вдоль оси Х, тогда размер области (С) вдоль оси Х устанавливается равным:

Figure 00000003
, а вдоль оси Y:
Figure 00000004
, где W - величина погрешности в определении координат автоматизированного столика (Фиг. 5). В результате на изображении текущего кадра выделяют область (С), которая с вероятностью 100% попадает в область перекрытия с опорным кадром. Область интереса опорного кадра (Фиг. 5) – область (Z), - получают путем увеличения зоны перекрытия кадров на величину W слева:
Figure 00000005
. В этой области вероятность попадания в область перекрытия с текущим кадром отлична от нуля.FIG. 4 describes an algorithm for comparing two frames. In step 3.1, the region of interest of the current frame (C) is highlighted in the image of the current frame (Fig. 5), which with a 100% probability falls into the overlap area with the image in the reference frame. In this method, a reference frame is a frame that has a common overlap area with the current frame. The region of interest of the current frame is the region that with a 100% probability falls into the overlap region of the current frame with the reference. The region of interest of the reference frame is the region that has a nonzero probability of falling into the overlapping region of the reference frame with the current one. The dimensions of the region of interest of the current frame (C) are calculated based on the fact that the size of the area of overlapping frames along all axes (d x and d y ) during automated scanning is set to 3/4 of the frame length along the corresponding axes (L x and L y ): d x = 3 / 4L x and d y = 3 / 4L y . If, for example, a sample is scanned along the X axis, then the size of the region (C) along the X axis is set equal to:
Figure 00000003
 , and along the y axis:
Figure 00000004
 where W is the error in determining the coordinates of the automated table (Fig. 5). As a result, a region (C) is selected in the image of the current frame, which with 100% probability falls into the overlapping region with the reference frame. The region of interest of the reference frame (Fig. 5), region (Z), is obtained by increasing the area of overlapping frames by the value of W on the left:
Figure 00000005
 . In this area, the probability of falling into the overlap area with the current frame is nonzero.

На шаге 3.2 (Фиг. 4) производится сравнение величины Grad (2) текущего кадра с заданной пороговой величиной - Grad0. Если Grad > Grad0, то производится поиск всей области интереса текущего кадра (С) в области интереса опорного кадра (Z) площадным методом (шаг. 3.3, Фиг. 4). Для этого область (С) помещается в левый верхний угол области (Z) и рассчитывается разница в интенсивностях каналов RGB соответственных пикселей (пикселей, находящихся на одинаковых местах в сравниваемых областях). После этого для каждой пары пикселей выбирается максимальное из трех значений разности интенсивностей по трем цветовым каналам: ∆I = max(∆R,∆G,∆B) и все значения ∆I суммируются по всем соответственным пикселям:

Figure 00000006
. Величина I характеризует степень совпадения двух областей. Далее область (С) смещается на один пиксель вправо по области (Z) и снова рассчитывается величина I. Когда область (С) дойдет до правого края области (Z), она сместится на один пиксель вниз и пойдет в обратную сторону. В результате этого будет проведено сравнение области интереса (С) со всеми такими же по размеру областями (С”), находящимися в области (Z), и для каждой такой пары областей будет рассчитана величина I. Далее среди всех значений I выбирается минимальное значение: Imin=min(I). Если Imin<I0 (I0 – заданный параметр), то области (С) и (С”), для которых I=Imin и Imin<I0 считаются совместимыми, т.е. совпавшими (Шаг 3.4, Фиг. 4). Если величина Grad < Grad0, то переходят ко второму методу.At step 3.2 (Fig. 4), the value Grad (2) of the current frame is compared with a given threshold value - Grad0. If Grad> Grad0, then the entire region of interest of the current frame (C) is searched in the region of interest of the reference frame (Z) by the areal method (step. 3.3, Fig. 4). To do this, the region (C) is placed in the upper left corner of the region (Z) and the difference in the intensities of the RGB channels of the corresponding pixels (pixels located at the same places in the compared regions) is calculated. After that, for each pair of pixels, the maximum of three values of the intensity difference is selected over three color channels: ∆I = max (∆R, ∆G, ∆B) and all ∆I values are summed over all the corresponding pixels:
Figure 00000006
. The value of I characterizes the degree of coincidence of the two areas. Next, region (C) is shifted one pixel to the right along region (Z) and the value of I is calculated again. When region (C) reaches the right edge of region (Z), it will shift one pixel down and go in the opposite direction. As a result of this, the region of interest (C) will be compared with all the same-sized regions (C ”) located in region (Z), and for each such pair of regions the value of I will be calculated. Next, among all the values of I, the minimum value is selected: Imin= min (I). If Imin<I0 (I0 Is a given parameter), then the areas (C) and (C ”) for which I = Iminand Imin<I0 are considered compatible, i.e. matched (Step 3.4, Fig. 4). If the value Grad <Grad0, then move on to the second method.

Суть второго метода состоит в том, что вокруг каждого характерного элемента, найденного на изображении текущего кадра при помощи оператора Собеля, строится прямоугольник, таким образом, что характерный элемент оказывается вписанным в этот прямоугольник, т.е. длины сторон прямоугольника равны проекциям характерного элемента на оси X и Y декартовой системы координат (Шаг. 3.5, Фиг. 4). Такой прямоугольник с вписанным в него характерным элементом будем далее называть характерной прямоугольной областью. В данном методе размер характерной прямоугольной области не может превышать 64х64 пикселя. Если размер характерного элемента более 64 пикселей хотя бы по одной координате, то такой элемент разбивается на несколько характерных элементов. Пусть в результате действия оператора Собеля найдено n характерных элементов и построено n характерных прямоугольных областей в области интереса текущего кадра (С). Далее производится сравнение каждой n–ой характерной прямоугольной области в области интереса текущего кадра со всеми возможными областями такого же размера в количестве n”, находящимися в области интереса опорного кадра (Z) аналогично тому, как это делалось в первом методе (Шаг 3.6, Фиг. 4). В результате этого обнаруживаются q пар совместимых характерных прямоугольных областей (в первом способе обнаруживается 1 пара), для которых находятся разности их координат по осям X и Y:

Figure 00000007
,
Figure 00000008
, где h = 1…q (Фиг. 6, для наглядности разность координат указана не между характерными прямоугольными областями, а между вписанными в них характерными элементами). Далее производится проверка правильности найденных совместимых характерных пар прямоугольных областей (Шаг 3.7, Фиг. 4). Для этого вначале проверяется верность следующих соотношений:The essence of the second method is that around each characteristic element found on the image of the current frame using the Sobel operator, a rectangle is constructed, so that the characteristic element is inscribed in this rectangle, i.e. the lengths of the sides of the rectangle are equal to the projections of the characteristic element on the X and Y axis of the Cartesian coordinate system (Step. 3.5, Fig. 4). Such a rectangle with a characteristic element inscribed into it will be called a characteristic rectangular region. In this method, the size of the characteristic rectangular region cannot exceed 64x64 pixels. If the size of the characteristic element is more than 64 pixels in at least one coordinate, then such an element is divided into several characteristic elements. Suppose that as a result of the action of the Sobel operator, n characteristic elements are found and n characteristic rectangular regions are constructed in the region of interest of the current frame (C). Next, a comparison is made of each n-th characteristic rectangular region in the region of interest of the current frame with all possible regions of the same size in an amount of n ”located in the region of interest of the reference frame (Z) in the same way as in the first method (Step 3.6, FIG. . four). As a result of this, q pairs of compatible characteristic rectangular regions are detected (in the first method, 1 pair is detected) for which the differences of their coordinates along the X and Y axes are found:
Figure 00000007
 ,
Figure 00000008
 , where h = 1 ... q (Fig. 6, for clarity, the coordinate difference is indicated not between the characteristic rectangular regions, but between the characteristic elements inscribed in them). Next, the correctness of the found compatible characteristic pairs of rectangular regions is checked (Step 3.7, Fig. 4). To do this, first verify the correctness of the following relationships:

Figure 00000009
, (3)
Figure 00000009
 , (3)

где

Figure 00000010
и
Figure 00000011
 - средние значения разностей координат между совместимыми характерными прямоугольными элементами по осям X и Y, а ДX и ДY – заданные пользователем параметры. Если для каких-то пар, хотя бы одно из неравенств (3) не выполняется, эти пары исключаются из рассмотрения, а величины
Figure 00000012
 и
Figure 00000013
 пересчитываются. Второе соотношение накладывает ограничение на среднеквадратичные отклонения величин
Figure 00000014
 и
Figure 00000015
 (SДх и SДy соответственно) (Шаг 3.7, Фиг. 4):Where
Figure 00000010
 and
Figure 00000011
 - average values of coordinate differences between compatible characteristic rectangular elements along the X and Y axes, and DX and DY are user-specified parameters. If for some pairs at least one of inequalities (3) is not satisfied, these pairs are excluded from consideration, and the quantities
Figure 00000012
 and
Figure 00000013
 recounted. The second relation restricts the standard deviations of the quantities
Figure 00000014
 and
Figure 00000015
 (S Dx and S Dy, respectively) (Step 3.7, Fig. 4):

Figure 00000016
(4)
Figure 00000016
 (four)

здесь SДх0 и SДy0 – некоторые заданные пользователем параметры. Если оба неравенства выполняются, то за координаты вектора смещения P (Фиг. 7) текущего кадра относительно опорного принимаются средние значения разности координат:

Figure 00000017
и
Figure 00000018
 (Шаг 3.8., Фиг.4). Если хотя бы одно из неравенств (4) не выполняется, то считается, что общая область перекрытия между текущим и опорным кадром не найдена. Текущий кадр, у которого не были найдены области перекрытия с соседними опорными кадрами, определяется как несшитый кадр и сохраняется в буфер несшитых кадров (Шаг 4, Фиг 2).here S Дх0 and S Дy0 are some user-defined parameters. If both inequalities are satisfied, then the coordinates of the displacement vector P (Fig. 7) of the current frame relative to the reference frame are the average values of the coordinate difference:
Figure 00000017
 and
Figure 00000018
 (Step 3.8., Fig. 4). If at least one of the inequalities (4) is not satisfied, then it is considered that the common area of overlap between the current and the reference frame is not found. The current frame, in which overlap areas with adjacent reference frames were not found, is defined as an unstitched frame and stored in the buffer of non-stitched frames (Step 4, Fig 2).

Фиг. 7 демонстрирует этап добавления текущего кадра к опорному. После расчета координат вектора Р текущий кадр смещается относительно опорного на вектор Р, и рассчитываются координаты границы области перекрытия между текущим и опорным кадром, идущей по краю опорного кадра (жирная линия на Фиг. 7). Далее область текущего кадра, находящаяся справа и сверху от границы области перекрытия присоединяется к опорному кадру и получается результирующее изображение (Шаг 5, Фиг. 2) Если по окончании процесса построения панорамного изображения в буфере несшитых кадров остались несшитые кадры, то они вставляются в результирующее изображение на основании координат, полученных с автоматизированного столика во время их сканирования. (Шаг 6. Фиг. 3). Результирующее изображение, полученное после окончания сшивки всех кадров, называется панорамным изображением. Оно сохраняется в памяти компьютера (Шаг 7, Фиг 3).FIG. 7 shows the step of adding the current frame to the reference. After calculating the coordinates of the vector P, the current frame is shifted relative to the reference frame by the vector P, and the coordinates of the boundary of the overlap region between the current and the reference frame going along the edge of the reference frame are calculated (thick line in Fig. 7). Next, the area of the current frame, located to the right and above the border of the overlap area, is attached to the reference frame and the resulting image is obtained (Step 5, Fig. 2). If, at the end of the process of building a panoramic image, unlinked frames remain in the buffer of non-linked frames, then they are inserted into the resulting image based on the coordinates received from the automated table during their scanning. (Step 6. Fig. 3). The resulting image obtained after the end of the stitching of all frames is called a panoramic image. It is stored in the computer memory (Step 7, Fig 3).

Если процесс сшивки двух кадров происходит не на автоматизированном, а на механическом столике, предполагающем ручное перемещение образца, то в этом случае происходит получение двух последовательных кадров через устройство ввода изображения. Первый из полученных кадров будет считаться опорным, а второй – текущим. В качестве области интереса текущего кадра выбирается центральная область кадра с длинами сторон Dx и Dy (по осям X и Y), которые рассчитываются по формулам:If the process of stitching two frames does not occur on an automated, but on a mechanical table, involving the manual movement of the sample, then in this case two consecutive frames are obtained through the image input device. The first of the received frames will be considered the reference, and the second - the current. As the region of interest of the current frame, the central region of the frame is selected with the side lengths D x and D y (along the X and Y axes), which are calculated by the formulas:

Figure 00000019
и
Figure 00000020
, (5)
Figure 00000019
 and
Figure 00000020
 , (5)

где kх и ky – длины сторон кадра вдоль осей X и Y, W – величина погрешности в определении координат столика. В качестве области интереса опорного кадра выбирается все изображение опорного кадра (Фиг. 8, области интереса текущего и опорного кадров заштрихованы). В остальном алгоритм сравнения кадров остается прежним (Шаг 8, Фиг 2). where k x and k y are the lengths of the sides of the frame along the X and Y axes, W is the error in determining the coordinates of the table. The entire image of the reference frame is selected as the region of interest of the reference frame (Fig. 8, the regions of interest of the current and reference frames are shaded). Otherwise, the frame comparison algorithm remains the same (Step 8, Fig 2).

Таким образом, заявленный способ позволяет сократить количество операций сравнения изображений и ускорить расчет координат векторов смещения текущих кадров относительно опорных, что позволяет в целом ускорить работу алгоритма формирования панорамных изображений и реализовать его в режиме реального времени.Thus, the claimed method allows to reduce the number of image comparison operations and speed up the calculation of the coordinates of the displacement vectors of the current frames relative to the reference frames, which generally allows to speed up the operation of the panoramic image generation algorithm and to realize it in real time.

Источники информации Information sources

1. US 20120257006, публ. 11.10.2012, патентообладатель Casio Computer Co., Ltd.1. US20120257006, publ. 10/11/2012, patent holder Casio Computer Co., Ltd.

2. US 20090153647 A1, публ. 18.06.2009, патентообладатель Nxp B.V.2. US20090153647 A1, publ. 06/18/2009, patent holder Nxp B.V.

3. RU 2421814, публ. 10.01.2015, патентообладатель ФГБОУ ВПО «Южно-Российский государственный университет экономики и сервиса».3. RU 2421814, publ. 01/10/2015, patent holder of FSBEI HPE "South-Russian State University of Economics and Service".

4. Duda R., Hart P. Pattern Classification and Scene Analysis. — John Wiley and Sons, 1973. — P. 271—272.4. Duda R., Hart P. Pattern Classification and Scene Analysis. - John Wiley and Sons, 1973. - P. 271-272.

Claims (3)

1. Способ формирования панорамных изображений из видеопотока кадров в режиме реального времени, в котором на изображениях кадров выявляют множества характерных элементов, изображение текущего кадра сравнивают с результирующим изображением, далее определяют координаты вектора смещения текущего кадра и изображение текущего кадра сдвигают на рассчитанные координаты вектора смещения, далее рассчитывают границу области перекрытия и смещенное изображение текущего кадра добавляют к результирующему, отличающийся тем, что вокруг выявленных характерных элементов строят характерные прямоугольные области, при сравнении изображений на кадрах сравнивают множества характерных прямоугольных областей, при этом изображение текущего кадра сравнивают только с соседними опорными кадрами, входящими в результирующее изображение, и только в областях интереса изображений текущего и опорных кадров рассчитывают величину средней интенсивности пикселей изображения текущего кадра, определяют координаты вектора смещения текущего кадра относительно соседних опорных кадров, за координаты векторов смещения между текущим и опорными кадрами принимают средние координаты смещения между всеми совместимыми характерными прямоугольными областями на изображениях текущего и опорных кадров с их последующим уточнением путем наложения ограничений на величину среднеквадратичного отклонения координат векторов смещения совместимых характерных прямоугольных областей и на величину разницы между координатами векторов смещения совместимых характерных прямоугольных областей и их средних значений, изображение текущего кадра сдвигают относительно изображений соседних опорных кадров и добавляют к результирующему изображению, операцию сравнения характерных прямоугольных областей изображений осуществляют на процессоре видеокарты.1. A method for generating panoramic images from a real-time video stream of frames in which a plurality of characteristic elements are detected on the image frames, the image of the current frame is compared with the resulting image, the coordinates of the displacement vector of the current frame are determined and the image of the current frame is shifted to the calculated coordinates of the displacement vector, then, the border of the overlapping region is calculated and the shifted image of the current frame is added to the resulting one, characterized in that around x characteristic elements build characteristic rectangular areas, when comparing images on frames, sets of characteristic rectangular areas are compared, while the image of the current frame is compared only with neighboring reference frames included in the resulting image, and only in the areas of interest of the images of the current and reference frames the average intensity value is calculated pixels of the image of the current frame, determine the coordinates of the displacement vector of the current frame relative to neighboring reference frames, for the coordinates the displacement vectors between the current and reference frames take the average displacement coordinates between all compatible characteristic rectangular regions in the images of the current and reference frames, with their subsequent refinement by imposing restrictions on the standard deviation of the coordinates of the displacement vectors of the compatible characteristic rectangular regions and on the difference between the coordinates of the displacement vectors compatible characteristic rectangular areas and their average values, image of the current frame gayut regarding the neighboring reference frames and added to the resultant image comparison operation characteristic of rectangular areas of the images is performed on the processor card. 2. Способ по п. 1, отличающийся тем, что при величине средней интенсивности пикселей текущего кадра больше заданной пользователем пороговой величины в качестве характерной прямоугольной области текущего кадра используют всю область интереса текущего кадра.2. The method according to p. 1, characterized in that when the average intensity of the pixels of the current frame is greater than a user-specified threshold value, the entire region of interest of the current frame is used as a characteristic rectangular region of the current frame. 3. Способ по п. 1, отличающийся тем, что анализируют изображения последовательно захваченных кадров с произвольным направлением смещения относительно друг друга. 3. The method according to p. 1, characterized in that the image is analyzed sequentially captured frames with an arbitrary direction of displacement relative to each other.
RU2016122251A 2016-06-07 2016-06-07 Method for generating panoramic images from video stream of frames in real time mode RU2626551C1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2016122251A RU2626551C1 (en) 2016-06-07 2016-06-07 Method for generating panoramic images from video stream of frames in real time mode
EA201692174A EA030790B1 (en) 2016-06-07 2016-11-28 Method for generating panoramic images from video stream of frames in real time mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2016122251A RU2626551C1 (en) 2016-06-07 2016-06-07 Method for generating panoramic images from video stream of frames in real time mode

Publications (1)

Publication Number Publication Date
RU2626551C1 true RU2626551C1 (en) 2017-07-28

Family

ID=59632310

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016122251A RU2626551C1 (en) 2016-06-07 2016-06-07 Method for generating panoramic images from video stream of frames in real time mode

Country Status (2)

Country Link
EA (1) EA030790B1 (en)
RU (1) RU2626551C1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2706576C1 (en) * 2019-03-21 2019-11-19 Общество с ограниченной ответственностью "Ай Ти Ви групп" System and method of combining several video images into one panoramic video image
WO2023206994A1 (en) * 2022-04-24 2023-11-02 南京麦澜德医疗科技股份有限公司 Ultrasonic wide-view imaging method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
US20090153647A1 (en) * 2006-04-24 2009-06-18 Nxp B.V. Method and device for generating a panoramic image from a video sequence
RU2421814C2 (en) * 2009-02-20 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Method to generate composite image
US20120257006A1 (en) * 2011-04-06 2012-10-11 Casio Computer Co., Ltd. Image processing device capable of generating wide-range image
US20130236122A1 (en) * 2010-09-30 2013-09-12 St-Ericsson Sa Method and Device for Forming a Panoramic Image
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8937702B2 (en) * 2012-10-30 2015-01-20 Eastman Kodak Company Method of making a panoramic print

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
US20090153647A1 (en) * 2006-04-24 2009-06-18 Nxp B.V. Method and device for generating a panoramic image from a video sequence
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
RU2421814C2 (en) * 2009-02-20 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Method to generate composite image
US20130236122A1 (en) * 2010-09-30 2013-09-12 St-Ericsson Sa Method and Device for Forming a Panoramic Image
US20120257006A1 (en) * 2011-04-06 2012-10-11 Casio Computer Co., Ltd. Image processing device capable of generating wide-range image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2706576C1 (en) * 2019-03-21 2019-11-19 Общество с ограниченной ответственностью "Ай Ти Ви групп" System and method of combining several video images into one panoramic video image
WO2023206994A1 (en) * 2022-04-24 2023-11-02 南京麦澜德医疗科技股份有限公司 Ultrasonic wide-view imaging method

Also Published As

Publication number Publication date
EA030790B1 (en) 2018-09-28
EA201692174A1 (en) 2017-12-29

Similar Documents

Publication Publication Date Title
CN104685513B (en) According to the high-resolution estimation of the feature based of the low-resolution image caught using array source
CN111815707B (en) Point cloud determining method, point cloud screening method, point cloud determining device, point cloud screening device and computer equipment
US20080232698A1 (en) Object image detection method and object image detection device
US8699786B2 (en) 3D model generating apparatus, method and CRM by line pattern imaging
Mistry et al. Image stitching using Harris feature detection
JP2017076909A (en) Image processing device, image processing method and program
JP2011008704A (en) Image processing apparatus, image processing method and program
CN109479082A (en) Image processing method and device
CN109313806A (en) Image processing apparatus, image processing system, image processing method and program
CN104700355A (en) Generation method, device and system for indoor two-dimension plan
CN113160048A (en) Suture line guided image splicing method
US20230394834A1 (en) Method, system and computer readable media for object detection coverage estimation
CN113724365B (en) Three-dimensional reconstruction method and device
JP2010165052A (en) Image processor and image processing method
RU2626551C1 (en) Method for generating panoramic images from video stream of frames in real time mode
US9392146B2 (en) Apparatus and method for extracting object
CN116051736A (en) Three-dimensional reconstruction method, device, edge equipment and storage medium
RU2647645C1 (en) Method of eliminating seams when creating panoramic images from video stream of frames in real-time
JP2010102584A (en) Image processor and image processing method
Żak et al. Local image features matching for real-time seabed tracking applications
Yetiş et al. Adaptive vision based condition monitoring and fault detection method for multi robots at production lines in industrial systems
JP5310402B2 (en) Image conversion parameter calculation apparatus, image conversion parameter calculation method, and program
JP4886661B2 (en) Camera parameter estimation apparatus and camera parameter estimation program
US9721371B2 (en) Systems and methods for stitching metallographic and stereoscopic images
JP7393179B2 (en) Photography equipment

Legal Events

Date Code Title Description
HE4A Change of address of a patent owner

Effective date: 20190718

PC41 Official registration of the transfer of exclusive right

Effective date: 20191003