RU2788812C2 - Endoscopic video system and the method for its operation - Google Patents

Endoscopic video system and the method for its operation Download PDF

Info

Publication number
RU2788812C2
RU2788812C2 RU2020140288A RU2020140288A RU2788812C2 RU 2788812 C2 RU2788812 C2 RU 2788812C2 RU 2020140288 A RU2020140288 A RU 2020140288A RU 2020140288 A RU2020140288 A RU 2020140288A RU 2788812 C2 RU2788812 C2 RU 2788812C2
Authority
RU
Russia
Prior art keywords
video
endoscopic
data
volatile memory
unit
Prior art date
Application number
RU2020140288A
Other languages
Russian (ru)
Other versions
RU2020140288A (en
Inventor
Михаил Михайлович Майстришин
Олег Викторович Филипович
Александр Игоревич Рыжков
Михаил Игоревич Гарматюк
Илья Михайлович Заморенов
Original Assignee
Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет"
Filing date
Publication date
Application filed by Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет" filed Critical Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет"
Publication of RU2020140288A publication Critical patent/RU2020140288A/en
Application granted granted Critical
Publication of RU2788812C2 publication Critical patent/RU2788812C2/en

Links

Images

Abstract

FIELD: medical technology.
SUBSTANCE: group of inventions relates to medical technology. The endoscopic video system has an endoscopic video device; a monitor; an endoscopic video system control module containing a video camera unit with non-volatile memory connected to a space-oriented and illuminated by LED-controlled endoscope video camera; an endoscopic video system control module control unit connected to a video camera unit with an interface for connecting to a monitor; a video signal processing unit in a data set connected to the control unit of the endoscopic video system module, while the module has the first and second non-volatile memory blocks connected to the video signal processing unit, as well as a data encryption unit connected by bus to the first and second non-volatile memory blocks and a data transmission interface using wired and wireless connections in the encrypted form to external display devices for transmission to the medical network via a computer with a database. When implementing a method for operation, to increase the speed of the endoscopic video system, the video signal data is saved, corrected by the video signal processing unit in separate first and second memory blocks when the digital video signal sampling rate is set to video frames from the keyboard or computer, while the data transmission process is controlled by the control unit of the endoscopic video system module, and authorization of access of external devices to memory blocks by the block data encryption in accordance with the instructions from the control unit of the endoscopic video system module.
EFFECT: application of this group of inventions will increase the reliability and security when storing data processed by the endoscopic module, increase the performance of the system when processing video data and when simultaneously outputting data in the format of a video signal and a 3D model to various devices.
8 cl, 5 dwg

Description

Изобретение относится к медицинской технике, а именно - к эндоскопическим системам сбора визуальных данных, их обработки, хранения, передачи на устройства отображения.The invention relates to medical equipment, namely to endoscopic systems for collecting visual data, their processing, storage, transmission to display devices.

Известен стереоскопический видеоэндоскоп (патент RU №181438 от 25.01.2018), снабженный устройством управления, выполненным с возможностью формирования сигналов, управляющих работой источника света, приемника изображения и оптических затворов, а также формированием выходного видеосигнала изображения, который может быть воспроизведен с помощью стереоскопического монитора или телевизора, позволяющего наблюдать объемное изображение с помощью специальных очков.Known stereoscopic video endoscope (patent RU No. 181438 dated 01/25/2018), equipped with a control device configured to generate signals that control the operation of the light source, the image receiver and optical shutters, as well as the formation of the output video image signal that can be played using a stereoscopic monitor or a TV that allows you to watch a three-dimensional image with the help of special glasses.

Недостатком является пониженное надежность хранения обработанных видеоданных и пониженное быстродействие при выведении видеосигнала на устройства отображения, а также - отсутствие возможности передачи выходных сигналов беспроводным способом.The disadvantage is the reduced reliability of storing the processed video data and reduced performance when outputting the video signal to display devices, as well as the inability to transmit output signals wirelessly.

Известна система и способ работы эндоскопического устройства с возможностью визуализации (патент US N2 6184922 от 30.09.1997), включающее оптическую систему захвата и формирования видеосигнала (эндоскопическое видеоустройство); устройство освещения области (управляемые светодиоды), которую захватывает видеокамера; блок камеры эндоскопа, где выполняется обработка и преобразование (в соответствие с программой) полученного видеосигнала с видеокамеры эндоскопа; блок памяти для хранения преобразованного видеосигнала с эндоскопа; интерфейс для присоединения внешнего устройства, например персонального компьютера, с возможностью записи в его память захваченного изображения; блок вывода цифрового сигнала; монитор, на котором демонстрируется захваченное камерой эндоскопа изображение.A known system and method of operation of an endoscopic device with the possibility of visualization (US patent N2 6184922 from 09/30/1997), including an optical system for capturing and generating a video signal (endoscopic video device); a device for lighting the area (controlled LEDs) that the video camera captures; endoscope camera block, where processing and conversion (in accordance with the program) of the received video signal from the endoscope video camera is performed; a memory block for storing the converted video signal from the endoscope; an interface for connecting an external device, such as a personal computer, with the ability to record a captured image into its memory; digital signal output unit; monitor that displays the image captured by the endoscope camera.

Недостатком является пониженная надежность хранения обработанных видеоданных, а также - отсутствие возможности передачи входных и выходных сигналов беспроводным способом.The disadvantage is the reduced reliability of the storage of processed video data, as well as the inability to transmit input and output signals wirelessly.

Известно устройство обработки видеосигналов для устройства, предназначенного для биологических наблюдений (патент RU №2378976 от 07.03.2006), имеющее осветительный модуль исследуемого объекта; блок управления обработкой сигналов для фотоэлектрического преобразования света, отраженного от живого тела, основанного на освещающем свете; модуль съемки изображения (эндоскопическое видеоустройство), создающий снятый сигнал изображения, и выводящий снятый сигнал изображения на устройство отображения; устройство обработки сигналов, обрабатывающее входящий от камеры видеосигнал в зависимости от освещенности, в зависимости от которой осуществляет регулировку цветового тона выходного видеосигнала.A device for processing video signals for a device intended for biological observations (patent RU No. 2378976 dated 07.03.2006) having a lighting module of the object under study is known; a signal processing control unit for photoelectrically converting light reflected from a living body based on the illuminating light; an image pickup unit (endoscopic video device) generating a captured image signal and outputting the captured image signal to a display device; a signal processing device that processes the video signal input from the camera depending on the illumination, depending on which it adjusts the color tone of the output video signal.

Способ работы включает получение видеосигнала, его декомпозицию и коррекцию видеосигнала блоком обработки видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам, подготавливая данные к выводу на внешнее устройство отображения.The method of operation includes receiving a video signal, its decomposition and correction of the video signal by a video signal processing unit in the wavelength bands corresponding to the red, green and blue ranges, preparing the data for output to an external display device.

Недостатком данного устройства является пониженная надежность хранения обработанных и подготовленных к выводу данных, а также -отсутствие возможности передачи выходных сигналов беспроводным способом.The disadvantage of this device is the reduced reliability of storage of data processed and prepared for output, as well as the lack of the possibility of transmitting output signals wirelessly.

Известен способ (заявка US №2013/0215239 от 22.08.2013) создания 3D-модели сцены из цифрового видео, снятого с помощью цифровой видеокамеры, причем цифровое видео включает в себя временную последовательность видеокадров, в которой каждый видеокадр имеет массив пикселей изображения. Способ включает: определение положения объектива видеокамеры цифровой видеокамеры для каждого видеокадра; определение сглаженного пути объектива видеокамеры в зависимости от положений видеокамеры; определение последовательности положений объектива видеокамеры, разнесенных вдоль сглаженного пути объектива видеокамеры, так что видеокадры, захваченные в положениях объектива видеокамеры, имеют, по меньшей мере, целевой уровень перекрывающегося содержимого сцены; выбор последовательности целевых видеокадров из временной последовательности видеокадров на основе положений объектива видеокамеры; анализ целевых видеокадров с использованием процесса трехмерной реконструкции для определения трехмерной модели сцены.There is a known method (application US No. 2013/0215239 dated 22.08.2013) for creating a 3D scene model from digital video taken with a digital video camera, the digital video including a time sequence of video frames, in which each video frame has an array of image pixels. The method includes: determining the position of a video camera lens of a digital video camera for each video frame; determination of the smoothed path of the camera lens depending on the position of the camera; determining a sequence of camera lens positions spaced apart along a smoothed camera lens path such that video frames captured at the camera lens positions have at least a target scene overlap level; selecting a sequence of target video frames from the temporal sequence of video frames based on camera lens positions; analysis of target video frames using a 3D reconstruction process to determine a 3D scene model.

Известна медицинская сеть (патент US №10734116 от 11.08.2015) методы и программное обеспечение, которые включают в себя метод и систему совместного использования медицинских изображений на основе облака, Интернета, которые совместно используют как минимум один файл данных 2D-изображения через Интернет-браузер, который может генерировать вращаемые и управляемые 3D-изображения, и/или 4D-изображения, сделанные пользователями без дополнительного компьютерного программного обеспечения, плагинов или оборудования, для визуализации медицинских 3D- и 4D-изображений для удаленного совместного анализа, обсуждения и/или диагностики, а также для моделирования или облегчения визуализации медицинских процедур.Known medical network (US patent No. 10734116 dated 08/11/2015) methods and software that include a method and system for sharing medical images based on the cloud, the Internet, which share at least one 2D image data file through an Internet browser , which can generate rotated and steerable 3D images, and/or 4D images made by users without additional computer software, plug-ins or hardware, to visualize 3D and 4D medical images for remote collaborative analysis, discussion and/or diagnosis, and to simulate or facilitate the visualization of medical procedures.

Известна эндоскопическая видеосистема с модулем обработки данных (патент RU №2657951 от 10.04.2016, прототип), и способ ее работы. Эндоскопическая видеосистема имеет эндоскопическое видеоустройство с устройством захвата изображения (видеоустройство с видеокамерой и управляемой светодиодной подсветкой - источником света); модуль с вычислительным устройством (модуль управления эндоскопической видеосистемой), имеющим интерфейсы ввода видеосигнала от устройства захвата изображения, блок обработки, блок хранения (блок памяти), и блок вывода видеосигнала на устройство отображения с монитором в виде зашифрованного сигнала.Known endoscopic video system with a data processing module (patent RU No. 2657951 dated 10.04.2016, prototype), and how it works. The endoscopic video system has an endoscopic video device with an image capture device (a video device with a video camera and a controlled LED backlight - a light source); a module with a computing device (an endoscopic video system control module) having video signal input interfaces from an image capture device, a processing unit, a storage unit (memory unit), and a video signal output unit to a display device with a monitor in the form of an encrypted signal.

В процессе функционирования по управляющему сигналу от модуля с вычислительным устройством светодиодная подсветка может переключаться между широкополосным видимым светом и узкополосным светом для автофлуорисценции объекта, захватываемого видеокамерой видеоустройства, формирующего видеосигнал, передаваемый через интерфейс на блок ввода видеосигнала модуля с вычислительным устройством, где происходит его сохранение, обработка с сегментацией и созданием анатомической модели процессором с сохраненной в его памяти приложением визуализации с последующим сохранением в памяти модуля с вычислительным устройством в виде данных сегментации и данных изображения или выявленные приложением визуализации особенности анатомической модели, транслируемых в видео, что выводится через блок вывода видеосигнала на монитор.In the process of operation, according to a control signal from the module with a computing device, the LED backlight can switch between broadband visible light and narrow-band light for autofluorescence of an object captured by the video camera of the video device that generates a video signal transmitted through the interface to the video signal input unit of the module with a computing device, where it is stored, processing with segmentation and creation of an anatomical model by the processor with the visualization application stored in its memory, followed by storage in the memory of the module with the computing device in the form of segmentation data and image data or features of the anatomical model identified by the visualization application, broadcast in video, which is output through the video signal output unit to monitor.

Недостатком данного устройства является пониженная надежность хранения данных, находящихся в модуле с вычислительным устройством, а также - пониженное быстродействие в случае выведения на устройства отображения с монитором данных сегментации с данными изображения, и особенностей анатомической модели, транслируемых в видео.The disadvantage of this device is the reduced reliability of data storage in the module with the computing device, as well as reduced performance in the case of displaying segmentation data with image data on display devices with a monitor, and features of the anatomical model broadcast in video.

Техническая задача, решаемая изобретением, - повышение надежности и защищенности при хранении данных, обработанных эндоскопическим модулем, а также - повышение быстродействия системы при обработке видеоданных и при параллельном выводе данных в формате видеосигнала и 3D-модели на различные устройства.The technical problem solved by the invention is to increase the reliability and security of storing data processed by the endoscopic module, as well as to increase the speed of the system when processing video data and when outputting data in a video signal format and a 3D model in parallel to various devices.

Техническая задача решена в эндоскопической видеосистеме, имеющейThe technical problem is solved in an endoscopic video system having

эндоскопическое видеоустройство с видеокамерой и светодиодной подсветкой, монитор; модуль управления эндоскопической видеосистемы, содержащий блок видеокамеры с энергонезависимой памятью, соединенный с сориентированной в пространстве и подсвечиваемой управляемыми светодиодами видеокамерой эндоскопического видеоустройства; блок управления модулем управления эндоскопической видеосистемы, соединенный с блоком видеокамеры, с интерфейсом для подключения к монитору; блок обработки видеосигнала в набор данных, соединенный с блоком управления модулем эндоскопической видеосистемы, при этом модуль дополнительно имеет первый блок энергонезависимой памяти и второй блок энергонезависимой памяти, соединенные с блоком обработки видеосигнала; блок шифрования данных, соединенный шиной с первым и вторым блоками энергонезависимой памяти, и интерфейсом передачи данных в зашифрованном виде внешним устройствам отображения изображения, полученного с видеокамеры эндоскопического видеоустройства.endoscopic video device with video camera and LED backlight, monitor; an endoscopic video system control module, comprising a non-volatile memory video camera unit connected to a spatially oriented and LED-illuminated video camera of the endoscopic video device; a control unit for the control module of the endoscopic video system, connected to the video camera unit, with an interface for connecting to a monitor; a video signal processing unit into a data set connected to the control unit of the endoscopic video system module, the module further having a first non-volatile memory unit and a second non-volatile memory unit connected to the video signal processing unit; a data encryption unit connected by a bus to the first and second non-volatile memory units, and an encrypted data transmission interface to external devices for displaying an image received from a video camera of an endoscopic video device.

Для повышения быстродействия при параллельном выводе данных в формате видеосигнала и 3D-модели на различные устройства блок шифрования данных выходных сигналов оснащен проводным и беспроводным интерфейсом передачи данных.In order to increase the speed of parallel data output in video signal format and 3D model to various devices, the output signal data encryption unit is equipped with a wired and wireless data transmission interface.

Для повышения надежности хранения обработанных эндоскопической видеосистемой данных к модулю управления эндоскопической видеосистемой подключен компьютер с базой данных.To increase the reliability of storing data processed by the endoscopic video system, a computer with a database is connected to the control module of the endoscopic video system.

Для обеспечения удаленной работы с видеоданными эндоскопической видеосистемы компьютер с базой данных подключен к медицинской сети.To ensure remote work with the video data of the endoscopic video system, the computer with the database is connected to the medical network.

Техническая задача решается при способе работы эндоскопической видеосистемы, включающий переключение светодиодной подсветки между широкополосным видимым светом и узкополосным светом для автофлуорисцеции объекта, захватываемого видеокамерой видеоустройства, формирующего видеосигнал, передаваемый через интерфейс на интерфейс видеокамеры с блоком энергонезависимой памяти; выполнение блоком обработки видеосигнала декомпозиции и коррекция видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам; сохранение данных изображения; определение блоком обработки данных положения объектива видеокамеры для каждого видеокадра; определение пути видеокамеры в зависимости от положений видеокамеры; определение последовательности положений видеокамеры, разнесенных вдоль пути видеокамеры, так что видеокадры, захваченные в положениях видеокамеры, имеют, по меньшей мере, целевой уровень перекрывающегося содержимого видеокадра; выбор последовательности целевых видеокадров из временной последовательности видеокадров на основе положений видеокамеры; анализ целевых видеокадров с использованием процесса трехмерной реконструкции для определения трехмерной модели видеокадра; при этом сохранение данных видеосигнала, скорректированных блоком обработки видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам, осуществляется в отдельном первом блоке энергонезависимой памяти, а сохранение данных видеосигнала при трансформации видеокадра в трехмерную модель осуществляется в отдельном втором блоке энергонезависимой памяти при задании с клавиатуры или компьютера частоты дискретизации цифрового видеосигнала на видеокадры, при этом контроль процесса передачи данных, размещенных блоком обработки видеосигнала в блоках энергонезависимой памяти, осуществляется блоком управления модуля эндоскопической видеосистемы, а авторизация доступа внешних устройств к первому и второму блокам энергонезависимой памяти осуществляется блоком шифрования данных по беспроводному или проводному каналу связи в соответствии с указаниями с блока управления модулем эндоскопической видеосистемы.The technical problem is solved with the method of operation of the endoscopic video system, which includes switching the LED backlight between broadband visible light and narrow-band light for autofluorescence of an object captured by a video camera of a video device that generates a video signal transmitted through the interface to the video camera interface with a non-volatile memory unit; execution by the video signal processing unit of decomposition and correction of the video signal in the wavelength bands corresponding to the red, green and blue ranges; saving image data; determination by the data processing unit of the position of the camera lens for each video frame; determining the path of the video camera depending on the positions of the video camera; determining a sequence of camera positions spaced apart along a video camera path such that video frames captured at the video camera positions have at least a target video frame overlap content level; selecting a sequence of target video frames from the temporal sequence of video frames based on the positions of the video camera; analyzing target video frames using a 3D reconstruction process to determine a 3D model of the video frame; in this case, the video signal data corrected by the video signal processing unit in the wavelength bands corresponding to the red, green and blue ranges is stored in a separate first block of non-volatile memory, and the video signal data is stored when transforming a video frame into a three-dimensional model is carried out in a separate second block of non-volatile memory when setting from the keyboard or computer of the sampling rate of the digital video signal to video frames, while the control of the transfer of data placed by the video signal processing unit in blocks of non-volatile memory is carried out by the control unit of the module of the endoscopic video system, and the authorization of access of external devices to the first and second blocks of non-volatile memory is carried out by the data encryption unit via a wireless or wired communication channel in accordance with the instructions from the control unit of the endoscopic video system module.

Для обеспечения защищенности данных эндоскопической видеосистемы передача данных осуществляется в медицинскую сеть через программное обеспечение с необходимостью авторизации пользователя.To ensure the data security of the endoscopic video system, data is transmitted to the medical network through software with the need for user authorization.

Технический эффект, - повышение надежности хранения обработанных эндоскопической видеосистемой данных, а также - повышение быстродействия системы при обработке видеоданных и при параллельном выводе данных в формате видеосигнала и 3D-модели на различные устройства, - достигается за счет следующего отличительного признака устройства: модуль дополнительно имеет первый блок энергонезависимой памяти и второй блок энергонезависимой памяти, соединенные с блоком обработки видеосигнала; блок шифрования данных, соединенный шиной с первым и вторым блоками энергонезависимой памяти, и интерфейсом передачи данных в зашифрованном виде с внешними устройствами отображения изображения полученного с видеокамеры эндоскопическое видеоустройство; а также совокупностью отличительных признаков способа управления: сохранение данных видеосигнала, скорректированных блоком обработки видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам, осуществляется в отдельном первом блоке энергонезависимой памяти, а сохранение данных видеосигнала при трансформации видеокадра в трехмерную модель осуществляется в отдельном втором блоке энергонезависимой памяти при задании с клавиатуры или компьютера частоты дискретизации цифрового видеосигнала на видеокадры, при этом контроль процесса передачи данных, размещенных блоком обработки видеосигнала в блоках энергонезависимой памяти, осуществляется блоком управления модуля эндоскопической видеосистемы, а авторизация доступа внешних устройств к первому и второму блокам энергонезависимой памяти осуществляется блоком шифрования данных по беспроводному или проводному каналу связи в соответствии с указаниями с блока управления модулем эндоскопической видеосистемы.The technical effect, - increasing the reliability of storing data processed by the endoscopic video system, as well as - increasing the speed of the system when processing video data and when outputting data in a video signal format and a 3D model in parallel to various devices, is achieved due to the following distinguishing feature of the device: the module additionally has the first a non-volatile memory unit and a second non-volatile memory unit connected to the video signal processing unit; a data encryption unit connected by a bus to the first and second blocks of non-volatile memory, and an encrypted data transfer interface with external devices for displaying an image received from a video camera; an endoscopic video device; as well as a set of distinguishing features of the control method: the storage of video signal data corrected by the video signal processing unit in the wavelength bands corresponding to the red, green and blue ranges is carried out in a separate first block of non-volatile memory, and the video signal data is stored when transforming a video frame into a three-dimensional model is carried out in a separate the second non-volatile memory block when setting the sampling rate of the digital video signal to video frames from the keyboard or computer, while the control of the data transfer process placed by the video signal processing unit in the non-volatile memory blocks is carried out by the control unit of the endoscopic video system module, and the access authorization of external devices to the first and second blocks non-volatile memory is carried out by the data encryption unit via a wireless or wired communication channel in accordance with the instructions from the control unit of the endoscopic video system module.

Данная совокупность отличительных признаков не найдена в процессе патентно-информационного поиска, - следовательно, техническое решение соответствует критерию «новизна». Она также не следует явно из уровня техники, следовательно, техническое решение соответствует критерию «изобретательский уровень».This set of distinguishing features was not found in the process of patent information search, therefore, the technical solution meets the criterion of "novelty". It also does not follow explicitly from the prior art, therefore, the technical solution meets the criterion of "inventive step".

На Фиг. 1 показана структура эндоскопической видеосистемы с модулем управления.On FIG. 1 shows the structure of an endoscopic video system with a control module.

На Фиг. 2. показана структура эндоскопической видеосистемы с модулем управления, подключенного к медицинской сети.On FIG. 2. shows the structure of an endoscopic video system with a control module connected to a medical network.

На Фиг. 3 показан пример сопряжения интерфейсов элементов эндоскопической видеосистемы с модулем управления.On FIG. Figure 3 shows an example of pairing the interfaces of the elements of the endoscopic video system with the control module.

На Фиг. 4 приведен пример алгоритма работы блока управления модулем управления эндоскопической видеосистемой.On FIG. Figure 4 shows an example of the operation algorithm of the control unit for the control module of the endoscopic video system.

На Фиг. 5 приведен пример алгоритма работы блока шифрования данных модуля управления эндоскопической видеосистемой.On FIG. Figure 5 shows an example of the operation algorithm of the data encryption block of the endoscopic video system control module.

Эндоскопическая видеосистема (Фиг. 1-3) имеет эндоскопическое видеоустройство 1, монитор 2, модуль 3 управления эндоскопической видеосистемой, содержащий интерфейс 4 видеокамеры 5 с блоком (не показан) энергонезависимой памяти, соединенный через интерфейс 6 (Фиг. 3) с интерфейсом 6а сориентированной в пространстве видеокамеры 5 эндоскопического видеоустройства 1, имеющей источник 7 света со светодиодами 8, датчиком 9 температуры и вентилятором 10, управляемыми блоком 11 контроля освещения через драйвер 12, связанным с индикатором 13 питания видеокамеры 5; соединенный с блоком 4 видеокамеры 5 блок 14 управления модулем 1 эндоскопической видеосистемой, имеющий интерфейсы 15, 16, 17 для подключения к модулю 3 монитора 2, компьютера 18 с базой данных 19 и клавиатуры 20 соответственно; блок 21 обработки видеосигнала в набор данных, соединенный с блоком 14 управления модулем 3 эндоскопической видеосистемы; соединенные с блоком 21 обработки видеосигнала два физически отдельных и независимых один от второго блока (22 и 23) энергонезависимой памяти, выходы которых соединены с блоком 24 шифрования данных; блок 24 шифрования данных выходных сигналов, регулируемый блоком 14 управления модуля 3 эндоскопической видеосистемы, имеющий интерфейс 16 для параллельной передачи выходной информации к внешним устройствам 2, 18, 19 через интерфейсы 15, 16 передачи в зашифрованном виде проводным и беспроводным способом на интерфейсы 15а внешних устройств 2, 18, 19.The endoscopic video system (Fig. 1-3) has an endoscopic video device 1, a monitor 2, an endoscopic video system control module 3, containing an interface 4 of a video camera 5 with a block (not shown) of non-volatile memory, connected via interface 6 (Fig. 3) with an interface 6a oriented in the space of the video camera 5 of the endoscopic video device 1, which has a light source 7 with LEDs 8, a temperature sensor 9 and a fan 10 controlled by the lighting control unit 11 through the driver 12 connected to the power indicator 13 of the video camera 5; connected to the block 4 of the video camera 5 block 14 control module 1 endoscopic video system, having interfaces 15, 16, 17 to connect to the module 3 monitor 2, computer 18 with a database 19 and keyboard 20, respectively; a video signal processing unit 21 into a data set connected to the control unit 14 of the endoscopic video system module 3; connected to the video signal processing unit 21, two physically separate and independent one from the second block (22 and 23) of non-volatile memory, the outputs of which are connected to the data encryption unit 24; block 24 for encrypting the data of the output signals, regulated by the control unit 14 of the module 3 of the endoscopic video system, having an interface 16 for parallel transmission of output information to external devices 2, 18, 19 through interfaces 15, 16 in encrypted form, wired and wirelessly to interfaces 15a of external devices 2, 18, 19.

Блоки 14, 21, 22, 23, 24 и интерфейсы 4, 6, 16, 17 размещаются на материнской плате 25 и снабжаются электроэнергией от источника 26 питания, размещенного в модуле 1 управления эндоскопической видеосистемой.Blocks 14, 21, 22, 23, 24 and interfaces 4, 6, 16, 17 are placed on the motherboard 25 and are supplied with electricity from a power source 26 located in the control module 1 of the endoscopic video system.

Способ управления модулем 3 эндоскопической видеосистемы, описанный выше осуществляется по управляющему сигналу от блока 14 управления модулем 1, по которому светодиодная подсветка источника 7 света может переключаться между широкополосным видимым светом и узкополосным светом для автофлуорисценции объекта, захватываемого видеокамерой 5 эндоскопического видеоустройства 1, формирующего видеосигнал, передаваемый через соединенные интерфейсы 15 и 15а на интерфейс 4 видеокамеры 5 с блоком энергонезависимой памяти; блок 21 обработки видеосигнала выполняет декомпозицию и коррекцию видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам; определение положения видеокамеры 5 эндоскопического видеоустройства 1 для каждого видеокадра; определение сглаженного пути видеокамеры 5 в зависимости от положений эндоскопического видеоустройства 1; определение последовательности положений видеокамеры 5, разнесенных вдоль сглаженного пути камеры, так что видеокадры, захваченные в положениях видеокамеры 5, имеют, по меньшей мере, целевой уровень перекрывающегося содержимого видеокадра; выбор последовательности целевых видеокадров из временной последовательности видеокадров на основе положений видеокамеры 5; анализ целевых видеокадров с использованием процесса трехмерной реконструкции для определения трехмерной модели видеокадра.The method of controlling the module 3 of the endoscopic video system, described above, is carried out by a control signal from the control unit 14 of the control module 1, by which the LED illumination of the light source 7 can switch between broadband visible light and narrowband light for autofluorescence of the object captured by the video camera 5 of the endoscopic video device 1, which generates a video signal, transmitted through the connected interfaces 15 and 15a to the interface 4 of the video camera 5 with a block of non-volatile memory; the video signal processing unit 21 performs decomposition and correction of the video signal in the wavelength bands corresponding to the red, green and blue bands; determining the position of the video camera 5 of the endoscopic video device 1 for each video frame; determination of the smoothed path of the video camera 5 depending on the positions of the endoscopic video device 1; determining a sequence of camera 5 positions spaced apart along the smoothed camera path such that video frames captured at the video camera 5 positions have at least a target video frame overlap content level; selecting a sequence of target video frames from a temporal sequence of video frames based on the positions of the video camera 5; analyzing target video frames using a 3D reconstruction process to determine a 3D model of the video frame.

Данные видеосигнала, обработанные блоком 21 обработки видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам, сохраняются в отдельном первом блоке 22 энергонезависимой памяти, а данные видеосигнала, трансформированные обработанные блоком 21 обработки видеосигнала и трансформированные в 3D-модель видеокадра, сохраняются в отдельном втором блоке 23 энергонезависимой памяти. Блок 14 управления модулем эндоскопической видеосистемы на основании данных введенных в него с клавиатуры 20 или компьютера 18 задает частоту дискретизации цифрового видеосигнала на видеокадры.The video signal data processed by the video signal processing unit 21 in the wavelength bands corresponding to the red, green and blue bands is stored in a separate first non-volatile memory unit 22, and the video signal data transformed by the video signal processing unit 21 and transformed into a 3D model of the video frame is stored in a separate second block 23 of non-volatile memory. The control unit 14 of the endoscopic video system module, based on the data entered into it from the keyboard 20 or computer 18, sets the sampling rate of the digital video signal to video frames.

Блок 14 управления модулем 3 эндоскопической видеосистемы проводит (Фиг. 4):The control unit 14 of the module 3 of the endoscopic video system conducts (Fig. 4):

1) проверку работоспособности блока 2 камеры с энергонезависимой памятью;1) checking the operability of block 2 of the camera with non-volatile memory;

2) проверку работоспособности блока 21 обработки видеосигнала;2) checking the performance of the block 21 video signal processing;

3) разрешение/запрет видеокамере 5 эндоскопического видеоустройства 1 записи данных в блок 4 видеокамеры с блоком энергонезависимой памяти;3) permission/prohibition for the video camera 5 of the endoscopic video device 1 to record data in the block 4 of the video camera with a block of non-volatile memory;

4) разрешение/запрет интерфейсу 4 видеокамеры 5 с энергонезависимой памятью передавать данные в блок 21 обработки видеосигнала;4) permission/prohibition of the interface 4 of the video camera 5 with non-volatile memory to transmit data to the block 21 of the video signal processing;

5) настройку в соответствие введенными оператором с помощью компьютера 18 или клавиатуры 20 указаний алгоритма шифрования блока 24 шифрования данных.5) setting in accordance with the instructions entered by the operator using the computer 18 or keyboard 20 of the encryption algorithm block 24 data encryption.

Передача данных, размещенных блоком 21 обработки в блоках 22 и 23 энергонезависимой памяти, контролируется блоком 14 управления модуля 3.The transfer of data placed by the processing unit 21 in blocks 22 and 23 of non-volatile memory is controlled by the control unit 14 of module 3.

Блок 24 шифрования данных осуществляет авторизацию внешних устройств 2, 18, 19 по беспроводному и/или проводному каналу связи в соответствии с алгоритмами, заданными блоком 14 управления модулем 3.The data encryption unit 24 authorizes external devices 2, 18, 19 via a wireless and/or wired communication channel in accordance with the algorithms specified by the module 3 control unit 14.

Блок 24 шифрования данных (Фиг. 5):Block 24 data encryption (Fig. 5):

1) осуществляет авторизацию внешних устройств 2, 18, 19 по беспроводному и/или проводному каналу связи, разрешая или запрещая им доступ в соответствии с алгоритмами, заданными с блока 14 управления модулем 3 для доступа к энергонезависимой памяти (22, 23);1) authorizes external devices 2, 18, 19 via a wireless and/or wired communication channel, allowing or denying their access in accordance with the algorithms set from the control unit 14 of module 3 for access to non-volatile memory (22, 23);

2) проводит шифрование данных, перемещаемых из модуля 3 эндоскопической видеосистемы авторизированными устройствами 2, 18, 19 из энергонезависимой памяти 22 с данными и памяти 23 с данными о 3D-модели.2) encrypts data transferred from module 3 of the endoscopic video system by authorized devices 2, 18, 19 from non-volatile memory 22 with data and memory 23 with data on the 3D model.

3) осуществляет прерывание передачи данных конкретным авторизированным устройствам 2, 18, 19, при получении соответствующей команды от блока 14 управления модулем 1 эндоскопической видеосистемы.3) interrupts data transmission to specific authorized devices 2, 18, 19 upon receipt of the appropriate command from the control unit 14 of the module 1 of the endoscopic video system.

Компьютер 18 с базой данных 19, подключенный к медицинской сети 27, позволяет при после авторизации, проведенной блоком 24 шифрования данных, осуществлять обмен данными в медицинской сети 27 через программное обеспечение, установленное в памяти устройств, входящих в медицинскую сеть 27, с необходимостью авторизации пользователя и последующего совместного использования медицинских изображений.The computer 18 with the database 19, connected to the medical network 27, allows, after authorization carried out by the data encryption unit 24, to exchange data in the medical network 27 through the software installed in the memory of the devices included in the medical network 27, with the need for user authorization and subsequent sharing of medical images.

Claims (8)

1. Эндоскопическая видеосистема, имеющая эндоскопическое видеоустройство с видеокамерой и светодиодной подсветкой, монитор; модуль управления эндоскопической видеосистемой, содержащий интерфейс видеокамеры с блоком энергонезависимой памяти, соединенный с сориентированной в пространстве и подсвечиваемой управляемыми светодиодами видеокамерой эндоскопического видеоустройства; блок управления модулем управления эндоскопической видеосистемы, соединенный с блоком видеокамеры, с интерфейсом для подключения к монитору; блок обработки видеосигнала в набор данных, соединенный с блоком управления модулем управления эндоскопической видеосистемы; отличающаяся тем, что модуль управления эндоскопической видеосистемы дополнительно имеет первый блок энергонезависимой памяти и второй блок энергонезависимой памяти, соединенные с блоком обработки видеосигнала; блок шифрования данных, соединенный шиной с первым и вторым блоками энергонезависимой памяти и интерфейсом передачи данных в зашифрованном виде внешним устройствам отображения изображения полученного с видеокамеры эндоскопического видеоустройства.1. An endoscopic video system with an endoscopic video device with a video camera and LED backlight, a monitor; an endoscopic video system control module comprising a video camera interface with a non-volatile memory unit connected to a spatially oriented and LED-illuminated video camera of the endoscopic video device; a control unit for the control module of the endoscopic video system, connected to the video camera unit, with an interface for connecting to a monitor; a video signal processing unit into a data set connected to the control unit of the endoscopic video system control module; characterized in that the control module of the endoscopic video system additionally has a first non-volatile memory unit and a second non-volatile memory unit connected to the video signal processing unit; a data encryption unit connected by a bus to the first and second non-volatile memory units and an encrypted data transfer interface to external devices for displaying an image received from a video camera of an endoscopic video device. 2. Эндоскопическая видеосистема по п. 1, отличающаяся тем, что блок шифрования данных выходных сигналов оснащен проводным интерфейсом передачи данных.2. Endoscopic video system according to claim 1, characterized in that the output signal data encryption unit is equipped with a wired data transfer interface. 3. Эндоскопическая видеосистема по п. 1, отличающаяся тем, что блок шифрования данных выходных сигналов оснащен беспроводным интерфейсом передачи данных.3. Endoscopic video system according to claim. 1, characterized in that the data encryption unit of the output signals is equipped with a wireless data interface. 4. Эндоскопическая видеосистема по п. 1, отличающаяся тем, что блок шифрования данных выходных сигналов оснащен проводным и беспроводным интерфейсами передачи данных.4. Endoscopic video system according to claim 1, characterized in that the output signal data encryption unit is equipped with wired and wireless data transfer interfaces. 5. Эндоскопическая видеосистема по п. 1, отличающаяся тем, что она имеет подключенный к модулю управления эндоскопической видеосистемы компьютер с базой данных.5. An endoscopic video system according to claim 1, characterized in that it has a computer with a database connected to the control module of the endoscopic video system. 6. Эндоскопическая видеосистема по п. 5, отличающаяся тем, что компьютер с базой данных подключен к медицинской сети.6. Endoscopic video system according to claim 5, characterized in that the computer with the database is connected to the medical network. 7. Способ работы эндоскопической видеосистемы по любому из пп. 1-6, включающий переключение светодиодной подсветки между широкополосным видимым светом и узкополосным светом для автофлуоресценции объекта, захватываемого видеокамерой видеоустройства, формирующего видеосигнал, передаваемый через интерфейс на интерфейс видеокамеры с блоком энергонезависимой памяти; выполнение блоком обработки видеосигнала декомпозиции с коррекцией видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам; сохранение данных изображения в блоке энергонезависимой памяти интерфейса видеокамеры; определение блоком обработки данных положения объектива видеокамеры для каждого видеокадра; определение пути видеокамеры в зависимости от положений видеокамеры; определение последовательности положений видеокамеры, разнесенных вдоль пути видеокамеры, так что видеокадры, захваченные в положениях видеокамеры, имеют, по меньшей мере, целевой уровень перекрывающегося содержимого видеокадра; выбор последовательности целевых видеокадров из временной последовательности видеокадров на основе положений видеокамеры; анализ целевых видеокадров с использованием процесса трехмерной реконструкции для определения трехмерной модели видеокадра; отличающийся тем, что сохранение данных видеосигнала, скорректированных блоком обработки видеосигнала в полосах длин волн, соответствующих красному, зеленому и синему диапазонам, осуществляется в отдельном первом блоке энергонезависимой памяти, а сохранение данных видеосигнала при трансформации видеокадра в трехмерную модель осуществляется в отдельном втором блоке энергонезависимой памяти при задании с клавиатуры или компьютера частоты дискретизации цифрового видеосигнала на видеокадры, при этом контроль процесса передачи данных, размещенных блоком обработки видеосигнала в блоках энергонезависимой памяти, осуществляется блоком управления модуля управления эндоскопической видеосистемы, а авторизация доступа внешних устройств к первому и второму блокам энергонезависимой памяти осуществляется блоком шифрования данных по беспроводному или проводному каналу связи в соответствии с указаниями с блока управления модулем управления эндоскопической видеосистемы.7. The method of operation of the endoscopic video system according to any one of paragraphs. 1-6, including switching the LED backlight between broadband visible light and narrowband light for autofluorescence of an object captured by a video camera of a video device that generates a video signal transmitted through an interface to a video camera interface with a non-volatile memory unit; execution by the video signal processing unit of decomposition with correction of the video signal in the wavelength bands corresponding to the red, green and blue ranges; storing the image data in a block of non-volatile memory of the video camera interface; determination by the data processing unit of the position of the camera lens for each video frame; determining the path of the video camera depending on the positions of the video camera; determining a sequence of camera positions spaced apart along a video camera path such that video frames captured at the video camera positions have at least a target video frame overlap content level; selecting a sequence of target video frames from the temporal sequence of video frames based on the positions of the video camera; analyzing target video frames using a 3D reconstruction process to determine a 3D model of the video frame; characterized in that the storage of video signal data corrected by the video signal processing unit in the wavelength bands corresponding to the red, green and blue ranges is carried out in a separate first block of non-volatile memory, and the video signal data is stored when transforming a video frame into a three-dimensional model is carried out in a separate second block of non-volatile memory when setting the sampling rate of the digital video signal to video frames from the keyboard or computer, while the control of the transfer of data placed by the video signal processing unit in blocks of non-volatile memory is carried out by the control unit of the control module of the endoscopic video system, and the access of external devices to the first and second blocks of non-volatile memory is authorized a data encryption unit via a wireless or wired communication channel in accordance with the instructions from the control unit of the endoscopic video system control module. 8. Способ работы по п. 7 эндоскопической видеосистемы, описанной в пп. 1-6, отличающийся тем, что система осуществляет передачу данных в медицинскую сеть через программное обеспечение с необходимостью авторизации пользователя.8. The method of operation according to paragraph 7 of the endoscopic video system described in paragraphs. 1-6, characterized in that the system transmits data to the medical network through software with the need for user authorization.
RU2020140288A 2020-12-07 Endoscopic video system and the method for its operation RU2788812C2 (en)

Publications (2)

Publication Number Publication Date
RU2020140288A RU2020140288A (en) 2022-06-07
RU2788812C2 true RU2788812C2 (en) 2023-01-24

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2182385C2 (en) * 1996-09-05 2002-05-10 Рудольф ШВАРТЕ Method and device determining information on amplitude and phase of electromagnetic wave
RU2422081C2 (en) * 2007-01-05 2011-06-27 Майскин, Инк. System, device and method of skin image
RU2657951C2 (en) * 2012-02-23 2018-06-18 Смит Энд Нефью, Инк. Video endoscopic system
RU2689136C2 (en) * 2014-03-25 2019-05-24 6115187 КЭНАДА ИНК. д/б/а ИММЕРВИЖН, ИНК. Automated determination of system behavior or user experience by recording, sharing and processing information associated with wide-angle image
RU2689843C2 (en) * 2017-02-27 2019-05-29 Общество С Ограниченной Ответственностью "Медикрон Групп" Medical diagnostic device with detachable distal nozzles
US20200352410A1 (en) * 2018-03-06 2020-11-12 Olympus Corporation Endoscope and method of operating endoscope

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2182385C2 (en) * 1996-09-05 2002-05-10 Рудольф ШВАРТЕ Method and device determining information on amplitude and phase of electromagnetic wave
RU2422081C2 (en) * 2007-01-05 2011-06-27 Майскин, Инк. System, device and method of skin image
RU2657951C2 (en) * 2012-02-23 2018-06-18 Смит Энд Нефью, Инк. Video endoscopic system
RU2689136C2 (en) * 2014-03-25 2019-05-24 6115187 КЭНАДА ИНК. д/б/а ИММЕРВИЖН, ИНК. Automated determination of system behavior or user experience by recording, sharing and processing information associated with wide-angle image
RU2689843C2 (en) * 2017-02-27 2019-05-29 Общество С Ограниченной Ответственностью "Медикрон Групп" Medical diagnostic device with detachable distal nozzles
US20200352410A1 (en) * 2018-03-06 2020-11-12 Olympus Corporation Endoscope and method of operating endoscope

Similar Documents

Publication Publication Date Title
US11376094B2 (en) Enhanced video enabled software tools for medical environments
WO2017049922A1 (en) Image information collection apparatus, image collection method, and application thereof
WO2017049923A1 (en) Multi-function mobile image processing apparatus, processing method, and application
CN107105217A (en) Multi-mode depth calculation processor and 3D rendering equipment
WO2009142443A2 (en) System and method for generating a multi-dimensional image
CN103845113B (en) Wireless operation magnifying glass and its Application way, device and system
US20120162401A1 (en) Imaging system
US11109916B2 (en) Personalized hand-eye coordinated digital stereo microscopic systems and methods
CN109272483B (en) Capsule endoscopy and quality control system and control method
CN108042090B (en) Medical endoscope system configured with artificial intelligence chip and image processing method
US20170013284A1 (en) Transmission signal processing apparatus, transmission signal processing method, and received signal processing apparatus
JPH0595900A (en) Endoscope image processing device
CN110832842B (en) Imaging apparatus and image generating method
EP3534620B1 (en) Signal processing device and method, and program
US9282881B2 (en) 3D image shooting apparatus and endoscope
US9215966B2 (en) 3D image shooting apparatus and endoscope
JP7095693B2 (en) Medical observation system
KR101921268B1 (en) Capsule endoscopy apparatus for rendering 3d image, operation method of said capsule endoscopy, receiver rendering 3d image interworking with said capsule endoscopy, and capsule endoscopy system
US20200093350A1 (en) Image processing device, image processing method, program, and endoscope system
US9392230B2 (en) Endoscopic apparatus and measuring method
CN115919239A (en) Imaging method for 3D endoscopic imaging system and 3D endoscopic imaging system
CN109068035B (en) Intelligent micro-camera array endoscopic imaging system
US11759094B2 (en) Medical surgery imaging system for processing visual content transferred over a wireless network
RU2788812C2 (en) Endoscopic video system and the method for its operation
KR20230008959A (en) A capsule endoscope apparatus and supporting methods for diagnosing the lesions