RU2697062C1 - Method of objects observation - Google Patents
Method of objects observation Download PDFInfo
- Publication number
- RU2697062C1 RU2697062C1 RU2018143758A RU2018143758A RU2697062C1 RU 2697062 C1 RU2697062 C1 RU 2697062C1 RU 2018143758 A RU2018143758 A RU 2018143758A RU 2018143758 A RU2018143758 A RU 2018143758A RU 2697062 C1 RU2697062 C1 RU 2697062C1
- Authority
- RU
- Russia
- Prior art keywords
- signals
- images
- objects
- spectrum
- stereo pair
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
Настоящее изобретение относится к области формирования изображений с использованием систем и устройств объемного телевидения и может найти применение для наблюдения объектов окружающего пространства. Оно предусматривает получение и отображение информации для автоматического анализа и зрительного восприятия объектов с использованием разноспектральных изображений. Это достигается на основе регистрации и преобразования лучистого потока в разных зонах видимой, ближней и инфракрасной областей спектра в сигналы телевизионных изображений. Изобретение может быть применено в робототехнике, системах технического зрения для решения задач наблюдения объектов в дневное и ночное время.The present invention relates to the field of imaging using surround television systems and devices and may find application for observing environmental objects. It provides for obtaining and displaying information for automatic analysis and visual perception of objects using multispectral images. This is achieved by recording and converting the radiant flux in different zones of the visible, near and infrared regions of the spectrum into television image signals. The invention can be applied in robotics, vision systems for solving problems of observing objects in the daytime and at night.
Количество отраженной от земной поверхности лучистой энергии зависит от количества энергии, поступившей от Солнца, являющегося естественным базовым источником излучения. Идеализированный спектр излучения Солнца, как основного источника лучистого потока J(λ), который направлен на объекты материального мира Земли, включает гамма-лучи и лучистый поток ультрафиолетовой (УФ), видимой (ВИ) и инфракрасной (ИК) областей спектра. Как известно, основной поток энергии солнечного излучения приходится на ВИ и ближние УФ и ИК области спектра в соотношении 40:10:50The amount of radiant energy reflected from the earth's surface depends on the amount of energy received from the Sun, which is the natural basic source of radiation. The idealized radiation spectrum of the Sun, as the main source of the radiant flux J (λ), which is aimed at objects of the material world of the Earth, includes gamma rays and radiant flux of ultraviolet (UV), visible (VI) and infrared (IR) regions of the spectrum. As you know, the main energy flux of solar radiation falls on the VI and near UV and IR spectral regions in a ratio of 40:10:50
Почти вся (99,9%) пришедшая от Солнца на земную поверхность лучистая энергия приходится на спектральный участок от 0,3 до 3,0 мкм с преобладанием в видимой области спектра (максимум около 0,55 мкм). Земля, накопив солнечную энергию, сама становится источником излучения в интервале длин волн λ=3,0-4,0 мкм с максимумом в диапазоне λ=8-12 мкм.Almost all (99.9%) radiant energy that came from the Sun to the Earth’s surface falls on the spectral region from 0.3 to 3.0 μm with a predominance in the visible region of the spectrum (maximum about 0.55 μm). Earth, having accumulated solar energy, itself becomes a source of radiation in the wavelength range λ = 3.0–4.0 μm with a maximum in the range λ = 8-12 μm.
Известны достоинства ближней ИК области спектра (1,0-2,5 мкм) для ведения наблюдения в ночное время суток, к которым относятся: высокий уровень естественной ночной освещенности на длине волны λ=1,6 мкм, высокий уровень контраста цели, повышенная прозрачность атмосферы и ряд других факторов. Надо отметить, что в диапазоне длин волн 1,4-1,7 мкм существенно повышается прозрачность атмосферы и, более чем на порядок (по сравнению с ВИ областью спектра), снижается яркость атмосферной дымки. Поэтому лучистый поток в этом диапазоне длин волн проходит лучше через некоторые виды дыма, пыли и туманов, что позволяет обеспечить большую вероятность обнаружения, селекции и идентификации объектов.The advantages of the near-IR region of the spectrum (1.0–2.5 μm) for observing at night are known, which include: a high level of natural night illumination at a wavelength of λ = 1.6 μm, a high level of contrast of the target, and increased transparency atmosphere and a number of other factors. It should be noted that in the wavelength range 1.4-1.7 μm, the transparency of the atmosphere significantly increases and, more than an order of magnitude (compared with the VI region of the spectrum), the brightness of the atmospheric haze decreases. Therefore, the radiant flux in this wavelength range passes better through some types of smoke, dust and mists, which allows for a greater probability of detection, selection and identification of objects.
Атмосфера значительно ослабляет и спектрально преобразует солнечное излучение вследствие рассеяния и поглощения молекулами газов, водяными парами, твердыми частицами. Таким образом, спектр излучения поверхности Земли имеет днем два максимума - один на длине волны около 0,55 мкм, обусловленный отраженной солнечной радиацией, и второй - на длине волны около 10,0 мкм, обусловленный собственным тепловым излучением Земли.The atmosphere significantly attenuates and spectrally transforms solar radiation due to scattering and absorption by gas molecules, water vapor, and solid particles. Thus, the emission spectrum of the Earth’s surface has two maximums during the day - one at a wavelength of about 0.55 μm due to reflected solar radiation, and the second at a wavelength of about 10.0 μm due to the Earth’s own thermal radiation.
Это говорит о том, что наряду с отражательной способностью лучистого потока, большинство объектов материального мира, за счет их естественного или искусственного нагревания, сами излучают лучистый поток Fизл(λ) в тепловой части ИК области спектра. При этом максимальная длина волны излучения определяется известным выражением:This suggests that, along with the reflectivity of the radiant flux, most objects of the material world, due to their natural or artificial heating, themselves emit a radiant flux F rad (λ) in the thermal part of the infrared region of the spectrum. In this case, the maximum radiation wavelength is determined by the known expression:
где T0 -температура в Кельвинах, а λmax - длина волны с максимальной интенсивностью в микрометрах.where T 0 is the temperature in Kelvin, and λ max is the wavelength with maximum intensity in micrometers.
Освоение тепловой части ИК области спектра позволило создать различные типы «тепловизоров», которые формируют тепловизионные изображения подобно обычным ТВ камерам (изображения в ТВ формате), но используют для этого не ВИ световой поток, а ИК лучистый поток, излучаемый самими объектами (на основе имеющегося различия в распределении температуры объектов окружающей среды между собой).The development of the thermal part of the IR region of the spectrum allowed us to create various types of “thermal imagers” that form thermal imaging images similar to conventional TV cameras (images in TV format), but do not use the IR light flux, but the IR radiant flux emitted by the objects themselves (based on the available differences in the temperature distribution of environmental objects among themselves).
Как известно, ночью спектр излучения земной поверхности изменяется, сохраняется только максимум в области собственного излучения, а в области отражения максимум исчезает. Диапазон 3,0-5,0 мкм характерен для регистрации излученного потока, например, при пожарах, поскольку согласно выражению (1) это соответствует температуре горящих объектов.As is known, at night the radiation spectrum of the earth's surface changes, only the maximum is preserved in the region of intrinsic radiation, and in the region of reflection the maximum disappears. The range of 3.0-5.0 μm is characteristic for recording the radiated flux, for example, during fires, since according to expression (1) this corresponds to the temperature of burning objects.
Диапазон 8,0-12,0 мкм характерен для регистрации излученного лучистого потока нагретых (охлажденных) естественных объектов поверхности Земли или искусственных объектов, имеющих иную температуру по сравнению с фоновыми объектами.The range of 8.0-12.0 microns is characteristic for recording the radiated radiant flux of heated (cooled) natural objects on the Earth's surface or artificial objects having a different temperature compared to background objects.
Важной характеристикой зрительного восприятия объектов оптических изображений выступает контрастная чувствительность глаза - способность различать одни объекты на фоне других [5], за счет не одинаковой их яркости, которая определяется излучательными или отражательными свойствами наблюдаемых объектов в заданном пространстве и спектральном интервале.An important characteristic of the visual perception of optical image objects is the contrast sensitivity of the eye — the ability to distinguish some objects against the background of others [5], due to their unequal brightness, which is determined by the radiative or reflective properties of the observed objects in a given space and spectral range.
Существуют различные варианты определения контрастности объектов ki в оптических изображениях, например,There are various options for determining the contrast of objects k i in optical images, for example,
где Bi и Bj - величины яркости i и j - наблюдаемых объектов, при этом величина контрастности может принимать значения в интервале 0<k1≤1.where B i and B j are the brightness values of i and j are the observed objects, while the contrast value can take values in the range 0 <k 1 ≤1.
Обычно интересующий объект (объект селекции) наблюдается на фоне другого объекта. Каждый из них может иметь определенную яркость, цвет и отражательную способность. Различие между объектом наблюдения и фоном будет фиксироваться зрительным анализатором человека, если контраст по яркости между ними превышает некоторую пороговую величинуUsually an object of interest (a selection object) is observed against the background of another object. Each of them can have a certain brightness, color and reflectivity. The difference between the object of observation and the background will be recorded by the human visual analyzer if the contrast in brightness between them exceeds a certain threshold value
ε - порог контрастной чувствительности глаза, принимается равный величине 0,01≤ε≤0,02.ε is the threshold of contrast sensitivity of the eye, taken equal to the value of 0.01≤ε≤0.02.
Согласно (3), различение одного объекта на фоне другого возможно в том случае, если контраст между ними будет выше минимально допустимого контраста. Таким образом, при наблюдении объектов в изображениях важное место занимает минимальное значение приращения яркости, которое может быть обнаружено зрительным аппаратом человекаAccording to (3), distinguishing one object from the background of another is possible if the contrast between them is higher than the minimum acceptable contrast. Thus, when observing objects in images, an important place is occupied by the minimum value of the brightness increment, which can be detected by the human visual apparatus.
ΔBmin=(Bi- Bj).ΔB min = (B i - B j ).
При небольших значениях контрастности наблюдаемое изображение считается малоконтрастным. Малоконтрастные изображения характерны для объектов, обладающих минимальной отражательной способностью, слабой освещенностью или большой удаленностью от места их наблюдения. Поэтому достоверное и качественное решение задач наблюдения и анализа изображений, в первую очередь, связано с возможностью получения контрастных изображений.At low contrast values, the observed image is considered low-contrast. Low-contrast images are typical for objects with minimal reflectance, low light, or a large distance from where they were observed. Therefore, a reliable and high-quality solution to the problems of observation and image analysis is primarily associated with the possibility of obtaining contrast images.
Естественно, что для наблюдения состояния и контроля тех или иных объектов земной поверхности и их перемещения в пространстве используют различные типы прикладных оптико-электронных, телевизионных (ТВ) и тепловизионных (ТПВ) систем и устройств. Они осуществляют регистрацию лучистого (светового) потока внутри широкого спектрального участка от λ1 до λn.Naturally, to monitor the state and control of various objects of the earth's surface and their movement in space, various types of applied optoelectronic, television (TV) and thermal imaging (TPV) systems and devices are used. They register the radiant (light) flux within a wide spectral region from λ 1 to λ n .
Принципы формирования видеосигналов с помощью отдельных черно-белых, цветных и спектрозональных ТВ камер, а также с использованием ТПВ камер для визуального анализа изображений объектов нашли должное отражение в зарубежной и отечественной литературе [4, 5].The principles of the formation of video signals using separate black-and-white, color and spectrozonal TV cameras, as well as using TPV cameras for visual analysis of images of objects, have been duly reflected in foreign and domestic literature [4, 5].
Для формирования черно-белых и цветных ТВ изображений используется регистрация светового потока в ВИ области спектра. В передающем тракте ТВ системы осуществляется формирование сигналов изображения и их обработка, а в приемном тракте их отображение на экране видеоконтрольных устройств в виде черно-белых или цветных изображений.For the formation of black-and-white and color TV images, the registration of the light flux in the VI region of the spectrum is used. In the transmitting path of the TV system, image signals are generated and processed, and in the receiving path they are displayed on the screen of video monitoring devices in the form of black and white or color images.
Спектрозональные ТВ изображения могут быть сформированы путем регистрации лучистого (светового) потока в УФ, ВИ и ИК областях спектра. Информативность таких изображений может быть значительно выше (в десятки раз) по сравнению с цветными RGB изображениями, и особенно при различении объектов земной поверхности, имеющих одинаковые пространственные признаки (по форме, размеру и т.д.).Spectrozonal TV images can be formed by recording the radiant (light) flux in the UV, VI and IR spectral regions. The information content of such images can be significantly higher (tens of times) compared to color RGB images, and especially when distinguishing between objects of the earth's surface that have the same spatial features (in shape, size, etc.).
Наблюдение объектов в ночное время суток, можно осуществлять путем регистрации лучистого потока в тепловой части ИК области спектра в спектральных участках 3-5 мкм и 8-12 мкм.Observation of objects at night can be carried out by recording the radiant flux in the thermal part of the IR region of the spectrum in the spectral regions of 3-5 μm and 8-12 μm.
На сегодня существует большой класс устройств тепловидения, в котором для регистрации излученного лучистого потока от объектов используют матричные фотоприемники (МФП), работающие в вещательном ТВ формате, что делает такие системы в ряде случаев незаменимыми для наблюдения объектов земной поверхности в ночное время суток даже в черно-белом виде. Формируемые сигналы могут представляться в аналоговом или цифровом виде.Today, there is a large class of thermal imaging devices, in which matrix photodetectors (MFPs) operating in broadcast TV format are used to register the radiated radiant flux from objects, which makes such systems indispensable in some cases for observing objects of the earth's surface at night even in black -white. The generated signals can be presented in analog or digital form.
Известны патентные источники, отражающие системы и способы формирования объемных ТВ изображений (RU 94013026 C1 H04N 15/00, 27.12.1995, RU 2096926 H04N 13/00, 20.11.1997, RU 2152066 С1, 27.06.2000, RU 2189121 С1 09.02.2002, RU 2337386 С2 G02B 27/22, 10.05.2008, US 5621545 А, 15.04.1994, JP 8227054 А, 03.09.1996, DE 19806547 А, 05.11.1998, US 6496183 В1, 17.12.2002) и др.Known patent sources, reflecting systems and methods for generating 3D TV images (RU 94013026 C1 H04N 15/00, 12/27/1995, RU 2096926 H04N 13/00, 11/20/1997, RU 2152066 C1, 06/27/2000, RU 2189121 C1 02/09/2002 , RU 2337386 C2 G02B 27/22, 05/10/2008, US 5621545 A, 04/15/1994, JP 8227054 A, 09/03/1996, DE 19806547 A, 11/05/1998, US 6496183 B1, 12/17/2002), etc.
Известны литературные источники, описывающие системы и способы формирования черно-белых и цветных объемных ТВ изображений (Джакония В.Е. Вещательные системы стереоцветного телевидения / Учеб. пособие. - Л.: Изд. ЛЭИС, 1979. - 51 с. [1], Мамчев Г.В. Стереотелевизионные устройства отображения информации. - М.: Радио и связь. 1983. - 96 с. [2] и др.Known literature sources that describe systems and methods for generating black-and-white and color surround TV images (Dzhakonia V.E. Broadcasting systems for stereo color television / Textbook. - L .: Ed. LEIS, 1979. - 51 pp. [1], Mamchev G.V. Stereo-television devices for displaying information.- M .: Radio and communications. 1983. - 96 p. [2] and others.
Принципы и способы реализации систем спектрозонального телевидения, которые используют регистрацию отраженного или излученного потока лучистости от объектов наблюдения в различных зонах оптического спектра нашли свое отражение в работах авторов - Сагдуллаев Т.Ю., Сагдуллаев Ю.С. К вопросу выбора зон регистрации в спектрозональном телевидении. Вопросы радиоэлектроники, сер. Техника телевидения, 2011, вып. 2, С. 3-25 [3], Ковин С.Д., Сагдуллаев В.Ю., Сагдуллаев Ю.С. Системы многоракурсного телевидения. М.: "Спутник+", 2014. - 184 с. [4], Сагдуллаев Ю.С., Ковин С.Д. Восприятие и анализ разноспектральных изображений. М.: "Спутник+", 2016. - 251 с. [5].The principles and methods of implementing systems of spectrozonal television, which use the registration of the reflected or radiated radiation flux from objects of observation in different zones of the optical spectrum, are reflected in the works of the authors - Sagdullaev T.Yu., Sagdullaev Yu.S. On the choice of registration zones in spectrozonal television. Questions of radio electronics, ser. Television Engineering, 2011, no. 2, S. 3-25 [3], Kovin S.D., Sagdullaev V.Yu., Sagdullaev Yu.S. Multi-angle television systems. M .: "Sputnik +", 2014. - 184 p. [4], Sagdullaev Yu.S., Kovin S.D. Perception and analysis of multispectral images. M .: "Sputnik +", 2016. - 251 p. [five].
Спектрозональный эффект достигается при регистрации лучистого потока объектов в отдельных зонах Δλi внутри некоторого спектрального участка от λ1 до λn, и проявляется уже при двух зонах регистрации в случае сопоставлении двух зональных изображений между собой. При отображении отдельных зональных видеосигналов на экране цветного видеоконтрольного устройства получается спектрозональное цветное ТВ изображение в «условных» цветах, что позволяет повысить различимость объектов по спектрально-энергетическим признакам. Однако, вышеуказанные работы отражают вопросы применения таких систем для формирования только двумерных спектрозональных ТВ изображений.The spectrozonal effect is achieved when registering the radiant flux of objects in separate zones Δλ i inside a certain spectral region from λ 1 to λ n , and manifests itself even with two registration zones in the case of comparing two zonal images with each other. When displaying individual zonal video signals on the screen of a color video monitoring device, a spectrozonal color TV image in “conditional” colors is obtained, which makes it possible to increase the distinguishability of objects by spectral and energy characteristics. However, the above works reflect the use of such systems for the formation of only two-dimensional spectrozonal TV images.
Дальнейшее увеличение информативности спектрозональных ТВ изображений связано с получением дополнительной различительной информации по спектрально-энергетическим и пространственным признакам объектов и может быть достигнуто путем формирования трехмерного спектрозонального ТВ изображения. Вопросы, связанные с формированием объемных спектрозональных изображений, отражены в работах: Сагдуллаев Т.Ю. Особенности построения систем объемного спектрозонального телевидения / Т-СОММ-Телекоммуникации и транспорт, М., 2010 г., №9, С. 69-71 [6]. Сагдуллаев Ю.С. Системы спектрозонального объемного телевидения и их особенности // Broadcasting. Телевидение и радиовещание. М.: 2014 г., №6, С. 34-39 [7] и др.A further increase in the information content of spectrozonal TV images is associated with obtaining additional distinguishing information on the spectral-energy and spatial features of objects and can be achieved by forming a three-dimensional spectrozonal TV image. Questions related to the formation of volumetric spectrozonal images are reflected in the works: Sagdullaev T.Yu. Features of the construction of surround spectrozonal television systems / T-SOMM-Telecommunications and transport, M., 2010, No. 9, P. 69-71 [6]. Sagdullaev Yu.S. Spectrozonal surround television systems and their features // Broadcasting. Television and broadcasting. M .: 2014, No. 6, S. 34-39 [7] and others.
Известна заявка, отражающая способ формирования сигналов объемного спектрозонального телевидения [8]. Несмотря на оригинальность предлагаемых решений, недостатком рассмотренных способов и устройств является то, что формируемые спектрозональные ТВ изображения в таких системах в большинстве случаев представляются в «условных» цветах и не могут быть представлены в реальных цветах, что в ряде случаев является существенным их недостатком.A known application that reflects the method of generating signals of surround spectrozonal television [8]. Despite the originality of the proposed solutions, the disadvantage of the considered methods and devices is that the formed spectrozonal TV images in such systems in most cases are presented in “conditional” colors and cannot be presented in real colors, which in some cases is a significant drawback.
В качестве наиболее близкого аналога заявленного изобретения по совокупности признаков и операций над сигналами принят источник, в котором дано описание способа формирования объемного цветного ТВ изображения (Телевидение: Учебник для вузов / В.Е. Джакония, А.А. Гоголь, Я.В. Друзин и др.: Под ред. В.Е. Джаконии. - М.: Радио и связь, 2004. - (с. 569-574) [9]. На рисунке указанного источника (стр. 572, рис. 21.4) приведена укрупненная структурная схема передающей и приемной части системы стереоцветного телевидения. Для источников ТВ сигналов объемных цветных изображений она отображает на передающей и приемной стороне системы следующую последовательность операций над сигналами изображений:As the closest analogue of the claimed invention by the totality of the signs and operations on the signals, a source is accepted in which a description is given of a method for generating a volumetric color TV image (Television: Textbook for high schools / V.E. Dzhakoniya, A.A. Gogol, Y.V. Druzin et al .: Edited by VE Dzhakonia. - M.: Radio and Communications, 2004. - (p. 569-574) [9]. The figure shows the source (p. 572, Fig. 21.4). enlarged block diagram of the transmitting and receiving parts of a stereo-color television system. For sources of TV signals of surround color images Agen displays it on the transmitting and receiving ends of the system the following sequence of operations on image signals:
- Формирование ТВ сигналов первичных цветов красного (R), зеленого (G), синего цвета (В) для левой и правой стереопары - (UB)Л, (UR)Л, (UB)Л и (UR)П, (UG)П, (UB)П с помощью разнесенных между собой на некоторое базисное расстояние - В0 двух передающих камер цветного телевидения, в каждой из которых, входной лучистый поток F(λ), отраженный от объектов наблюдения, пройдя объектив ТВ камеры, расщепляется на три световых потока FR(λ), FG(λ) и FB(λ), согласованных со спектральной характеристикой зрительной системы человека, где каждый поток фокусируется на светочувствительной поверхности своего преобразователя "свет-сигнал" (ПЗС матрицы), на выходе которых формируются первичные ТВ сигналы цветности - UR, UG и UB для левой и правой стереопары.- Formation of TV signals of the primary colors of red (R), green (G), blue (B) for the left and right stereo pairs - (U B ) L , (U R ) L , (U B ) L and (U R ) P , (U G ) П , (U B ) П with the help of a distance of a certain basic distance - В 0 of two transmitting color television cameras, in each of which, the input radiant flux F (λ) reflected from the objects of observation, passing through the lens TV cameras, is split into three light flux F R (λ), F G (λ) , and F B (λ), consistent with the spectral characteristics of the human visual system, where each thread is focused on vetochuvstvitelnoy its surface transducer "signal light" (CCD), which are formed at the output per primary color signals - U R, U G and U B for the left and right stereopair.
- Обработку на передающей стороне сигналов левой и правой стереопары по принятому алгоритму, смешивание их с синхронизирующими сигналами, объединение в один результирующий сигнал и передача по каналу связи. При этом из трех сигналов левой стереопары (UR)Л, (UG)Л, (UB)Л формируется один яркостной сигнал (сигнал черно-белого телевидения) (UY)Л в полной полосе частот, а из трех сигналов правой стереопары (UR)П, (UG)П, (UB)П формируют один яркостной сигнал правой стереопары (UY)П и два цветоразностных сигнала (UR-Y)П и (UB-Y)П, которые ограничивают по частоте до 1,5 МГц.- Processing on the transmitting side of the signals of the left and right stereo pairs according to the adopted algorithm, mixing them with synchronizing signals, combining them into one resulting signal and transmitting via a communication channel. At the same time, from three signals of the left stereo pair (U R ) L , (U G ) L , (U B ) L , one luminance signal (black-and-white television signal) (U Y ) L is formed in the full frequency band, and from three signals of the right stereo pairs (U R ) P , (U G ) P , (U B ) P form one brightness signal of the right stereo pair (U Y ) P and two color-difference signals (U RY ) P and (U BY ) P , which limit the frequency to 1.5 MHz
- Передачу сигналов по каналу связи, прием результирующего ТВ сигнала и выполнение в приемной части системы обратных операций над сигналами, для восстановлений исходных ТВ сигналов левой и правой стереопары и их отображения на экране видеоконтрольных устройств на основе известных методов и устройств (например, сепарации кадров стереопары с помощью предэкранных поляризационных фильтров, с взаимно перпендикулярными плоскостями поляризации и использованием поляроидных очков и др.).- Transmission of signals through the communication channel, receiving the resulting TV signal and performing reverse operations on the signals in the receiving part of the system to restore the original TV signals of the left and right stereo pairs and display them on the screen of video monitoring devices based on well-known methods and devices (for example, separating stereo pair frames using pre-screen polarization filters, with mutually perpendicular planes of polarization and using polaroid glasses, etc.).
Рассмотренная схема расщепления входного лучистого потока на три стандартные составляющие RGB (из-за особенностей зрительного цветового восприятия), которые одинаковы при формировании изображений как для левой, так и правой стереопары, а также принятые операции обработки сигналов изображений и предельные возможности информативности фиксированных зон регистрации лучистого потока в ВИ области спектра не позволяют осуществить дальнейшее повышение контрастности наблюдаемых объектов и обеспечить увеличение различимости различных сочетаний объектов.The considered scheme of splitting the input radiant stream into three standard RGB components (due to the peculiarities of visual color perception), which are the same when forming images for both the left and right stereo pairs, as well as the accepted image signal processing operations and the limit of information content of the fixed radiant recording zones flow in the VI spectral region does not allow a further increase in the contrast of the observed objects and to provide an increase in the distinguishability of various ian objects.
Технический результат - обеспечение увеличения различимости различных сочетаний объектов оптических изображений по спектрально-энергетическим и пространственным признакам в ТВ изображениях.The technical result is to provide an increase in the distinguishability of various combinations of optical image objects by spectral-energy and spatial features in TV images.
Технический результат достигается тем, что в отличие от известного способа формирования сигналов объемного цветного телевидения, путем получения на предающей стороне первичных сигналов за счет расщепления входного лучистого потока F(λ) ВИ области спектра, отраженного от объектов наблюдения на три световых потока - красную, зеленую и синюю составляющую FR(λ), FG(λ) и FB(λ) и их преобразования в ТВ сигналы изображений с помощью разнесенных между собой на некоторое базисное расстояние В0 двух передающих ТВ камер цветного телевидения и формирования сигналов изображений левой и правой стереопары, дальнейшей обработки сигналов, передаче сигналов по каналу связи, приему сигналов и их отображения с использованием тех или иных методов формирования объемных изображений, для чего на передающей стороне формируют сигналы ТВ изображений левой стереопары путем регистрации лучистого потока только в видимой области спектра, а сигналы ТВ изображений правой стереопары формируют путем регистрации лучистого потока в разных зонах оптического спектра Δλi, за счет использования во второй ТВ камере не одинаковых зон регистрации лучистого потока Δλi, внутри широкого спектрального участка с длиной волны от λ1 до λn, для чего входной лучистый поток F(λ) во второй ТВ камере расщепляют на несколько идентичных потоков и пропускают через оптические фильтры с разными спектральными характеристиками Ф(Δλi), на выходе которых образуются отдельные лучистые потоки F(Δλi), затем осуществляют операцию преобразования лучистого потока в спектрозональные сигналы ТВ изображений, путем формирования сигналов для правой стереопары в виде сигналов UΔλ1(t), UΔλ2(t) и UΔλ3(t), после чего осуществляют обработку сигналов ТВ изображений левой и правой стереопары, включающей усиление, коррекцию, преобразование и обработку сигналов в цифровой форме, а также суммирование сигналов ТВ изображений левой стереопары UΔλR(t), UΔλG(t), UΔλB(t) и правой стереопары UΔλ1(t), UΔλ2(t) и UΔλ3(t) с сигналами синхронизации, далее образованные сигналы используют для автоматического анализа информации на основе оценки распределения амплитудных значений сигналов в спектральном участке длин волн от λ1 до λn, включающего видимую и инфракрасные области спектра, кроме того, осуществляют выборку одного сигнала ТВ изображения правой стереопары UΔλi(t), где i=1, 2 или 3, после чего осуществляют отображение сигнала ТВ изображения правой стереопары UΔλi(t), с использованием первого видеоконтрольного устройства в виде черно-белого ТВ изображения, а также отображают сигналы ТВ изображений левой стереопары UΔλR(t), UΔλG(t), UΔλB(t) в виде цветного ТВ изображения с использованием второго видеоконтрольного устройства для раздельного визуального восприятия изображений каждой стереопары правым и левым глазом наблюдателя.The technical result is achieved by the fact that, in contrast to the known method for generating signals of surround color television, by obtaining primary signals on the transmitting side by splitting the input radiant flux F (λ) of the VI region of the spectrum reflected from the objects of observation into three light fluxes - red, green and blue component F R (λ), F G (λ) , and F B (λ) and converting them into TV image signals via spaced apart at a distance of the base B 0 two transmitting color television video cameras and generates a signals of the left and right stereo pair image signals, further processing of signals, signal transmission through the communication channel, receiving signals and displaying them using various methods of forming three-dimensional images, for which purpose the TV image signals of the left stereo pair are generated on the transmitting side by registering the radiant flux only in the visible spectrum, and TV signals right stereopair images formed by detecting the radiant flux in different areas of the optical spectrum Δλ i, by using the second T chamber does not identical registration areas radiant flux Δλ i, within a wide spectral region with a wavelength of λ 1 to λ n, to which the input radiant flux F (λ) to the second TV camera split into multiple identical streams and passed through optical filters having different spectral characteristics Φ (Δλ i ), at the output of which separate radiant fluxes F (Δλ i ) are formed, then they perform the operation of converting the radiant flux into spectrozonal signals of TV images by generating signals for the right stereo pair in the form of signals The signals are U Δλ1 (t), U Δλ2 (t) and U Δλ3 (t), after which the TV signals of the left and right stereo pairs are processed, including amplification, correction, conversion and processing of signals in digital form, as well as summing of signals of TV images left stereo pair U ΔλR (t), U ΔλG (t), U ΔλB (t) and right stereo pair U Δλ1 (t), U Δλ2 (t) and U Δλ3 (t) with synchronization signals, then the generated signals are used for automatic analysis information based on estimates of the distribution of the amplitude values of the signals in the spectral region of wavelengths from λ 1 to λ n , including sensing the visible and infrared regions of the spectrum, in addition, one TV signal of the right stereo pair U Δλi (t) is sampled , where i = 1, 2 or 3, after which the TV image signal of the right stereo pair U Δλi (t) is displayed using the first video control device in the form of a black-and-white TV image, and also display the TV image signals of the left stereo pair U ΔλR (t), U ΔλG (t), U ΔλB (t) in the form of a color TV image using the second video control device for separate visual perception image Nij each stereo pair left and right eye of the observer.
Спектральные характеристики оптических фильтров Ф(Δλi) для второй ТВ камеры могут иметь различную форму, ширину зон регистрации и расположение в спектральном участке от λ1 до λn, которые могут включать отдельные узкие или широкие зоны - Δλ1 для ближней инфракрасной области спектра (0,78-2,5 мкм), Δλ2 для средней инфракрасной области спектра (3-5 мкм) и Δλ3 для дальней инфракрасной области спектра (8-12 мкм).The spectral characteristics of the optical filters Φ (Δλ i ) for the second TV camera can have a different shape, the width of the registration zones and the location in the spectral region from λ 1 to λ n , which can include individual narrow or wide zones - Δλ 1 for the near infrared region of the spectrum ( 0.78-2.5 μm), Δλ 2 for the middle infrared region of the spectrum (3-5 μm) and Δλ 3 for the far infrared region of the spectrum (8-12 μm).
За счет большей степени согласованности входного звена ТВ системы с объектами наблюдения по спектрально-энергетическим признакам при использовании такого способа регистрации лучистого потока с использованием разных зон регистрации, информативность формируемых ТВ изображений для селекции объектов может быть выше по сравнению с объемными черно-белыми и цветными изображениями, полученными за счет изображений левой и правой стереопары, путем регистрации лучистого (светового) потока в одинаковой ВИ области спектра. Это определяется возможностью использования разных информативных зон регистрации лучистого потока для формирования изображений правой стереопары, которые обеспечивают получение дополнительной различительной информации по спектрально-энергетическим и пространственным признакам объектов. Использование предложенных операций по регистрации лучистого потока и формирования сигналов является существенным и обеспечивает достижение поставленной цели в данном способе.Due to the greater degree of consistency of the input link of the TV system with the objects of observation according to the spectral-energy features when using this method of registering the radiant flux using different registration zones, the information content of the generated TV images for object selection can be higher compared to bulk black and white and color images obtained by images of the left and right stereopairs by registering the radiant (light) flux in the same VI region of the spectrum. This is determined by the possibility of using different informative areas of registration of the radiant flux to form images of the right stereo pair, which provide additional distinctive information on the spectral-energy and spatial features of objects. The use of the proposed operations for registration of the radiant flux and the formation of signals is essential and ensures the achievement of the goal in this method.
Технический результат достигается за счет увеличения общего числа зон регистрации лучистого потока, отраженного или излученного от объектов, путем использования для формирования изображений правой стереопары зон регистрации, включающих ближнюю, среднюю и дальнюю ИК области спектра, а для формирования изображений левой стереопары зон регистрации лучистого потока в ВИ области спектра.The technical result is achieved by increasing the total number of zones of registration of the radiant flux reflected or emitted from objects by using for registration of images of the right stereo pair of registration zones, including the near, middle and far infrared spectral regions, and to form images of the left stereo pair of zones of registration of the radiant flux in VI spectral region.
Для достижения указанного результата предлагается способ наблюдения объектов, включающий на передающей стороне операции формирования ТВ сигналов изображений наблюдаемых объектов в виде ТВ изображений левой и правой стереопары с помощью разнесенных между собой на некоторое базисное расстояние В0 первой и второй передающих ТВ камер, в каждой из которых, входной лучистый поток F(λ), отраженный от объектов наблюдения, пройдя объектив первой и второй ТВ камеры, расщепляется на одинаковые лучистые потоки, где каждый лучистый поток фокусируется на рабочей поверхности своего преобразователя «свет-сигнал» и преобразуется в сигналы ТВ изображений левой и правой стереопары, где сигналы ТВ изображений для левой стереопары формируются в виде сигналов цветного телевидения UΔλR(t), UΔλG(t), UΔλB(t) далее сигналы изображений левой и правой стереопары усиливают, смешивают с синхронизирующими сигналами и отображают их на экране левого и правого видеоконтрольных устройств для визуального восприятия изображений наблюдателем, в котором на передающей стороне формируют сигналы ТВ изображений левой стереопары путем регистрации лучистого потока только в видимой области спектра, а сигналы ТВ изображений правой стереопары формируют путем регистрации лучистого потока в разных зонах оптического спектра Δλi, за счет использования во второй ТВ камере не одинаковых зон регистрации лучистого потока Δλi, внутри широкого спектрального участка с длиной волны от λ1 до λn, для чего входной лучистый поток F(λ) во второй ТВ камере расщепляют на несколько идентичных потоков и пропускают через оптические фильтры с разными спектральными характеристиками Ф(Δλi), на выходе которых образуются отдельные лучистые потоки F(Δλi), затем осуществляют операцию преобразования лучистого потока в спектрозональные сигналы ТВ изображений, путем формирования сигналов для правой стереопары в виде сигналов UΔλ1(t), UΔλ2(t) и UΔλ3(t), после чего осуществляют обработку сигналов ТВ изображений левой и правой стереопары, включающей усиление, коррекцию, преобразование и обработку сигналов в цифровой форме, а также суммирование сигналов ТВ изображений левой стереопары UΔλR(t), UΔλG(t), UΔλB(t) и правой стереопары UΔλ1(t), UΔλ2(t) и UΔλ3(t) с сигналами синхронизации, далее образованные сигналы используют для автоматического анализа информации на основе оценки распределения амплитудных значений сигналов в спектральном участке длин волн от λ1 до λn, включающего видимую и инфракрасные области спектра, кроме того осуществляют выборку одного сигнала ТВ изображения правой стереопары UΔλi(t), где i=1,2 или 3, после чего осуществляют отображение сигнала ТВ изображения правой стереопары UΔλi(t), с использованием первого видеоконтрольного устройства в виде черно-белого ТВ изображения, а также отображают сигналы ТВ изображений левой стереопары UΔλR(t), UΔλG(t), UΔλB(t) в виде цветного ТВ изображения с использованием второго видеоконтрольного устройства для раздельного визуального восприятия изображений каждой стереопары правым и левым глазом наблюдателя.To achieve this result, a method for observing objects is proposed, including on the transmitting side the operation of generating TV signals of images of the observed objects in the form of TV images of the left and right stereo pairs using the first and second transmitting TV cameras spaced apart at some basic distance B 0 , in each of which , the input radiant flux F (λ) reflected from the objects of observation, passing through the lens of the first and second TV cameras, is split into identical radiant fluxes, where each radiant flux is focused camping on the working surface of its inverter "light-signal" and is converted into signals of TV images of the left and right stereo pair, where the signals are TV images for the left stereo pair formed as a color television signals U ΔλR (t), U ΔλG (t), U ΔλB ( t) further, the image signals of the left and right stereo pairs are amplified, mixed with synchronizing signals and displayed on the screen of the left and right video monitoring devices for visual perception of images by an observer, in which TV image signals are generated on the transmitting side the left stereopair by registering the radiant flux only in the visible region of the spectrum, and the TV image signals of the right stereopair are formed by registering the radiant flux in different zones of the optical spectrum Δλ i , due to the use of not the same registration zones of the radiant flux Δλ i in the second TV camera, within a wide spectral portion having wavelength of λ 1 to λ n, to which the input radiant flux F (λ) to the second TV camera split into multiple identical streams and passed through optical filters having different spectral Characteristics F (Δλ i), the output of which forms a separate radiant fluxes F (Δλ i), then carry out conversion operation radiant flux in multispectral signals to TV Images, by forming a signal for the right stereo pair of signals U Δλ1 (t), U Δλ2 ( t) and U Δλ3 (t), after which they process the signals of the TV images of the left and right stereo pairs, including amplification, correction, conversion and processing of signals in digital form, as well as summing the signals of the TV images of the left stereo pair U ΔλR (t), U ΔλG (t), U ΔλB (t) and is right stereopairs U Δλ1 (t), U Δλ2 (t) and U Δλ3 (t) with synchronization signals, then the generated signals are used to automatically analyze information based on the distribution of the amplitude values of the signals in the spectral section of wavelengths from λ 1 to λ n , including the visible and infrared spectral regions, in addition, one TV signal of the right stereo pair U Δλi (t) is sampled , where i = 1,2 or 3, after which the TV image signal of the right stereo pair U Δλi (t) is displayed using the first video monitoring device and a black and white TV images and display signals TV images left stereopair U ΔλR (t), U ΔλG (t), U ΔλB (t) as a color TV image using the second monitor device for separate visual image sensing each stereopairs by the right and left eye of the observer.
Реализация предлагаемого способа позволяет выбрать такие информативные зоны регистрации, их ширину и местоположение в широком спектральном участке от λ1 до λn, которые могут обеспечить повышение различимости объектов и увеличение различия возможных сочетаний объектов в оптических изображениях по спектрально-энергетическим признакам.The implementation of the proposed method allows you to select such informative registration zones, their width and location in a wide spectral region from λ 1 to λ n , which can provide an increase in the distinguishability of objects and increase the difference in possible combinations of objects in optical images by spectral-energy features.
Система телевидения, реализующая предлагаемый способ наблюдения объектов, показана на фиг. 1.A television system implementing the proposed method for observing objects is shown in FIG. one.
Позиции:Positions:
1 - передающая камера;1 - transmitting camera;
2 - оптическая система (объектив);2 - optical system (lens);
3 - блок расщепления лучистого (светового) потока;3 - block splitting radiant (light) flux;
4 - оптические фильтры;4 - optical filters;
5 - матричные фотоприемники (преобразователи «свет-сигнал»);5 - matrix photodetectors (light-to-signal converters);
6 - блок обработки сигналов;6 - signal processing unit;
7 - коммутатор сигналов;7 - signal switch;
8 - блок развертки и считывания сигналов;8 - block scan and read signals;
9 - синхрогенератор;9 - a sync generator;
10 - блок отображения изображений;10 - block display images;
11 - пульт управления;11 - control panel;
12 - блок автоматического анализа информации.12 - block automatic analysis of information.
Передающая камера 1 содержит первую ТВ камеру 11 и вторую ТВ камеру 12, которые разнесены между собой по горизонтали на базисное расстояние Bo и осуществляют формирование сигналов изображений левой и правой стереопары. Каждая ТВ камера в своем составе имеет оптическую систему (объектив) 2 с переменным фокусным расстоянием, блок для расщепления входного лучистого потока F(λ) на несколько идентичных составляющих 3, оптические фильтры 4 с различными спектральными характеристиками Ф(Δλi), матричные фотоприемники (МФП) 5, блоки обработки сигналов (для усиления, коррекции сигналов, замешивания синхроимпульсов и др.) 6 для ТВ камеры, формирующей изображения левой стереопары 11 и ТВ камеры, формирующей изображение правой стереопары 12, коммутатор сигналов 7, общий блок развертки и считывания сигналов ТВ изображений 8, синхрогенератор 9, вырабатывающий необходимые виды управляющих, синхронизирующих и гасящих импульсов для МФП и блоков обработки сигналов (БОС).The transmitting
В качестве МФП 5 могут быть использованы любые преобразователи «лучистый (световой) поток-сигнал» в виде известных передающих трубок (типа видикон), ПЗС матриц, КМОП фотоприемников или других преобразователей лучистого (светового) потока в электрический сигнал изображения.As the MFP 5, any converters “radiant (light) flux-signal” can be used in the form of known transmitting tubes (such as Vidicon), CCD arrays, CMOS photodetectors or other converters of radiant (light) flux into an electric image signal.
Система телевидения реализующая предлагаемый способ наблюдения объектов работает следующим образом. Лучистый (световой) поток отраженный или излученный от объектов F(λ), пройдя объективы 2 первой и второй ТВ камеры 11 и 12 с помощью устройств 3 расщепляется на несколько идентичных лучистых потоков, которые пройдя оптические фильтры 4 с различными спектральными характеристиками для первой и второй ТВ камеры, образуют отдельные лучистые потоки F(Δλi) которые проецируются на рабочую поверхность МФП 5, на выходе которых образуются сигналы изображений ВИ и ИК областей спектра.The television system that implements the proposed method for monitoring objects works as follows. The radiant (light) flux reflected or emitted from objects F (λ), passing through the lenses 2 of the first and
На передающей стороне формируют сигналы ТВ изображений левой стереопары, полученные путем регистрации лучистого потока в видимой области спектра. Для этого входной лучистый поток F(λ), отраженный от объектов наблюдения, пройдя объектив 21 первой ТВ камеры 11, расщепляется на одинаковые лучистые потоки с помощью блока 31, проходят ОФ 41, 42 и 43 где каждый световой поток соответствующий красной, зеленой и синей области спектра фокусируется на рабочую поверхности своего преобразователя «свет-сигнал» 51, 52, 53 и преобразуется в сигналы ТВ изображений левой стереопары и формируются в виде сигналов цветного телевидения UΔλR(t), UΔλG(t), UΔλB(t).On the transmitting side, TV images of the left stereo pair are generated, obtained by registering the radiant flux in the visible region of the spectrum. To do this, the input radiant flux F (λ) reflected from the objects of observation, passing through the lens 2 1 of the
Для второй ТВ камеры 12 входной лучистый поток F(λ), отраженный или излученный от объектов наблюдения, пройдя оптическую систему 22, расщепляются на несколько идентичных потоков, которые пропускают через оптические фильтры (ОФ) 44, 45 и 46 с разными спектральными характеристиками Ф(Δλi), на выходе которых образуются отдельные лучистые потоки F(Δλi), затем осуществляют операцию преобразования образованных лучистых потоков в спектрозональные сигналы ТВ изображений и формируют их в виде сигналов UΔλ1(t), UΔλ2(t) и UΔλ3(t), на выходах МФП 54,55 и 56.For the
Далее, сформированные таким образом, сигналы ТВ изображений левой и правой стереопары поступают в блоки обработки сигналов 61,62,…, 66, где происходит их усиление, коррекция, замешивание синхроимпульсов, преобразование и обработка сигналов в цифровой форме и т.д. Полученные сигналы используются как для автоматического анализа информации, так и визуального восприятия изображений левой и правой стереопары.Further, the signals of the TV images of the left and right stereo pairs formed in this way enter the signal processing units 6 1 , 6 2 , ..., 6 6 , where they are amplified, corrected, mixed in, synchronized, converted and processed digital signals, etc. . The received signals are used both for automatic analysis of information and visual perception of images of the left and right stereo pairs.
Автоматический анализ информации осуществляется путем оценки распределения амплитудных значений сигналов в спектральном участке длин волн от λ1 до λn, включающего ВИ и ИК области спектра, то есть групп сигналов UΔλR(t), UΔλG(t), UΔλB(t) и UΔλ1(t), UΔλ2(t), UΔλ3(t) между собой в блоке 12. Выходной сигнал с блока 12 может быть использован для индикации, например в блоке отображающих устройств 10 или его подачи на внешнее исполнительное устройство.Automatic analysis of information is carried out by assessing the distribution of the amplitude values of the signals in the spectral region of wavelengths from λ 1 to λ n , including the VI and IR spectral regions, that is, signal groups U ΔλR (t), U ΔλG (t), U ΔλB (t) and U Δλ1 (t), U Δλ2 (t), U Δλ3 (t) between each other in
Используя пульт управления 11 задают алгоритм работы блока 12, а также могут изменять спектральные характеристики ОФ 44, 45 и 46 в зависимости от их исполнения (механическим - за счет замены фильтров, или электронным путем).Using the
С помощью коммутатора 7 осуществляют выборку из группы трех сигналов только одного сигнала ТВ изображения правой стереопары UΔλi(t) и подают его на вход первого видеоконтрольного устройства (ВКУ) 101. Данный сигнал ТВ изображения отображают в черно-белом варианте для его восприятия правым глазом наблюдателя. Сигналы цветного телевидения UΔλR(t), UΔλG(t), UΔλB(t) с выхода блока обработки сигналов 61,62 и 63 поступают на входы RGB второго цветного ВКУ 102 и отображаются в цветном варианте для его восприятия левым глазом наблюдателя. Сигналы изображений UΔλi(t) и UΔλR(t), UΔλG(t), UΔλB(t) могут подаваться и к внешним потребителям, например, для видеорегистрации, дальнейшей их передаче по каналу связи, приему и отображению информации на удаленной приемной стороне и др.Using the
Сущность технического решения покажем на следующем примере. Так, например, отражающая способность светового потока от ряда природных фонов, таких как трава и листва деревьев, возрастает со смещением максимума излучений в область более длинных волн. Например, имеющаяся отражающая способность травы и листвы для ВИ области спектра, будет значительно выше в ближней ИК области спектра (>770 нм) приблизительно в 5-10 раз, для коры деревьев в 3-5 раз. Если человеческий глаз мог бы видеть в ближней ИК области спектра, то вся зеленая растительность имела бы красный цвет для зрительного восприятия человеком. Поэтому искусственные объекты, окрашенные зеленой краской для ВИ диапазона, будут хорошо наблюдаться на фоне травы и деревьев в ИК области спектра, поскольку они имеют меньшую отражательную способность.The essence of the technical solution is shown in the following example. So, for example, the reflecting ability of the light flux from a number of natural backgrounds, such as grass and foliage of trees, increases with a shift in the maximum radiation in the region of longer waves. For example, the available reflectivity of grass and foliage for the VI region of the spectrum will be significantly higher in the near IR region of the spectrum (> 770 nm) by about 5-10 times, for the bark of trees 3-5 times. If the human eye could see in the near infrared region of the spectrum, then all the green vegetation would have a red color for human visual perception. Therefore, artificial objects painted with green paint for the VI range will be well observed against the background of grass and trees in the IR region of the spectrum, since they have less reflectivity.
Допустим, что спектрально-энергетические характеристики двух объектов (А) и (В) имеют свое распределение как показано на фиг. 2. Пусть объект А представляет собой растительность в виде травы, а В искусственный объект, покрашен в зеленый цвет. При регистрации светового потока с использованием черно-белых или цветных камер только в спектральном участке Δλo, что примерно соответствует длинам волн ВИ области спектра от 380 до 760 нм, объекты А и В не будут различаться между собой, поскольку их спектральные характеристики практически одинаковы, то есть отражательная способность светового потока ρ(λ) для двух объектов практически равна между собой.Let us assume that the spectral-energy characteristics of two objects (A) and (B) have their distribution as shown in FIG. 2. Let object A be vegetation in the form of grass, and B an artificial object, painted green. When registering the light flux using black-and-white or color cameras only in the spectral region Δλ o , which approximately corresponds to the wavelengths of the VI of the spectral region from 380 to 760 nm, objects A and B will not differ from each other, since their spectral characteristics are almost the same, that is, the light reflectance ρ (λ) for two objects is almost equal to each other.
Осуществляя наблюдение объектов в ВИ области спектра нельзя различить объекты между собой, поскольку искусственный объект окрашен под цвет растительности, и он не имеет различия по цвету. Для устранения пассивного противодействия необходимо выбрать дополнительно другую зону регистрации лучистого потока, в данном случае это Δλ1 в ближней ИК области спектра. В этом случае спектральные характеристики объектов будут различаться между собой. Растительность будет иметь большую отражательную способность ρ(λ) по сравнению с искусственным объектом (фиг. 2).When observing objects in the VI region of the spectrum, it is impossible to distinguish between objects, since an artificial object is painted in the color of vegetation, and it does not have a color difference. To eliminate the passive counteraction, it is necessary to additionally choose another zone for registering the radiant flux, in this case Δλ 1 in the near IR region of the spectrum. In this case, the spectral characteristics of the objects will vary. Vegetation will have a greater reflectivity ρ (λ) compared with the artificial object (Fig. 2).
Ниже в таблице 1 выделены некоторые решаемые задачи при реализации данного способа.Table 1 below highlights some of the problems to be solved when implementing this method.
Очевидно, что использование ВИ и ИК областей спектра может противостоять методам окрашивания искусственных объектов. Для этого, например, в системах технического зрения роботов, левый глаз робота должен видеть в ВИ области спектра (Δλo), а правый глаз робота в ближней ИК области спектра (Δλ1). Таким образом, использование разных зон регистрации лучистого (светового) потока, отраженных от объектов в системе технического зрения робота (для левого и правого глаза), позволит обнаруживать объекты, окрашенные под цвет растительности.Obviously, the use of VI and IR spectral regions can withstand methods of staining artificial objects. For this, for example, in robot vision systems, the left eye of the robot should see in the VI region of the spectrum (Δλ o ), and the right eye of the robot in the near IR region of the spectrum (Δλ 1 ). Thus, the use of different zones of registration of the radiant (light) flux reflected from objects in the robot's vision system (for the left and right eyes) will make it possible to detect objects painted in the color of vegetation.
В зависимости от решаемой задачи (табл. 1) наблюдатель (оператор) выбирает с помощью коммутатора 7 (фиг. 1) тот или иной сигнал изображения UΔλ1(t), UΔλ2(t) или UΔλ3(t), которые могут включать отдельные узкие или широкие зоны - Δλ1 для ближней инфракрасной области спектра (0,78-2,5 мкм), Δλ2 для средней инфракрасной области спектра (3-5 мкм) и Δλ3 для дальней инфракрасной области спектра (8-12 мкм) и последовательно отображает их на экране черно-белого ВКУ для достижения максимальной различимости объектов между собой по яркости изображения, при наблюдении объектов в условиях дымки или в ночное время и др.Depending on the problem being solved (Table 1), the observer (operator) selects, using the switch 7 (Fig. 1), one or another image signal U Δλ1 (t), U Δλ2 (t) or U Δλ3 (t), which can include individual narrow or wide zones - Δλ 1 for the near infrared region of the spectrum (0.78-2.5 μm), Δλ 2 for the middle infrared region of the spectrum (3-5 μm) and Δλ 3 for the far infrared region of the spectrum (8-12 μm ) and sequentially displays them on a black-and-white VKU screen to achieve maximum distinguishability of objects among themselves by image brightness, when observing about objects in a haze or at night, etc.
Использование для формирования изображений левой стереопары RGB сигналов цветного телевидения позволяет наблюдать объекты в реальных цветах днем, с ухудшением качества цветных изображений при дымке, в сумерках или ночью, наблюдение объектов осуществляется в черно-белом варианте за счет использования изображений правой стереопары, формируемых путем регистрации лучистого потока в ИК области спектра.The use of RGB color television signals to form images of the left stereo pair of RGB allows you to observe objects in real colors during the day, with the deterioration of the quality of color images during haze, dusk or night, objects are monitored in black and white by using images of the right stereo pair formed by registering a radiant flow in the infrared region of the spectrum.
Как показано в таблице 1 применение в системах визуального анализа изображений на основе бинокулярного восприятия информации левым и правым глазом человека или для систем технического зрения изображений разных спектральных участков (зон) регистрации лучистого (светового) потока по сравнению с использованием одинаковых изображений левой и правой стереопары черно-белых или цветных ТВ камер являются более мощными средствами для наблюдения объектов естественного и искусственного происхождения в дневное и ночное время суток.As shown in table 1, the application in systems of visual analysis of images based on binocular perception of information by the left and right eyes of a person or for systems of technical vision of images of different spectral sections (zones) of registration of the radiant (light) flux in comparison with the use of identical images of the left and right stereo pairs is black -white or color TV cameras are more powerful means for observing objects of natural and artificial origin in the daytime and at night.
Это достигается за счет использования для формирования изображений правой стереопары принципа регистрации лучистого (светового) потока в разных спектральных участках (зонах) по сравнению с использованием фиксированных участков (зон) регистрации для формирования RGB изображений левой стереопары. Применение рассмотренного способа наблюдения объектов при построении передающих камер системы разноспектрального телевидения, используемых для визуального анализа изображений или технического зрения позволит:This is achieved by using the principle of registering a radiant (light) flux in different spectral regions (zones) for forming images of a right stereo pair in comparison with using fixed sections (zones) of registration for generating RGB images of a left stereo pair. Application of the considered method for observing objects when constructing transmitting cameras of a multi-spectral television system used for visual analysis of images or technical vision will allow:
- повысить дальность наблюдения и увеличить вероятность распознавания за счет использования разных спектральных зон регистрации для формирования изображений правой и левой стереопар;- increase the range of observation and increase the likelihood of recognition through the use of different spectral zones of registration to form images of the right and left stereo pairs;
- более эффективно использовать свойства изображений для наблюдения одних объектов на фоне других в дневное и ночное время суток;- more effectively use the properties of images to observe some objects against the background of others in the daytime and at night;
- осуществить построение систем технического зрения с разным спектральным зрением.- implement the construction of vision systems with different spectral vision.
Цитированные источникиQuoted sources
1. Джакония В.Е. Вещательные системы стереоцветного телевидения / Учеб. пособие. -Л.: Изд. ЛЭИС, 1979. - 51 с.1. Dzhakonia V.E. Stereo color television broadcasting systems / Textbook. allowance. -L .: Ed. LEIS, 1979.- 51 p.
2. Мамчев Г.В. Стереотелевизионные устройства отображения информации. - М.: Радио и связь. 1983. - 96 с.2. Mamchev G.V. Stereo and television information display devices. - M .: Radio and communication. 1983 .-- 96 s.
3. Сагдуллаев Т.Ю., Сагдуллаев Ю.С. К вопросу выбора зон регистрации в спектрозональном телевидении. Вопросы радиоэлектроники, сер. Техника телевидения, 2011, вып. 2, С. 3-253. Sagdullaev T.Yu., Sagdullaev Yu.S. On the choice of registration zones in spectrozonal television. Questions of radio electronics, ser. Television Engineering, 2011, no. 2, pp. 3-25
4. Ковин С.Д., Сагдуллаев В.Ю., Сагдуллаев Ю.С. Системы многоракурсного телевидения. М.: "Спутник+", 2014. - 184 с.4. Kovin S.D., Sagdullaev V.Yu., Sagdullaev Yu.S. Multi-angle television systems. M .: "Sputnik +", 2014. - 184 p.
5. Сагдуллаев Ю.С., Ковин С.Д. Восприятие и анализ разноспектральных изображений. М.: "Спутник+", 2016. - 251 с.5. Sagdullaev Yu.S., Kovin S.D. Perception and analysis of multispectral images. M .: "Sputnik +", 2016. - 251 p.
6. Сагдуллаев Т.Ю. Особенности построения систем объемного спектрозонального телевидения / Т-СОММ-Телекоммуникации и транспорт, М., 2010 г., №9, С. 69-716. Sagdullaev T.Yu. Features of the construction of surround spectrozonal television systems / T-SOMM-Telecommunications and transport, M., 2010, No. 9, P. 69-71
7. Сагдуллаев Ю.С. Системы спектрозонального объемного телевидения и их особенности // Broadcasting. Телевидение и радиовещание. М.: 2014 г., №6, С. 34-397. Sagdullaev Yu.S. Spectrozonal surround television systems and their features // Broadcasting. Television and broadcasting. M .: 2014, No. 6, S. 34-39
8. Зубарев Ю.Б., Сагдуллаев Т.Ю., Сагдуллаев Ю.С, Безруков В.Н. Способ формирования сигналов объемного спектрозонального телевидения / Заявка в Роспатент от 13 января 2009 г, №2009100622. Положительное решение о выдаче патента от 03.03.2010 г.8. Zubarev Yu.B., Sagdullaev T.Yu., Sagdullaev Yu.S., Bezrukov V.N. The method of generating signals of surround spectrozonal television / Application to Rospatent dated January 13, 2009, No. 2009100622. Positive decision on the grant of a patent dated 03.03.2010
9. Телевидение: Учебник для вузов / В.Е. Джакония, А.А. Гоголь, Я.В. Друзин и др.: Под ред. В. Е. Джаконии. - М.: Радио и связь, 2004. - (с. 569- 573)9. Television: Textbook for universities / V.E. Dzhakonia, A.A. Gogol, Y.V. Drusin et al .: Ed. B.E. Giaconia. - M .: Radio and communications, 2004. - (p. 569-573)
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018143758A RU2697062C1 (en) | 2018-12-10 | 2018-12-10 | Method of objects observation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018143758A RU2697062C1 (en) | 2018-12-10 | 2018-12-10 | Method of objects observation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2697062C1 true RU2697062C1 (en) | 2019-08-09 |
Family
ID=67586728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018143758A RU2697062C1 (en) | 2018-12-10 | 2018-12-10 | Method of objects observation |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2697062C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2756915C1 (en) * | 2021-02-17 | 2021-10-07 | Акционерное общество "Московский завод "САПФИР" | Thermovision stereoscopic system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877B (en) * | 2008-09-19 | 2012-06-20 | 中国农业大学 | Cucumber picking robot system and picking method in greenhouse |
| EP2641529A1 (en) * | 2008-04-26 | 2013-09-25 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot |
| WO2014152254A2 (en) * | 2013-03-15 | 2014-09-25 | Carnegie Robotics Llc | Methods, systems, and apparatus for multi-sensory stereo vision for robotics |
-
2018
- 2018-12-10 RU RU2018143758A patent/RU2697062C1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2641529A1 (en) * | 2008-04-26 | 2013-09-25 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot |
| CN101356877B (en) * | 2008-09-19 | 2012-06-20 | 中国农业大学 | Cucumber picking robot system and picking method in greenhouse |
| WO2014152254A2 (en) * | 2013-03-15 | 2014-09-25 | Carnegie Robotics Llc | Methods, systems, and apparatus for multi-sensory stereo vision for robotics |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2756915C1 (en) * | 2021-02-17 | 2021-10-07 | Акционерное общество "Московский завод "САПФИР" | Thermovision stereoscopic system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240163409A1 (en) | Color night vision cameras, systems, and methods thereof | |
| US8836793B1 (en) | True color night vision (TCNV) fusion | |
| JP5874116B2 (en) | Image photographing apparatus and image photographing method | |
| US5555324A (en) | Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene | |
| TWI434574B (en) | Imaging apparatus | |
| EP1836522B1 (en) | Synthetic colour night vision system | |
| RU2546982C2 (en) | Method of generating and displaying colour, spectrozonal and thermal image signals | |
| US5483379A (en) | Image registering in color at low light intensity | |
| US20130300876A1 (en) | Method and apparatus for multi-spectral imaging | |
| JP6010723B2 (en) | Image photographing apparatus and image photographing method | |
| Hogervorst et al. | Method for applying daytime colors to nighttime imagery in realtime | |
| RU2604898C1 (en) | Method of generating of multispectral video signals | |
| RU2543985C1 (en) | Method of generating television image signals of different spectral regions | |
| RU2697062C1 (en) | Method of objects observation | |
| Toet et al. | Portable real-time color night vision | |
| JPH06121325A (en) | Color image pickup device | |
| RU2767607C1 (en) | Method for generating signals of multispectral images | |
| Hogervorst et al. | Presenting nighttime imagery in daytime colours | |
| Howard et al. | Real-time color fusion of E/O sensors with PC-based COTS hardware | |
| RU2767606C1 (en) | Method for processing and displaying signals of multispectral images | |
| Chenault et al. | Pyxis: enhanced thermal imaging with a division of focal plane polarimeter | |
| US12007549B1 (en) | Passive color night vision | |
| Kim et al. | Recovering the colors of objects from multiple near-IR images | |
| JPS647542B2 (en) | ||
| RU2808963C1 (en) | Three-spectrum video surveillance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20201211 |