RU2631521C2 - Image processing device, image shooting device, image processing method and permanent machine-readable medium - Google Patents
Image processing device, image shooting device, image processing method and permanent machine-readable medium Download PDFInfo
- Publication number
- RU2631521C2 RU2631521C2 RU2014140323A RU2014140323A RU2631521C2 RU 2631521 C2 RU2631521 C2 RU 2631521C2 RU 2014140323 A RU2014140323 A RU 2014140323A RU 2014140323 A RU2014140323 A RU 2014140323A RU 2631521 C2 RU2631521 C2 RU 2631521C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- optical system
- information
- filter
- function
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 183
- 238000003672 processing method Methods 0.000 title claims description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 162
- 238000012937 correction Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000006185 dispersion Substances 0.000 claims abstract 3
- 230000006870 function Effects 0.000 claims description 212
- 230000006266 hibernation Effects 0.000 claims 1
- 230000004075 alteration Effects 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 6
- 239000000126 substance Substances 0.000 abstract 1
- 230000014509 gene expression Effects 0.000 description 55
- 238000012546 transfer Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 206010068052 Mosaicism Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 235000008753 Papaver somniferum Nutrition 0.000 description 1
- 241000218180 Papaveraceae Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение относится к обработке изображения для увеличения резкости.The present invention relates to image processing for sharpening.
Уровень техникиState of the art
При известной обработке на основе нерезкой маски к исходному изображению добавляется или вычитается из него разность между исходным изображением и размытым изображением, полученным путем применения нерезкой маски к исходному изображению (входному изображению), чтобы увеличить резкость изображения. Более высокая резкость изображения обеспечивается, когда разность между размытым изображением и входным изображением велика. В патентной публикации Японии №2010-81263 раскрыт способ уменьшения влияния функции рассеяния точки (PSF) оптической системы путем применения асимметричного одномерного фильтра к пиксельным сигналам, развернутым в направлении высоты изображения.In a known processing based on an unsharp mask, the difference between the original image and the blurred image obtained by applying the unsharp mask to the original image (input image) is added to or subtracted from the image to increase image sharpness. Higher image sharpness is achieved when the difference between the blurry image and the input image is large. Japanese Patent Publication No. 2010-81263 discloses a method of reducing the influence of the point spread function (PSF) of an optical system by applying an asymmetric one-dimensional filter to pixel signals rotated in the image height direction.
Однако при стандартной обработке на основе нерезкой маски в качестве нерезкой маски используется осесимметричный фильтр, в связи с чем возникают трудности при увеличении резкости изображения, которая ухудшилась из-за сложной формы воздействия PSF, например, асимметричная аберрация и сагиттальный ореол. В частности, коррекция аберрации в азимутальном направлении, имеющем большую аберрацию, приводит к «недокоррекции» в азимутальном направлении, имеющем малую аберрацию, в то время как устранение упомянутой недокоррекции влечет за собой недостаточную коррекцию аберрации.However, in standard processing based on an unsharp mask, an axisymmetric filter is used as a unsharp mask, and therefore there are difficulties in increasing the sharpness of the image, which worsened due to the complex form of PSF exposure, for example, asymmetric aberration and sagittal halo. In particular, the correction of aberration in the azimuthal direction, having a large aberration, leads to "under correction" in the azimuthal direction, having a small aberration, while the elimination of the said undercorrection entails insufficient correction of aberration.
В способе, раскрытом в патентной публикации Японии №2010-81263 учитывается асимметрия только в направлении высоты изображения, а коррекционный фильтр является одномерным, и, следовательно, не может уменьшить асимметрию в направлениях, отличных от направления высоты изображения. Направление высоты изображения является азимутальным меридиональным направлением. Кроме того, коррекция в направлении высоты изображения не может обеспечить достаточную резкость при использовании стандартного способа, поскольку асимметрия фильтра регулируется путем изменения количества минусовых коэффициентов отвода, и фильтр вызывает размытие, отличное от размытия, возникающего из-за PSF оптической системы.In the method disclosed in Japanese Patent Publication No. 2010-81263, asymmetry is taken into account only in the image height direction, and the correction filter is one-dimensional, and therefore cannot reduce the asymmetry in directions other than the image height direction. The image height direction is the azimuthal meridional direction. In addition, the correction in the direction of the image height cannot provide sufficient sharpness when using the standard method, since the asymmetry of the filter is adjusted by changing the number of negative tap coefficients, and the filter causes a blur other than the blur caused by the PSF of the optical system.
Как было описано выше, стандартный способ не может обеспечить достаточную коррекцию аберрации сложной формы и увеличить резкость изображения.As described above, the standard method cannot provide sufficient correction of complex aberration and increase image sharpness.
Для обеспечения обработки, необходимой для увеличения резкости входного изображения, необходимо знать параметры съемки входного изображения и данные функции рассеяния точки, соответствующей высоте изображения. Однако большой объем данных о сохраненных ранее различных параметрах съемки изображения, а также большой объем данных, соответствующих высоте изображения, потребует большого объема памяти, что делает подобную обработку практически нереальной.To provide the processing necessary to sharpen the input image, it is necessary to know the shooting parameters of the input image and the data of the point spread function corresponding to the image height. However, a large amount of data on previously saved various image capture parameters, as well as a large amount of data corresponding to the image height, will require a large amount of memory, which makes such processing almost impossible.
Раскрытие изобретенияDisclosure of invention
Настоящее изобретение обеспечивает устройство обработки изображения, устройство съемки изображения, способ обработки изображения и программу обработки изображения, которые дают исключительный эффект увеличения резкости.The present invention provides an image processing apparatus, an image pickup apparatus, an image processing method and an image processing program that provide an exceptional sharpening effect.
Согласно одному аспекту настоящего изобретения устройство обработки изображения включает в себя блок получения, выполненный с возможностью получения изображения, сформированного путем съемки изображения через оптическую систему, и процессор, выполненный с возможностью обеспечения обработки изображения на основе нерезкой маски путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Фильтр имеет двумерные данные.According to one aspect of the present invention, an image processing apparatus includes an acquisition unit configured to obtain an image formed by capturing an image through an optical system, and a processor configured to provide image processing based on an unsharp mask by using a filter based on information about scattering functions of the point of the optical system in accordance with the image pickup parameter of the optical system. The filter has two-dimensional data.
Согласно другому аспекту настоящего изобретения устройство съемки изображения включает в себя датчик изображения, выполненный с возможностью фотоэлектрического преобразования оптического изображения объекта, сформированного через оптическую систему, процессор изображения, выполненный с возможностью обработки изображения, полученного от датчика изображения, и блок записи, выполненный с возможностью сохранения взаимосвязи между параметром съемки изображения оптической системы и функцией рассеяния точки оптической системы. Процессор изображения получает информацию о функции рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, от блока записи и обеспечивает обработку изображения нерезкой маской путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы. Фильтр имеет двумерные данные.According to another aspect of the present invention, an image pickup apparatus includes an image sensor configured to photoelectricly convert an optical image of an object formed through an optical system, an image processor configured to process an image received from an image sensor, and a recording unit configured to store the relationship between the image pickup parameter of the optical system and the point spread function of the optical system. The image processor receives information about the scattering function of the point of the optical system corresponding to the image pickup parameter of the optical system from the recording unit and provides image processing with an unsharp mask by using a filter based on information about the scattering function of the point of the optical system. The filter has two-dimensional data.
Согласно еще одному аспекту настоящего изобретения способ обработки изображения включает в себя получение изображения, сформированного посредством съемки изображения через оптическую систему, и обеспечение обработки изображения на основе нерезкой маски, путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Фильтр имеет двумерные данные.According to another aspect of the present invention, an image processing method includes acquiring an image formed by capturing an image through an optical system, and providing image processing based on an unsharp mask by using a filter formed based on information about a point spread function of the optical system in accordance with a parameter shooting images of the optical system. The filter has two-dimensional data.
Согласно еще одному аспекту настоящего изобретения программа обработки изображения, которая инициирует выполнение компьютером обработки, включающей в себя получение изображения, сформированного посредством съемки изображения через оптическую систему, и обеспечение обработки изображения на основе нерезкой маски, путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Фильтр имеет двумерные данные.According to another aspect of the present invention, an image processing program that initiates computer processing that includes acquiring an image formed by capturing an image through an optical system and providing image processing based on an unsharp mask by using a filter formed based on scattering function information points of the optical system in accordance with the shooting parameter of the image of the optical system. The filter has two-dimensional data.
Согласно следующему аспекту настоящего изобретения постоянный машиночитаемый носитель сохраняет программу обработки изображения.According to a further aspect of the present invention, a read-only computer-readable medium stores an image processing program.
Кроме того, признаки и аспекты настоящего изобретения станут очевидными из последующего описания примерных вариантов осуществления изобретения со ссылками на прилагаемые чертежи.In addition, the features and aspects of the present invention will become apparent from the following description of exemplary embodiments of the invention with reference to the accompanying drawings.
Краткое описание чертежейBrief Description of the Drawings
Фиг. 1 – блок-схема устройства съемки изображения по каждому из вариантов 1, 2 и 3 настоящего изобретения;FIG. 1 is a block diagram of an image pickup apparatus for each of
фиг. 2 – блок-схема способа обработки изображения согласно каждому из вариантов 1, 2 и 3;FIG. 2 is a flowchart of an image processing method according to each of
фиг. 3А и 3В – диаграммы направленности увеличения резкости путем обработки на основе нерезкой маски;FIG. 3A and 3B are directivity patterns of sharpening by processing based on an unsharp mask;
фиг. 4А и 4В – диаграммы направленности функции PSF оптической системы для съемки изображения на плоскости xy;FIG. 4A and 4B are radiation patterns of a PSF function of an optical system for capturing an image on the xy plane;
фиг. 5А и 5В – диаграммы направленности обработки увеличения резкости с осесимметричной нерезкой маской;FIG. 5A and 5B are radiation patterns of sharpening processing with an axisymmetric unsharp mask;
фиг. 6А и 6В – диаграммы направленности обработки увеличения резкости с осеасимметричной нерезкой маской;FIG. 6A and 6B are radiation patterns of sharpening processing with an axisymmetric unsharp mask;
фиг. 7А и 7В – диаграмма направленности и схематическое поперечное сечение нерезкой маски;FIG. 7A and 7B are a radiation pattern and a schematic cross section of an unsharp mask;
фиг. 8А – 8С – блок-схемы способа обработки изображения согласно настоящему изобретению (вариант 1);FIG. 8A to 8C are flowcharts of an image processing method according to the present invention (option 1);
фиг. 9 – диаграмма направленности матрицы Байера;FIG. 9 is a radiation pattern of a Bayer matrix;
фиг. 10 – пояснительная схема способа деления входного изображения;FIG. 10 is an explanatory diagram of a method for dividing an input image;
фиг. 11 – пояснительная схема способа интерполяции входного изображения в направлении высоты изображения;FIG. 11 is an explanatory diagram of a method for interpolating an input image in an image height direction;
фиг. 12 – блок-схема способа обработки изображения согласно настоящему изобретению (вариант 2);FIG. 12 is a flowchart of an image processing method according to the present invention (option 2);
фиг. 13 – блок-схема способа обработки изображения согласно настоящему изобретению (вариант 3);FIG. 13 is a flowchart of an image processing method according to the present invention (embodiment 3);
фиг. 14 – блок-схема способа обработки изображения согласно варианту 1 настоящего изобретения;FIG. 14 is a flowchart of an image processing method according to
фиг. 15А – 15Е – пояснительные схемы расположения функций OTF и PSF согласно варианту 4;FIG. 15A - 15E are explanatory diagrams of the arrangement of the OTF and PSF functions according to
фиг. 16 – схема системы обработки изображения, включающая в себя устройство обработки изображения согласно варианту 4;FIG. 16 is a diagram of an image processing system including an image processing device according to
фиг. 17 – пояснительная схема данных о коэффициентах согласно варианту 4;FIG. 17 is an explanatory diagram of coefficient data according to
фиг. 18 – подробная пояснительная схема данных о коэффициентах согласно варианту 4;FIG. 18 is a detailed explanatory diagram of coefficient data according to
фиг. 19 – пояснительная схема, относящаяся к количеству отводов и шагу частоты согласно варианту 4;FIG. 19 is an explanatory diagram related to the number of taps and the frequency step according to
фиг. 20 - пояснительная схема, относящаяся к другому количеству отводов и шагу частоты согласно варианту 4;FIG. 20 is an explanatory diagram relating to a different number of taps and a frequency step according to
фиг. 21 – пояснительная схема реконфигурации функций OTF согласно варианту 4;FIG. 21 is an explanatory diagram of reconfiguring OTF functions according to
фиг. 22 – подробная пояснительная схема реконфигурации функций OTF согласно варианту 4;FIG. 22 is a detailed explanatory diagram of reconfiguring OTF functions according to
фиг. 23 – блок-схема модифицированного примера обработки изображения согласно варианту 4;FIG. 23 is a block diagram of a modified example of image processing according to
фиг. 24 – конфигурация устройства съемки изображения согласно варианту 5 настоящего изобретения;FIG. 24 is a configuration of an image pickup apparatus according to
фиг. 25 – пояснительная схема процессора изображения, обеспеченного в устройстве съемки изображения, согласно варианту 5.FIG. 25 is an explanatory diagram of an image processor provided in an image pickup apparatus according to
Осуществление изобретенияThe implementation of the invention
Ниже со ссылками на сопровождающие чертежи описаны примерные варианты осуществления настоящего изобретения.Below with reference to the accompanying drawings, exemplary embodiments of the present invention are described.
Перед описанием конкретных вариантов будут даны определения терминов, используемых в этих вариантах и при обработке изображений.Before describing specific options, definitions will be given of terms used in these options and in image processing.
[Входное изображение][Input Image]
Входное изображение – это цифровое изображение, сформированное из выходного сигнала датчика изображения, который выполняет фотоэлектрическое преобразование изображения объекта, сформированного оптической системой съемки изображения (далее называемой просто «оптической системой») в устройстве съемки изображения. Цифровое изображение – это изображение, ухудшенное из-за оптической передаточной (OTF), включая аберрацию оптической системы, содержащей такие оптические элементы, как объектив и оптический фильтр. Датчик изображения включает в себя фотоэлектрические преобразовательные элементы на основе технологии КМОП (CMOS) и ПЗС (CCD). Оптическая система съемки изображения может включать в себя искривленное зеркало (отражающая поверхность). Оптическая система может быть съемной с устройства съемки изображения (взаимозаменяемость). В устройстве съемки изображения система съемки изображения состоит из оптической системы, датчика изображения и схемы обработки сигналов, которая формирует цифровое изображение (входное изображение) из выходного сигнала датчика изображения.An input image is a digital image formed from the output of an image sensor that performs photoelectric conversion of an image of an object formed by an optical image pickup system (hereinafter referred to simply as an “optical system”) in an image pickup device. A digital image is an image degraded by an optical transfer (OTF), including the aberration of an optical system that contains optical elements such as a lens and an optical filter. The image sensor includes photovoltaic cells based on CMOS and CCD (CCD) technology. An optical image pickup system may include a curved mirror (reflective surface). The optical system may be removable from an image pickup device (interchangeability). In the image pickup device, the image pickup system consists of an optical system, an image sensor and a signal processing circuit that generates a digital image (input image) from the output of the image sensor.
Цветовые компоненты входного изображения содержат информацию, например, в цветовых компонентах пространства RGB. Используемые цветовые компоненты могут быть выбраны из других обычно используемых цветовых пространств, таких как цветовое пространство LCH, которое отражает яркость, оттенок и насыщение, и цветовое пространство YCbCR, которое выражает яркость и цветовой контраст. Другие применяемые цветовые пространства включают в себя, например, цветовые пространства XYZ, Lab, Yuv и Jch, причем дополнительно может быть использована цветовая температура.The color components of the input image contain information, for example, in the color components of the RGB space. The color components used can be selected from other commonly used color spaces, such as the LCH color space, which reflects brightness, hue, and saturation, and the YCbCR color space, which expresses brightness and color contrast. Other usable color spaces include, for example, XYZ, Lab, Yuv, and Jch color spaces, and color temperature can additionally be used.
Входные и выходные изображения могут содержать информацию о параметре съемки изображения, например, фокусное расстояние, значение диафрагмы и расстояние до объекта (далее называемые информацией о параметрах съемки объекта), оптической системы в устройстве съемки изображения, когда формируется (фиксируется) входное изображение. Входное и выходное изображения кроме того могут содержать различную коррекционную информацию, используемую для коррекции входного изображения. В конфигурации, в которой устройство съемки изображения выводит входное изображение в устройство обработки изображения, размещенное отдельно, а устройство обработки изображения обеспечивает обработку восстановления изображения во входное изображение, желательно, чтобы входное изображение содержало информацию о параметрах съемки и коррекционную информацию. Вместо того, чтобы посылать информацию о параметрах съемки изображения и коррекционную информацию вместе с входным изображением, эту информацию можно передать напрямую или косвенным путем от устройства съемки изображения на устройство обработки изображения через средство связи.Input and output images may contain information on the image pickup parameter, for example, focal length, aperture value and distance to the object (hereinafter referred to as information on the shooting parameters of the object) of the optical system in the image pickup device when the input image is formed (fixed). The input and output images may also contain various correction information used to correct the input image. In a configuration in which the image pickup device outputs an input image to an image processing device housed separately, and the image processing device provides image recovery processing to the input image, it is desirable that the input image contains information about shooting parameters and correction information. Instead of sending information about the image pickup parameters and correction information along with the input image, this information can be transmitted directly or indirectly from the image pickup device to the image processing device via a communication means.
[Обработка на основе нерезкой маски (обработка увеличения резкости)][Processing based on unsharp mask (sharpening processing)]
На фиг. 3А и 3В схематически показано увеличение резкости изображения путем обработки на основе нерезкой маски. На фиг. 3А сплошная линия представляет входное изображение, подлежащее обработке, а пунктирная линия представляет изображение, размытое в результате применения нерезкой маски к входному изображению. Линия, изображенная точками, представляет изображение с увеличенной резкостью. Сплошная линия на фиг. 3В представляет коррекционный компонент (коррекционный сигнал), используемый для увеличения резкости. На фиг. 3А и 3В горизонтальная ось представляет координату, а вертикальная ось представляет пиксельное значение или значение яркости. Каждая из фиг. 3А и 3В соответствует сечению в заданном направлении (например, в направлении Х) на фиг. 4А и 4В, которые будут описаны ниже.In FIG. 3A and 3B schematically show an increase in image sharpness by processing based on an unsharp mask. In FIG. 3A, the solid line represents the input image to be processed, and the dashed line represents the image blurred by applying an unsharp mask to the input image. The dotted line represents a sharpened image. The solid line in FIG. 3B represents a correction component (correction signal) used to sharpen. In FIG. 3A and 3B, the horizontal axis represents the coordinate, and the vertical axis represents the pixel value or brightness value. Each of FIG. 3A and 3B correspond to a section in a predetermined direction (for example, in the X direction) in FIG. 4A and 4B, which will be described below.
Если входное изображение обозначить как f(x,y), а коррекционный компонент обозначить как h(x,y), то изображение g(x,y) с увеличенной резкостью может быть представлено выражением (1):If the input image is denoted as f (x, y), and the correction component is denoted as h (x, y), then the image g (x, y) with increased sharpness can be represented by the expression (1):
В выражении (1) коррекционный сигнал h(x,y) умножается на константу m и добавляется к f(x,y), представляющей входное изображение. Константу m можно изменять для регулирования величины коррекции. Константа m может быть неизменной и не зависеть от положения во входном изображении. В качестве альтернативы, для регулирования величины коррекции в зависимости от положения во входном изображении может быть использован коэффициент m(x,y) регулирования, который изменяется с изменением положения во входном изображении. Константа m и коэффициент m(x,y) регулирования могут изменяться в зависимости от параметров съемки изображения, таких как фокусное расстояние, значение диафрагмы и расстояние до объекта. В последующем описании константа m может заменяться коэффициентом m(x,y) регулирования.In expression (1), the correction signal h (x, y) is multiplied by the constant m and added to f (x, y) representing the input image. The constant m can be changed to adjust the amount of correction. The constant m can be unchanged and not depend on the position in the input image. Alternatively, to adjust the correction amount depending on the position in the input image, a control coefficient m (x, y) can be used, which changes with a change in position in the input image. The constant m and the adjustment coefficient m (x, y) can vary depending on the image capture parameters, such as focal length, aperture value and distance to the subject. In the following description, the constant m can be replaced by a regulation coefficient m (x, y).
Если нерезкую маску обозначить как USM, то коррекционный компонент h(x,y) можно представить как:If the unsharp mask is designated as USM, then the correction component h (x, y) can be represented as:
В качестве альтернативы правая часть выражения (2) может быть представлена выражением (3). USM(x,y) представляет собой, например, значение отвода в координатах (x,y) маски USM.Alternatively, the right-hand side of expression (2) may be represented by expression (3). USM (x, y) is, for example, the retraction value in the coordinates (x, y) of the USM mask.
Символ * представляет свертку (интеграл свертки, сумма произведений), а символ δ представляет дельта-функцию (идеальное точечное изображение), чей интеграл равен единице. Здесь дельта-функция представляет собой данные, количество отводов которых равно количеству отводов USM(x,y) и чьи значения равны нулю, за исключением центрального значения, равного единице.The symbol * represents a convolution (convolution integral, the sum of products), and the symbol δ represents a delta function (perfect point image), whose integral is unity. Here, the delta function is data whose number of taps is equal to the number of taps USM (x, y) and whose values are zero, except for the central value of one.
Выражение (3) отличается от выражения (2) способом вычислений, используемых при упомянутой обработке. Однако, поскольку выражение (3) можно получить, перезаписав выражение (2), выражение (3) представляет обработку, эквивалентную обработке согласно выражению (2). По этой причине выражение (2) используется ниже для описания формирования коррекционного компонента.Expression (3) differs from expression (2) by the method of calculations used in the aforementioned processing. However, since expression (3) can be obtained by overwriting expression (2), expression (3) represents processing equivalent to processing according to expression (2). For this reason, expression (2) is used below to describe the formation of the correction component.
Выражение (2) используют для вычисления разности между входным изображением f(x,y) и изображением, полученным в результате уменьшения резкости входного изображения f(x,y) нерезкой маской USM и формирования коррекционного компонента h(x,y). В типовой обработке на основе нерезкой маски нерезкая маска USM представляет собой сглаживающий фильтр, такой как гауссовый фильтр, медианный фильтр и фильтр скользящего среднего. Например, когда в качестве нерезкой маски USM для входного изображения f(x,y), показанного сплошной линий на фиг. 3А, применяют гауссовый фильтр, получим изображение, являющееся результатом уменьшения резкости входного изображения f(x,y), которое показано пунктирной линией на фиг. 3А. Таким образом, коррекционный компонент h(x,y) представляет собой разность между изображением f(x,y) и изображением с уменьшенной резкостью как в выражении (2). Таким образом, вычитание значения сигнала изображения с уменьшенной резкостью, показанного пунктирной линией на фиг. 3А, из значения сигнала входного изображения, показанного сплошной линией, дает коррекционный компонент, показанный сплошной линией на фиг. 3В. Вычисленный таким образом коррекционный компонент используют для вычисления выражения (1) для увеличения резкости входного изображения f(x,y), показанного на фиг. 1А сплошной линией, и получения изображения, показанного линией, изображенной точками.Expression (2) is used to calculate the difference between the input image f (x, y) and the image obtained by reducing the sharpness of the input image f (x, y) with an unsharp USM mask and forming the correction component h (x, y). In a typical unsharp mask processing, the USM unsharp mask is a smoothing filter such as a Gaussian filter, a median filter, and a moving average filter. For example, when as an unsharp USM mask for the input image f (x, y) shown by the solid lines in FIG. 3A, a Gaussian filter is applied to obtain an image resulting from a reduction in sharpness of the input image f (x, y), which is shown by the dashed line in FIG. 3A. Thus, the correction component h (x, y) is the difference between the image f (x, y) and the image with reduced sharpness as in expression (2). Thus, subtracting the value of the sharpened image signal shown by the dashed line in FIG. 3A, from the value of the input image signal shown by the solid line, gives the correction component shown by the solid line in FIG. 3B. The correction component thus calculated is used to calculate expression (1) to sharpen the input image f (x, y) shown in FIG. 1A by a solid line, and obtaining an image shown by a line represented by dots.
Далее следует описание увеличения резкости изображения посредством обработки на основе нерезкой маски оптического изображения объекта, ухудшенного при прохождении через оптическую систему формирования изображения. Если исходное изображение (изображение объекта) перед прохождением через оптическую систему обозначить как I(x,y), а функцию PSF, представляющую реакцию оптической системы на точечный источник света, обозначить как psf(x,y), то входное изображение f(x,y), сформированное через оптическую систему, выражается как:The following is a description of sharpening an image by processing, based on an unsharp mask, an optical image of an object that is degraded when passing through an optical imaging system. If the initial image (image of the object) before passing through the optical system is denoted as I (x, y), and the function PSF representing the response of the optical system to a point light source is denoted as psf (x, y), then the input image f (x, y) formed through an optical system is expressed as:
Если оптическая система представляет собой осесимметричную коаксиальную оптическую систему, то PSF, соответствующая центральной части изображения, будет осесимметрична. Это позволяет выполнять обработку увеличения резкости, в результате которой входное изображение f(x,y) становится ближе к исходному изображению f(x,y) в центральной части изображения путем применения осесимметричной маски USM, как было описано выше. Поскольку величина коррекции представляет собой значение разности между упомянутым изображением и изображением с уменьшенной резкостью, полученным посредством обработки на основе нерезкой маски, более точная коррекция потребует использования нерезкой маски, более близкой по форме к функции psf(x,y), а не простого сглаживающего фильтра. Причина этого заключается в следующем. Например, при ухудшении изображения из-за сферической аберрации, которая оказывает осесимметричое влияние, сглаживающий фильтр, такой как гауссовый фильтр, имеет форму распределения, отличную от функции PSF, на которую воздействует сферическая аберрация. Таким образом, использование PSF оптической системы позволяет обеспечить более точную коррекцию при снижении осесимметричного уменьшения резкости.If the optical system is an axisymmetric coaxial optical system, then the PSF corresponding to the central part of the image will be axisymmetric. This allows sharpening processing to be performed, as a result of which the input image f (x, y) becomes closer to the original image f (x, y) in the central part of the image by applying an axisymmetric USM mask, as described above. Since the correction value is the difference value between the above image and the image with reduced sharpness obtained by processing based on an unsharp mask, a more accurate correction will require the use of an unsharp mask, closer in form to the psf (x, y) function, and not a simple smoothing filter . The reason for this is as follows. For example, if the image is degraded due to spherical aberration, which has an axisymmetric effect, a smoothing filter, such as a Gaussian filter, has a distribution shape different from the PSF function affected by spherical aberration. Thus, the use of PSF optical system allows for more accurate correction while reducing axisymmetric sharpening.
По этой причине в каждом варианте настоящего изобретения функция PSF используется в виде маски USM. Хотя входное изображение f(x,y) на фиг. 3А, используемое при описании обработки на основе нерезкой маски, для простоты описания показано в виде симметричного по форме изображения, форма входного изображения может быть несимметричной. Даже в том случае, когда исходное изображение I(x,y) имеет асимметричную форму, функция осесимметричного ухудшения резкости, которая соответствует функции psf(x,y), и действует на исходном изображении I(x,y), обеспечивает достижение резкости с осесимметричной маской USM.For this reason, in each embodiment of the present invention, the PSF function is used in the form of a USM mask. Although the input image f (x, y) in FIG. 3A used to describe processing based on an unsharp mask, for simplicity of description is shown as a symmetrical image, the shape of the input image may be asymmetric. Even in the case when the original image I (x, y) has an asymmetric shape, the axisymmetric sharpening function, which corresponds to the function psf (x, y), and acts on the original image I (x, y), achieves sharpness with an axisymmetric USM mask.
С другой стороны, в местах, не относящихся к центральной части изображения, даже в том случае, когда оптическая система является осесимметричной коаксиальной оптической системой, функция PSF в общем случае является асимметричной. На фиг. 4А и 4В схематически показана функция PSF оптической системы на плоскости x,y, а именно: на фиг. 4А показана функция PSF на оптической оси, а на фиг. 4В показана функция PSF вне оптической оси.On the other hand, in places not related to the central part of the image, even when the optical system is an axisymmetric coaxial optical system, the PSF function is generally asymmetric. In FIG. 4A and 4B schematically show the PSF function of the optical system in the x, y plane, namely: in FIG. 4A shows the PSF function on the optical axis, and FIG. 4B shows the PSF function outside the optical axis.
Например, если исходное изображение (изображение объекта) является идеальным точечным изображением, выражение (4) показывает, что входное изображение f(x,y) представляет собой PSF оптической системы. Когда идеальное точечное изображение находится под углом согласно фиг. 4В, и исходное изображение (изображение объекта) ухудшается из-за PSF оптической системы, изображение, полученное в качестве входного изображения, является размытым изображением, форма которого показана на фиг. 4В. Далее следует описание увеличения резкости посредством обработки изображения, асимметрично размытого таким образом на основе нерезкой маски.For example, if the original image (image of the object) is an ideal point image, expression (4) indicates that the input image f (x, y) is a PSF of the optical system. When the ideal point image is at an angle according to FIG. 4B, and the original image (object image) is degraded due to the PSF of the optical system, the image obtained as the input image is a blurred image, the shape of which is shown in FIG. 4B. The following is a description of sharpening by processing an image asymmetrically blurred in this way based on an unsharp mask.
На фиг. 5А и 5В и фиг. 6А и 6В схематически показана обработка асимметрично ухудшенного изображения на основе нерезкой маски. На фиг. 5А и 5В показана обработка с использованием осесимметричной нерезкой маски, а на фиг. 6А и 6В показана обработка с использованием осеасимметричной нерезкой маски. Здесь вертикальная ось и горизонтальная ось такие же, как на фиг. 3А и 3В. Сплошные линии на фиг. 5А и 6А представляют сечение в направлении y на фиг. 4В, а пунктирные линии представляют изображения, полученные путем размытия входного изображения с использованием соответствующих нерезких масок. Нерезкая маска на фиг. 5А и 5В, то есть., осесимметричная нерезкая маска, представляет собой гауссовый фильтр. С другой стороны, нерезкая маска на фиг. 6А и 6В, то есть осеасимметричная нерезкая маска, представляет собой функцию PSF оптической системы.In FIG. 5A and 5B and FIG. 6A and 6B schematically show asymmetrically degraded image processing based on an unsharp mask. In FIG. 5A and 5B show processing using an axisymmetric unsharp mask, and in FIG. 6A and 6B show processing using an axisymmetric unsharp mask. Here, the vertical axis and horizontal axis are the same as in FIG. 3A and 3B. The solid lines in FIG. 5A and 6A are a section in the y direction of FIG. 4B, and the dashed lines represent images obtained by blurring the input image using appropriate unsharp masks. The unsharp mask in FIG. 5A and 5B, i.e., an axisymmetric unsharp mask, is a Gaussian filter. On the other hand, the unsharp mask in FIG. 6A and 6B, i.e., an axisymmetric unsharp mask, is a function of the PSF of the optical system.
На фиг. 5В и 6В соответственно показаны коррекционные компоненты в виде разностей между нерезкими изображениями, показанными линиями в виде точек на фиг. 5А И 6А, и исходным входным изображением. На фиг. 5А И 6А положительным направлением Y считается направление, в котором входное изображение, размытое функцией PSF, имеет вид расширяющегося колокола. В случае использования осесимметричной нерезкой маски, показанной на фиг. 5А и 5В, разность между нерезким изображением и исходным входным изображением меньше с положительной стороны относительно положения пика, показанного на фиг. 5А сплошной линией, и больше с отрицательной стороны пика. Следовательно, коррекционная составляющая, показанная на фиг. 5В, имеет большее экстремальное значение (отрицательное значение относительно 0) с положительной стороны (правая сторона) относительно положения центрального пика, чем с отрицательной стороны (левая сторона).In FIG. 5B and 6B respectively show correction components in the form of differences between unsharp images shown by dotted lines in FIG. 5A and 6A, and the original input image. In FIG. 5A and 6A, the positive direction Y is considered the direction in which the input image blurred by the PSF function looks like an expanding bell. In the case of using the axisymmetric unsharp mask shown in FIG. 5A and 5B, the difference between the unsharp image and the original input image is smaller on the positive side with respect to the peak position shown in FIG. 5A is a solid line, and more on the negative side of the peak. Therefore, the correction component shown in FIG. 5B has a greater extreme value (negative value relative to 0) on the positive side (right side) relative to the position of the central peak than on the negative side (left side).
При использовании коррекционного компонента, величина которого (величина коррекции) меньше с положительной стороны, где колокол расширяется, и больше с отрицательной стороны, где колокол не расширяется, как показано на фиг. 5А и 5В, асимметричное размытие не может быть скорректировано посредством увеличения резкости согласно выражению (4).When using a correction component, the magnitude of which (correction amount) is less on the positive side, where the bell expands, and more on the negative side, where the bell does not expand, as shown in FIG. 5A and 5B, asymmetric blur cannot be corrected by sharpening according to expression (4).
Например, величина коррекции регулируется путем изменения константы m в выражении (4) без изменения нерезкой маски. Однако при использовании большой константы m, чтобы обеспечить достаточную коррекцию на положительной стороне входного изображения, отрицательная сторона входного изображения оказывается избыточно скорректированной. В противоположность этому, когда константа m установлена таким образом, что отрицательная сторона входного изображения скорректирована правильно, недостаточно скорректированной оказывается положительная сторона входного изображения. Такая обработка на основе нерезкой маски с использованием осесимметричной нерезкой маски на асимметрично размытом входном изображении затрудняет устранение асимметрии и увеличение резкости изображения. Хотя в данном варианте описан случай использования гауссового фильтра в качестве осесимметричной нерезкой маски, асимметричное размытое входное изображение невозможно сделать достаточно резким также в случае использования осесимметричных фильтров других видов.For example, the correction value is adjusted by changing the constant m in expression (4) without changing the unsharp mask. However, when using the large constant m to provide sufficient correction on the positive side of the input image, the negative side of the input image is excessively corrected. In contrast, when the constant m is set so that the negative side of the input image is corrected correctly, the positive side of the input image is not correctly adjusted. Such processing based on an unsharp mask using an axisymmetric unsharp mask on an asymmetrically blurred input image makes it difficult to eliminate the asymmetry and increase the sharpness of the image. Although this case describes the use of a Gaussian filter as an axisymmetric unsharp mask, an asymmetric blurred input image cannot be made sharp enough in the case of using axisymmetric filters of other types.
Далее описывается случай использования осеасимметричной нерезкой маки, показанной на фиг. 6А и 6В. В этом случае разность между нерезким изображением и исходным входным изображением больше с положительной стороны относительно позиции пика, показанного сплошной линией на фиг. 6А, и меньше с отрицательной стороны, то есть, это соотношение является обратным по отношению к фиг. 5А. Таким образом, коррекционный компонент, показанный на фиг. 6В, имеет большее экстремальное значение с отрицательной стороны (левая сторона) относительно позиции центрального пика, чем с положительной стороны (правая сторона). Коррекционный компонент, используемый для входного изображения, показанный сплошной линией на фиг. 6А, имеет большую величину с положительной стороны относительно позиции пика, где имеет место большое размытие, и малое значение с отрицательной стороны, где размытие мало. Следовательно, использование асимметричной нерезкой маски приводит к размытию входного изображения, и аналогичным распределениям величины коррекции, что уменьшает как избыточную, так и недостаточную коррекцию, которая имеет место при использовании осесимметричной нерезкой маски. Кроме того, использование асимметричной нерезкой маски, вряд ли, приведет к избыточной коррекции по сравнению со случаем использования осесимметричной нерезкой маски, и поэтому константу m в выражении (4) можно установить относительно большой, уменьшив тем самым асимметрию и дополнительно увеличив резкость изображения.The following describes the case of using the axisymmetric unsharp poppies shown in FIG. 6A and 6B. In this case, the difference between the unsharp image and the original input image is larger on the positive side relative to the peak position shown by the solid line in FIG. 6A, and less on the negative side, that is, this ratio is the opposite of FIG. 5A. Thus, the correction component shown in FIG. 6B has a greater extreme value on the negative side (left side) relative to the position of the central peak than on the positive side (right side). The correction component used for the input image, shown by the solid line in FIG. 6A has a large value on the positive side with respect to the peak position where there is a large blur, and a small value on the negative side where the blur is small. Therefore, the use of an asymmetric unsharp mask leads to blurring of the input image, and similar distributions of the correction value, which reduces both the over and under correction that occurs when using the axisymmetric unsharp mask. In addition, the use of an asymmetric unsharp mask is unlikely to lead to excessive correction compared to the case of the use of an axisymmetric unsharp mask, and therefore the constant m in expression (4) can be set relatively large, thereby reducing the asymmetry and further increasing the image sharpness.
Поскольку величина коррекции, обеспечиваемой коррекционным компонентом, распределена в соответствии с разностью между нерезким изображением и исходным изображением, участок, который сильно размыт функцией PSF оптической системы для съемки изображения, должен иметь большее размытие, обеспечиваемое нерезкой маской, по сравнению с другими участками, чтобы обеспечить более точную коррекцию. Таким образом, функцию PSF оптической системы идеально использовать в качестве нерезкой маски для более точной коррекции. Сечение, описанное в этом варианте, является одномерным, но может быть и двумерным.Since the amount of correction provided by the correction component is distributed in accordance with the difference between the unsharp image and the original image, the area that is highly blurred by the PSF function of the optical system for capturing the image must have a greater blur provided by the unsharp mask compared to other areas to provide more accurate correction. Thus, the PSF function of the optical system is ideally used as an unsharp mask for more accurate correction. The cross section described in this embodiment is one-dimensional, but may be two-dimensional.
Далее следует описание фильтра и коррекционного сигнала, используемого в каждом варианте, описанном ниже, и обработки на основе нерезкой маски согласно каждому варианту.The following is a description of the filter and the correction signal used in each embodiment described below, and processing based on an unsharp mask according to each embodiment.
В вариантах 1 и 4 увеличение резкости обеспечивается с использованием приведенного ниже выражения, полученного из выражений (1) и (2).In
В варианте 2 увеличение резкости обеспечивается с использованием представленного ниже выражения, полученного из выражений (1) И (3).In
В варианте 3 увеличение резкости обеспечивается с использованием представленного ниже выражения, полученного из выражений (6).In
Выражение (7) можно преобразовать в представленное ниже выражение.Expression (7) can be converted to the expression below.
В варианте 3 увеличение резкости обеспечивается с использованием выражения (7), но может быть обеспечено с использованием выражения (8).In
[Сохраненные данные][Saved data]
Необходимо, чтобы функция PSF оптической системы хранилась в устройстве съемки изображения и устройстве обработки изображения с тем, чтобы использовать ее в качестве нерезкой маски, как описано выше. Функцию PSF, хранящуюся в этих устройствах, можно непосредственно использовать в качестве маски USM при обработке, обеспечивающей увеличение резкости. Однако функция PSF будет разной в зависимости от параметров (параметры съемки изображения), когда фиксируется входное изображение и высота изображения, и поэтому необходимо хранить данные, соответствующие разным функциям PSF, чтобы обеспечить обработку, необходимую для точной коррекции. Кроме того, эти функции PSF являются двумерными, а для цветного изображения требуются данные для каждого из цветовых компонентов, например, RGB.It is necessary that the PSF function of the optical system is stored in the image pickup apparatus and the image processing apparatus in order to use it as an unsharp mask, as described above. The PSF function stored in these devices can be used directly as a USM mask for sharpening processing. However, the PSF function will be different depending on the parameters (image pickup parameters) when the input image and image height are fixed, and therefore it is necessary to store data corresponding to different PSF functions in order to provide the processing necessary for accurate correction. In addition, these PSF functions are two-dimensional, and a color image requires data for each of the color components, such as RGB.
В сохраненных данных может содержаться информация о функции OTF для формирования функции PSF или только информация о PSF по мере необходимости. Сначала описывается случай хранения информации о OTF.The stored data may contain OTF function information for generating the PSF function, or only PSF information as necessary. First, a case of storing OTF information is described.
Преобразование OTF в PSF требует использования преобразования Фурье, которое в настоящее время не формирует серьезную нагрузку благодаря повышенной скорости обработки, которой отличаются современные вычислительные устройства. Однако данные OTF для каждой высоты изображения представляют собой данные для нескольких отводов в продольном направлении × количество отводов в поперечном направлении × 2(действительная часть и мнимая часть) × 3 (RGB). Сохранение в этих устройствах всех параметров съемки изображения, таких как высота изображения, F число (значение диафрагмы), позиция зума (фокусное расстояние) и расстояние до объекта, приводит к увеличению объема данных. Как было описано выше, высокоточная обработка и объем данных в общем случае несовместимы, но упомянутые варианты обеспечивают возможность получения изображений, скорректированных с высокой точностью, исходя из небольшого объема данных. Функция OTF имеет относительно широкие частотные характеристики, как будет описано в последующих вариантах, что позволяет обеспечить высокоточную аппроксимацию посредством такой функции, как полином. Таким образом, данными, подлежащими хранению, являются коэффициенты аппроксимации функции, что приводит к значительному сокращению объема сохраняемых данных по сравнению с двумерными данными, сохраняемыми для OTF.Converting OTF to PSF requires the use of the Fourier transform, which currently does not form a serious load due to the increased processing speed that modern computing devices differ in. However, the OTF data for each image height is data for several taps in the longitudinal direction × number of taps in the transverse direction × 2 (real part and imaginary part) × 3 (RGB). Saving all image capture parameters in these devices, such as image height, F number (aperture value), zoom position (focal length) and distance to the subject, increases the amount of data. As described above, high-precision processing and the amount of data are generally incompatible, but these options provide the ability to obtain images corrected with high accuracy based on the small amount of data. The OTF function has relatively wide frequency characteristics, as will be described in subsequent versions, which allows for high-precision approximation by means of a function such as a polynomial. Thus, the data to be stored are the approximation coefficients of the function, which leads to a significant reduction in the amount of stored data in comparison with the two-dimensional data stored for OTF.
Когда устройство съемки изображения представляет собой сменный объектив, то, поскольку пиксельный шаг датчика изображения отличается в зависимости от модели устройства съемки изображения, данные PSF для одного и того же объектива будут отличаться. Как было описано в упомянутых вариантах, пиксельный шаг и количество отводов функции PSF, подлежащих формированию, можно легко изменить, когда функция и данные о ее коэффициентах для восстановления функции OTF хранятся в устройстве.When the image pickup apparatus is an interchangeable lens, since the pixel pitch of the image pickup is different depending on the model of the image pickup apparatus, the PSF data for the same lens will be different. As described in the above options, the pixel pitch and the number of taps of the PSF function to be generated can be easily changed when the function and its coefficient data for restoring the OTF function are stored in the device.
Далее описывается хранение информации о PSF в качестве сохраняемых данных. Информация о PSF, подлежащая хранению, по аналогии со случаем OTF, представляет собой данные PSF, соответствующие параметрам съемки изображения и цветовые компоненты. В качестве альтернативы, вместо хранения двумерных данных PSF функция PSF может быть аппроксимирована эмпирической функцией, а ее коэффициенты для воспроизведения PSF могут сохраняться в качестве хранящихся данных. Используя функцию, подходящую для аппроксимации PSF, можно сократить объем данных для PSF посредством аппроксимации с получением упомянутой функции. По аналогии с аппроксимацией OTF сохранение функции для воспроизведения PSF и данных по ее коэффициентам позволяет воспроизводить пиксельный шаг и количество отводов воспроизводимой PSF. Таким образом, информация о хранящейся PSF исключает необходимость выполнения преобразования Фурье, что приводит к снижению вычислительной нагрузки.The following describes the storage of PSF information as stored data. The PSF information to be stored, similar to the OTF case, is PSF data corresponding to image pickup parameters and color components. Alternatively, instead of storing two-dimensional PSF data, the PSF function can be approximated by an empirical function, and its coefficients for reproducing the PSF can be stored as stored data. Using a function suitable for approximating a PSF, it is possible to reduce the amount of data for a PSF by approximating to obtain said function. By analogy with the OTF approximation, saving the function for playing PSF and data on its coefficients allows you to reproduce the pixel pitch and the number of taps of the reproduced PSF. Thus, the information about the stored PSF eliminates the need to perform the Fourier transform, which reduces the computational load.
Функция PSF отличается для каждого параметра съемки изображения, включая высоту изображения, сформированного посредством оптической системы, и фокусное расстояние, F-число и расстояние до объекта оптической системы. В представленных ниже вариантах описывается высота изображения в качестве примера параметра съемки, но можно получить информацию об аберрации, отличающуюся для каждого значения фокусного расстояния, F-числа и расстояния до объекта оптической системы, с тем чтобы на основе этой информации сформировать неточную маску.The PSF function is different for each image capture parameter, including the height of the image formed by the optical system and the focal length, F-number and the distance to the object of the optical system. The following options describe the height of the image as an example of a shooting parameter, but aberration information that is different for each value of the focal length, F-number, and distance to the object of the optical system can be obtained so as to form an inaccurate mask based on this information.
[Вариант 1][Option 1]
На фиг. 1 представлена блок-схема устройства 100 съемки изображения согласно варианту 1. В устройстве 100 съемки изображения в памяти 120 установлена программа, которая обеспечивает обработку увеличения резкости (способ обработки изображения) для входного изображения, причем обработка увеличения резкости выполняется процессором 104 изображения (устройство обработки изображения) устройства 100 съемки изображения. В состав памяти 120 входит память только для считывания (ROM) и накопитель на жестком диске, но в качестве памяти может быть использован блок 108 записи, описанный ниже.In FIG. 1 is a block diagram of an
Устройство 100 съемки изображения включает в себя оптическую систему 101 (объектив) и корпус устройства съемки изображения (корпус камеры). Оптическая система 101 съемки изображения включает в себя апертурную диафрагму 101а и объектив 101b, причем она выполнена как единое целое вместе с корпусом устройства съемки изображения. Однако данный вариант этим не ограничивается, а также применим к устройству съемки изображения, включающему в себя корпус устройства съемки изображения, смонтированный с взаимозаменяемой оптической системой 101 съемки изображения.The
Датчик 102 изображения является двумерным датчиком изображения, таким как устройство с зарядовой связью (CCD) или структура «металл-окисел полупроводник» (CMOS). Датчик 102 изображения выполняет фотоэлектрическое преобразование изображения объекта (света, формирующего изображение), полученного посредством оптической системы 101 съемки изображения, и формирует изображение. Изображение объекта преобразуется фотоэлектрическим путем в аналоговый сигнал (электрический сигнал) датчиком 102 изображения. Этот аналоговый сигнал преобразуется аналого-цифровым преобразователем 103 в цифровой сигнал, который затем вводится в процессор 104 изображения.The
Процессор 104 изображения представляет собой блок обработки изображения, который обеспечивает обработку на основе заданной нерезкой маски, а также заданную обработку упомянутого цифрового сигнала. В данном варианте обработка увеличения резкости обеспечивается процессором изображения, входящим в состав устройства съемки изображения, но может быть выполнена персональным компьютером (PC) либо специализированным устройством, служащим в качестве устройства обработки изображения.The
Процессор 104 изображения получает информацию о параметрах съемки изображения устройством 100 съемки изображения от детектора 107 состояния. Информация о параметрах съемки изображения представляет собой информацию о диафрагме, расстоянии до объекта и фокусном расстоянии зум-объектива. Детектор 107 состояния получает информацию о параметрах съемки изображения непосредственно от системного контроллера 106, но это не является ограничением. Например, информацию о параметрах съемки изображения оптической системы 101 съемки изображения можно получить от контроллера 105 оптической системы съемки изображения.The
По существу, процессор 104 изображения обеспечивает обработку увеличения резкости входного изображения. Процессор 104 изображения включает в себя селектор 201 распределения интенсивности точечного изображения (селектор функции PSF), генератор 202 коррекционного сигнала и блок 203 применения коррекционного сигнала. Однако, когда процессор 104 изображения служит в качестве устройства обработки изображения, системный контроллер 106 устройства 100 съемки изображения может сохранять информацию об аберрации в связке с изображением. В этом случае устройство обработки изображения может включать в себя генератор 202 коррекционного сигнала и блок 203 применения коррекционного сигнала, а не селектор 201 функции PSF.As such, the
Выходное изображение, обработанное в процессоре 104 изображения, сохраняется в заданном формате в блоке 108 записи. Блок 108 записи также служит в качестве памяти, в которой хранится взаимосвязь между параметрами съемки изображения оптической системы 100 съемки изображения и функция PSF оптической системы съемки изображения.The output image processed in the
Блок 112 отображения изображения способен отображать изображение, обеспеченное посредством заданной обработки отображения после обработки увеличения резкости изображения. Блок 112 отображения изображения может отображать изображение, обеспеченное посредством упрощенной обработки с тем, чтобы достичь быстрого отображения.The
Упомянутые последовательности операции обработки управляются системным котроллером 106. системный контроллер 106 выполнен в виде микрокомпьютера и процессора (CPU). Механический привод оптической системы 101 съемки изображения управляется контроллером 105 оптической систем съемки изображения на основе команды от системного контроллера 106.Said processing operation sequences are controlled by the
Оптическая система 101 съемки изображения может включать в себя оптические элементы, такие как фильтр нижних частот и инфракрасный режекторный фильтр. При использовании оптического элемента, который влияет на характеристики PSF, такого как фильтр нижних частот, расчет влияния оптического элемента при формировании нерезкой маски позволяет обеспечить более точную обработку увеличения резкости изображения. При использовании инфракрасного режекторного фильтра, который влияет на PSF каждого из RGB каналов (цветовые компоненты RGB), представляющие собой интегральное значение PSF по спектральным длинам волн, особенно на PSF канала R, это влияние оптического элемента желательно учесть при формировании нерезкой маски.The optical
Далее со ссылками на фиг. 2 описывается способ обработки изображения согласно данному варианту. На фиг. 2 представлена блок-схема, иллюстрирующая процесс обработки в целом в этом варианте, где символ «S» представляет «этап (процесс)». Блок-схему, показанную на фиг. 2, можно реализовать в виде программы (программа обработки изображения), которая инициирует выполнение компьютером функции каждого этапа. Аналогичным образом можно реализовать и другие блок-схемы. Каждый этап на фиг. 2 выполняется процессором 104 изображения на основе команды от системного контроллера 106.Next, with reference to FIG. 2, an image processing method according to this embodiment is described. In FIG. 2 is a flowchart illustrating the processing as a whole in this embodiment, where the symbol “S” represents “step (process)”. The block diagram shown in FIG. 2, can be implemented as a program (image processing program), which initiates the computer performing the functions of each stage. Similarly, other flowcharts can be implemented. Each step in FIG. 2 is executed by the
Сначала получают изображение в виде входного изображения (S11), затем селектор 201 функции PSF получает от блока 108 записи функцию PSF оптической системы съемки изображения, соответствующую параметрам съемки входного изображения (этап S12 получения). Информация о PSF, полученная селектором 201 функции PSF, может представлять собой двумерные данные об отводах, множество одномерных данных от отводах в качестве компонентов функций PSF и коэффициенты.First, an image in the form of an input image is obtained (S11), then the
Затем генератор 202 коррекционного сигнала формирует нерезкую маску и коррекционный сигнал на основе информации о PSF, полученной на этапе S12 (этап S13 формирования).Then, the
Далее со ссылками на фиг. 7А и 7В описывается нерезкая маска. Нерезкая маска имеет несколько отводов, определенных в зависимости от характеристик аберраций оптической системы съемки изображения и требуемой точности увеличения резкости. Нерезкая маска на фиг. 7А представляет собой приведенную в качестве примера двумерную маску с 11×11 отводами. На фиг. 7А не показано значение (коэффициент) на каждом отводе, а на фиг. 7В показана секция нерезкой маски. На фиг. 7В горизонтальная ось представляет отводы, а вертикальная ось представляет значения отводов.Next, with reference to FIG. 7A and 7B, an unsharp mask is described. The unsharp mask has several taps, determined depending on the characteristics of the aberrations of the optical imaging system and the required sharpening accuracy. The unsharp mask in FIG. 7A is an exemplary two-dimensional mask with 11 × 11 taps. In FIG. 7A does not show the value (coefficient) at each tap, but in FIG. 7B shows an unsharp mask section. In FIG. 7B, the horizontal axis represents the bends, and the vertical axis represents the bends.
Распределение значений (значения коэффициентов) отводов нерезкой маски в идеале представляет собой распределение значений сигнала (PSF оптической системы съемки изображения), которое расширяется из-за аберрации. Нерезкая маска может быть сформирована на основе информации о функции PSF, как было описано выше, или может представлять собой функцию PSF, полученную селектором 201 функции PSF. Далее описывается обработка, связанная с формированием коррекционного сигнала, путем использования нерезкой маски, сформированной в генераторе 202 коррекционного сигнала.The distribution of values (coefficient values) of the taps of the unsharp mask ideally represents the distribution of signal values (PSF of the optical image pickup system), which expands due to aberration. An unsharp mask may be generated based on PSF function information, as described above, or may be a PSF function obtained by the
Затем блок 203 применения коррекционного сигнала обеспечивает обработку увеличения резкости для входного сигнала, используя коррекционный сигнал, сформированный на этапе S13 (этап S14 увеличения резкости). Подробности обработки на этапе S14 описаны ниже.Then, the correction
На фиг. 8А представлена блок-схема, иллюстрирующая подробности обработки согласно данному варианту. Каждый этап на фиг. 8А выполняется процессором 104 изображения на основе команды от системного контроллера 106.In FIG. 8A is a flowchart illustrating processing details according to this embodiment. Each step in FIG. 8A is performed by the
Сначала получают изображение в виде входного изображения (S111). В частности, данные цветового компонента как цель коррекции, используемые в качестве входного изображения, являются, например, данными изображения G канала после устранения мозаичности. Однако данными цветового компонента могут быть данные изображения R канала или B канала, данные изображения всех RGB каналов или данные изображения до устранения мозаичности.First, an image in the form of an input image is obtained (S111). In particular, the color component data as the correction target used as the input image are, for example, image data of the channel G after elimination of the mosaic. However, the color component data may be image data of an R channel or a B channel, image data of all RGB channels, or image data until the mosaic is removed.
На фиг. 9 представлена диаграмма направленности матрицы Байера, которая представляет собой дискретную упорядоченную матрицу. Например, может быть обеспечена обработка для входного изображения, представляющего собой данные каждого канала из RGB или данные конкретного канала. В качестве альтернативы, как показано на фиг. 9, G канал можно разделить на каналы G1 и G2, в результате чего обеспечивается всего четыре канала. При использовании конфигурации, где G канал разделен на два канала, как было описано выше, данные изображения для каждого из каналов G, G1, G2 и B имеют одинаковую разрешающую способность, что облегчает обработку изображения и обработку данных.In FIG. 9 shows the radiation pattern of a Bayer matrix, which is a discrete ordered matrix. For example, processing may be provided for an input image representing data of each channel from RGB or data of a specific channel. Alternatively, as shown in FIG. 9, the G channel can be divided into channels G1 and G2, as a result of which only four channels are provided. When using a configuration where the G channel is divided into two channels, as described above, the image data for each of the channels G, G1, G2 and B have the same resolution, which facilitates image processing and data processing.
Далее селектор 201 функции PSF получает от блока 108 записи информацию о PSF оптической системы съемки изображения, соответствующую входному изображению (S112). Информация о PSF, полученная селектором 201 функции PSF, может представлять собой двумерные данные отводов, множество одномерных данных отводов в качестве компонентов функции PSF, а также коэффициенты. Двумерные данные разбивают на множество одномерных данных, например, с использованием теоремы о декомпозиции сингулярных значений. Основной компонент, разделенный согласно упомянутой теореме, можно записать в блоке 108 записи, а упомянутые одномерные данные отводов, соответствующие основному компоненту функции PSF, можно получить от блока 108 записи в зависимости от параметров съемки изображения.Next, the
Поскольку функция PSF меняется в зависимости от высоты изображения, желательно, чтобы нерезкая маска изменялась в зависимости от высоты изображения, с тем чтобы повысить точность коррекции, но запись данных в блоке 108 записи приводит к увеличению затрат. По этой причине в данном варианте, чтобы иметь возможность изменения нерезкой маски с изменением высоты изображения, входное изображение делят на множество областей и выполняют обработку интерполяции на основе информации о функции PSF по меньшей мере для двух значений высоты изображения для каждой области, что обеспечивает формирование промежуточной нерезкой маски. Детали способа интерполяции описываются ниже для этапа S114.Since the PSF function varies with the height of the image, it is desirable that the unsharp mask changes with the height of the image in order to increase the accuracy of the correction, but recording data in the
Далее описывается разделение входного изображения на области. На фиг. 10 представлена диаграмма направленности входного изображения, где направления по длинной стороне и короткой стороне входного изображения считаются соответственно направлением Х и направлением Y, а в качестве начала координат выбран центр изображения. В этом варианте в качестве примера, показанного на фиг. 10, входное изображение разделено на восемь областей от А до G, причем информацию о функции рассеяния точки получают для каждой из периферийных частей упомянутых областей и для центральной точки.The following describes the division of the input image into areas. In FIG. 10 shows the directivity pattern of the input image, where the directions along the long side and the short side of the input image are considered the X direction and Y direction, respectively, and the image center is selected as the origin. In this embodiment, as an example, shown in FIG. 10, the input image is divided into eight regions A to G, and information about the point spread function is obtained for each of the peripheral parts of the regions and for the center point.
Далее генератор 202 коррекционного сигнала обеспечивает обработку фильтрации, используя функцию PSF, полученную на этапе S112 (S113). В этом варианте функцию PSF используют в качестве нерезкой маски, и для входного изображения обеспечивается обработка свертки (интеграл свертки, сумма произведений) с использованием нерезкой маски. Поскольку количество функции PSF, полученных на этапе S112, равно девяти, включая восемь окружающих областей и начало координат, формируется девять входных изображений, размытых соответствующими нерезкими масками, то есть, девять наборов данных изображения, отфильтрованных нерезкой маской.Next, the
Затем генератор 202 коррекционного сигнала обеспечивает обработку интерполяции в направлении высоты изображения, используя множество данных изображения, отфильтрованных нерезкими масками, которые были сформированы на этапе S113, и формирует единственные данные изображения, отфильтрованные нерезкими масками (этап S114 интерполяции).Then, the
Далее со ссылками на фиг. 11 следует описание обработки интерполяции в направлении высоты изображения. На фиг. 11 направления областей C и А по отношению к началу координат считаются соответственно положительным направлением Х и положительным направлением Y, причем на фиг. 11 показан первый квадрант входного изображения, где обе оси Х и Y являются положительными. На фиг. 11 P0 обозначает начало координат, а P1, P2 и P3 соответственно обозначают периферийные точки изображения области А, области В и области С, а селектор 201 функции PSF получает PSF для каждой из точек P0, P1, P2 и P3 на этапе S112.Next, with reference to FIG. 11, a description of interpolation processing in the image height direction follows. In FIG. 11, the directions of regions C and A with respect to the origin are considered, respectively, the positive direction X and the positive direction Y, and in FIG. 11 shows a first quadrant of the input image, where both X and Y axes are positive. In FIG. 11, P0 denotes the origin, and P1, P2, and P3 respectively denote the peripheral image points of region A, region B, and region C, and the
На фиг. 11 точка Pn, показанная белым кружком, представляет собой произвольную точку (точку изображения) в изображении, точка Pn в области В использует данные входного изображения, отфильтрованные нерезкой маской, сформированной на основе информации о функциях PSF для точек P0 и P2 на этапе S113. Аналогичным образом, точки Pn в областях A и C соответственно используют данные входного изображения, отфильтрованные на этапе S113 нерезкими масками, соответствующими значениям высоты изображения в точках P0 и P1 и в точках P0 и P3.In FIG. 11, the Pn point shown by the white circle is an arbitrary point (image point) in the image, the Pn point in region B uses input image data filtered by a mask that is generated based on the PSF function information for points P0 and P2 in step S113. Similarly, the points Pn in regions A and C respectively use input image data filtered in step S113 with unsharp masks corresponding to the image heights at points P0 and P1 and at points P0 and P3.
Далее следует описание формирования интерполяционных данных, соответствующих отфильтрованным данным в произвольной точке Pn исходя из двух значений высоты изображения в области. Как показано на фиг. 11, точка Pn в области В находится на расстоянии d0 от начала координат P0 и на расстоянии d2 от точки P2. Если входные изображения, отфильтрованные на этапе S113 на основе функций PSF, соответствующих точкам P0 и P2, обозначить как F0 и F2, то интерполяционные данные Fn, соответствующие опционной точке Pn, можно представить следующим выражением:The following is a description of the formation of interpolation data corresponding to the filtered data at an arbitrary point Pn based on two values of the image height in the region. As shown in FIG. 11, the point Pn in region B is at a distance d0 from the origin P0 and at a distance d2 from point P2. If the input images filtered in step S113 based on the PSF functions corresponding to points P0 and P2 are denoted by F0 and F2, then the interpolation data Fn corresponding to the optional point Pn can be represented by the following expression:
Упомянутая интерполяционная обработка приводит к формированию интерполяционных данных для произвольной высоты изображения в каждой области и единственных данных изображения на основе множества данных изображения, сформированных на этапе S113. Таким образом, объем сформированных данных изображения меньше, чем объем данных входного изображения, отфильтрованного с использованием разных функций PSF в зависимости от значения высоты изображения, что приводит к повышению скорости обработки.Said interpolation processing leads to generation of interpolation data for an arbitrary image height in each region and single image data based on a plurality of image data generated in step S113. Thus, the amount of generated image data is less than the amount of input image data filtered using different PSF functions depending on the image height value, which leads to an increase in processing speed.
Хотя выражение (9) предназначено для области B в первом квадранте, аналогичные вычисления для других областей и других квадрантов позволяют сформировать интерполяционные данные. Интерполяция на основе высоты изображения может выполняться не только посредством выражения (9), но также посредством квадратичной кривой, либо каждое отфильтрованное входное изображение может быть взвешено путем умножения на константу.Although expression (9) is intended for region B in the first quadrant, similar calculations for other regions and other quadrants allow interpolation data to be generated. Interpolation based on the height of the image can be performed not only by means of expression (9), but also by means of a quadratic curve, or each filtered input image can be weighted by multiplying by a constant.
Затем генератор 202 коррекционного сигнала формирует коррекционный сигнал на основе интерполяционных данных, сформированных на этапе S114 (S115). В данном варианте коррекционный компонент представлен выражением (2) и формируется на основании разности между входным изображением и интерполяционными данными, сформированными на этапе S114.Then, the
Далее блок 203 применения коррекционного сигнала применяет коррекционный сигнал, сформированный на этапе S115, к входному изображению и увеличивает резкость изображения (S116). В этом варианте применение коррекционного сигнала соответствует выражению (1), в котором константу m определяют на основе шума изображения и избыточной или недостаточной коррекции увеличения резкости. Определенную таким образом константу m, коррекционный сигнал, сформированный на этапе S115, и входное изображение используют для обеспечения обработки для увеличения резкости.Next, the correction
Выражение (1) представлено как сумма первого члена и второго члена для положительной константы m и как их разность для отрицательной константы m. Таким образом, при применении коррекционного сигнала к входному изображению при обработке увеличения резкости в данном варианте такое применение выражается в суммировании или вычитании в зависимости от знака константы m. Однако, поскольку понятно, что суммирование и вычитание отличаются просто знаками и по существу означают одну и ту же операцию, упомянутое вычисление может представлять собой суммирование или вычитание в зависимости от знака константы m. В данном варианте, поскольку функция PSF оптической системы съемки изображения используется в качестве нерезкой маски, входное изображение с ухудшенными периферийными участками из-за асимметричной функции PSF оптической системы съемки изображения может быть точно скорректировано с увеличением резкости.Expression (1) is presented as the sum of the first term and second term for the positive constant m and as their difference for the negative constant m. Thus, when applying the correction signal to the input image during sharpening processing in this embodiment, such an application is expressed in the summation or subtraction, depending on the sign of the constant m. However, since it is understood that the summation and subtraction differ simply by signs and essentially mean the same operation, the above calculation may be a summation or subtraction depending on the sign of the constant m. In this embodiment, since the PSF function of the optical image pickup system is used as an unsharp mask, the input image with degraded peripheral portions due to the asymmetric function of the PSF of the optical image pickup system can be accurately adjusted with increasing sharpness.
В данном варианте интерполяция в направлении высоты изображения обеспечивается для отфильтрованного изображения, но также может быть обеспечена для коррекционного сигнала (фиг. 8В) и изображения с увеличенной резкостью (фиг. 8С).In this embodiment, interpolation in the direction of the image height is provided for the filtered image, but can also be provided for the correction signal (Fig. 8B) and sharpened image (Fig. 8C).
В процессе, показанном на фиг. 8В, функции рассеяния точки получены по меньшей мере для двух значений высоты изображения в каждой из множества областей, установленных во входном изображении, и на основе этих функций рассеяния точки формируется множество коррекционных сигналов. Затем выполняется интерполяция этих коррекционных сигналов в направлении высоты изображения с тем, чтобы сформировать единственный коррекционный сигнал, который затем применяют для увеличения резкости входного изображения. В процессе, показанном на фиг. 8С, функции рассеяния точки получают по меньшей мере для двух значений высоты изображения каждой из множества областей, установленных во входном изображении, и формируют множество коррекционных сигналов на основе этих функций рассеяния точки. Затем каждый из этих коррекционных сигналов применяют к входному изображению с тем, чтобы получить множество изображений с увеличенной резкостью, которые затем интерполируют в направлении высоты изображения с тем, чтобы сформировать единственное изображение с увеличенной резкостью.In the process shown in FIG. 8B, point scatter functions are obtained for at least two image height values in each of a plurality of areas set in the input image, and a plurality of correction signals are generated based on these point scatter functions. Then, these correction signals are interpolated in the direction of the image height so as to form a single correction signal, which is then used to sharpen the input image. In the process shown in FIG. 8C, point scatter functions are obtained for at least two image height values of each of a plurality of areas set in the input image, and a plurality of correction signals are generated based on these point scatter functions. Each of these correction signals is then applied to the input image so as to obtain a plurality of sharpened images, which are then interpolated in the image height direction so as to form a single sharpened image.
На фиг. 8В представлена блок-схема, подробно иллюстрирующая поток обработки, обеспечивающей интерполяцию в направлении высоты изображения после формирования коррекционных сигналов. Этапы S121, S122 и S123 соответствуют этапам S111, S112 и S113. Далее описывается обработка на этапах S124 и S125 по фиг. 8В, отличная от обработки на этапах S114 и S115 по фиг. 8А.In FIG. 8B is a flowchart illustrating in detail a processing stream that interpolates in the image height direction after generating correction signals. Steps S121, S122, and S123 correspond to steps S111, S112, and S113. The following describes the processing in steps S124 and S125 of FIG. 8B, other than the processing in steps S114 and S115 of FIG. 8A.
На этапе S124 генератор 202 коррекционного сигнала формирует коррекционные сигналы из отфильтрованных данных, полученных путем фильтрации входных изображений посредством нерезких масок на этапе S123. Коррекционные сигналы формируют исходя из различия между входным изображением и отфильтрованными данным посредством выражения (2). Эти коррекционные сигналы формируют в объеме данных, сформированных на этапе S123.In step S124, the
Далее на этапе S125 генератор 202 коррекционного сигнала обеспечивают обработку интерполяции в направлении высоты изображения на основе коррекционных сигналов, сформированных на этапе S124. Интерполяционная обработка на этапе S125 обеспечивается для другого объекта интерполяции, отличного от объекта обработки интерполяции на этапе S114, но поток обработки в общем аналогичен потоку обработки интерполяции на этапе S114. На этапе S114 данные входного изображения, свернутые посредством функции PSF, полученной на этапе S112 в качестве нерезкой маски, интерполируют в направлении высоты изображения.Next, in step S125, the
С другой стороны, на этапе S125 в качестве коррекционного сигнала используют различие между входным изображением и данными входного изображения, свернутыми посредством нерезкой маски, и выполняют обработку интерполяции в направлении высоты изображения посредством этого коррекционного сигнала. Обработка на этапе S114 обеспечивает интерполяцию f(x,y)*USM в выражении (2) в направлении высоты изображения, в то время как обработка на этапе S125 обеспечивает интерполяцию h(x,y) в направлении высоты изображения.On the other hand, in step S125, the difference between the input image and the input image data collapsed by the unsharp mask is used as the correction signal, and interpolation processing in the image height direction by this correction signal is performed. The processing in step S114 interpolates f (x, y) * USM in expression (2) in the image height direction, while the processing in step S125 interpolates h (x, y) in the image height direction.
Таким образом, при использовании данных f(x,y)*USM на этапе S114 с их заменой на данные h(x,y), на этапе S125 обеспечивается интерполяционная обработка и для коррекционных сигналов в направлении высоты изображения. Коррекционные сигналы, интерполированные упомянутым образом, применяются к входному изображению блоком 203 применения коррекционного сигнала на этапе S126. Применение этих коррекционных сигналов на этапе S126 аналогично обработке на этапе S116, и поэтому здесь подробно не описывается.Thus, when using the data f (x, y) * USM in step S114 and replacing it with the data h (x, y), in step S125 interpolation processing is also provided for the correction signals in the direction of the image height. The correction signals interpolated in the above manner are applied to the input image by the correction
Далее со ссылками на фиг. 8С описывается поток обработки интерполяции в направлении высоты изображения на входном изображении, к которому были применены упомянутые коррекционные сигналы. Этапы S131, S132, S133 и S134 соответствуют этапам S121, S122, S123 и S124.Next, with reference to FIG. 8C, the interpolation processing flow in the direction of image height in the input image to which the correction signals were applied is described. Steps S131, S132, S133 and S134 correspond to steps S121, S122, S123 and S124.
Далее описывается обработка на этапах S135 и S136, которая отличается от обработки на этапах S125 и S126 на фиг. 8В. На этапе S135 блок 203 применения коррекционного сигнала обеспечивает обработку увеличения резкости для входного изображения на основе коррекционных сигналов, сформированных на этапе S134. На этапе S134 коррекционные сигналы формируют в объеме множества нерезких масок, сформированных из функций PSF, выбранных на этапе S132. Обработка увеличения резкости на этапе S135 обеспечивает применение к входному изображению коррекционных сигналов, сформированных на этапе S134 на основе выражения (1).The following describes the processing in steps S135 and S136, which is different from the processing in steps S125 and S126 in FIG. 8B. In step S135, the correction
Далее на этапе S136 множество изображений с увеличенной резкостью, сформированных на этапе S135, интерполируют в направлении высоты изображения. Интерполяционная обработка на этапе S136 обеспечивается для другого объекта интерполяции, отличного от объекта обработки интерполяции на этапе S114 или S125, но поток обработки в общем аналогичен потоку обработки интерполяции на этапе S114 или S125. Обработка на этапе S125 обеспечивает интерполяцию h(x,y) в выражении (1) в направлении высоты изображения, в то время как обработка на этапе S136 обеспечивает интерполяцию g(x,y) в направлении высоты изображения. Таким образом, при использовании данных h(x,y) на этапе S125 с их заменой на данные g(x,y) обработка на этапе S136 обеспечивает интерполяцию изображений с увеличенной резкостью в направлении высоты изображения.Next, in step S136, a plurality of sharpened images formed in step S135 are interpolated in the image height direction. The interpolation processing in step S136 is provided for another interpolation object other than the interpolation processing object in step S114 or S125, but the processing flow is generally similar to the interpolation processing flow in step S114 or S125. The processing in step S125 interpolates h (x, y) in expression (1) in the image height direction, while the processing in step S136 interpolates g (x, y) in the image height direction. Thus, when using the data h (x, y) in step S125 and replacing it with the data g (x, y), the processing in step S136 interpolates the images with increased sharpness in the direction of the image height.
[Вариант 2][Option 2]
Устройство съемки изображения согласно варианту 2 имеет такую же конфигурацию, как устройство съемки изображения согласно варианту 1. Вариант 2 отличается от варианта 1 тем, что вместо способов обработки изображения, показанных на фиг. 8А-8С, используется способ обработки изображения, показанный на фиг. 12. На фиг. 12 представлена блок-схема способа обработки изображения согласно варианту 2, где каждый этап выполняется процессором 104 изображения на основе команды, поступающей от системного контроллера 106.The image pickup device according to
В этом варианте используется способ формирования коррекционных сигналов, отличный от варианта 1. Обработка на этапах S211 и S212 аналогична обработке на этапах S111 И S112. Хотя в варианте 1 коррекционные сигналы формируют на основе выражения (2), в этом варианте коррекционные сигналы формируются на основе выражения (3). Для формирования коррекционных сигналов генератор 202 коррекционного сигнала согласно данному варианту сначала вычисляет разность между изображением идеальной точки и функциями PSF, выбранными селектором 201 функции PSF, и формирует фильтры (S213). Далее генератор коррекционного сигнала сворачивает входное изображение, используя сформированные фильтры, для формирования коррекционных сигналов (S214).In this embodiment, a correction signal generation method other than
Обработка на этапах S215, S216 и S217 аналогична обработке на этапах S114, S115 и S116, и поэтому их описание здесь опущено. Таким путем можно выполнить обработку увеличения резкости на основе выражения (6).The processing in steps S215, S216 and S217 is similar to the processing in steps S114, S115 and S116, and therefore, a description thereof is omitted here. In this way, sharpening processing can be performed based on expression (6).
Интерполяция в направлении высоты изображения может быть обеспечена для коррекционных сигналов, как это описано в варианте 1, либо может быть обеспечена для входного изображения, резкость которого увеличена посредством коррекционных сигналов.Interpolation in the direction of the image height can be provided for the correction signals, as described in
[Вариант 3][Option 3]
Устройство съемки изображения согласно варианту 3 имеет такую же конфигурацию, как устройство съемки изображения согласно варианту 1. Вариант 3 отличается от варианта 1 тем, что вместо способов обработки изображения, показанных на фиг. 8А-8С, используется способ обработки изображения, показанный на фиг. 13. На фиг. 13 представлена блок-схема способа обработки изображения согласно варианту 3, где каждый этап выполняется процессором 104 изображения на основе команды, поступающей от системного контроллера 106.The image pickup device according to
В этом варианте используется другой способ формирования коррекционных сигналов и другой способ применения коррекционных сигналов, отличные от вариантов 1 и 2, и в этом варианте фильтры формируют на основе выражения (7), и применяют сформированные фильтры к входному изображению. Таким образом, блок-схема на фиг. 13 отличается от вариантов 1 и 2 формированием фильтров на этапе S313 и применением этих фильтров на этапе S314. Обработка на этапах S311 и S312 аналогична обработке на этапах S11 и S112.In this embodiment, a different method of generating correction signals and a different method of applying correction signals other than
В этом варианте используют функции PSF, выбранные на этапе S312, в качестве нерезких масок для формирования фильтров, соответствующих члену в круглых скобках в выражении (7) (S 312). В этом варианте коррекционные сигналы, сформированные генератором 202 коррекционного сигнала, являются фильтрами. Далее блок 203 применения коррекционного сигнала сворачивает входное изображение, используя фильтры, сформированные на этапе S313, для увеличения резкости изображения (S314). При обработке увеличения резкости согласно этому варианту увеличение резкости обеспечивается однократной сверткой изображения с использованием фильтров (коррекционный сигнал), сформированных в качестве нерезких масок на основе функций PSF оптической системы съемки изображения.In this embodiment, the PSF functions selected in step S312 are used as unsharp masks to form filters corresponding to the term in parentheses in expression (7) (S 312). In this embodiment, the correction signals generated by the
Каждый из упомянутых вариантов обеспечивает устройство обработки изображения, устройство съемки изображения, способ обработки изображения и программу обработки изображения, которые отличаются сильными эффектами увеличения резкости.Each of these options provides an image processing device, an image pickup device, an image processing method and an image processing program that are distinguished by strong sharpening effects.
[Вариант 4][Option 4]
На фиг. 14 представлена блок-схема процедуры, реализующей способ обработки изображения согласно варианту 4 настоящего изобретения. Этот способ обработки изображения выполняется компьютером (процессором), который смонтирован в устройстве съемки изображения, или представляет собой устройство обработки изображения согласно программе обработки изображения в виде компьютерной программы. На этапе S101 компьютер в качестве входного изображения получает цифровое изображение, зафиксированное и сформированное устройством съемки изображения через оптическую систему. Если компьютер смонтирован в устройстве съемки изображения, то он получает входное изображение от системы съемки изображения. Если компьютер представляет собой другое устройство обработки изображения, отличное от устройства съемки изображения, то он получает входное изображение от устройства съемки изображения, используя проводную или беспроводную связь или постоянный машиночитаемый носитель. Данными, используемыми в качестве входного изображения, например, могут быть данные изображения G канала после устранения мозаичности. Однако в качестве входного изображения могут быть использованы данные R канала или В канала, или в качестве входного изображения могут быть использованы данные каждого из каналов системы RGB. Как альтернатива, в качестве входного изображения могут быть использованы данные изображения перед устранением мозаичности.In FIG. 14 is a flowchart of a procedure implementing an image processing method according to
На фиг. 9 показана пиксельная матрица входного изображения, которая аналогична варианту 1, и поэтому ее описание здесь опущено.In FIG. 9 shows a pixel matrix of the input image, which is similar to
Далее на этапе S102 компьютер получает информацию о параметрах съемки изображения. Параметры съемки изображения, как было описано выше, включают в себя фокусное расстояние, значение диафрагмы и расстояние до объекта. Если входное изображение, сформировано в устройстве съемки изображения со сменным объективом, то параметры съемки изображения включают в себя идентификатор (ID) объектива, уникальный для данного объектива, и ID камеры, уникальный для устройства съемки изображения. Параметры съемки изображения можно получить непосредственно от устройства съемки изображения или можно получить в виде информации, используя входное изображение.Next, in step S102, the computer receives information about the image pickup parameters. Image capture options as described above include focal length, aperture value, and distance to the subject. If the input image is generated in the interchangeable lens image pickup device, then the image pickup parameters include a lens identifier (ID) unique to that lens and a camera ID unique to the image pickup device. Image capture parameters can be obtained directly from the image pickup device, or can be obtained as information using the input image.
Далее на этапе S103 компьютер получает данные о коэффициентах, соответствующие параметрам съемки изображения. Данные о коэффициентах используют для реконфигурации функций OTF, причем эти данные можно получить избирательно из данных, ранее сохраненных в памяти, сервере или сети в зависимости от параметров съемки изображения. Данные о коэффициентах, соответствующие параметру съемки изображения из числа параметров съемки изображения, для которых данные о коэффициентах для диафрагмы, расстояния для объекта и фокусного расстояния объектива с переменным фокусным расстоянием сохраняются, могут быть сформированы посредством интерполяционной обработки на основании сохраненных данных о коэффициентах. Это позволяет уменьшить объем предварительно сохраняемых данных о коэффициентах. Способом интерполяционной обработки может быть, например, но не только, хорошо известный способ биполярной интерполяции (линейная интерполяция) или бикубической интерполяции.Next, in step S103, the computer receives coefficient data corresponding to the image pickup parameters. The coefficient data is used to reconfigure the OTF functions, and this data can be obtained selectively from data previously stored in the memory, server, or network depending on the image capture parameters. The coefficient data corresponding to the image pickup parameter among the image pickup parameters for which the coefficient data for the aperture, distance for the subject, and the focal length of the zoom lens can be stored by interpolation processing based on the stored coefficient data. This allows you to reduce the amount of pre-stored coefficient data. The interpolation processing method may be, for example, but not limited to the well-known bipolar interpolation method (linear interpolation) or bicubic interpolation.
Далее на этапе S104 компьютер использует данные о коэффициентах, соответствующие параметрам съемки изображения, для реконфигурации (формирования), в частности, в направлении высоты изображения, множества оптических передаточных функций, каждая из которых изменяется с изменением высоты изображения из опорной позиции, которой является центр входного изображения, или оптической оси оптической системы. Реконфигурация оптических передаточных функций на основе выбранных данных о коэффициентах, эквивалентна выбору оптических передаточных функций. Подробности обработки на этом этапе будут описаны ниже. В данном варианте этапы S102-S104 называются этапом выбора оптической передаточной функции.Next, in step S104, the computer uses the coefficient data corresponding to the image pickup parameters for reconfiguration (formation), in particular in the direction of the image height, of a plurality of optical transfer functions, each of which changes with the image height from the reference position, which is the center of the input image, or optical axis of the optical system. The reconfiguration of the optical transfer functions based on the selected coefficient data is equivalent to the selection of the optical transfer functions. The processing details at this stage will be described below. In this embodiment, steps S102-S104 are called the step of selecting an optical transfer function.
Далее на этапе S105 компьютер поворачивает реконфигурированные оптические передаточные функции вокруг центра входного изображения или опорной позиции в виде оптической оси оптической системы. Затем компьютер интерполирует оптические передаточные функции для пиксельной матрицы входного изображения (или датчика устройства съемки изображения, который получил входное изображение). Таким путем компьютер получает оптические передаточные функции, соответствующие множеству конкретных двумерных дискретных позиций во входном изображении, и располагает в двух измерениях оптические передаточные функции для входного изображения. Эти расположенные в двух измерениях оптические передаточные функции далее называются перекомпонованными оптическими передаточными функциями. В данном варианте обработка на этапе S105 называется этапом перекомпоновки оптической передаточной функции.Next, in step S105, the computer rotates the reconfigured optical transfer functions around the center of the input image or reference position in the form of the optical axis of the optical system. The computer then interpolates the optical transfer functions for the pixel matrix of the input image (or the sensor of the image pickup device that received the input image). In this way, the computer receives optical transfer functions corresponding to a plurality of specific two-dimensional discrete positions in the input image, and disposes in two dimensions optical transfer functions for the input image. These two-dimensional optical transfer functions are hereinafter referred to as rearranged optical transfer functions. In this embodiment, the processing in step S105 is called the rearrangement of the optical transfer function.
Далее на этапе S106 компьютер преобразует перекомпонованные оптические передаточные функции в функции рассеяния точки. Преобразование оптических передаточных функций в функции рассеяния точки выполняют посредством обратного преобразования Фурье. В данном варианте обработка на этапе S106 называется этапом формирования функции рассеянной точки.Next, in step S106, the computer converts the rearranged optical transfer functions into point spread functions. The conversion of the optical transfer functions to the point spread function is performed by the inverse Fourier transform. In this embodiment, the processing in step S106 is called the step of generating a scattered point function.
Далее подробно описывается обработка на этапах S104-S106 со ссылками на фиг. 15А-15Е. На фиг. 15А кружки представляют оптические передаточные функции (называемые здесь OTF), реконфигурированные на этапе S104. Реконфигурированные OTF соответствуют множеству значений высоты изображения в конкретном направлении высоты изображения (в продольном направлении на фиг. 15А) относительно опорной позиции в этой области (область съемки изображения) описанной окружности входного изображения. На этапе S105 компьютер разворачивает функции OTF в конкретном направлении высоты изображения относительно опорной позиции и обеспечивает интерполяцию, соответствующую пиксельной матрице входного изображения таким образом, разместить в двумерном представлении (в продольном направлении и в поперечном направлении) функции OTF на входном изображении, как показано на фиг. 15В. Интерполяция включает в себя интерполяцию в радиальном направлении и вращательную интерполяцию, что позволяет разместить функции OTF на произвольных пиксельных позициях.The processing in steps S104-S106 is described in detail below with reference to FIG. 15A-15E. In FIG. 15A, circles represent optical transfer functions (referred to herein as OTF) reconfigured in step S104. The reconfigured OTFs correspond to a plurality of image height values in a particular image height direction (in the longitudinal direction of FIG. 15A) with respect to a reference position in this region (image pickup area) of the described circle of the input image. In step S105, the computer expands the OTF functions in a specific direction of the image height relative to the reference position and provides interpolation corresponding to the pixel matrix of the input image in such a way that it is placed in the two-dimensional representation (in the longitudinal direction and in the transverse direction) of the OTF functions in the input image, as shown in FIG. . 15B. Interpolation includes radial interpolation and rotational interpolation, which allows you to place OTF functions at arbitrary pixel positions.
Далее на этапе S106 компьютер выполняет оценку на основе обратного преобразования Фурье функции OTF на каждой позиции (пиксель) во входном изображении с тем, чтобы сформировать функцию рассеяния точки (далее называемой PSF) на данной позиции, как показано квадратами на фиг. 15С. Оптическая система, используемая для получения входного изображения, является вращательно симметричной относительно оптической оси. Эта вращательная симметрия может быть использована для поворота PSF, сформированной в одном квадранте (четвертная область) относительно опорной позиции, в другой квадрант как показано на фиг. 15D, в результате чего функции PSF формируются во всей области входного изображения. Такой способ имеет преимущество, заключающееся в том, что обратное преобразование Фурье вычисляют в четыре раза меньше раз, чем общее количество позиций, на которых размещены функции PSF. Кроме того, когда функции OTF, показанные на фиг. 15В, и функции PSF, показанные на фиг. 15С, перекомпоновывают посредством поворота и интерполяции, как показано на фиг. 15Е, и распределяют по всей области входного изображения, используя вращательную симметрию, как показано на фиг. 15D, можно дополнительно уменьшить количество вычислений обратного преобразования Фурье.Next, in step S106, the computer performs an estimate based on the inverse Fourier transform of the OTF function at each position (pixel) in the input image so as to form a point spread function (hereinafter referred to as PSF) at that position, as shown by the squares in FIG. 15C. The optical system used to obtain the input image is rotationally symmetrical about the optical axis. This rotational symmetry can be used to rotate the PSF formed in one quadrant (quarter region) relative to the reference position, in another quadrant as shown in FIG. 15D, whereby PSF functions are generated in the entire area of the input image. This method has the advantage that the inverse Fourier transform is calculated four times less than the total number of positions on which the PSF functions are placed. Furthermore, when the OTF functions shown in FIG. 15B and the PSF functions shown in FIG. 15C are rearranged by rotation and interpolation, as shown in FIG. 15E, and are distributed over the entire area of the input image using rotational symmetry, as shown in FIG. 15D, the number of inverse Fourier transform calculations can be further reduced.
Размещения (количество функций и интервалы между ними) OTF и PSF, показанные на фиг. 15А-15Е, являются лишь примерами, то есть такие размещения могут устанавливаться произвольно в зависимости от изменений в функциях OTF оптической системы. На фиг. 14 на этапе S107 компьютер на основе функций PSF, сформированных на позициях (пикселях) по всей области входного изображения, формирует нерезкие маски. Формирование нерезких масок подробно описано ниже. Затем на этапе S108 компьютер формирует коррекционные сигналы, описанные выше. Формирование этих коррекционных сигналов также подробно описано ниже. В данном варианте обработка на этапе S107 и этапе S108 называется этапом формирования коррекционного сигнала.The locations (number of functions and intervals between them) of the OTF and PSF shown in FIG. 15A-15E are only examples, that is, such arrangements can be set arbitrarily depending on changes in the OTF functions of the optical system. In FIG. 14, in step S107, the computer generates unsharp masks based on PSF functions generated at positions (pixels) throughout the input image area. The formation of unsharp masks is described in detail below. Then, in step S108, the computer generates correction signals described above. The generation of these correction signals is also described in detail below. In this embodiment, the processing in step S107 and step S108 is called the correction signal generation step.
Далее на этапе S109 компьютер обеспечивает обработку увеличения резкости для входного изображения путем добавления коррекционных сигналов к входному изображению, в результате чего получают скорректированное изображение в виде результирующего изображения на этапе S110. Обработка увеличения резкости подробно будет описана ниже. В данном варианте обработка на этапе S109 называется процессом добавления.Next, in step S109, the computer provides sharpening processing for the input image by adding correction signals to the input image, resulting in a corrected image in the form of the resulting image in step S110. The sharpening processing will be described in detail below. In this embodiment, the processing in step S109 is called the adding process.
Нерезкие маски, сформированные на этапе 107, аналогичны маскам, показанным на фиг. 7А и 7В. Для формирования коррекционных сигналов на основе этих нерезких масок на этапе S108 компьютер сначала сворачивает входное изображение, используя нерезкие маски, сформированные на позициях во входном изображении. Поскольку эти нерезкие маски сформированы на позициях, на которых сформированы функции PSF, как показано на фиг. 15D, нерезкие маски на позициях между позициями, на которых сформированы функции PSF, формируются посредством интерполяции. Эта интерполяция обеспечивается таким образом, что в том случае, когда целевым пикселем является пиксель на позиции, где сформирована нерезкая маска, множество нерезких масок вблизи целевого пикселя взвешивают в зависимости от их расстояний до целевого пикселя, а затем выполняют их синтез. Этот способ позволяет формировать нерезкие маски, которые непрерывно изменяются от позиции к позиции во входном изображении. Таким образом, нерезкая маска, сформированная посредством преобразования из функции OTF или посредством интерполяции функции PSF, применяется к входному изображению на каждой позиции в этом изображении.The unsharp masks formed in
Другой способ содержит, например, применение трех нерезких масок вблизи целевого пикселя для треугольной области, окруженной тремя нерезкими масками, чтобы сформировать три изображения. Затем эти три изображения взвешивают в зависимости от их расстояния от позиции целевого пикселя и синтезируют с тем, чтобы получить синтезированное изображение, эквивалентное изображению, полученному путем непрерывного изменения нерезких масок с изменением позиций во входном изображении. Область, подлежащая интерполяции, может быть определена, например, четырьмя позициями вместо трех позиций.Another method includes, for example, applying three unsharp masks near the target pixel for a triangular region surrounded by three unsharp masks to form three images. Then, these three images are weighed depending on their distance from the position of the target pixel and synthesized in order to obtain a synthesized image equivalent to an image obtained by continuously changing unsharp masks with changing positions in the input image. The region to be interpolated can be defined, for example, by four positions instead of three positions.
В качестве альтернативы, входное изображение можно разделить на множество областей, и в каждой области можно использовать одну и ту же нерезкую маску без интерполяции. В альтернативном варианте, интерполяция может быть применена к изображению с увеличенной резкостью, полученному в результате применения коррекционных сигналов к входному изображению на этапе S109, описанном ниже.Alternatively, the input image can be divided into many areas, and the same unsharp mask can be used in each area without interpolation. Alternatively, interpolation may be applied to the sharpened image obtained by applying the correction signals to the input image in step S109, described below.
Далее описывается формирование коррекционных сигналов на этапе S108. В этом варианте в качестве коррекционных сигналов используют сигналы, представленные выражением (2). В частности, коррекционные сигналы формируют путем вычисления разности между входным изображением и изображением, полученным в результате применения нерезких масок к входному изображению на этапе S108.The following describes the generation of correction signals in step S108. In this embodiment, the signals represented by expression (2) are used as correction signals. In particular, correction signals are generated by calculating the difference between the input image and the image obtained by applying unsharp masks to the input image in step S108.
Далее следует описание обработки увеличения резкости на этапе S109. Обработки увеличения резкости согласно этому варианту выполняется путем добавления коррекционных сигналов, умноженных на константу (m), к входному изображению посредством выражения (1). Константу (m) определяют с учетом шумов в изображении и излишнего и недостачного увеличения резкости. Выражение (1) представлено в виде суммы первого члена и второго члена для положительной константы m и в виде их разности для отрицательной константы m. Как было описано выше, добавление коррекционных сигналов, умноженных на константу, при обработке увеличения резкости согласно данному варианту означает суммирование или вычитание в зависимости от знака константы m.The following is a description of sharpening processing in step S109. Sharpening processing according to this embodiment is performed by adding correction signals multiplied by a constant (m) to the input image by means of expression (1). The constant (m) is determined taking into account the noise in the image and excessive and insufficient sharpening. Expression (1) is presented as the sum of the first term and second term for the positive constant m and in the form of their difference for the negative constant m. As described above, adding correction signals multiplied by a constant during sharpening processing according to this option means adding or subtracting depending on the sign of the constant m.
Как было описано выше, в этом варианте обработка увеличения резкости выполняется с использованием функций рассеяния точки в качестве нерезких масок. Это позволяет обеспечить точную коррекцию (увеличение резкости) даже в том случае, когда входное изображение содержит искажения, часто встречающиеся на периферийных участках изображения из-за асимметричных функций PSF оптической системы.As described above, in this embodiment, sharpening processing is performed using dot scatter functions as unsharp masks. This allows for accurate correction (sharpening) even when the input image contains distortions that are often found in the peripheral parts of the image due to the asymmetric functions of the PSF of the optical system.
Далее следует описание примерной системы обработки изображения, выполненный с возможностью обеспечения способа обработки изображения, описанного выше со ссылками на фиг. 16. Система обработки изображения включает в себя вычислитель 300 коэффициентов, камеру (устройство съемки изображения) 310 и устройство 320 обработки изображения.The following is a description of an example image processing system configured to provide an image processing method described above with reference to FIG. 16. The image processing system includes a
Вычислитель 300 коэффициентов вычисляет коэффициенты для реконфигурации функций OTF, исходя из расчетных значений или измеренных значений оптической системы. Вычислитель 300 коэффициентов выполняет преобразование функций OTF в коэффициенты и определяет порядки коэффициентов, используемых для последующей реконфигурации функций OTF в зависимости от требуемой точности. Вычислитель 300 коэффициентов на основе размеров пространственных рассеяний функций PSF, а также определяет количество отводов, необходимых для последующей реконфигурации функций OTF для каждого значения высоты изображения. Вычислитель 300 коэффициентов вычисляет коэффициенты и количество отводов вплоть до требуемого порядка для различных комбинаций оптической системы (сменный объектив 312 для съемки изображения) и датчика 311 изображения, представляющего собой камеру 310, и выводит эти данные.The
В камере 310 изображение объекта, сформированного объективом 312 для съемки изображения, подвергается фотоэлектрическому преобразованию датчиком 311 изображения, и на основе электрических сигналов от датчика 311 изображения формируется изображение. Затем камера 310 добавляет к изображению идентификатор (ID) объектива и информацию о параметрах съемки изображения (например, значение диафрагмы, фокусное расстояние зум-объектива и расстояние до объекта), а также ID камеры, и выводит упомянутое изображение. ID камеры используют для определения частоты Найквиста из числа пространственных частот, доступных в датчике 111 изображения.In the
Устройство 320 обработки изображения сохраняет данные о коэффициентах и количестве отводов, поступающие от вычислителя 300 коэффициентов, а также входное изображение (включая информацию о параметрах съемки изображения) в качестве изображения на выходе камеры 310. Затем эти данные используют для коррекции (увеличения резкости) входного изображения, искаженного объективом 312 для съемки изображения.The
В устройстве 320 обработки изображения в блоке 321 хранения коррекционной информации сохраняется информация о различных комбинациях объектива 312 для съемки изображения и датчика 311 изображения, вычисленные вычислителем 300 коэффициентов. Сохраненная информация включает в себя данные о коэффициентах и количестве отводов, ID объектива, информацию о параметрах съемки изображения, а также частоту Найквиста датчика 311 изображения, полученную на основе ID камеры.In the
Блок 322 реконфигурации OTF получает частоту Найквиста датчика 311 изображения в камере 310, входное изображение, параметры съемки изображения и ID объектива. ID объектива и параметры съемки изображения объектива 312 съемки изображения, используемых пользователем (фотографом) при фиксации изображения для формирования входного изображения, используют затем для поиска коэффициентов и количества отводов, сохраненных в блоке 321 сохранения коррекционной информации. Блок 322 реконфигурации OTF, реконфигурирует функции OTF, используемые фильтром 323, на основе найденной информации в диапазоне пространственных частот вплоть до частоты Найквиста. Далее функции OTF, реконфигурированные блоком 322 реконфигурации, называются здесь реконфигурированными функциями OTF.The
Фильтр 323 формирует нерезкие маски на основе реконфигурированных функций OTF, полученных от блока 322 реконфигурации OTF, и корректирует (увеличивает резкость) изображения на основе нерезких масок. Если упомянутые коэффициенты и количество отводов, вычисленные вычислителем 300 коэффициентов, сохранены в блоке 321 сохранения коррекционной информации, вычислителю 300 коэффициентов нет необходимости предоставления их пользователю. Пользователь может загрузить и использовать информацию, необходимую для обработки изображения, такую как данные о коэффициентах, через сеть или разного рода считываемые компьютером носители данных долговременного хранения.
Далее следует описание способа вычисления коэффициентов вычислителем 300 коэффициентов. Вычислитель 300 коэффициентов аппроксимирует функции OTF оптической системы (объектива 312 для съемки изображения) посредством аппроксимации функции с целью формирования коэффициентов. В этом варианте функцией, используемой при аппроксимации является, но не только, полином Лежандра и возможно, например, полином Чебышева. Полином Лежандра задается выражением (10).The following is a description of a method for calculating coefficients by a
В этом выражении [x] обозначает максимальное целое число, не превышающее х.In this expression, [x] denotes a maximum integer not exceeding x.
Поскольку функция OTF выражена в виде z=f(x,y), коэффициент aij выражения (11) вычисляется следующим образомSince the OTF function is expressed as z = f (x, y), the coefficient aij of expression (11) is calculated as follows
Выражение (11) представляет собой ортогональную функцию, в которой значение aij определяется независимо от порядка при аппроксимации. Эти характеристики ортогональной функции могут быть использованы для усечения функции при низком порядке, когда возможна аппроксимация функции OTF низкого порядка с достаточно высокой точностью. Это позволяет минимизировать объем данных о коэффициентах, подлежащих сохранению в вычислителе 300 коэффициентов.Expression (11) is an orthogonal function in which the value of aij is determined independently of the order in the approximation. These characteristics of the orthogonal function can be used to truncate the function at a low order, when it is possible to approximate the low-order OTF function with sufficiently high accuracy. This allows you to minimize the amount of data on the coefficients to be stored in the
На фиг. 17 показан конкретный способ аппроксимации функции OTF с использованием выражения (10) и выражения (11). На фиг. 17 fum и fvm обозначают соответственно частоты Найквиста функции OTF в меридиональном направлении и сагиттальном направлении. Nx и Ny обозначают соответственно нечетные количества отводов OTF в меридиональном направлении и сагиттальном направлении. Вычислитель 300 коэффициентов вычисляет коэффициенты для действительной части и мнимой части функции OTF посредством аппроксимации.In FIG. 17 shows a specific method for approximating the OTF function using expression (10) and expression (11). In FIG. 17 fum and fvm denote respectively the Nyquist frequencies of the OTF function in the meridional direction and sagittal direction. Nx and Ny denote, respectively, the odd number of OTF taps in the meridional direction and the sagittal direction. The
Действительная часть функции OTF симметрична в меридиональном направлении и сагиттальном направлении. Мнимая часть функции OTF симметрична с противоположными знаками в меридиональном направлении и симметрична в сагиттальном направлении.The real part of the OTF function is symmetrical in the meridional direction and the sagittal direction. The imaginary part of the OTF function is symmetric with opposite signs in the meridional direction and symmetric in the sagittal direction.
Благодаря упомянутой симметрии информация для четверти от всей области является необходимой и достаточной в качестве данных функции OTF как цели аппроксимации. По этой причине в данном варианте для достижения высокоточной аппроксимации функции OTF аппроксимацию выполняют на четвертной области, вырезанной из всей области так, чтобы постоянная составляющая содержалась как в действительной части, так и в мнимой части функции OTF.Due to the mentioned symmetry, information for a quarter of the entire region is necessary and sufficient as the data of the OTF function as an approximation target. For this reason, in this embodiment, to achieve a high-precision approximation of the OTF function, the approximation is performed on a quarter region cut out from the entire region so that the constant component is contained both in the real part and in the imaginary part of the OTF function.
В данном варианте описывается пример, в котором данные OTF представляют собой данные для Nx (строка) × Ny (столбец) отводов, причем данные для строк с 1 до [Nx/2]+1 и столбцов с 1 до [Ny/2]+1 вырезают из данных OTF. Однако данный вариант этим не ограничивается.This embodiment describes an example in which OTF data is data for Nx (row) × Ny (column) of taps, with data for
На фиг. 18 показаны коэффициенты, вычисленные вышеописанным способом. На фиг. 18 показан пример коэффициентов действительной части и мнимой части функции OTF, которые вычисляют для каждой высоты изображения (1-10) вплоть до десятого порядка как по x, так и по y. Данные о коэффициентах представляют в виде набора коэффициентов для каждой высоты изображения вместе с информацией о ID объектива, диафрагме, фокусном расстоянии (позиция зума) и расстоянием до объекта. В данном варианте в качестве примера показаны коэффициенты для десяти значений высоты изображения с параметрами съемки изображения, такими как: ID объектива №123, значение диафрагмы F2.8, позиция зума WIDE (широкоугольный) и близкое расстояние до объекта.In FIG. 18 shows the coefficients calculated in the manner described above. In FIG. Figure 18 shows an example of the coefficients of the real part and the imaginary part of the OTF function, which are calculated for each image height (1-10) up to the tenth order in x and y. The coefficient data is presented as a set of coefficients for each image height along with information on the lens ID, aperture, focal length (zoom position) and the distance to the subject. In this embodiment, as an example, the coefficients for ten values of the image height with image capture parameters are shown, such as: lens ID No. 123, aperture value F2.8, WIDE zoom position (wide angle), and close proximity to the subject.
Эти коэффициенты для десяти значений высоты изображения используют с целью реконфигурации функции OTF на десяти позициях (фиг. 15А). Сформированные коэффициенты можно использовать в качестве функций высоты изображения для каждого порядка.These coefficients for ten image height values are used to reconfigure the OTF function at ten positions (Fig. 15A). The generated coefficients can be used as functions of the image height for each order.
Вычислитель 300 коэффициентов формирует упомянутые данные о коэффициентах для всех комбинаций ID объектива, диафрагмы, фокусного расстояния и расстояния до объекта и выводит эти данные.The
Далее следует подробное описание способа определения количества отводов реконфигурированной OTF. Длительность обработки фильтрации для изображения сильно зависит от количества отводов фильтра, используемого при обработке фильтрации. Таким образом, при обработке фильтрации желательно минимизировать количество отводов фильтра при условии обеспечения требуемой коррекции без таких отрицательных эффектов, как недокоррекция.The following is a detailed description of a method for determining the number of taps of a reconfigured OTF. The duration of the filtering processing for an image is highly dependent on the number of filter taps used in the filtering processing. Thus, in filtering processing, it is desirable to minimize the number of filter taps, provided that the required correction is achieved without negative effects such as under correction.
Нерезкая маска, используемая фильтром 323 устройства обработки изображения, представляет собой фильтр в действительном пространстве. Таким образом, количество отводов для этого фильтра определяется в действительном пространстве. Нерезкая маска согласно этому варианту представляет собой фильтр, используемый для коррекции искажения изображения из-за PSF. Следовательно, достаточно иметь область примерно равную рассеянию функции PSF в действительном пространстве. Другими словами, необходимым количеством отводов является количество отводов в упомянутой области. Поскольку действительное пространство и частотное пространство являются взаимно обратными, количество отводов, определенное в действительном пространстве, можно использовать в частотном пространстве.The unsharp mask used by the
На фиг. 19 показано, что количество отводов столь велико, что охваченной оказывается достаточно большая область по сравнению с пространственным рассеянием PSF. На фиг. 20 показано, что количество отводов установлено таким образом, что охваченной оказывается область, почти равная пространственному рассеянию функции PSF, используемой в случае, показанном на фиг.19. Как показано на фиг. 19, количество отводов в действительном пространстве соответствует минимальному шагу частоты в частотном пространстве. Таким образом, малое количество отводов в действительном пространстве, как показано на фиг. 20, означает грубую дискретизацию в частотном пространстве, а значит, большой минимальный шаг частоты. Между тем, частота Найквиста в частотном пространстве не изменяется.In FIG. 19 shows that the number of taps is so large that a sufficiently large area is covered in comparison with spatial scattering of PSF. In FIG. 20 shows that the number of taps is set so that a region is found that is almost equal to the spatial scattering of the PSF function used in the case shown in FIG. 19. As shown in FIG. 19, the number of taps in the actual space corresponds to the minimum frequency step in the frequency space. Thus, a small number of taps in the actual space, as shown in FIG. 20, means coarse sampling in the frequency space, and therefore a large minimum frequency step. Meanwhile, the Nyquist frequency in the frequency space does not change.
Далее следует подробное описание блока 322 реконфигурации OTF, который обеспечивает обработку, соответствующую обработке на этапе S104, показанном на фиг. 14. Блок 322 реконфигурации OTF получает ID объектива, информацию о параметрах съемки изображения и информацию о частоте Найквиста датчика 311 изображения от камеры 310 при съемке изображения. Затем блок 322 реконфигурации OTF считывает количество отводов, ID объектива, информацию о параметрах съемки изображения и информацию о частоте Найквиста изображения из блока 321 сохранения коррекционной информации и формирует реконфигурированную OTF на основе упомянутой информации.The following is a detailed description of the
Далее со ссылками на фиг. 21 следует подробное описание способа формирования реконфигурированной функции OTF. Частоты Найквиста в меридиональном направлении и в сагиттальном направлении, необходимые для формирования реконфигурированной OTF, обозначены соответственно как fuc_rm и fvc_im, а количество отводов в меридиональном направлении и в сагиттальном направлении обозначены как Mx и My. При использовании частот Найквиста fum и fvm в меридиональном направлении и в сагиттальном направлении поддерживаются следующие соотношения:Next, with reference to FIG. 21, a detailed description of a method for generating a reconfigured OTF function follows. The Nyquist frequencies in the meridional direction and in the sagittal direction necessary to form a reconfigured OTF are denoted by fuc_rm and fvc_im, respectively, and the number of taps in the meridional direction and in the sagittal direction are indicated by Mx and My. When using the Nyquist frequencies fum and fvm in the meridional direction and in the sagittal direction, the following relationships are supported:
где Mx и My – нечетные числа.where Mx and My are odd numbers.
Переменные x и y в выражении (10) и в выражении (11) заменяют соответственно на u и m, и тогда области определяются следующим образом.The variables x and y in expression (10) and in expression (11) are replaced by u and m, respectively, and then the regions are defined as follows.
соответственно дискретизируются с использованием (Mx/2)+1 и (My/2)+1 отводов. Блок 122 реконфигурации OTF вычитает коэффициенты, определенные выше в выражении (9), и формирует реконфигурированную OTF в одном квадранте. Упомянутая процедура повторяется для действительной части (122-1-1) и мнимой части (122-2-1) реконфигурированной OTF, показанной на фиг. 21.respectively sampled using (Mx / 2) +1 and (My / 2) +1 taps. The OTF reconfiguration unit 122 subtracts the coefficients defined above in expression (9) and generates the reconfigured OTF in one quadrant. The above procedure is repeated for the real part (122-1-1) and the imaginary part (122-2-1) of the reconfigured OTF shown in FIG. 21.
Далее следует описание способа формирования на основе реконфигурированной функции OTF, имеющей действительную или мнимую части, сформированные в одном квадранте, причем реконфигурированная функция OTF в областях определяется следующим образом:The following is a description of a method for generating, based on a reconfigured OTF function, having real or imaginary parts formed in one quadrant, the reconfigured OTF function in regions being defined as follows:
с количеством отводов, равным Mx и My.with the number of taps equal to Mx and My.
Далее сначала описывается способ формирования действительной части реконфигурированной функции OTF. Блок 122 реконфигурации OTF на основе ранее сформированной действительной части (122-1-1) формирует действительную часть реконфигурированной OTF в областях, как это описано ниже:Next, a method for generating the real part of the reconfigured OTF function is first described. The OTF reconfiguration unit 122, based on the previously generated real part (122-1-1), forms the real part of the reconfigured OTF in the areas as described below:
область строк с 1 по (Mx/2)+1 и столбцов с 1 по (My/2); иarea of
область строк с 1 по (Mx/2)+1 и столбца (My/2)+1.area of
Далее блок 322 реконфигурации OTF копирует численные данные в области из строк с 1 по (Mx/2)+1 и столбцов с 1 по (My/2) в область строк из строк с 1 по (Mx/2)+1 и столбцов (My/2)+2 до My, как показано в действительной части (122-1-2). Данные копируют линейно симметричным образом в отношении области из строк с 1 по (Mx/2)+1 и столбца (My/2)+1.Next, the OTF reconfiguration block 322 copies the numerical data in the area from
Затем блок 322 реконфигурации OTF делит действительную часть (122-1-2) реконфигурированной функции OTF, сформированной для половины области, на область из строк с 1 по (Mx/2) и столбцов с 1 по My и область из строки (Mx/2)+1 и столбцов с 1 по My, как показано в действительной части (122-1-3). Затем блок 322 реконфигурации OTF копирует численные данные в области из строк с 1 до (Mx/2) и столбцов с 1 до My в область из строк с (Mx/2)+2 по Mx и столбцов с 1 по My линейно симметричным образом по отношению к области из строки (Mx/2)+1 и столбцов с 1 по My.Then, the
Далее следует описание способа формирования мнимой части реконфигурированной функции OTF. Хотя эта мнимая часть может быть сформирована тем же способом, что и действительная часть, мнимую часть (122-2-3) необходимо сформировать с переключаемым знаком. Упомянутый способ можно использовать при формировании действительной и мнимой частей функции OTF благодаря их характеристикам.The following is a description of the method of forming the imaginary part of the reconfigured OTF function. Although this imaginary part can be formed in the same way as the real part, the imaginary part (122-2-3) must be formed with a switchable sign. The mentioned method can be used in the formation of the real and imaginary parts of the OTF function due to their characteristics.
На фиг. 22 показано секция реконфигурированной функции OTF для подробного описания соотношения между частотой Найквиста реконфигурированной функции OTF и количеством отводов. Как было описано выше, частота Найквиста представляет собой параметр, определяемый пространственной разрешающей способностью датчика 311 изображения, а количество отводов – это параметр, зависящий от PSF объектива 312 для съемки изображения. Эти два параметра можно использовать с упомянутыми коэффициентами с целью формирования требуемой реконфигурированной функции OTF.In FIG. 22, a section of the reconfigured OTF function is shown for a detailed description of the relationship between the Nyquist frequency of the reconfigured OTF function and the number of taps. As described above, the Nyquist frequency is a parameter determined by the spatial resolution of the
На фиг. 22 частоты Найквиста удовлетворяют неравенству f_nyq1>f_nyq2, а количество отводов, удовлетворяет неравенству N>M1>M2. Как показано на фиг. 22, частота Найквиста и количество отводов могут быть установлены с требуемыми значениями.In FIG. 22 Nyquist frequencies satisfy the inequality f_nyq1> f_nyq2, and the number of taps satisfies the inequality N> M1> M2. As shown in FIG. 22, the Nyquist frequency and the number of taps can be set to the desired values.
Затем функции OTF, соответствующие комбинациям датчика 311 изображения и объектива 312 для съемки изображения, а также параметры съемки изображения сохраняются в виде данных о коэффициентах в устройстве 320 обработки изображения, что позволяет выполнить обработку изображения в соответствии с параметрами съемки при съемке изображения.Then, the OTF functions corresponding to the combinations of the
Как показано на фиг. 15А-15Е, вся область изображения может быть скорректирована при использовании подходящего количества отводов с небольшим объемом данных о коэффициентах, что означает возможность уменьшения объема сохраняемых данных.As shown in FIG. 15A-15E, the entire image area can be corrected by using a suitable number of taps with a small amount of coefficient data, which means the possibility of reducing the amount of stored data.
На фиг. 23 показан модифицированный пример для данного варианта. Этапы S401-S405 на фиг. 23 аналогичны этапам S101-S105 на фиг. 105 и поэтому их описание здесь опущено. Обработка вплоть до этапа S405 обеспечивает размещение в двух измерениях функций OTF в квадранте входного изображения, как в качестве примера показано на фиг. 15В.In FIG. 23 shows a modified example for this embodiment. Steps S401-S405 in FIG. 23 are similar to steps S101-S105 in FIG. 105 and therefore their description is omitted here. Processing up to step S405 ensures that the OTF functions are placed in two dimensions in the quadrant of the input image, as shown by way of example in FIG. 15B.
В этом модифицированном примере описывается передаточная функция, не обладающая вращательной симметрией (далее называется вращательно асимметричной передаточной функцией), такая как передаточная функция оптического фильтра нижних частот или пиксельное окно определенной формы, отличающиеся от передаточной функции оптической системы съемки изображения.This modified example describes a transfer function that does not have rotational symmetry (hereinafter referred to as rotationally asymmetric transfer function), such as the transfer function of an optical low-pass filter or a pixel window of a certain shape, different from the transfer function of an optical image pickup system.
На этапе S406 компьютер применяет вращательно асимметричную передаточную функцию к каждой OTF, в состоянии, показанном на фиг. 15В. Затем на этапах S407-S411 компьютер обеспечивает такую же обработку, как обработка на этапах S106-S110 на фиг. 14 с тем, чтобы получить скорректированное изображение, полученное путем увеличения резкости входного изображения.In step S406, the computer applies a rotationally asymmetric transfer function to each OTF, in the state shown in FIG. 15B. Then, in steps S407-S411, the computer provides the same processing as the processing in steps S106-S110 in FIG. 14 so as to obtain a corrected image obtained by sharpening the input image.
На фиг. 15В функции OTF размещены в двумерном варианте в упомянутом квадранте изображения. Однако, в зависимости от типа симметрии передаточной функции, функции OTF могут быть размещены, например, поверх всей области изображения перед применением вращательно асимметричной передаточной функции.In FIG. 15B, the OTF functions are placed in a two-dimensional embodiment in said image quadrant. However, depending on the type of symmetry of the transfer function, OTF functions can be placed, for example, over the entire image area before applying the rotationally asymmetric transfer function.
[Вариант 5][Option 5]
На фиг. 24 показана конфигурация устройства съемки изображения согласно варианту 5 настоящего изобретения. Устройство съемки изображения установлено вместе с программой обработки изображения, которая выполняет обработку увеличения резкости изображения в качестве входного изображения. Эта обработка изображения выполняется компьютером (процессор), включенным в процессор 404 изображения (устройство обработки изображения), предусмотренным в устройстве съемки изображения, следуя программе обработки изображения.In FIG. 24 shows a configuration of an image pickup apparatus according to
Оптическая система 401 для съемки изображения проецирует свет от объекта (не показан) на датчик 402 изображения. Апертурная диафрагма 401а в оптической системе 401 для съемки изображения имеет диаметр отверстия, регулируемый значением переменной апертуры. Позиция объектива 401b изменяется механизмом автофокусировки (AF) или механизмом ручной фокусировки (не показан) с тем, чтобы выполнять фокусировку в соответствии с расстоянием до объекта. Оптическая система 401 для съемки изображения может иметь оптические элементы, такие как фильтр нижних частот или встроенный инфракрасный режекторный фильтр. При формировании функции рассеяния точки необходимо учитывать влияние такого элемента, как фильтр нижних частот на характеристики функции OTF оптической системы 401 для съемки изображения. При использовании вращательно асимметричной передаточной функции, как это было описано со ссылками на фиг. 23, вращательно асимметричная передаточная функция применяется после перекомпоновки функций OTF. Вращательно асимметричная передаточная функция представляет собой, например, функцию в виде оптического фильтра нижних частот и пиксельного окна определенной формы.An
Датчик 402 изображения выполняет фотоэлектрическое преобразование изображения объекта и выдает аналоговый электрический сигнал. Этот аналоговый электрический сигнал преобразуется в цифровой сигнал аналого-цифровым преобразователем 403, и этот цифровой сигнал вводится в процессор 404 изображения.The
Процессор 404 изображения обеспечивает заданную обработку цифрового сигнала для формирования изображения, и это изображение в качестве входного изображения подвергается обработке, связанной с увеличением резкости. В частности, процессор 404 изображения получает от детектора 407 состояния информацию о параметрах съемки изображения, такую как значение диафрагмы, расстояние до объекта и фокусное расстояние объектива с зумом при съемке изображения. Детектор 407 состояния может получить информацию о параметрах съемки изображения непосредственно от системного контроллера 410 или может получить информацию о параметрах съемки изображения, например, об оптической системе 401 для съемки изображения от контроллера 406 оптической системы для съемки изображения.The
Затем процессор 404 изображения обеспечивает обработку изображения, описанную блок-схемой по фиг. 14 или по фиг. 23, для увеличения резкости входного изображения. Для обеспечения этой обработки процессор 404 изображения включает в себя, как показано на фиг. 25, селектор 4041 оптической передаточной функции, блок 4042 перекомпоновки оптической передаточной функции, генератор 4043 функции рассеяния точки, генератор 4044 коррекционного сигнала и сумматор 4045 сигналов. Эти компоненты выполняют этап выбора оптической передаточной функции, этап перекомпоновки оптической передаточной функции, этап формирования функции рассеяния точки, этап формирования коррекционного сигнала и этап добавления (фиг. 14 и 23).Then, the
Как показано на фиг. 24, устройство съемки изображения включает в себя блок 408 записи, который сохраняет данные о коэффициентах для формирования реконфигурированных функций OTF.As shown in FIG. 24, the image pickup apparatus includes a
Скорректированное изображение (выходное изображение), сформированное процессором 404 изображения, сохраняется в заданном формате на носителе 409 записи изображения. Скорректированное изображение отображается на дисплее 405.The corrected image (output image) generated by the
Последовательность обработки регулируется системным контроллером 410. Управление механическим приводом оптической системы 401 для съемки изображения обеспечивается контроллером 406 оптической системы для съемки изображения по командам системного контроллера 410.The processing sequence is controlled by the
В данном варианте оптическая система 401 для съемки изображения является частью устройства съемки изображения, причем она может быть съемной (на корпусе камеры со сменным объективом), включая датчик изображения. При использовании камеры со сменным объективом данные о коэффициентах могут передаваться из блока хранения в объективе в корпусе камеры и сохраняться в ней. Данные о коэффициентах могут совместно использоваться для разных частот Найквиста датчика изображения и характеристик оптического фильтра нижних частот в корпусе камеры, как было писано выше, что позволяет уменьшить объем обрабатываемых данных о коэффициентах.In this embodiment, the
Согласно вариантам 4 и 5 функция, соответствующая параметрам съемки изображения, и высоте изображения, используется в качестве нерезкой маски, так что можно обеспечить высокоточную обработку увеличения резкости для входного изображения. Кроме того, согласно каждому варианту настоящего изобретения, поскольку оптические передаточные функции размещены в двух измерениях на входном изображении до их преобразования в функции рассеяния точки в действительном пространстве, оптические передаточные функции до размещения в двух измерениях могут совместно использоваться множеством устройств съемки изображения, имеющих разные пиксельные шаги. Это позволяет сократить объем данных для оптических передаточных функций, которые необходимо сохранить заранее.According to
Другие варианты настоящего изобретенияOther embodiments of the present invention
Варианты настоящего изобретения также могут быть реализованы компьютером системы или устройством, которое считывает и выполняет исполняемые компьютером команды, сохраненные на носителе данных (например, на постоянном машиночитаемом носителе) для выполнения функций одного или более вышеописанных вариантов настоящего изобретения. Компьютер может содержать один или более центральных процессоров (CPU), микропроцессорный блок (MPU) или другие схемы и может включать в себя сеть, состоящую из отдельных компьютеров или отдельных компьютерных процессоров. Считываемые компьютером команды могут быть доставлены на компьютер, например, из сети или с носителя данных. Машиночитаемый носитель может включать в себя, например, одно или более из нижеперечисленного: жесткий диск, память с произвольной выборкой (RAM), память только для считывания (ROM), хранилище распределенных вычислительных систем, оптический диск (такой как компакт-диск (CD), цифровой универсальный диск (DVD) или диск Bluray (BD)™ или т.п.), устройство флэш-памяти, карта памяти т.п.Embodiments of the present invention may also be implemented by a system computer or device that reads and executes computer-executable instructions stored on a storage medium (eg, read-only computer-readable medium) to perform the functions of one or more of the above-described embodiments of the present invention. A computer may comprise one or more central processing units (CPUs), a microprocessor unit (MPUs), or other circuits, and may include a network consisting of separate computers or separate computer processors. Computer-readable instructions can be delivered to a computer, for example, from a network or from a storage medium. A machine-readable medium may include, for example, one or more of the following: a hard disk, random-access memory (RAM), read-only memory (ROM), storage for distributed computing systems, an optical disk (such as a compact disc (CD)) , digital versatile disk (DVD) or Bluray (BD) ™ or the like), flash memory device, memory card, etc.
Хотя настоящее изобретение было описано со ссылкой на примерные варианты его осуществления, должно быть понятно, что изобретение не ограничивается раскрытыми здесь примерными вариантами. Объем нижеследующей формулы изобретения должен соответствовать самой широкой интерпретации, охватывающей все упомянутые модификации, эквивалентные структуры и функции.Although the present invention has been described with reference to exemplary embodiments, it should be understood that the invention is not limited to the exemplary embodiments disclosed herein. The scope of the following claims is to be accorded the broadest interpretation, encompassing all the modifications mentioned, equivalent structures and functions.
Claims (44)
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013211503 | 2013-10-09 | ||
JP2013-211503 | 2013-10-09 | ||
JP2013-254578 | 2013-12-09 | ||
JP2013254578A JP6071860B2 (en) | 2013-12-09 | 2013-12-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
JP2014-178610 | 2014-09-03 | ||
JP2014178610A JP6124849B2 (en) | 2013-10-09 | 2014-09-03 | Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017114650A Division RU2656009C1 (en) | 2014-10-06 | 2014-10-06 | Image processing device, image survey device, image processing method and continuous automated data medium |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2014140323A RU2014140323A (en) | 2016-04-27 |
RU2631521C2 true RU2631521C2 (en) | 2017-09-25 |
Family
ID=55759297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2014140323A RU2631521C2 (en) | 2013-10-09 | 2014-10-06 | Image processing device, image shooting device, image processing method and permanent machine-readable medium |
Country Status (2)
Country | Link |
---|---|
BR (1) | BR102014025196A2 (en) |
RU (1) | RU2631521C2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2712941C1 (en) * | 2018-12-18 | 2020-02-03 | федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский ядерный университет МИФИ" (НИЯУ МИФИ) | Method of image sensor signal low-contrast objects correction in computer microscopy systems in oncological diagnostics |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2383924C2 (en) * | 2007-04-12 | 2010-03-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method for adaptive increase of sharpness of digital photographs during printing |
US20130038749A1 (en) * | 2011-08-08 | 2013-02-14 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
-
2014
- 2014-10-06 RU RU2014140323A patent/RU2631521C2/en active
- 2014-10-09 BR BR102014025196-0A patent/BR102014025196A2/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2383924C2 (en) * | 2007-04-12 | 2010-03-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method for adaptive increase of sharpness of digital photographs during printing |
US20130038749A1 (en) * | 2011-08-08 | 2013-02-14 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
Non-Patent Citations (1)
Title |
---|
SANG HO KIM, ALLEBACH J P, OPTIMAL UNSHARP MASK FOR IMAGE SHARPENING AND NOISE REMOVAL, JOURNAL OF ELECTRONIC IMAGING, 20050401 SPIE / IS & T, Vol:14, Nr:2, Page(s):23005-01-023005-13. Leh-Nien D Loo, Investigation of basic imaging properties in digital radiography. 4. Effect of unsharp masking on the detectability of simple patterns, Medical Physics, 1985 [Published for the American Association of Physicists in Medicine by the American Institute of Physics], Vol:12, Nr:2, Page(s):209. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2712941C1 (en) * | 2018-12-18 | 2020-02-03 | федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский ядерный университет МИФИ" (НИЯУ МИФИ) | Method of image sensor signal low-contrast objects correction in computer microscopy systems in oncological diagnostics |
Also Published As
Publication number | Publication date |
---|---|
BR102014025196A2 (en) | 2018-12-11 |
RU2014140323A (en) | 2016-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2860694B1 (en) | Image processing apparatus, image processing method, image processing program, and non-transitory computer-readable storage medium | |
US8830351B2 (en) | Image processing method and image processing apparatus for image restoration to reduce a detected color shift | |
JP6234623B2 (en) | Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program | |
JP6625144B2 (en) | Image processing method and imaging apparatus, image processing apparatus, image processing program, storage medium, and lens device using the same | |
CN106170051B (en) | Image processing apparatus, image pickup apparatus, and image processing method | |
JP6440766B2 (en) | Image processing method, image processing apparatus, imaging apparatus, program, and storage medium | |
JP6071860B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
JP6071966B2 (en) | Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program | |
US10810714B2 (en) | Image restoration processing utilizing settings for image correction | |
JP5653464B2 (en) | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium | |
US11599973B2 (en) | Image processing apparatus, lens apparatus, and image processing method for sharpening processing | |
JP6562650B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
RU2631521C2 (en) | Image processing device, image shooting device, image processing method and permanent machine-readable medium | |
RU2656009C1 (en) | Image processing device, image survey device, image processing method and continuous automated data medium | |
JP6768312B2 (en) | Image processing equipment, optical equipment, image processing methods, image processing programs, and recording media | |
JP2014150421A (en) | Imaging device, image processing device, image processing method, image processing program, and storage medium | |
JP6598886B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, storage medium, and lens apparatus | |
US20230306561A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP2017163491A (en) | Information processing device, optical device, information processing method, information processing program, and recording medium | |
JP2018107541A (en) | Image processing apparatus, imaging device, image processing method, and image processing program |