WO2019132592A1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2019132592A1
WO2019132592A1 PCT/KR2018/016865 KR2018016865W WO2019132592A1 WO 2019132592 A1 WO2019132592 A1 WO 2019132592A1 KR 2018016865 W KR2018016865 W KR 2018016865W WO 2019132592 A1 WO2019132592 A1 WO 2019132592A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
regions
color
object image
weights
Prior art date
Application number
PCT/KR2018/016865
Other languages
English (en)
French (fr)
Inventor
김원태
강신욱
이명재
김동민
김필수
문태준
Original Assignee
(주)제이엘케이인스펙션
대한민국(관세청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이인스펙션, 대한민국(관세청장) filed Critical (주)제이엘케이인스펙션
Publication of WO2019132592A1 publication Critical patent/WO2019132592A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present disclosure relates to an image processing apparatus and method. More specifically, the present disclosure relates to an image processing apparatus and method based on color distribution information of an image, and a computer-readable recording medium on which a program for executing the image processing method of the present disclosure is recorded.
  • Object recognition is processing for recognizing an area recognized as an object in an arbitrary image as one of a plurality of predetermined classes, and various image processing techniques for distinguishing objects more clearly are presented.
  • the image used in the electronic clearance system generally uses different colors depending on the physical properties of the objects included in the image (for example, whether the object is organic, inorganic, or metal) do.
  • the object for example, whether the object is organic, inorganic, or metal
  • the technical problem of the present disclosure is to provide an image processing apparatus and method.
  • an image processing apparatus based on color distribution information of an image.
  • an image processing apparatus and method for applying different weights to colors based on color distribution information of an image there is provided an image processing apparatus and method for applying different weights to colors based on color distribution information of an image.
  • an image processing apparatus including: an image receiving unit that receives an image to be analyzed; An object image extracting unit for extracting an object included in the analysis target image and dividing the object image including the object into one or more regions; A color distribution analyzer for obtaining color distribution information for each of the one or more regions and determining one or more weights for at least a portion of the one or more regions based on the color distribution information; And an image enhancement unit for applying the determined one or more weights to at least a part of the one or more areas to generate a first output image for the object image.
  • a method comprising: receiving an image to be analyzed; Extracting an object included in the analysis target image; Dividing an object image including the object into one or more regions; Obtaining color distribution information for each of the one or more regions; Determining one or more weights for at least a portion of the one or more regions based on the color distribution information; And applying the determined one or more weights to at least a portion of the one or more regions to generate a first output image for the object image.
  • a computer-readable recording medium having recorded thereon a program for executing the image processing method of the present disclosure can be provided.
  • an image processing apparatus and method can be provided.
  • an image processing apparatus and method based on color distribution information of an image can be provided.
  • an image processing apparatus and method for applying different weights to colors based on color distribution information of an image can be provided.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a view for explaining a process of distinguishing an object and a background in an image including a single object according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an image in which a hue is expressed based on the physical properties of an object according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining a process of generating an output image based on color distribution information of an image according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a process of acquiring a final output image obtained by combining an image obtained using color distribution information and an image obtained by applying edge-based filtering or smoothing filtering according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a process of obtaining a final output image using a graphical model according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an image processing method according to an embodiment of the present disclosure.
  • first, second, etc. are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements, etc. unless specifically stated otherwise.
  • a first component in one embodiment may be referred to as a second component in another embodiment, and similarly a second component in one embodiment may be referred to as a first component .
  • the components that are distinguished from each other are intended to clearly illustrate each feature and do not necessarily mean that components are separate. That is, a plurality of components may be integrated into one hardware or software unit, or a single component may be distributed into a plurality of hardware or software units. Thus, unless otherwise noted, such integrated or distributed embodiments are also included within the scope of this disclosure.
  • the components described in the various embodiments are not necessarily essential components, and some may be optional components. Thus, embodiments consisting of a subset of the components described in one embodiment are also included within the scope of the present disclosure. Also, embodiments that include other elements in addition to the elements described in the various embodiments are also included in the scope of the present disclosure.
  • the image processing apparatus 100 may include an image receiving unit 110, an object image extracting unit 120, a color distribution analyzing unit 130, and / or an image enhancing unit 140.
  • this shows only some components necessary for explaining the present embodiment, and the components included in the image processing apparatus 100 are not limited to the above-described examples.
  • two or more constituent units may be implemented in one constituent unit, and an operation performed in one constituent unit may be divided and executed in two or more constituent units.
  • some of the constituent parts may be omitted or additional constituent parts may be added.
  • the image receiving unit 110 may receive the analysis object image 150 including one or more objects.
  • An image may include an image containing a single object.
  • the input image may be an image related to a cargo including one object.
  • the input image may be an X-ray image of the cargo taken by the X-ray reading device.
  • the input image may be a raw image captured by an X-ray imaging device or an image in any format for storing or transmitting the image.
  • the input image may be acquired by capturing image data transmitted by an X-ray reading device to an output device such as a monitor and converting the captured image data into data.
  • the object image extracting unit 120 may extract an object included in the analysis object image received by the image receiver 110 and divide the object image including the object into one or more regions. For example, the object image extracting unit 120 may extract an object included in the analysis object image by comparing the pixel value of the analysis object image with a predetermined threshold value to binarize the pixel value and grouping the binarized pixel values.
  • extracting an object may mean separating the object from the background, the object means a specific object in the image, and the background may be a part excluding the object from the image.
  • the background of the image may be expressed in a predetermined color depending on the image capturing method or the image capturing apparatus. For example, the predetermined color may be white. If a color representing the background of the image is specified, the background and the object may be separated based on the specified background color. For example, an object may be classified by deleting a specified background color area from the analysis object image 150.
  • the object image may be obtained by specifying a bounding box surrounding the object region, and the object image extracting unit 120 may generate position information of the separated object based on the specified rectangular box have.
  • the background portion is cut off and only the region where the cargo exists is analyzed can do.
  • it can be said that it is important to obtain coverage for cargoes in real environments where cargoes continue to pass through X-ray readers through conveyor belts.
  • the object image extracting unit 200 of FIG. 2 may be an embodiment of the object image extracting unit 120 of FIG.
  • the input image 210 may be the input image 150 described with reference to FIG. 1 and may be, for example, an image relating to the cargo including the bag 212 as a single object.
  • the object image extracting unit 200 roughly cuts the surrounding area based on the bag 212 by performing a cropping operation on the input image 210 including one bag 212
  • the cropped image 220 can be acquired.
  • the object image extracting unit 200 may acquire the binarized image 230 by thresholding the pixel value of the cropped image 220 and a predetermined threshold value to binarize the pixel value. Then, the object image extracting unit 200 can obtain the grouped image 240 by grouping adjacent pixels (clustering, morphology, closing) in order to select a portion of the object in the binarized image 230.
  • the object image extracting unit 200 performs labeling and hole filling operations on the grouped image 240 to generate a pixel group formed in the largest shape as a region 252 for the object And determine the rest as the area 254 for the background, thereby obtaining the image 250 from which the object is extracted.
  • the object image extracting unit 200 can determine the position of the object in the input image 210 using the information about the extracted object image. For example, the object image extracting unit 200 may specify a rectangular box surrounding the object region, and may generate position information of the object based on the specified rectangular box. 2, the object image extracting unit 200 can specify a rectangular box 262 surrounding the bag 212 and acquire the position information of the bag 212 based on the specified rectangular box .
  • the position information of the bag 212 may be position information of four vertices forming the square box 262, but is not limited thereto.
  • the position information may be represented by the coordinates (x, y) of one vertex of the rectangular box 262 and the width and height of the rectangular box.
  • the coordinates (x, y) of the one vertex may be the coordinates of the upper left vertex of the square box 262.
  • the coordinates (x, y) of the vertex can be specified based on the coordinates (0, 0) of the upper left vertex of the input image 210.
  • the object image extracting unit 120 may divide the object image into one or more regions based on the size of the object image.
  • Each of the one or more regions may be square.
  • the object image extracting unit 120 may determine the number and size of regions for dividing the object image based on the size of the object image. For example, if the object image is relatively large or has a size larger than a predetermined threshold value, it can be divided to have more divided areas. Also, the size of each of the regions dividing the object image may not be equal to each other.
  • the object image extracting unit 120 may convert the object image into a square by up-sampling or down-sampling the object image, Regions. ≪ / RTI > For example, since the object image is acquired based on a rectangular box surrounding the object extracted by the object image extracting unit 120, the object image may not be a square. In this case, the object image extracting unit 120 may divide the object image into one or more regions, but it may acquire a square object image by up-sampling or down-sampling the object image in the horizontal or vertical direction, An object image of a square may be divided into one or more regions.
  • the object image 400 is composed of 9 pixels in the horizontal direction and 12 pixels in the vertical direction, and may not be a square.
  • the shape of one or more regions dividing the object image is not limited to a square.
  • the region may have the form nxm, where n and m are positive integers that are different. In this case, the above-described upsampling or downsampling may not be performed.
  • the color distribution analyzing unit 130 acquires color distribution information for each of the regions divided by the object image extracting unit 120, and calculates color distribution information for at least a part of the regions One or more weights can be determined.
  • the color distribution information may include information on each of n (n is an integer greater than 1) color expression ranges.
  • the color distribution information may include information on each of the five color expression ranges.
  • the X-ray image is a physical property of the objects included in the image (for example, Etc.) may be used. That is, the color representation range may be different depending on the physical properties of the objects.
  • FIG. 3 is a diagram illustrating an image in which a hue is expressed based on the physical properties of an object according to an embodiment of the present disclosure
  • a bag image 300, a medicine container image 310, and a traveler's baggage carrier image 320 taken by an X-ray reading device are shown. It can be seen that the range of color representation varies depending on the physical properties of the objects of the bag ring 302, the bag zipper 304, the medicine 312 and the bottle 322, respectively. On the other hand, while the bag ring 302, the bag zipper 304, the medicine 312 and the bottle 322 are relatively clearly colored so that they can be distinguished from other objects, any contents 324 ), It is difficult to identify what the arbitrary content 324 is in the traveler's baggage image 320 and to easily distinguish it from other objects.
  • the color distribution for each of the divided regions may be analyzed to apply a weight to at least some of the regions.
  • the one or more weights may include weights for at least some of the n color representation ranges. For example, if one area has n color expression ranges, the number of weights in the corresponding area may be 1 to n.
  • the determined weight when one weight is determined for one area, can be applied to all color expression ranges included in the one area. Or may apply the determined weight to at least a portion of all color representation ranges included in the one area. For example, the determined weight may be applied only to a predetermined color expression range to be subjected to image enhancement.
  • a weight may be determined for each of the n color representation ranges. That is, the number of weights for one area may be n. In this case, a weight corresponding to each color expression range included in the area may be applied to the corresponding color expression range. The weight may be given a relatively high weight for a predetermined color expression range to be subjected to image enhancement.
  • a weight can be determined for each of the m color representation ranges greater than 1 and less than n. That is, the number of weights for one area may be m. In this case, the weighted value may be applied only to the color expression range to which the weight is assigned, out of the color expression ranges included in the area. A relatively high weight is given to a predetermined color expression range to be subjected to image enhancement as described above.
  • the weights can be determined to be relatively high for a predetermined color representation range among the n color representation ranges. For example, when an object included in an X-ray image is an organic material, the boundaries are often expressed less clearly in an image as compared with objects having different physical properties (metal, inorganic materials, etc.). Therefore, a relatively high weight can be given to a portion corresponding to a color expression range representing organic matter in the divided region.
  • the predetermined color expression range to which a relatively high weight is given may be one or more.
  • the predetermined color expression range to which a relatively high weight value is given may be 1 to n-1.
  • the degree of image enhancement required for each may be different, and a weight can be given accordingly.
  • relatively high weights may be given only for the range of color expressions for organic materials, but relatively high weights for inorganic and organic materials . At this time, a relatively high weight can be given to the organic matter rather than the inorganic matter.
  • FIG. 4 is a diagram for explaining a process of generating an output image based on color distribution information of an image according to an embodiment of the present disclosure.
  • the object image 400 may be divided into one or more regions such as a first region 410, a second region 420, and the like.
  • the process of dividing regions in the object image 400 is as described for the object image extraction unit 120 in FIG.
  • the image processing apparatus may acquire color distribution information including information on five color rendering ranges for the first area 410 and may generate color distribution information including at least a part of a 3x3 size area One or more weights may be determined for the < / RTI >
  • a predetermined color expression range that is an object of image enhancement may be acquired and used as color distribution information. For example, when distribution information on a predetermined color expression range is equal to or greater than a predetermined threshold value, a relatively high weight value may be given to the region.
  • the first color channel image 430, the second color channel image 440, The channel image 440, the fourth color channel image 460 and the fifth color channel image 470 may correspond to images having colors of R, G, B, Y, and P, respectively.
  • Each of the first to fifth color channel images 430 to 470 may be generated by mapping the color channel image corresponding to the corresponding color information based on the color information of each of the constituent pixels of the first area 410.
  • the first pixel 412 is mapped to the pixel 452 at the corresponding position of the third color channel image 450
  • the second pixel 414 is mapped to the pixel 452 at the corresponding position of the first color channel image 430
  • the third pixel 416 is mapped to the pixel 472 at the corresponding position of the fifth color channel image 470 and the fourth pixel 418 is mapped to the second color channel image 440
  • the fifth pixel 420 is mapped to the pixel 474 at the corresponding position of the fifth color channel image 470 and the sixth pixel 422 is mapped to the pixel 442 at the corresponding position of the fifth color channel image 470.
  • the seventh pixel 424 is mapped to the pixel 444 at the corresponding position of the second color channel image 440 and the seventh pixel 424 is mapped to the pixel 444 at the corresponding position of the second color channel image 440,
  • the pixel 426 is mapped to the pixel 478 at the corresponding position of the fifth color channel image 470 and the ninth pixel 428 is mapped to the pixel 480 at the corresponding position of the fifth color channel image 470 So that the first to fifth colors Phase channel images 430 to 470 can be generated.
  • color channel images less than n can be obtained.
  • pixels having a color corresponding to the fourth color channel image 460 4 color channel images except for the fourth color channel image 460 can be obtained.
  • the first color channel image 430, the second color channel image 440, the third color channel image 450, the fourth color channel image 460, and the fifth color channel image 470 , Weights a1, a2, a3, a4, and a5 can be applied to each of them.
  • the weights can be determined in consideration of the color distribution of the pixels constituting each region, for example, the weights can be determined to be proportional to the color distribution of the pixels. Alternatively, the weights can be determined to be relatively high for a predetermined color expression range and relatively low for a remaining color expression range.
  • the image enhancement unit 140 may apply one or more weights determined by the color distribution analysis unit 130 to at least one of the one or more regions to generate a first output image for the object image .
  • a first color channel image 430, a second color channel image 440, a third color channel image 450, a fourth color channel image 460, and a fifth color channel image 470, A1, a2, a3, a4, and a5 may be applied to the first to fourth color channel images to which the weights are applied, and a first region 410-1 to which weights are applied may be obtained by combining the first to fifth color channel images to which weights are applied.
  • the first output image may be finally generated by repeating the above-described process for the remaining regions of the object image 400 as well.
  • the weights may be determined in consideration of the color distribution of the pixels constituting each region, a relatively high weight for a predetermined color expression range, and a relatively low weight for the remaining color expression range may be determined. For example, in the part corresponding to the hue representing the organic matter in each divided region, the weight is relatively high because the boundary part is not expressed clearly in the image, and the part corresponding to the color representing the metal is relatively The weight can be determined to be relatively low.
  • a predetermined color representation range to be subjected to image enhancement is dominant or has a distribution of a predetermined threshold value or more as a result of color distribution analysis of the region 410 included in the object image 400, 410 can be set to a relatively high weight.
  • the predetermined threshold value and / or the weight value may be arbitrarily determined or may be determined based on the accumulated image processing information.
  • optimal thresholds and / or weights can be continuously updated.
  • the image enhancement unit 140 may apply edge-based filtering or smoothing filtering to at least a portion of the one or more regions to generate a second output image for the object image.
  • the image enhancement unit 140 may generate a third output image for the object image based on the generated first output image and the second output image.
  • Edge-based filtering or smoothing filtering is a technique for enhancing the contrast of an image including, but not limited to, Wiener filtering, unsharp mask filtering, histogram equalization, and linear contrast adjustment techniques, May include techniques for enhancing < / RTI >
  • the object image 500, the first region 510 and the weighted first region 510-1 of FIG. 5 correspond to the object image 400, the first region 410, and the first region 410 to which weights are applied, (410-1), respectively.
  • the image enhancement unit 140 may generate a first region 510-2 to which the filtering is applied to the first region 510, and may include a first region 510-1 to which weighting is applied, And the first area 510-2 to which the filtering is applied, to generate the final first area 510-3.
  • the image enhancer 140 may generate a second output image to which the filtering techniques have been applied to the remaining regions, and a third output image that combines the first output image and the second output image.
  • the process of generating the weighted region (e.g., 510-1), the filtered region (e.g., 510-2), and / or the final region 510-3 using both may be performed on a domain basis.
  • the present invention is not limited to this, and the process may be performed in units of object images.
  • an object image second output image
  • the filtering to each of the regions included in the object image.
  • the final image (third output image) can be generated by combining the weighted object image and the enhanced edge object image.
  • the influence on the first output image may be relatively small by combining the second output image with the first output image.
  • the weight for distribution information can be determined to be relatively higher. Also, for example, by combining the first output image and the second output image, it is possible to more accurately recognize an object even when a plurality of objects overlap each other.
  • FIG. 6 is a diagram for explaining a process of obtaining a final output image using a graphical model according to an embodiment of the present disclosure.
  • the image processing apparatus determines each of the color expression ranges included in the color distribution information as individual nodes, and determines a relationship between the determined individual nodes and a relationship between the first output image, the second output image, , A graphical model of a hierarchical structure can be generated.
  • the lowest-order node includes first color distribution information 610-1 to nth color distribution information 610-n ≪ / RTI > Then, the first output image 620 can be obtained by weighting each of the color representation ranges of the corresponding divided region or the divided regions based on the respective color distribution information.
  • the first output image 620 may be determined as the final output image. Or generates a third output image 640 based on the first output image 620 and the second output image 630.
  • the second output image 630 may be generated by applying a contrast enhancement technique to the second output image 630, You may.
  • FIG. 7 is a diagram for explaining an image processing method according to an embodiment of the present disclosure.
  • the image processing method of FIG. 7 is performed by the image processing apparatus of FIG. 1, and the description of the image processing apparatus of FIG. 1 can be applied to the image processing method of FIG.
  • step S700 the analysis target image can be received.
  • An image may include an image containing a single object.
  • the input image may be an image related to a cargo including one object.
  • the input image may be an X-ray image of the cargo taken by the X-ray reading device.
  • the input image may be a raw image captured by an X-ray imaging device or an image in any format for storing or transmitting the image.
  • the input image may be acquired by capturing image data transmitted by an X-ray reading device to an output device such as a monitor and converting the captured image data into data.
  • the object included in the analysis target image can be extracted in step S710.
  • an object included in an analysis object image can be extracted by comparing a pixel value of an analysis object image with a predetermined threshold value to binarize the pixel value, and grouping the binarized pixel values.
  • the object image including the object may be divided into one or more regions.
  • the number and size of regions for dividing the object image can be determined based on the size of the object image.
  • the size of each of the regions dividing the object image may not be equal to each other.
  • the object image when the object image is not a square, the object image may be converted into a square by up-sampling or down-sampling the object image, and then the object image may be divided into one or more regions have.
  • the color distribution information may be obtained for each of the one or more areas.
  • the color distribution information may include information on each of n (n is an integer greater than 1) color expression ranges.
  • one or more weights may be determined for at least some of the one or more areas.
  • the one or more weights may include weights for at least some of the n color representation ranges. For example, if one area has n color expression ranges, the number of weights in the corresponding area may be 1 to n.
  • step S750 the determined one or more weights may be applied to at least one of the one or more regions to generate a first output image for the object image.
  • edge-based filtering or smoothing filtering may be applied to at least a portion of the one or more regions to generate a second output image for the object image.
  • a third output image for the object image may be generated based on the generated first output image and the second output image
  • the present invention is not limited thereto, and the input image may be an image including two or more objects. In this case, it is possible to distinguish two or more objects and backgrounds from the input image, and generate position information for each of the two or more objects.
  • the description with reference to FIG. 2 when a plurality of pixel groups are formed, it can be determined that not only the pixel groups formed in the largest shape but also the other pixel groups are regions for the objects. The process of generating the position information of each determined object is the same as described for the image including one object.
  • an adaptive image processing apparatus and method using a graphical model of a hierarchical structure can be provided.
  • At least some of the steps of the components of the image processing apparatus and the image processing method of the present disclosure may be performed using an artificial intelligence based or deep run based model. For example, a weight determined on the basis of the size, number and color distribution information of an area generated by dividing an object image, various thresholds mentioned in the present disclosure, whether or not a second output image is generated, Model can be learned, and information according to the learned model can be used.
  • the deep running-based model of the present disclosure may be a fully convolutional neural network, a convolutional neural network, a recurrent neural network, , A restricted Boltzmann machine (RBM), and a deep belief neural network (DBN).
  • a machine running method other than deep running may be included.
  • a hybrid model combining deep running and machine running For example, a feature of an image may be extracted by applying a deep learning-based model, and a model based on a machine learning may be applied when an image is classified or recognized based on the extracted feature.
  • the machine learning based model may include, but is not limited to, a support vector machine (SVM), an AdaBoost, and the like.
  • the exemplary methods of this disclosure are represented by a series of acts for clarity of explanation, they are not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order.
  • the illustrative steps may additionally include other steps, include the remaining steps except for some steps, or may include additional steps other than some steps.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays A general processor, a controller, a microcontroller, a microprocessor, and the like.
  • the present invention can be used to enhance a particular color gamut of an image.

Abstract

영상의 색상 분포 정보에 기반한 영상 처리 방법 및 장치가 제공된다. 본 개시의 영상 처리 방법은 분석 대상 영상을 수신하는 단계, 분석 대상 영상에 포함되어 있는 객체를 추출하는 단계, 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 단계, 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하는 단계, 색상 분포 정보에 기초하여, 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하는 단계 및 결정된 하나 이상의 가중치를 하나 이상의 영역들 중 적어도 일부에 적용하여 객체 영상에 대한 제1 출력 영상을 생성하는 단계를 포함한다.

Description

영상 처리 장치 및 방법
본 개시는 영상 처리 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 영상의 색상 분포 정보에 기초한 영상 처리 장치, 방법 및 본 개시의 영상 처리 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.
객체 인식은 임의의 영상 내에서 객체로 인식된 영역을 기설정된 복수의 부류(class) 중 하나로 인식하는 프로세싱으로서, 객체를 보다 명확하게 구분하기 위한 다양한 영상 처리 기법들이 제시되고 있다.
한편, 전자 통관 시스템에서 이용되는 영상은, 보다 효과적인 영상 판독을 위해 일반적으로 영상에 포함되어 있는 객체들의 물성(예를 들어, 해당 객체가 유기물, 무기물, 금속 등인지 여부)에 따라 다른 색상이 사용된다. 그러나, 해당 객체의 외형적인 형상, 명암의 차이, 객체 고유의 X-Ray 감쇄율, 관측 각도 등의 다양한 요인으로 인해 영상에서 해당 객체들을 명확하게 파악하기 어렵다는 문제가 있다.
본 개시의 기술적 과제는, 영상 처리 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 영상의 색상 분포 정보에 기초한 영상 처리 장치 방법을 제공하는 것이다.
본 개시의 또 다른 기술적 과제는, 영상의 색상 분포 정보에 기초하여 색상 별 가중치를 다르게 적용하는 영상 처리 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 분석 대상 영상을 수신하는 영상 수신부; 상기 분석 대상 영상에 포함되어 있는 객체를 추출하고, 상기 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 객체 영상 추출부; 상기 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하고, 상기 색상 분포 정보에 기초하여, 상기 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하는 색상 분포 분석부; 및 상기 결정된 하나 이상의 가중치를 상기 하나 이상의 영역들 중 적어도 일부에 적용하여 상기 객체 영상에 대한 제1 출력 영상을 생성하는 영상 강화부를 포함하는 영상 처리 장치가 제공될 수 있다.
본 개시의 다른 양상에 따르면, 분석 대상 영상을 수신하는 단계; 상기 분석 대상 영상에 포함되어 있는 객체를 추출하는 단계; 상기 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 단계; 상기 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하는 단계; 상기 색상 분포 정보에 기초하여, 상기 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하는 단계; 및 상기 결정된 하나 이상의 가중치를 상기 하나 이상의 영역들 중 적어도 일부에 적용하여 상기 객체 영상에 대한 제1 출력 영상을 생성하는 단계를 포함하는 영상 처리 방법이 제공될 수 있다.
본 개시의 또 다른 양상에 따르면, 본 개시의 영상 처리 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 영상 처리 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 영상의 색상 분포 정보에 기초한 영상 처리 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 영상의 색상 분포 정보에 기초하여 색상 별 가중치를 다르게 적용하는 영상 처리 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 단일 객체를 포함하는 영상에서, 객체와 배경을 구분하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 객체의 물성에 기초하여 색상이 표현된 영상을 나타내는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 영상의 색상 분포 정보에 기초하여 출력 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 색상 분포 정보를 이용하여 획득된 영상과 에지 기반 필터링 또는 평활화 필터링을 적용하여 획득된 영상을 결합한 최종 출력 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 그래피컬 모델을 이용하여 최종 출력 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1을 참조하면, 영상 처리 장치(100)는 영상 수신부(110), 객체 영상 추출부(120), 색상 분포 분석부(130) 및/또는 영상 강화부(140)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 영상 처리 장치(100)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다. 예컨대, 둘 이상의 구성부가 하나의 구성부 내에서 구현될 수도 있고, 하나의 구성부에서 실행되는 동작이 분할되어 둘 이상의 구성부에서 실행되도록 구현될 수도 있다. 또한, 일부 구성부가 생략되거나 부가적인 구성부가 추가될 수도 있다.
일 실시 예에 따른 영상 처리 장치(100)는 분석 대상 영상을 수신하고, 분석 대상 영상에 포함되어 있는 객체를 추출하고, 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하고, 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하고, 색상 분포 정보에 기초하여, 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하고, 결정된 하나 이상의 가중치를 하나 이상의 영역들 중 적어도 일부에 적용하여 객체 영상에 대한 제1 출력 영상을 생성할 수 있다.
영상 수신부(110)는 하나 이상의 객체를 포함하는 분석 대상 영상(150)을 수신할 수 있다. 영상은 단일 객체를 포함하는 영상을 포함할 수 있다. 예컨대, 입력 영상은 하나의 객체를 포함하는 화물에 관한 영상일 수 있다. 또한 예컨대, 입력 영상은 X-Ray 판독 기기가 촬영한 화물에 관한 X-Ray 영상일 수 있다. 상기 입력 영상은 X-Ray 영상 기기가 촬영한 로(raw) 이미지이거나 상기 로 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다. 또한 예컨대, 상기 입력 영상은 X-Ray 판독 기기가 촬영하여 모니터와 같은 출력 장치로 전송하는 영상 정보를 캡쳐하여 데이터화함으로써 획득될 수도 있다.
객체 영상 추출부(120)는 영상 수신부(110)에서 수신된 분석 대상 영상에 포함되어 있는 객체를 추출하고, 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할할 수 있다. 예컨대 객체 영상 추출부(120)는 분석 대상 영상의 픽셀값과 소정의 임계값을 비교하여 픽셀값을 이진화하고, 이진화된 픽셀값을 그룹핑함으로써 분석 대상 영상에 포함된 객체를 추출할 수 있다. 여기서 객체를 추출한다는 것은 객체와 배경을 구분한다는 의미일 수 있고, 객체는 영상 내의 특정한 물체를 의미하며 또한 배경은 영상에서 객체를 제외한 부분을 의미할 수 있다. 영상의 배경은 영상의 촬영 방법 또는 촬영 장치에 따라 소정의 색상으로 표현될 수 있다. 예컨대, 상기 소정의 색상은 흰색일 수 있다. 영상의 배경을 표현하는 색상이 특정된 경우, 특정된 배경 색상에 기초하여 배경과 객체를 분리할 수도 있다. 예컨대, 특정된 배경 색상 영역을 분석 대상 영상(150)에서 삭제함으로써 객체를 구분할 수도 있다.
또한 예컨대 객체 영상은 객체 영역을 둘러싸는 사각형 박스(bounding box)를 특정함으로써 획득될 수 있으며, 객체 영상 추출부(120)는 특정된 사각형 박스에 기초하여, 구분된 객체의 위치 정보를 생성할 수 있다.
일 실시예에 따를 때, 입력 영상이 X-Ray 판독 기기가 촬영한 화물에 관한 X-Ray 영상이라고 하면, 화물이 아닌 배경 부분은 불필요하기 때문에 해당 배경 부분은 잘라내고 화물이 존재하는 영역만으로 분석할 수 있다. 특히, 화물들이 컨베이어 벨트를 통해 계속적으로 X-Ray 판독 기기를 통과하는 실제 환경에서는 화물에 대한 영역을 획득하는 것이 중요하다고 할 수 있다. 객체와 배경을 구분하고 객체의 위치 정보를 생성하는 구체적인 과정은 도 2를 참고하여 자세히 설명한다.
도 2는 본 개시의 일 실시 예에 따른 단일 객체를 포함하는 영상에서, 객체와 배경을 구분하고, 객체의 위치 정보를 생성하는 과정을 설명하기 위한 도면이다. 도 2의 객체 영상 추출부(200)는 도 1의 객체 영상 추출부(120)의 일 실시 예일 수 있다. 입력 영상(210)은 도 1을 참조하여 설명한 입력 영상(150)일 수 있으며, 예컨대, 단일 객체로서 가방(212)을 포함하는 화물에 관한 영상일 수 있다.
객체 영상 추출부(200)는 먼저 하나의 가방(212)을 포함하는 입력 영상(210)에 대해 크로핑(cropping) 연산을 수행함으로써 가방(212)을 기준으로 주변 영역을 대략적으로(roughly) 잘라버린, 크로핑된 영상(220)을 획득할 수 있다. 그런 다음 객체 영상 추출부(200)는 크로핑된 영상(220)의 픽셀값과 소정의 임계값을 비교(thresholding)하여 픽셀값을 이진화함으로써 이진화된 영상(230)을 획득할 수 있다. 그리고, 객체 영상 추출부(200)는 이진화된 영상(230)에서 객체에 대한 부분을 선택하기 위해 근접한 픽셀끼리 그룹핑(군집화, morphology, closing)함으로써, 그룹핑된 영상(240)을 획득할 수 있다. 그런 다음, 객체 영상 추출부(200)는 그룹핑된 영상(240)에 대해 라벨링(labeling) 및 홀 채우기(hole filling) 연산을 수행하여 가장 큰 형태로 형성된 픽셀 그룹을 객체에 대한 영역(252)으로 결정하고, 나머지를 배경에 대한 영역(254)으로 결정함으로써 객체가 추출된 영상(250)을 획득할 수 있다. 또한, 객체 영상 추출부(200)는 추출된 객체 영상에 대한 정보를 이용하여 입력 영상(210) 내에서의 객체의 위치를 결정할 수 있다. 예컨대, 객체 영상 추출부(200)는 객체 영역을 둘러싸는 사각형 박스를 특정하고, 특정된 사각형 박스에 기초하여, 객체의 위치 정보를 생성할 수 있다. 도 2를 참조하면, 객체 영상 추출부(200)는 가방(212)을 둘러싸는 사각형 박스(262)를 특정하고, 특정된 사각형 박스에 기초하여, 가방(212)의 위치 정보를 획득할 수 있다. 예컨대, 가방(212)의 위치 정보는 사각형 박스(262)를 형성하는 네 개의 꼭지점의 위치 정보일 수 있으나, 이에 제한되지 않는다. 예컨대, 위치 정보는 사각형 박스(262)의 하나의 꼭지점의 좌표 (x, y) 및 사각형 박스의 가로 길이(width), 세로 길이(height)에 의해 표현될 수도 있다. 상기 하나의 꼭지점의 좌표 (x, y)는 사각형 박스(262)의 좌측 상단 꼭지점의 좌표일 수 있다. 상기 꼭지점의 좌표 (x, y)는 입력 영상(210)의 좌측 상단 꼭지점의 좌표 (0, 0)을 기준으로 특정될 수 있다.
다시 도 1을 참조하여, 객체 영상 추출부(120)는 객체 영상의 크기에 기초하여 객체 영상을 하나 이상의 영역들로 분할할 수 있다. 상기 하나 이상의 영역들의 각각은 정방형일 수 있다. 예컨대, 객체 영상 추출부(120)는 객체 영상의 크기에 기초하여 객체 영상을 분할하는 영역들의 개수나 크기를 결정할 수 있다. 예컨대, 객체 영상이 상대적으로 크거나 소정의 임계치 이상의 크기를 갖는 경우, 더 많은 분할 영역을 갖도록 분할될 수 있다. 또한, 객체 영상을 분할하는 영역들 각각의 크기는 서로 동일하지 않을 수 있다.
또한 객체 영상 추출부(120)는 객체 영상이 정방형이 아닌 경우, 객체 영상을 업샘플링(up-sampling) 또는 다운샘플링(down-sampling)하여 객체 영상을 정방형으로 변환한 후, 객체 영상을 하나 이상의 영역들로 분할할 수 있다. 예컨대, 객체 영상은 객체 영상 추출부(120)에서 추출된 객체에 대해 해당 객체를 둘러싸는 사각형 박스를 기초로 획득되므로 객체 영상이 정방형이 아닐 수 있다. 이 경우에 객체 영상 추출부(120)는 해당 객체 영상에 대해 하나 이상의 영역들로 분할할 수도 있겠으나, 객체 영상의 가로나 세로 방향으로 업샘플링 또는 다운샘플링 함으로써 정방형의 객체 영상을 획득하고, 획득된 정방형의 객체 영상을 하나 이상의 영역들로 분할할 수도 있다.
예컨대, 도 4를 참조하면, 객체 영상(400)은 가로 9픽셀 및 세로 12픽셀로 구성되어 정방형이 아닐 수 있다. 이 경우, 본 개시에 따르면, 객체 영상(400)을 3x3 크기의 정방형 영역으로 분할할 수도 있으나(이 경우, (객체 영상의 가로 크기/분할 영역의 가로 크기) x (객체 영상의 세로 크기/분할 영역의 세로 크기) = (9/3) x (12/3) = 12, 총 12개의 영역들을 가진다), 객체 영상(400)의 가로를 업샘플링 하여 가로 12픽셀 및 세로 12픽셀로 구성되는 영상을 획득하고, 이를 3x3 크기의 영역으로 분할하여 총 16개의 영역으로 분할할 수도 있다. 객체 영상을 분할하는 하나 이상의 영역들의 형태는 정방형으로 한정되지 않는다. 예컨대, 상기 영역은 n과 m이 상이한 양의 정수인 nxm의 형태를 가질 수도 있다. 이러한 경우, 전술한 업샘플링 또는 다운 샘플링이 수행되지 않을 수도 있다.
다시 도 1을 참조하여, 색상 분포 분석부(130)는 객체 영상 추출부(120)에서 분할된 영역들 각각에 대해 색상 분포 정보를 획득하고, 색상 분포 정보에 기초하여 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정할 수 있다.
색상 분포 정보는 n(n은 1보다 큰 정수)개의 색상 표현 범위의 각각에 대한 정보를 포함할 수 있다. 색상 표현 범위는 영상 획득 장치의 종류, 성능 등에 따라 달라질 수 있다. 또한, 예컨대, R(red)에 대한 “색상”은 8비트의 영상에서 픽셀값이 (R, G, B)= (255,0,0)을 가지는 픽셀의 색상만을 의미할 수 있으나, R에 대한 “색상 표현 범위”는 상기 픽셀값이 (R, G, B)= (255,0,0)인 경우뿐만 아니라 상기 픽셀값을 기준으로 소정의 범위 내에 있는 유사 색상을 포함하는 의미이다. 예컨대, 영상 획득 장치의 색상 표현 범위가 R, G(green), B(blue) 3가지라면 색상 분포 정보는 3개의 색상 표현 범위의 각각에 대한 정보를 포함할 수 있다. 색상 표현 범위가 R, G, B, Y(yellow), P(purple) 5가지라면 색상 분포 정보는 5개의 색상 표현 범위의 각각에 대한 정보를 포함할 수 있다. 예컨대, 입력 영상이 X-Ray 판독 기기가 촬영한 화물에 관한 X-Ray 영상이라고 하면, X-Ray 영상은 해당 영상에 포함되어 있는 객체들의 물성(예를 들어, 해당 객체가 유기물, 무기물, 금속 등인지 여부)에 따라 다른 색상 표현 범위가 사용될 수 있다. 즉, 객체들의 물성에 따라 색상 표현 범위가 다를 수 있다.
도 3은 본 개시의 일 실시 예에 따른 객체의 물성에 기초하여 색상이 표현된 영상을 나타내는 도면이다.
도 3을 참조하면, X-Ray 판독 기기에 의해 촬영된 가방 영상(300), 의약품용기 영상(310) 및 여행자수화물 캐리어 영상(320)을 나타낸다. 가방 고리(302), 가방 지퍼(304), 의약품(312) 및 병(322)의 경우 각각 객체의 물성에 따라 색상 표현 범위가 상이함을 확인할 수 있다. 한편, 가방 고리(302), 가방 지퍼(304), 의약품(312) 및 병(322)은 다른 객체들과 구분될 수 있도록 비교적 선명하게 색상이 표현되어 있는 반면에, 수화물 내의 임의의 내용물(324)의 경우에는 여행자 수화물 영상(320)에서 그 임의의 내용물(324)이 무엇인지도 확인하기 어렵고 다른 객체들과 구분하기에도 용이하지 않음을 알 수 있다. 따라서, 객체의 물성에 따라 색상 표현 범위가 상이하다는 특징을 이용하여, 색상 표현 범위에 따라 영상의 강화 정도를 다르게 할 필요가 있다. 이를 위해, 분할된 영역들 각각에 대한 색상 분포를 분석하여 적어도 일부의 영역에 대해 가중치를 적용할 수 있다.
상기 하나 이상의 가중치는 n개의 색상 표현 범위 중 적어도 일부에 대한 가중치를 포함할 수 있다. 예컨대, 하나의 영역이 n개의 색상 표현 범위를 가진다고 하면, 해당 영역에서의 가중치의 개수는 1부터 n개를 가질 수 있다.
예컨대, 하나의 영역에 대해 하나의 가중치가 결정되는 경우, 상기 하나의 영역에 포함된 모든 색상 표현 범위에 대해 상기 결정된 가중치를 적용할 수 있다. 또는 상기 하나의 영역에 포함된 모든 색상 표현 범위 중 적어도 일부에 대해 상기 결정된 가중치를 적용할 수도 있다. 예컨대, 영상 강화의 대상이 되는 소정의 색상 표현 범위에 대해서만 상기 결정된 가중치를 적용할 수 있다.
또는 예컨대, n개의 색상 표현 범위의 각각에 대해 가중치가 결정될 수 있다. 즉, 하나의 영역에 대한 가중치의 개수는 n일 수 있다. 이 경우, 상기 영역에 포함된 모든 색상 표현 범위의 각각에 대응되는 가중치를 해당하는 색상 표현 범위에 적용할 수 있다. 가중치는 영상 강화의 대상이 되는 소정의 색상 표현 범위에 대해 상대적으로 높은 가중치가 부여될 수 있다.
또는 예컨대, 1보다 크고 n보다 작은 m개의 색상 표현 범위의 각각에 대해 가중치가 결정될 수 있다. 즉, 하나의 영역에 대한 가중치의 개수는 m일 수 있다. 이 경우, 상기 영역에 포함된 색상 표현 범위 중 가중치가 부여된 색상 표현 범위에 대해서만 상기 부여된 가중치를 적용할 수 있다. 영상 강화의 대상이 되는 소정의 색상 표현 범위에 대해 상대적으로 높은 가중치가 부여되는 것은 전술한 바와 같다.
전술한 바와 같이, n개의 색상 표현 범위 중 소정의 색상 표현 범위에 대해서는 가중치를 상대적으로 높게 결정할 수 있다. 예컨대, X-Ray 영상에 포함된 객체가 유기물인 경우 다른 물성(금속, 무기물 등)을 가진 객체에 비해 상대적으로 경계가 덜 선명하게 영상에 표현되는 경우가 많다. 따라서, 분할 영역 중 유기물을 나타내는 색상 표현 범위에 해당하는 부분에 대해서 상대적으로 높은 가중치가 부여될 수 있다.
상대적으로 높은 가중치가 부여되는 상기 소정의 색상 표현 범위는 하나 이상일 수 있다. 예컨대, 전체 색상 표현 범위가 n개일 때, 상대적으로 높은 가중치가 부여되는 상기 소정의 색상 표현 범위는 1 내지 n-1개일 수 있다. 상기 소정의 색상 표현 범위가 복수 개일 때, 각각에 대해 요구되는 영상 강화의 정도는 상이할 수 있으며, 그에 따라 가중치가 부여될 수 있다. 예컨대, 금속->무기물->유기물의 순서로 영상이 선명하게 표현될 때, 유기물에 대한 색상 표현 범위에 대해서만 상대적으로 높은 가중치를 부여할 수도 있으나, 무기물과 유기물에 대해 금속보다 상대적으로 높은 가중치를 부여할 수도 있다. 이때, 무기물보다는 유기물에 상대적으로 높은 가중치가 부여될 수 있다.
분할된 영역들 각각에 대해 색상 분포 정보를 획득하고, 가중치를 결정하는 구체적인 과정은 도 4를 참고하여 자세히 설명한다.
도 4는 본 개시의 일 실시 예에 따른 영상의 색상 분포 정보에 기초하여 출력 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 객체 영상(400)은 제1 영역(410), 제2 영역(420) 등 하나 이상의 영역들로 분할될 수 있다. 객체 영상(400)에서 영역들을 분할하는 과정에 대해서는 도 1의 객체 영상 추출부(120)에 대해서 설명한 바와 같다. 이하에서 제1 영역(410)에서 색상 분포 정보가 획득되고 가중치가 결정되는 과정에 대해 자세히 설명한다. 제1 영역(410)은 3x3 크기의 영역으로서 총 9개의 픽셀을 가지고, 5개(n=5)의 색상 표현 범위들을 가지는 것으로 가정한다. 일 실시예에 따른 영상 처리 장치는 제1 영역(410)에 대해 5개의 색상 표현 범위에 대한 정보를 포함하는 색상 분포 정보를 획득하고, 획득된 색상 분포 정보에 기초하여 3x3 크기의 영역 중 적어도 일부에 대해 하나 이상의 가중치를 결정할 수 있다.
또는 영상 강화의 대상이 되는 소정의 색상 표현 범위에 대한 정보만을 색상 분포 정보로서 획득하고 이용할 수도 있다. 예컨대, 소정의 색상 표현 범위에 대한 분포 정보가 소정의 임계치 이상인 경우, 해당 영역에 상대적으로 높은 가중치를 부여할 수도 있다.
색상 분포 정보에 기초하여 가중치를 결정하는 보다 구체적인 과정을 살펴보면, 분할된 영역들 각각에 대해서, n개의 색상 표현 범위 각각에 대한 정보를 반영하는 n개의 색상 채널 영상들이 획득될 수 있다. 예컨대, 제1 영역(410)은 5개(n=5)의 색상 표현 범위들에 대한 정보를 가지므로 5개의 색상 채널 영상들이 획득될 수 있으며, 이를 제1 색상 채널 영상(430), 제2 색상 채널 영상(440), 제3 색상 채널 영상(450), 제4 색상 채널 영상(460) 및 제5 색상 채널 영상(470)이라 한다. 또한 예컨대, X-Ray 판독 기기가 R, G, B, Y, P의 5가지 색상 표현 범위를 지원하는 경우, 제1 색상 채널 영상(430), 제2 색상 채널 영상(440), 제3 색상 채널 영상(440), 제4 색상 채널 영상(460) 및 제5 색상 채널 영상(470)은 각각 R, G, B, Y 및 P의 색상을 가지는 영상에 대응될 수 있다.
제1 내지 제5 색상 채널 영상(430~470)의 각각은 제1 영역(410)의 구성 픽셀들 각각의 색상 정보에 기초하여 해당 색상 정보에 대응하는 색상 채널 영상에 매핑시킴으로써 생성될 수 있다. 예컨대, 제1 픽셀(412)은 제3 색상 채널 영상(450)의 해당 위치의 픽셀(452)에 매핑되고, 또한 제2 픽셀(414)은 제1 색상 채널 영상(430)의 해당 위치의 픽셀(432)에 매핑되고, 또한 제3 픽셀(416)은 제5 색상 채널 영상(470)의 해당 위치의 픽셀(472)에 매핑되고, 또한 제4 픽셀(418)은 제2 색상 채널 영상(440)의 해당 위치의 픽셀(442)에 매핑되고, 또한 제5 픽셀(420)은 제5 색상 채널 영상(470)의 해당 위치의 픽셀(474)에 매핑되고, 또한 제6 픽셀(422)은 제5 색상 채널 영상(470)의 해당 위치의 픽셀(476)에 매핑되고, 또한 제7 픽셀(424)은 제2 색상 채널 영상(440)의 해당 위치의 픽셀(444)에 매핑되고, 또한 제8 픽셀(426)은 제5 색상 채널 영상(470)의 해당 위치의 픽셀(478)에 매핑되고, 또한 제9 픽셀(428)은 제5 색상 채널 영상(470)의 해당 위치의 픽셀(480)에 매핑됨으로써, 상기 제1 내지 제5 색상 채널 영상(430~470)이 생성될 수 있다.
한편, 색상 표현 범위가 최대 n개인 경우, n보다 적은 수의 색상 채널 영상들이 획득될 수 있는데, 예컨대, 제1 영역(410)의 경우 제4 색상 채널 영상(460)에 해당되는 색상을 가진 픽셀이 존재하지 않기 때문에, 제4 색상 채널 영상(460)을 제외한 총 4개의 색상 채널 영상들이 획득될 수 있다.
색상 채널 영상들이 획득되면, 제1 색상 채널 영상(430), 제2 색상 채널 영상(440), 제3 색상 채널 영상(450), 제4 색상 채널 영상(460) 및 제5 색상 채널 영상(470)에 가중치 a1, a2, a3, a4 및 a5를 각각 적용할 수 있다.
가중치는 각 영역을 구성하는 픽셀들의 색상 분포를 고려하여 결정될 수 있으며, 예컨대, 픽셀들의 색상 분포에 비례하도록 가중치가 결정될 수 있다. 또는, 가중치는 소정의 색상 표현 범위에 대해서는 가중치를 상대적으로 높게, 나머지 색상 표현 범위에 대해서는 가중치를 상대적으로 낮게 결정할 수 있다.
다시 도 1을 참조하여, 영상 강화부(140)는 색상 분포 분석부(130)에서 결정된 하나 이상의 가중치를 하나 이상의 영역들 중 적어도 일부에 적용하여 객체 영상에 대한 제1 출력 영상을 생성할 수 있다.
도 4를 참조하면, 제1 색상 채널 영상(430), 제2 색상 채널 영상(440), 제3 색상 채널 영상(450), 제4 색상 채널 영상(460) 및 제5 색상 채널 영상(470)에 가중치 a1, a2, a3, a4 및 a5를 적용하고, 가중치가 적용된 상기 제1 내지 제5 색상 채널 영상을 결합하여 가중치가 적용된 제1 영역(410-1)이 획득될 수 있다. 그리고, 상기 객체 영상(400)의 나머지 영역들에 대해서도 상기 과정을 반복함으로써, 최종적으로 제1 출력 영상이 생성될 수 있다. 가중치는 각 영역을 구성하는 픽셀들의 색상 분포를 고려하여 결정되고 또한 소정의 색상 표현 범위에 대해서는 상대적으로 높은 가중치가, 나머지 색상 표현 범위에 대해서는 상대적으로 낮은 가중치가 결정될 수 있다. 예컨대, 각 분할 영역에서 유기물을 나타내는 색상에 해당되는 부분은 경계 부분이 영상에서 상대적으로 명확하게 표현되지 않으므로 가중치가 상대적으로 높게 결정되고, 금속을 나타내는 색상에 해당되는 부분은 경계 부분이 영상에서 상대적으로 명확하게 표현되기 때문에 가중치가 상대적으로 낮게 결정될 수 있다.
또는 전술한 바와 같이, 객체 영상(400)에 포함된 영역(410)의 색상 분포 분석 결과, 영상 강화의 대상이 되는 소정의 색상 표현 범위가 지배적이거나 소정의 임계치 이상의 분포를 갖는 경우, 해당 영역(410)에 대해 상대적으로 높은 가중치를 설정할 수 있다. 상기 소정의 임계치 및/또는 가중치는 임의로 결정될 수도 있고, 축적된 영상 처리 정보에 기초하여 결정될 수도 있다. 또는, 인공지능 기반 학습 모델을 통해 상기 임계치 및/또는 가중치에 관한 학습을 수행함으로써, 최적의 임계치 및/또는 가중치가 계속하여 업데이트될 수 있다.
또한, 영상 강화부(140)는 하나 이상의 영역들 중 적어도 일부에 대해 에지 기반 필터링 또는 평활화 필터링을 적용하여 객체 영상에 대한 제2 출력 영상을 생성할 수 있다. 또한, 영상 강화부(140)는 생성된 제1 출력 영상 및 제2 출력 영상에 기초하여 객체 영상에 대한 제3 출력 영상을 생성할 수 있다.
에지 기반 필터링 또는 평활화 필터링은 영상의 컨트라스트(contrast)를 강화하기 위한 기법으로서, 예컨대 Wiener filtering, Unsharp mask filtering, Histogram equalization, linear contrast adjustment의 기법 등을 포함하나, 이에 제한되지 않으며, 영상의 컨트라스트를 강화하기 위한 기법들을 포함할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 색상 분포 정보를 이용하여 획득된 영상과 에지 기반 필터링 또는 평활화 필터링을 적용하여 획득된 영상을 결합한 최종 출력 영상을 획득하는 과정을 설명하기 위한 도면이다. 도 5의 객체 영상(500), 제1 영역(510) 및 가중치가 적용된 제1 영역(510-1)은 도 4의 객체 영상(400), 제1 영역(410) 및 가중치가 적용된 제1 영역(410-1)에 각각 대응될 수 있다. 도 5를 참조하면, 영상 강화부(140)는 제1 영역(510)에 대해 상기 필터링이 적용된 제1 영역(510-2)을 생성할 수 있으며, 가중치가 적용된 제1 영역(510-1)과 필터링이 적용된 제1 영역(510-2)을 결합하여 최종 제1 영역(510-3)을 생성할 수 있다. 그리고, 영상 강화부(140)는 나머지 영역들에도 상기와 같은 거쳐 필터링 기법들이 적용된 제2 출력 영상 및 제1 출력 영상과 제2 출력 영상을 결합한 제3 출력 영상을 생성할 수 있다.
가중치가 적용된 영역(예컨대, 510-1), 필터링이 적용된 영역(예컨대, 510-2) 및/또는 상기 둘을 이용한 최종 영역(510-3)을 생성하는 과정은 영역 단위로 수행될 수 있다. 그러나 이에 한정되지 않으며, 상기 과정은 객체 영상 단위로 수행될 수도 있다. 예컨대, 객체 영상에 포함된 영역의 각각에 대해 가중치를 적용하는 과정을 수행하여 가중치가 적용된 객체 영상(제1 출력 영상)을 획득할 수 있다. 또한, 객체 영상에 포함된 영역의 각각에 대해 상기 필터링을 적용하는 과정을 수행하여 객체 영상(제2 출력 영상)을 획득할 수 있다. 또한, 상기 가중치가 적용된 객체 영상과 상기 에지가 강화된 객체 영상을 결합함으로써, 상기 최종 영상(제3 출력 영상)을 생성할 수 있다.
한편, 예컨대 분할 영역 내 유기물이 다른 물질에 비해 적게 포함된 경우에는, 제1 출력 영상에 제2 출력 영상을 결합함으로써 제1 출력 영상에 대한 영향이 상대적으로 적을 수 있는데, 이 경우 유기물을 나타내는 색상 분포 정보에 대한 가중치를 상대적으로 더 높게 결정할 수 있다. 또한 예컨대, 제1 출력 영상과 제2 출력 영상을 결합함으로써 영상 내 여러 객체가 겹쳐있는 경우에도 보다 정확한 객체 인식이 가능하게 할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 그래피컬 모델을 이용하여 최종 출력 영상을 획득하는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 영상 처리 장치는 색상 분포 정보에 포함된 색상 표현 범위들 각각을 개별 노드로 결정하고, 결정된 각 개별 노드간의 상대적인 관계 및 제1 출력 영상, 제2 출력 영상 및 제3 출력 영상과의 상대적인 관계를 이용하여, 계층적(hierarchical) 구조의 그래피컬 모델(graphical model)을 생성할 수 있다.
도 6을 참조하면, 각각의 분할 영역에서, 색상 분포 정보에 n개의 색상 표현 범위가 포함되어 있으면, 가장 하위 노드는 제1 색상 분포 정보(610-1)부터 제n 색상 분포 정보(610-n)까지 최대 n개의 노드를 포함할 수 있다. 그런 다음, 각 색상 분포 정보에 기초하여 해당 분할 영역 또는 해당 분할 영역의 색상 표현 범위들의 각각에 가중치를 적용하여 제1 출력 영상(620)을 획득할 수 있다. 제1 출력 영상(620)이 최종 출력 영상으로 결정될 수 있다. 또는 영상의 컨트라스트 강화 기법을 적용하여 획득된 제2 출력 영상(630)을 더 생성하고, 제1 출력 영상(620)과 제2 출력 영상(630)을 기초로 제3 출력 영상(640)을 생성할 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 7의 영상 처리 방법은 도 1의 영상 처리 장치가 수행하는 방법으로서, 도 1의 영상 처리 장치에 관한 설명은 도 7의 영상 처리 방법에 적용될 수 있다.
S700 단계에서, 분석 대상 영상을 수신할 수 있다.
영상은 단일 객체를 포함하는 영상을 포함할 수 있다. 예컨대, 입력 영상은 하나의 객체를 포함하는 화물에 관한 영상일 수 있다. 또한 예컨대, 입력 영상은 X-Ray 판독 기기가 촬영한 화물에 관한 X-Ray 영상일 수 있다. 상기 입력 영상은 X-Ray 영상 기기가 촬영한 로(raw) 이미지이거나 상기 로 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다. 또한 예컨대, 입력 영상은 X-Ray 판독 기기가 촬영하여 모니터와 같은 출력 장치로 전송하는 영상 정보를 캡쳐하여 데이터화함으로써 획득될 수도 있다.
S710 단계에서 분석 대상 영상에 포함되어 있는 객체를 추출할 수 있다. 예컨대, 분석 대상 영상의 픽셀값과 소정의 임계값을 비교하여 픽셀값을 이진화하고, 이진화된 픽셀값을 그룹핑함으로써 분석 대상 영상에 포함된 객체를 추출할 수 있다.
S720 단계에서 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할할 수 있다. 예컨대, 객체 영상의 크기에 기초하여 객체 영상을 분할하는 영역들의 개수나 크기를 결정할 수 있다. 또한, 객체 영상을 분할하는 영역들 각각의 크기는 서로 동일하지 않을 수 있다. 또한, 예컨대 객체 영상이 정방형이 아닌 경우, 객체 영상을 업샘플링(up-sampling) 또는 다운샘플링(down-sampling)하여 객체 영상을 정방형으로 변환한 후, 객체 영상을 하나 이상의 영역들로 분할할 수 있다.
S730 단계에서 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득할 수 있다. 예컨대, 색상 분포 정보는 n(n은 1보다 큰 정수)개의 색상 표현 범위의 각각에 대한 정보를 포함할 수 있다.
S740 단계에서, 색상 분포 정보에 기초하여, 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정할 수 있다. 예컨대, 하나 이상의 가중치는 n개의 색상 표현 범위 중 적어도 일부에 대한 가중치를 포함할 수 있다. 예컨대, 하나의 영역이 n개의 색상 표현 범위를 가진다고 하면, 해당 영역에서의 가중치의 개수는 1부터 n개를 가질 수 있다.
S750 단계에서, 결정된 하나 이상의 가중치를 하나 이상의 영역들 중 적어도 일부에 적용하여 객체 영상에 대한 제1 출력 영상을 생성할 수 있다.
도 7에는 도시되지 않았으나, 하나 이상의 영역들 중 적어도 일부에 대해 에지 기반 필터링 또는 평활화 필터링을 적용하여 객체 영상에 대한 제2 출력 영상을 생성할 수 있다. 또한 예컨대, 생성된 제1 출력 영상 및 제2 출력 영상에 기초하여 객체 영상에 대한 제3 출력 영상을 생성할 수 있다
도 1 내지 도 7을 참조하여 설명한 실시 예에서는 단일 객체를 포함하는 영상을 입력 받아, 객체와 배경을 분리하는 예를 설명하였다. 그러나, 반드시 이에 한정되지 않으며, 입력 영상이 둘 이상의 객체를 포함하는 영상일 수도 있다. 이 경우, 입력 영상으로부터 둘 이상의 객체와 배경을 구분하고, 둘 이상의 객체의 각각에 대해 위치 정보를 생성하여 이용할 수도 있다. 또한, 이 경우, 도 2를 참조한 설명에서, 복수의 픽셀 그룹이 형성된 경우, 가장 큰 형태로 형성된 픽셀 그룹뿐만 아니라 다른 픽셀 그룹에 대해서도 각각 객체에 대한 영역인 것으로 결정할 수 있다. 각각의 결정된 객체의 위치 정보를 생성하는 과정은 하나의 객체를 포함하는 영상에 대해 설명한 바와 동일하다.
따라서, 본 개시에 따르면 객체의 물성 특징이 반영된 색상 분포 정보를 이용함으로써 객체 영상의 각 영역마다 적합한 영상 처리를 통해 객체의 형태적 특징이 강화된 영상을 획득하는 영상 처리 장치 및 방법이 제공될 수 있다. 또한, 계층적 구조의 그래피컬 모델의 이용하여 적응성 있는 영상 처리 장치 및 방법이 제공될 수 있다.
본 개시의 영상 처리 장치의 구성부들 및 영상 처리 방법의 단계들 중 적어도 일부는 인공지능 기반 또는 딥러닝 기반의 모델을 이용하여 수행될 수 있다. 예컨대, 객체 영상을 분할하여 생성되는 영역의 크기, 개수, 색상 분포 정보에 기초하여 결정되는 가중치, 본 개시에서 언급된 각종 임계치, 제2 출력 영상의 생성 여부 등은 인공지능 기반 또는 딥러닝 기반의 모델을 이용하여 학습될 수 있고, 학습된 모델에 따른 정보가 이용될 수 있다.
본 개시의 딥러닝 기반의 모델은 완전 합성곱 신경망(완전 컨볼루션 뉴럴 네트워크, fully convolutional neural network), 합성곱 신경망(컨볼루션 뉴럴 네트워크, convolutional neural network), 순환 신경망(회귀 뉴럴 네트워크, recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 발명은 영상의 특정 색상 범위를 강화하는데 이용될 수 있다.

Claims (15)

  1. 분석 대상 영상을 수신하는 영상 수신부;
    상기 분석 대상 영상에 포함되어 있는 객체를 추출하고, 상기 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 객체 영상 추출부;
    상기 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하고, 상기 색상 분포 정보에 기초하여, 상기 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하는 색상 분포 분석부; 및
    상기 결정된 하나 이상의 가중치를 상기 하나 이상의 영역들 중 적어도 일부에 적용하여 상기 객체 영상에 대한 제1 출력 영상을 생성하는 영상 강화부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 객체 영상 추출부는,
    상기 분석 대상 영상의 픽셀값과 소정의 임계값을 비교하여 상기 픽셀값을 이진화하고, 상기 이진화된 픽셀값을 그룹핑함으로써 상기 분석 대상 영상에 포함된 상기 객체를 추출하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 객체 영상 추출부는,
    상기 객체 영상의 크기에 기초하여 상기 객체 영상을 상기 하나 이상의 영역들로 분할하고,
    상기 하나 이상의 영역들의 각각은 정방형인 영상 처리 장치.
  4. 제3항에 있어서,
    상기 객체 영상이 정방형이 아닌 경우,
    상기 객체 영상을 업샘플링(up-sampling) 또는 다운샘플링(down-sampling)하여 상기 객체 영상을 정방형으로 변환한 후, 상기 객체 영상을 상기 하나 이상의 영역들로 분할하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 색상 분포 정보는 n 개의 색상 표현 범위의 각각에 대한 정보를 포함하고,
    상기 하나 이상의 가중치는 상기 n 개의 색상 표현 범위 중 적어도 일부에 대한 가중치를 포함하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 n 개의 색상 표현 범위 중 소정의 색상 표현 범위에 대한 가중치가 상대적으로 높게 결정되는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 영상 강화부는,
    상기 하나 이상의 영역들 중 적어도 일부에 대해 에지 기반 필터링 및 평활화 필터링 중 적어도 하나를 적용하여 상기 객체 영상에 대한 제2 출력 영상을 더 생성하고,
    상기 제1 출력 영상 및 상기 제2 출력 영상에 기초하여, 상기 객체 영상에 대한 제3 출력 영상을 생성하는 영상 처리 장치.
  8. 분석 대상 영상을 수신하는 단계;
    상기 분석 대상 영상에 포함되어 있는 객체를 추출하는 단계;
    상기 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 단계;
    상기 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하는 단계;
    상기 색상 분포 정보에 기초하여, 상기 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하는 단계; 및
    상기 결정된 하나 이상의 가중치를 상기 하나 이상의 영역들 중 적어도 일부에 적용하여 상기 객체 영상에 대한 제1 출력 영상을 생성하는 단계를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 분석 대상 영상에 포함되어 있는 객체를 추출하는 단계는,
    상기 분석 대상 영상의 픽셀값과 소정의 임계값을 비교하여 상기 픽셀값을 이진화하고, 상기 이진화된 픽셀값을 그룹핑함으로써 상기 분석 대상 영상에 포함된 상기 객체를 추출하는 단계를 포함하는 영상 처리 방법.
  10. 제8항에 있어서,
    상기 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 단계는상기 객체 영상의 크기에 기초하여 수행되고,
    상기 하나 이상의 영역들의 각각은 정방형인 영상 처리 방법.
  11. 제10항에 있어서,
    상기 객체 영상이 정방형이 아닌 경우,
    상기 객체 영상을 업샘플링(up-sampling) 또는 다운샘플링(down-sampling)하여 상기 객체 영상을 정방형으로 변환한 후, 상기 객체 영상을 상기 하나 이상의 영역들로 분할하는 영상 처리 방법.
  12. 제8항에 있어서,
    상기 색상 분포 정보는 n 개의 색상 표현 범위의 각각에 대한 정보를 포함하고,
    상기 하나 이상의 가중치는 상기 n 개의 색상 표현 범위 중 적어도 일부에 대한 가중치를 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 n 개의 색상 표현 범위 중 소정의 색상 표현 범위에 대한 가중치가 상대적으로 높게 결정되는 영상 처리 방법.
  14. 제8항에 있어서,
    상기 영상 처리 방법은,
    상기 하나 이상의 영역들 중 적어도 일부에 대해 에지 기반 필터링 및 평활화 필터링 중 적어도 하나를 적용하여 상기 객체 영상에 대한 제2 출력 영상을 더 생성하는 단계; 및
    상기 제1 출력 영상 및 상기 제2 출력 영상에 기초하여, 상기 객체 영상에 대한 제3 출력 영상을 생성하는 단계를 더 포함하는 영상 처리 방법.
  15. 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서,
    상기 프로그램은,
    분석 대상 영상을 수신하는 단계;
    상기 분석 대상 영상에 포함되어 있는 객체를 추출하고, 상기 객체를 포함하는 객체 영상을 하나 이상의 영역들로 분할하는 단계;
    상기 하나 이상의 영역들 각각에 대해 색상 분포 정보를 획득하는 단계;
    상기 색상 분포 정보에 기초하여, 상기 하나 이상의 영역들 중 적어도 일부에 대해 하나 이상의 가중치를 결정하는 단계; 및
    상기 결정된 하나 이상의 가중치를 상기 하나 이상의 영역들 중 적어도 일부에 적용하여 상기 객체 영상에 대한 제1 출력 영상을 생성하는 단계를 실행하는 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2018/016865 2017-12-29 2018-12-28 영상 처리 장치 및 방법 WO2019132592A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0183860 2017-12-29
KR1020170183860A KR101893557B1 (ko) 2017-12-29 2017-12-29 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019132592A1 true WO2019132592A1 (ko) 2019-07-04

Family

ID=63453393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016865 WO2019132592A1 (ko) 2017-12-29 2018-12-28 영상 처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101893557B1 (ko)
WO (1) WO2019132592A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102032796B1 (ko) * 2018-12-07 2019-11-08 (주)제이엘케이인스펙션 영상 분석 장치 및 방법
KR101995294B1 (ko) * 2018-12-24 2019-07-03 (주)제이엘케이인스펙션 영상 분석 장치 및 방법
CN111914968B (zh) * 2020-08-11 2023-10-13 上海双十信息科技有限公司 一种基于rfid技术的物品装载精准定位方法
KR102339619B1 (ko) * 2020-11-19 2021-12-17 광주과학기술원 이미지 품질향상장치, 이미지 품질향상방법
KR102293548B1 (ko) * 2021-03-11 2021-08-25 대한민국 인공지능을 이용한 위험물 검출 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078610A (ko) * 2001-04-06 2002-10-19 티오엠테크놀로지 주식회사 적외선 영상에서의 관심 대상 분할 방법
JP2009122108A (ja) * 2007-11-15 2009-06-04 Tongfang Nuctech Co Ltd 物質識別方法および物質識別機器
US20100329556A1 (en) * 2009-06-26 2010-12-30 Canon Kabushiki Kaisha Image conversion method and apparatus, and pattern identification method and apparatus
KR20140090777A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833531A (en) * 1986-04-21 1989-05-23 Konishiroku Photo Industry Co., Ltd. Technique for interpolating a color image for image enlargement or reduction based on look-up tables stored in memory
US7129942B2 (en) * 2002-12-10 2006-10-31 International Business Machines Corporation System and method for performing domain decomposition for multiresolution surface analysis
EP2397969B1 (en) * 2004-06-01 2013-04-17 Lumidigm, Inc. Multispectral imaging biometrics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078610A (ko) * 2001-04-06 2002-10-19 티오엠테크놀로지 주식회사 적외선 영상에서의 관심 대상 분할 방법
JP2009122108A (ja) * 2007-11-15 2009-06-04 Tongfang Nuctech Co Ltd 物質識別方法および物質識別機器
US20100329556A1 (en) * 2009-06-26 2010-12-30 Canon Kabushiki Kaisha Image conversion method and apparatus, and pattern identification method and apparatus
KR20140090777A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템

Also Published As

Publication number Publication date
KR101893557B1 (ko) 2018-08-30

Similar Documents

Publication Publication Date Title
WO2019132592A1 (ko) 영상 처리 장치 및 방법
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
US9807280B2 (en) Image processing apparatus, method, and storage medium
CN103020965A (zh) 一种基于显著性检测的前景分割方法
WO2019132587A1 (ko) 영상 분석 장치 및 방법
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
WO2019132590A1 (ko) 영상 변환 방법 및 장치
CN103093274B (zh) 基于视频的行人计数的方法
JP2005228340A (ja) 画像解析装置、画像解析方法、及びブロブ識別装置
WO2019132588A1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN106934794A (zh) 信息处理装置，信息处理方法和检查系统
CN102496157A (zh) 基于高斯多尺度变换及颜色复杂度的图像检测方法
CN106909884B (zh) 一种基于分层结构和可变形部分模型的手部区域检测方法和装置
EP3756160A1 (en) System and method for fast object detection
CN110032946A (zh) 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法
CN111160194B (zh) 一种基于多特征融合的静态手势图像识别方法
CN111028263B (zh) 一种基于光流颜色聚类的运动物体分割方法及其系统
Izzah et al. Translation of sign language using generic fourier descriptor and nearest neighbour
JP2016095701A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2019132093A1 (ko) 바코드 검출 장치 및 이를 이용한 바코드 검출 방법
WO2020222555A1 (ko) 영상 분석 장치 및 방법
Khairudin et al. A fast and efficient segmentation of soil-transmitted helminths through various color models and k-Means clustering
Garg et al. Color based segmentation using K-mean clustering and watershed segmentation
CN110717412A (zh) 一种检测恶意pdf文档的方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18896432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18896432

Country of ref document: EP

Kind code of ref document: A1