WO2022231053A1 - 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법 - Google Patents

복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법 Download PDF

Info

Publication number
WO2022231053A1
WO2022231053A1 PCT/KR2021/006156 KR2021006156W WO2022231053A1 WO 2022231053 A1 WO2022231053 A1 WO 2022231053A1 KR 2021006156 W KR2021006156 W KR 2021006156W WO 2022231053 A1 WO2022231053 A1 WO 2022231053A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
dynamic
unit
dynamic object
image
Prior art date
Application number
PCT/KR2021/006156
Other languages
English (en)
French (fr)
Inventor
배경해
Original Assignee
(주)비상정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비상정보통신 filed Critical (주)비상정보통신
Priority to US17/871,900 priority Critical patent/US20220358744A1/en
Publication of WO2022231053A1 publication Critical patent/WO2022231053A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to a multi-resolution image processing apparatus and method capable of processing a plurality of dynamic objects.
  • the recent image compression method extracts the changed image portion compared to the previous frame and compresses and transmits only the changed image portion. Compressed transmission method.
  • An object of the present invention is to provide a multi-resolution image processing apparatus and method applied to a plurality of dynamic object recognition capable of solving the problems of the prior art.
  • a multi-resolution image processing apparatus capable of recognizing a plurality of dynamic objects for solving the above problems includes: a dynamic object identification unit for identifying a dynamic object by extracting a motion vector from an input image; a dynamic object ID granting unit for assigning an ID to the dynamic object identified by the dynamic object identification unit; Determining the authenticity of the dynamic object identified in the dynamic object identification unit based on the standard shape for each type of learned and stored dynamic object, classifying at least one object of interest and uninterested object, and then removing the uninterested object object artificial intelligence discrimination unit; a region of interest detection unit extracting feature points from the at least one object of interest and setting at least a partial region of the object of interest as a region of interest; and a variable compression unit for compressing the image so that a compression rate for the region of interest and a compression rate for the object of interest are different from each other.
  • a multi-resolution image processing method capable of recognizing a plurality of dynamic objects for solving the above problems includes: identifying a dynamic object by extracting a motion vector from an image input from a dynamic object identification unit; assigning, by a dynamic object ID granting unit, an ID to the dynamic object identified by the dynamic object identification unit; After determining the authenticity of the dynamic object identified by the dynamic object identification unit on the basis of the standard shape for each type of dynamic object learned and stored by the dynamic object AI discrimination unit, classifying at least one object of interest and non-interested object, removing the object of interest; extracting a feature point from the at least one ROI by a region of interest detector, and setting at least one or more partial regions of the ROI as an ROI; and compressing the image so that the compression ratio for the region of interest and the compression ratio for the object of interest are different from each other in a variable compression unit. and searching for and providing a dynamic object and/or an object of interest in a video of a different time zone that meets the user's input
  • a multi-resolution image processing apparatus and method capable of recognizing a plurality of dynamic objects recognizes an object for each dynamic object when there are a plurality of dynamic objects and moves a region of interest according to their movement, It is effective in reducing the time required for storing and retrieving objects by subdividing the region of interest of objects, compressing and transmitting them in multiple resolutions.
  • FIG. 1 is an exemplary diagram of a device block diagram of a multi-resolution image processing apparatus capable of processing a plurality of dynamic objects according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an embodiment of the dynamic object identification unit shown in FIG. 1 .
  • FIG. 3 is a block diagram illustrating an embodiment of the dynamic object ID granting unit illustrated in FIG. 1 .
  • FIG. 4 is a block diagram illustrating an embodiment of the dynamic object artificial intelligence determining unit shown in FIG. 1 .
  • FIG. 5 is a block diagram illustrating an exemplary embodiment of the ROI detector shown in FIG. 1 .
  • FIG. 6 is a block diagram illustrating an embodiment of the variable compression unit shown in FIG. 1 .
  • FIG. 7 is a diagram illustrating an example of an input image.
  • FIG. 8 is a diagram illustrating a region of interest extracted from the input image shown in FIG. 7 .
  • FIG. 9 is a diagram illustrating an example of decoding compressed data by different compression rates of an ROI and other regions with respect to the input image shown in FIG. 7 .
  • FIG. 10 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • FIG. 11 is a detailed flowchart of the process S720 illustrated in FIG. 10 .
  • FIG. 12 is a detailed flowchart of the process S730 illustrated in FIG. 10 .
  • FIG. 13 is a detailed flowchart of the process S750 shown in FIG. 10 .
  • first, second, etc. used in the present invention may be used to describe the components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • FIG. 1 is a block diagram of a device block diagram of a multi-resolution image processing apparatus capable of processing a plurality of dynamic objects according to an embodiment of the present invention
  • FIG. 2 is an embodiment of the dynamic object identification unit shown in FIG.
  • Fig. 3 is a block diagram showing an embodiment of the dynamic object ID granting unit shown in Fig. 1
  • Fig. 4 is a block diagram showing an embodiment of the dynamic object artificial intelligence determining unit shown in Fig. 1
  • FIG. 5 is a block diagram illustrating an embodiment of the region-of-interest detection unit shown in FIG. 1
  • FIG. 6 is a block diagram illustrating an embodiment of the variable compression unit illustrated in FIG. 7 is a diagram illustrating an example of an input image
  • FIG. 5 is a block diagram illustrating an embodiment of the region-of-interest detection unit shown in FIG. 1
  • FIG. 1 is a
  • FIG. 8 is a diagram illustrating an ROI extracted from the input image shown in FIG. 7
  • FIG. 9 is an ROI with respect to the input image shown in FIG. 7 . It is a diagram showing an example of decoding compressed data with different compression rates of the and other regions.
  • the multi-resolution image processing apparatus 100 capable of processing a plurality of dynamic objects according to an embodiment of the present invention may receive an image from the camera 10 .
  • the multi-resolution image processing apparatus 100 may set at least one ROI with respect to the input image.
  • compressed data may be generated by compressing an image by setting compression ratios of the region of interest and other regions to at least one different compression ratio.
  • compressed data may be provided to the image storage device 200 .
  • compressed data may be transmitted over a network.
  • the multi-resolution image processing apparatus 100 maintains the highest image quality at a user-specified stage for the highest region of interest in the image and compresses it with the lowest compression rate, and maintains the next stage of image quality for the region of interest in the next stage to have a high compression rate. is compressed, and the highest compression ratio can be applied to other areas by maintaining the low quality specified by the user.
  • the image processing apparatus 100 sets a person's face or a license plate of a car as the highest region of interest, sets a dynamic object, such as a person or a vehicle, as a next-stage region of interest, and sets a background region or interest in which there is no movement. Animals, which are dynamic objects that do not exist, can be set as other areas.
  • the size of the compressed data generated by the multi-resolution image processing apparatus 100 can be greatly reduced, and when the compressed data is decoded, the portion having main information in the image, that is, the portion corresponding to the region of interest, is High resolution can be secured.
  • the image processing apparatus 100 includes a dynamic object identification unit 110 , a dynamic object ID granting unit 120 , a dynamic object artificial intelligence determining unit 130 , an ROI detection unit 140 , and a variable compression unit.
  • a dynamic object identification unit 110 a dynamic object ID granting unit 120 , a dynamic object artificial intelligence determining unit 130 , an ROI detection unit 140 , and a variable compression unit.
  • an image storage device 160 may be included.
  • an image search unit 170 may be included.
  • the dynamic object identification unit 110 may identify a dynamic object by extracting a motion vector from the input image.
  • the dynamic object identification unit 110 may recognize a moving vehicle or a person in the image and identify it as a dynamic object.
  • the dynamic object identification unit 110 may include a first storage 111 , a second storage 112 , a motion vector detector 113 , and a dynamic object detector 114 .
  • An image is made of a plurality of consecutive frames, and the first storage 111 and the second storage 112 may store images corresponding to each frame.
  • the first storage 111 may provide the stored image to the second storage 112 and store an image of a new frame. Accordingly, the first image stored in the first storage 111 and the second image stored in the second storage 112 correspond to two consecutive frames.
  • the motion vector detector 113 may detect a motion vector by comparing the first image stored in the first storage 111 with the second image stored in the second storage 112 .
  • Various motion vector detection algorithms may be applied to the motion vector detector 113 .
  • the dynamic object detector 114 may determine the dynamic object using the motion vector.
  • the dynamic object may be a dynamic region corresponding to a specific object moving in an image, and the dynamic object is subject to image compression as described above.
  • the dynamic object ID assigning unit 120 is configured to assign an ID to the dynamic object identified by the dynamic object identifying unit 110 , and includes a dynamic object ID assigning unit 121 and a dynamic object motion vector calculating unit 122 . ) and a motion vector storage unit 122 for each dynamic object.
  • the dynamic object ID allocator 121 may be configured to allocate an ID according to a type of a dynamic object.
  • the dynamic object motion vector calculating unit 122 may be configured to calculate motion vectors of dynamic objects to which IDs are assigned.
  • the motion vector storage unit 122 for each dynamic object may be configured to store a motion vector of a dynamic object to which an ID is assigned.
  • the dynamic object artificial intelligence determination unit 130 determines the authenticity of the dynamic object identified by the dynamic object identification unit 110 based on the standard shape for each type of the learned and stored dynamic object, and determines the user-specified object of interest. After classifying and uninterested objects, it may be a configuration that removes uninterested objects.
  • the dynamic object artificial intelligence determination unit 130 includes an object of interest designator 131 , an object of interest ID maintenance and storage unit 132 , a non-interest ID deletion unit 133 , and a learning determination unit 134 .
  • the object of interest designation unit 131 may be configured to designate an object of interest among dynamic objects based on user input information.
  • the object of interest ID maintenance storage unit 132 may be configured to maintain the ID of a designated object of interest.
  • the uninterested object ID deletion unit 133 may be configured to filter to delete the remaining dynamic object IDs (non-interested object IDs) excluding the interested object from among the identified dynamic objects.
  • the learning determining unit 134 is configured to determine the authenticity of the object of interest based on the learned and stored dynamic object, and determines the authenticity using a deep learning learning determination algorithm.
  • deep learning is a technology used to cluster or classify objects or data. It is a technology that inputs a large amount of data into a computer and classifies similar ones.
  • Deep learning is an artificial intelligence learning method proposed to overcome the limitations of artificial neural networks.
  • the deep learning learning discrimination algorithm may include a Deep Belief Network, an Autoencoder, a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Deep Q-Network, and the like, and the deep learning learning algorithm listed in the present invention is an example , but is not limited thereto.
  • CNN Convolutional Neural Network
  • a learning algorithm may be used.
  • the ROI detector 140 extracts a feature point from the dynamic object and sets at least a partial region of the dynamic object as the ROI.
  • the region of interest detector 140 sets a person identified as a dynamic object as a region of interest of a normal grade and recognizes a face from the identified person and sets it as a region of interest of the highest grade, or a vehicle identified as a dynamic object. can be recognized as the area of interest of the normal grade, and the license plate of the identified vehicle can be set as the area of interest of the highest grade.
  • the region of interest detector 140 includes a dynamic object recognizer 141 and a region of interest recognizer 142 .
  • the dynamic object recognizer 141 may receive an image and a dynamic object and determine which type of the corresponding dynamic object is. According to an embodiment, the dynamic object recognizer 141 may receive an image together and determine the type of the dynamic object by referring to the image.
  • the region of interest recognizer 142 may be configured to recognize a region of interest according to the type of dynamic object set by the user.
  • the region of interest recognizer 142 may employ various recognition algorithms according to the type of object of interest, such as a face recognition algorithm and a character recognition algorithm.
  • the dynamic object may include various dynamic objects in addition to people and cars, and may include, for example, a bus, a truck, a taxi, a bicycle, a motorcycle, a train, an airplane, a ship, a hang glider, an unmanned aerial vehicle, and a quick board.
  • the ROI detector 140 may set an ROI having main information in such a dynamic object.
  • variable compression unit 150 may compress the image so that the compression ratio for the region of interest and the compression ratio for the dynamic object are different from each other.
  • the variable compression unit 150 may compress the image so that the resolution and compression ratio for a region and compression ratio for other regions of the image are different from each other according to the degree of interest. For example, a non-dynamic object can be changed to a low quality and compressed high, the region of interest can be set to an intermediate image quality and compression ratio, and the region of interest can be low or uncompressed to maintain the highest image quality.
  • variable compression unit 150 performs image compression on the dynamic object in which there is a change from the previous frame for each frame of the image, and for the remaining regions except for the dynamic object with no change from the previous frame.
  • Image compression for image transmission may not be performed as an uninterested image part.
  • the variable compression unit 150 may reduce the size of image data by not performing image compression on regions that do not change from the previous frame, that is, regions that are not dynamic objects.
  • variable compression unit 150 may perform lossless compression on the region of interest and lossy compression on the dynamic object. For example, assuming that an image has a first resolution, the ROI may be losslessly compressed to have the first resolution. That is, the ROI may have the resolution of the original image as it is.
  • variable compression unit 150 may perform lossy compression for a dynamic object to have a second resolution lower than the first resolution. This is because the region of interest includes main information, but the remaining regions of the dynamic object do not include main information. As described above, the size of image data can be reduced by maintaining high resolution only in the region of interest and compressing the remaining regions by lowering the resolution.
  • variable compression unit 150 may compress the image so that the region of interest, the dynamic object, and the remaining regions have different resolutions in the image.
  • the variable compression unit 130 compresses the image so that the region of interest has a first resolution, the dynamic object has a second resolution, and regions other than the region of interest and the dynamic object have a third resolution. can be compressed.
  • the first resolution may be higher than the second resolution
  • the second resolution may be higher than the third resolution.
  • variable compression unit 150 may periodically compress and transmit the entire image of a frame. This is to improve the reliability of image restoration by compressing the entire image in general, but periodically compressing the entire image of the frame.
  • variable compression unit 150 may include a compression region determiner 151 , a compression unit 152 , and a compressed data generator 153 .
  • the compressed region determiner 151 may receive an image, a dynamic object, and a region of interest.
  • the compression region determiner 151 may classify a region to be compressed and a compression ratio for the region, and provide the region to the compression unit 152 .
  • the compression unit 152 may include a plurality of compressors, and at least one of the plurality of compressors may be a lossless compressor or a lossy compressor.
  • the compression unit may compress the region of interest using the first to n ⁇ 1th compressors, and the dynamic object may be compressed by the nth compressor.
  • the compressed data generator 153 may generate one compressed data from the compressed data output from the plurality of compressors.
  • the number of compressors may be set in various ways, and accordingly, compression may be performed by differentially compressing each region in one image.
  • the ROI may have a higher resolution than other regions.
  • the ROI may have the resolution of the original image as it is.
  • FIGS. 7 to 9 are diagrams illustrating differential compression for each region in an image, and an example of a processing process of the image processing apparatus 100 will be described below with reference to FIGS. 7 to 9 .
  • FIG. 7 is a diagram illustrating an example of an input image, and shows an image input from a camera or the like.
  • FIG. 8 is a diagram illustrating a region of interest extracted from the input image shown in FIG. 7 .
  • the image processing apparatus 100 may detect a region of interest from an image, and in this example, detecting a human face region as a region of interest is illustrated.
  • FIG. 9 is a diagram illustrating an example of decoding compressed data by different compression rates of an ROI and other regions with respect to the input image shown in FIG. 7 .
  • the human face which is the region of interest
  • the human face has the same resolution as the image shown in FIG. 7
  • other regions have lower resolution. That is, as described above, the size of compressed data can be greatly reduced by maintaining the high resolution of the main region of interest but lowering the resolution of the other regions. Accordingly, transmission or storage of compressed data can be very easy.
  • the image search unit 170 may be configured to search for dynamic objects and/or objects of interest in moving images of different time zones that meet the user's input conditions.
  • the image search unit 170 includes a dynamic object search word input unit 171 , a conditional search video display unit 172 , a time synchronization unit 173 , and a backup unit 174 .
  • the dynamic object search condition input unit 171 may be configured to receive a search condition for searching for an image including an object of interest matching the condition input by the user.
  • the search video extracting unit 172 for each condition may be configured to extract an image matching the search condition.
  • the time synchronization unit 173 is configured to time-synchronize images that meet the same search condition among images captured at different time zones, and when a search condition is input, it helps to reproduce a plurality of images matching the search condition. can be configuration.
  • the time synchronization unit 173 may include a recorder/software loaded with time synchronization software/software, and the time synchronization software may be mounted on a USB, CD, RAM, SSD, or HDD.
  • the backup unit 174 may be configured to back up a time-synchronized image.
  • the image processing apparatus 100 may include a representative image generator (not shown) and a transmitter (not shown).
  • the representative image generator may receive information on the ROI from the ROI detector and generate a representative image using the ROI. For example, the representative image generator may set the representative image for a region of interest that is repeatedly present for the largest number of frames in the image.
  • the representative image may be used as an image representative of the corresponding compressed data.
  • the transmitting unit may attach a representative image to the compressed data provided by the variable compression unit and transmit it to a storage device or the like.
  • FIG. 10 is a flowchart illustrating an image processing method according to an embodiment of the present invention
  • FIG. 11 is a detailed flowchart of the S720 process shown in FIG. 10
  • FIG. 12 is a detailed flowchart of the S730 process shown in FIG. 13 is a detailed flowchart of the process S750 shown in FIG. 10 .
  • the multi-resolution image processing method ( S700 ) capable of recognizing a plurality of dynamic objects according to an embodiment of the present invention is first performed in motion in the image input from the dynamic object identification unit 110 .
  • a dynamic object is identified by extracting a vector (S710).
  • the dynamic object identification unit 110 may include a first storage 111 , a second storage 112 , a motion vector detector 113 , and a dynamic object detector 114 .
  • An image is made of a plurality of consecutive frames, and the first storage 111 and the second storage 112 may store images corresponding to each frame.
  • the first storage 111 may provide the stored image to the second storage 112 and store an image of a new frame. Accordingly, the first image stored in the first storage 111 and the second image stored in the second storage 112 correspond to two consecutive frames.
  • the motion vector detector 113 may detect a motion vector by comparing the first image stored in the first storage 111 with the second image stored in the second storage 112 .
  • Various motion vector detection algorithms may be applied to the motion vector detector 113 .
  • the dynamic object detector 114 may determine the dynamic object using the motion vector.
  • the dynamic object may be a dynamic region corresponding to a specific object moving in an image, and the dynamic object is subject to image compression as described above.
  • the dynamic object ID granting unit 120 assigns an ID to the dynamic object identified by the dynamic object identification unit 110 ( S720 ).
  • the step S720 may be a configuration in which the dynamic object ID allocator 121 allocates an ID according to the type of the dynamic object.
  • the dynamic object motion vector calculating unit 122 may be configured to calculate motion vectors of dynamic objects to which IDs are assigned.
  • the motion vector storage unit 122 for each dynamic object may be configured to store a motion vector of a dynamic object to which an ID is assigned.
  • the dynamic object artificial intelligence determination unit determines the authenticity of the dynamic object identified by the dynamic object identification unit 110 based on the standard shape for each type of dynamic object learned and stored, and at least one or more objects of interest and uninterested objects designated by the user. After classifying , the uninterested object is removed (S730);
  • the object of interest designator 131 designates the object of interest among the dynamic objects based on the user's input information (S731), and the ID of the object of interest specified in the object of interest ID maintenance and storage unit 132 is stored. Maintain (S732), filter (S733) to delete the remaining dynamic object IDs (non-interest IDs) except for the object of interest among the dynamic objects identified by the uninterested object ID deletion unit 133, and the learning discrimination unit 134 It is a configuration for determining the authenticity of the object of interest based on the dynamic object learned and stored in , and may include a process of determining the authenticity using a deep learning learning discrimination algorithm (S734).
  • the ROI detector 140 extracts feature points from the at least one ROI, and sets at least one or more partial regions of the ROI as the ROI (S740).
  • the dynamic object recognizer 141 receives an image and a dynamic object, determines which type the corresponding dynamic object is (S741), and the type of the dynamic object set by the user in the region of interest recognizer 142 It may include the process of recognizing the region of interest according to (S742).
  • the region of interest recognizer 142 may employ various recognition algorithms according to the type of object of interest, such as a face recognition algorithm and a character recognition algorithm.
  • the configuration of the ROI detection unit 140 is described as an example of a person's face and a license plate of a vehicle mentioned in the present invention, it is not necessarily limited thereto. Accordingly, as the dynamic object, there may be various dynamic objects in addition to people and cars, and the region of interest detector 140 may set the region of interest having main information in the dynamic object.
  • variable compression unit 150 compresses the image so that the compression ratio for the region of interest and the compression ratio for the object of interest are different from each other ( S740 ).
  • the variable compression unit 150 may compress the image so that the compression ratio for the region of interest and the compression ratio for the dynamic object are different from each other.
  • the variable compression unit 150 may compress the image so that the compression rate for the region of interest and the compression rate for other regions of the image are different from each other. For example, a dynamic object may be changed to a low resolution and compressed, and a region of interest may be compressed or uncompressed to maintain a high quality.
  • variable compression unit 150 performs image compression on the dynamic object in which there is a change from the previous frame for each frame of the image, and for the remaining regions except for the dynamic object with no change from the previous frame. Image compression may not be performed. For example, in an image in which a car moves, backgrounds other than the car as a dynamic object may be expressed as the same image data in a plurality of frames. Accordingly, the variable compression unit 150 may reduce the size of image data by not performing image compression on regions that do not change from the previous frame, that is, regions that are not dynamic objects.
  • variable compression unit 150 may perform lossless compression on the region of interest and lossy compression on the dynamic object. For example, assuming that an image has a first resolution, the ROI may be losslessly compressed to have the first resolution. That is, the ROI may have the resolution of the original image as it is.
  • variable compression unit 150 may perform lossy compression for a dynamic object to have a second resolution lower than the first resolution. This is because the region of interest includes main information, but the remaining regions of the dynamic object do not include main information. As described above, the size of image data can be reduced by maintaining high resolution only in the region of interest and compressing the remaining regions by lowering the resolution.
  • variable compression unit 150 may compress the image so that the region of interest, the dynamic object, and the remaining regions have different resolutions in the image.
  • the variable compression unit 130 compresses the image so that the region of interest has a first resolution, the dynamic object has a second resolution, and regions other than the region of interest and the dynamic object have a third resolution. can be compressed.
  • the first resolution may be higher than the second resolution
  • the second resolution may be higher than the third resolution.
  • variable compression unit 150 may periodically compress and transmit the entire image of a frame. This is to improve the reliability of image restoration by compressing the entire image in general, but periodically compressing the entire image of the frame.
  • step S740 after receiving an image, a dynamic object, and a region of interest from the compression region determiner 151, a region to be compressed and a compression ratio for the region are divided, and the region is provided to the compression unit 152 (S741). , the compression unit compresses the region of interest using the first to n-1 compressors, and the dynamic object is compressed by the n-th compressor (S742), and then compressed data output from the plurality of compressors by the compressed data generator 153 may include a process of generating one piece of compressed data (S743).
  • the image search unit 170 searches for and provides dynamic objects and/or objects of interest in moving images of different time zones that meet the user's input conditions (S750).
  • a search condition for searching for an image including an object of interest matching the condition input by the user is input from the dynamic object search condition input unit 171 (S751), and the search video extracting unit 172 for each condition is performed. It may include extracting an image that meets the search condition (S752), and time synchronizing (S753) images that meet the same search condition among the images captured at different times in the time synchronization unit 173. . Accordingly, when a search condition is input, it is possible to help reproduce a plurality of images matching the search condition.
  • the time synchronization unit 173 may include a recorder/software loaded with time synchronization software/software, and the time synchronization software may be mounted on a USB, CD, RAM, SSD, or HDD.
  • the multi-resolution image processing apparatus and method capable of recognizing a plurality of dynamic objects recognizes objects for each dynamic object when there are a plurality of dynamic objects and moves the region of interest according to their movements. It is effective in reducing the time required for storing and retrieving objects by subdividing the region of interest of objects, compressing and transmitting them in multiple resolutions.
  • ⁇ used in an embodiment of the present invention may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • OS operating system
  • software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • the method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Multi-resolution image processing device capable of processing a plurality of dynamic object recognition
  • FIG. 14 is a detailed flowchart of the process ⁇ 750 shown in FIG. 10 .
  • 14 is a detailed flowchart of the process S750 shown in FIG. 10 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치는 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별하는 동적객체 식별부; 상기 동적객체 식별부에서 식별된 동적객체에 ID를 부여하는 동적객체 ID 부여부; 학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적객체 식별부에서 식별된 동적객체의 진위여부를 판별하고, 사용자가 지정한 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 동적객체 인공지능 판별부; 상기 적어도 하나 이상의 관심객체에서 특징점을 추출하여, 상기 관심 객체의 적어도 일부 영역을 관심 영역으로 설정하는 관심 영역 검출부; 상기 관심 영역에 대한 압축률과 상기 관심 객체에 대한 압축률이 서로 다르도록 상기 영상을 압축하는 가변 압축부를 포함한다.

Description

복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법
본 발명은 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법에 관한 것이다.
다양한 분야에 영상 시스템이 적용됨에 따라, 그러한 영상 처리를 위한 영상 처리 기술에도 다양한 요구가 발생하고 있다. 예를 들어, 영상을 보다 오랜 기간 저장하는 것에 대한 요구나, 보다 높은 해상도의 영상을 보관하는 등의 요구가 있다.
종래 기술의 경우, 영상 저장 장치의 용량의 한계나 영상 전송 대역의 한계에 의하여, 영상 처리 시 영상전체를 일정한 해상도로 일괄 적용하여 압축하여 왔다.
즉, 최근 영상 압축 방식은 이전 프레임과 비교하여 변화된 영상부분을 발췌하여 변화된 영상부분만을 압축하여 전송하는 방식이지만, 변화된 영상을 중요도를 분석하여 다양한 해상도로 압축 전송하는 방식이 아닌 정해진 해상도에 따라 일괄 압축 전송하는 방식이다.
그에 따라, 고해상도의 영상을 압축하는데 비효율이 발생하고, 전송 시 파일의 크기가 커서 전송 트래픽이 많이 발생되거나 보관하는데 많은 용량을 차지하게 되어, 이를 해결하기 위해 많은 비용이 요구되는 등의 문제가 있다.
[선행기술문헌]
한국 등록특허공보 제10-1365237호
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 복수의 동적객체인식에 적용되는 다중해상도 영상처리장치 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치는 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별하는 동적객체 식별부; 상기 동적객체 식별부에서 식별된 동적객체에 ID를 부여하는 동적객체 ID 부여부; 학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적객체 식별부에서 식별된 동적객체의 진위여부를 판별하고, 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 동적객체 인공지능 판별부; 상기 적어도 하나 이상의 관심객체에서 특징점을 추출하여, 상기 관심 객체의 적어도 일부 영역을 관심 영역으로 설정하는 관심 영역 검출부; 상기 관심 영역에 대한 압축률과 상기 관심 객체에 대한 압축률이 서로 다르도록 상기 영상을 압축하는 가변 압축부를 포함한다
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리방법은 동적객체 식별부에서 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별하는 단계; 동적객체 ID 부여부가 상기 동적객체 식별부에서 식별된 동적객체에 ID를 부여하는 단계; 동적객체 인공지능 판별부가 학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적객체 식별부에서 식별된 동적객체의 진위여부를 판별하고, 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 단계; 관심 영역 검출부가 상기 적어도 하나 이상의 관심객체에서 특징점을 추출하여, 상기 관심 객체의 적어도 하나 이상의 일부 영역을 관심 영역으로 설정하는 단계; 및 가변 압축부에서 상기 관심 영역에 대한 압축률과 상기 관심 객체에 대한 압축률이 서로 다르도록 상기 영상을 압축하는 단계; 및 영상검색부에서 사용자의 입력조건에 부합하는 서로 다른 시간대의 동영상 내의 동적객체 및/또는 관심객체를 검색하여 제공하는 단계를 포함한다.
본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법은 다수의 동적객체가 있을 시 각 동적객체별로 객체를 인식하고 이들의 움직임에 따라 관심영역을 이동시키며, 객체들의 관심영역을 세분화하여 다중해상도로 압축 전송하며 저장하고 검색하는데 필요한 시간을 최소화 하는데 효과가 있다.
이를 통해 통신데이터를 오히려 줄일 수 있고 저장공간을 최소화 할 수 있기에 기존 통신인프라와 저장공간을 그대로 활용하거나 신규 비용증가를 최소화 할 수 있다는 이점을 제공한다.
도 1은 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치의 장치 블록도의 일 예시도이다.
도 2는 도 1에 도시된 동적 객체 식별부의 일 실시예를 도시하는 블록 구성도이다.
도 3은 도 1에 도시된 동적 객체 ID 부여부의 일 실시예를 도시하는 블록 구성도이다.
도 4는 도 1에 도시된 동적객체 인공지능 판별부의 일 실시예를 도시한 블록 구성이다.
도 5는 도 1에 도시된 관심 영역 검출부의 일 실시예를 도시하는 블록 구성도이다.
도 6은 도 1에 도시된 가변 압축부의 일 실시예를 도시하는 블록 구성도이다.
도 7은 입력 영상의 일 예를 도시하는 도면이다.
도 8은 도 7에 도시된 입력 영상에서 추출된 관심 영역을 도시하는 도면이다.
도 9는 도 7에 도시된 입력 영상에 대해, 관심 영역과 기타 영역의 압축률을 다르게 하여 압축된 데이터를 디코딩한 예를 도시하는 도면이다
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 순서도이다.
도 11은 도 10에 도시된 S720 과정의 세부 흐름도이다.
도 12는 도 10에 도시된 S730 과정의 세부 흐름도이다.
도 13은 도 10에 도시된 S750 과정의 세부 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치의 장치 블록도의 일 예시도이고, 도 2는 도 1에 도시된 동적 객체 식별부의 일 실시예를 도시하는 블록 구성도이고, 도 3은 도 1에 도시된 동적 객체 ID 부여부의 일 실시예를 도시하는 블록 구성도이고, 도 4는 도 1에 도시된 동적객체 인공지능 판별부의 일 실시예를 도시한 블록 구성이고, 도 5는 도 1에 도시된 관심 영역 검출부의 일 실시예를 도시하는 블록 구성도이고, 도 6은 도 1에 도시된 가변 압축부의 일 실시예를 도시하는 블록 구성도이고, 도 7은 입력 영상의 일 예를 도시하는 도면이고, 도 8은 도 7에 도시된 입력 영상에서 추출된 관심 영역을 도시하는 도면이고, 도 9는 도 7에 도시된 입력 영상에 대해, 관심 영역과 기타 영역의 압축률을 다르게 하여 압축된 데이터를 디코딩한 예를 도시하는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치(100)는 카메라(10)로부터 영상을 입력받을 수 있다.
다중해상도 영상처리장치(100)는 입력된 영상에 대하여 적어도 하나 이상의 관심 영역을 설정할 수 있다. 또한, 관심 영역과 기타 영역의 압축률을 적어도 하나 이상으로 다르게 설정하여 영상을 압축하여, 압축 데이터를 생성할 수 있다.
또한, 압축 데이터를 영상저장장치(200)에 제공할 수 있다. 또는 도시되지는 않았으나, 압축 데이터를 네트워크를 통하여 전송할 수 있다.
다중해상도 영상처리장치(100)는 영상에서 최고의 관심 영역에 대해서는 사용자가 지정하는 단계의 최고화질을 유지하여 가장 낮은 압축률로 압축하고, 다음 단계의 관심 영역에 대해서는 다음 단계의 화질을 유지하여 높은 압축률로 압축하며, 기타 영역은 사용자가 지정하는 저화질을 유지하여 가장 높은 압축률을 적용할 수 있다. 예를 들어, 영상 처리 장치(100)는 사람의 얼굴이나 자동차의 번호판 등을 최고의 관심 영역으로 설정하고, 동적객체인 사람이나 자동차는 다음 단계의 관심 영역으로 설정하고, 움직임이 없는 배경 영역이나 관심이 없는 동적객체인 동물 등을 기타 영역으로 설정할 수 있다.
따라서, 다중해상도 영상처리장치(100)에서 생성된 압축 데이터의 크기를 크게 줄일 수 있으며, 또한 상기 압축 데이터를 디코딩하였을 때, 영상에서 주요한 정보를 가지는 부분, 즉, 상기 관심 영역에 해당하는 부분은 높은 해상도를 확보할 수 있다.
도 2를 참조하면, 영상 처리 장치(100)는 동적 객체 식별부(110), 동적객체 ID 부여부(120), 동적객체 인공지능 판별부(130), 관심영역 검출부(140), 가변압축부(150), 영상저장장치(160) 및 영상검색부(170)를 포함할 수 있다.
보다 구체적으로, 동적 객체 식별부(110)는 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별할 수 있다. 예를 들어, 동적 객체 식별부(110)는 영상에서 이동하는 자동차나 사람을 인식하여 동적 객체로 식별할 수 있다.
상기 동적 객체 식별부(110)는 제1 저장기(111), 제2 저장기(112), 모션 벡터 검출기(113) 및 동적 객체 검출기(114)를 포함할 수 있다.
영상은 복수의 프레임이 연속되어 이루어지며, 제1 저장기(111) 및 제2 저장기(112)는 각 프레임에 해당되는 이미지를 저장할 수 있다.
제1 저장기(111)는 저장한 이미지를 제2 저장기(112)에 제공하고, 새로운 프레임의 이미지를 저장할 수 있다. 따라서, 제1 저장기(111)에 저장된 제1 이미지와 제2 저장기(112)에 저장된 제2 이미지는 연속되는 두 프레임에 해당된다.
모션 벡터 검출기(113)는 제1 저장기(111)에 저장된 제1 이미지와, 제2 저장기(112)에 저장된 제2 이미지를 비교하여 모션 벡터를 검출할 수 있다. 모션 벡터 검출기(113)는 다양한 모션 벡터 검출 알고리즘이 적용될 수 있다.
동적 객체 검출기(114)는 모션 벡터를 이용하여 동적 객체를 결정할 수 있다. 동적 객체는 영상에서 움직이는 특정한 객체에 해당되는 동적 영역일 수 있으며, 이러한 동적 객체는 영상 압축의 대상이 됨은 상술한 바와 같다.
다음으로, 동적객체 ID 부여부(120)는 상기 동적 객체 식별부(110)에서 식별된 동적객체에 ID를 부여하는 구성으로, 동적객체 ID 할당부(121), 동적객체 모션벡터 산출부(122) 및 동적객체별 모션벡터 저장부(122)를 포함한다.
상기 동적객체 ID 할당부(121)는 동적객체의 종류에 따라 ID를 할당하는 구성일 수 있다.
상기 동적객체 모션벡터 산출부(122)는 ID가 할당된 동적객체들의 모션벡터를 산출하는 구성일 수 있다.
상기 동적객체별 모션벡터 저장부(122)는 ID가 할당된 동적객체의 모션벡터를 저장하는 구성일 수 있다.
다음으로, 동적객체 인공지능 판별부(130)는 학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적 객체 식별부(110)에서 식별된 동적객체의 진위여부를 판별하고, 사용자가 지정한 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 구성일 수 있다.
상기 동적객체 인공지능 판별부(130)는 관심객체 지정부(131), 관심객체 ID 유지저장부(132), 비관심객체 ID 삭제부(133) 및 학습판별부(134)를 포함한다.
관심객체 지정부(131)는 사용자의 입력정보에 기초하여 동적객체 중 관심객체를 지정하는 구성일 수 있다.
관심객체 ID 유지저장부(132)는 지정된 관심객체의 ID를 유지하는 구성일 수 있다.
비관심객체 ID 삭제부(133)는 식별된 동적객체 중 관심객체를 제외한 나머지 동적객체 ID(비관심객체 ID)를 삭제하도록 필터링하는 구성일 수 있다.
학습판별부(134)는 학습되어 저장된 동적객체를 기초로 관심객체의 진위여부를 판별하는 구성으로, 딥러닝 학습 판별 알고리즘을 이용하여 진위여부를 판별한다.
여기서, 딥러닝(Deep Learning)은 사물이나 데이터를 군집화하거나 분류하는 데 사용되는 기술이다. 많은 양의 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다.
이때, 데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. 딥러닝은 인공신경망의 한계를 극복하기 위해 제안된 인공지능 학습방법이다. 상기 딥러닝 학습 판별 알고리즘은 Deep Belief Network, Autoencoder, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), Deep Q-Network 등을 포함할 수 있고, 본 발명에서 열거한 딥러닝 학습 알고리즘은 일 예시일 뿐, 이에 한정되는 것은 아니다.
본 발명에서는 앞에서 열거한 딥러닝 학습 알고리즘 중 어느 하나인 CNN(Convolutional Neural Network)를 적용시켜, 동적객체 판별에 적용한 예를 설명하였지만, 이에 한정되는 것은 아니며, 사용자의 선택에 따라 다양한 종류의 딥러닝 학습 알고리즘이 사용될 수도 있다.
다음으로, 관심 영역 검출부(140)는 동적 객체에서 특징점을 추출하여, 동적 객체의 적어도 일부 영역을 관심 영역으로 설정한다.
예를 들어, 관심 영역 검출부(140)는 동적 객체로 식별된 사람을 보통 등급의 관심영역으로 설정하고 식별된 사람에서 얼굴을 인식하여 최고 등급의 관심 영역으로 설정하거나, 또는 동적 객체로 식별된 자동차를 보통 등급의 관심영역으로 인식하고 식별된 자동차의 번호판을 최고 등급의 관심 영역으로 설정할 수 있다.
상기 관심영역 검출부(140)는 동적 객체 인식기(141) 및 관심영역 인식기(142)를 포함한다.
동적 객체 인식기(141)는 영상 및 동적 객체를 입력받아, 해당 동적 객체가 어느 종류인지를 판단할 수 있다. 실시예에 따라, 동적 객체 인식기(141)는 영상을 함께 입력받고, 영상을 참조하여 동적 객체의 종류를 판단할 수 있다.
관심영역 인식기(142)는 사용자가 설정한 동적객체의 종류에 따른 관심영역을 인식하는 구성일 수 있다.
가령, 동적 객체가 사람에 해당하면 해당 동적 객체 중 얼굴에 해당되는 영역을 검출하여 관심 영역으로 인식할 수 있고, 차동차에 해당하면 해당 동적 객체 중 차량번호판에 해당되는 영역을 검출하여 관심 영역으로 인식한다. 참고로, 관심영역 인식기(142)는 얼굴인식 알고리즘, 문자인식 알고리즘 등 관심객체의 종류 에 따른 다양한 인식 알고리즘을 채용할 수 있다.
한편, 본 발명에서 언급한 사람의 얼굴과 차량의 번호판의 예를 들어 관심 영역 검출부(140)의 구성을 설명하고 있으나, 반드시 이에 한정되는 것은 아니다. 따라서, 동적 객체는 사람, 자동차 외에도 다양한 동적 객체가 존재할 수 있으며, 예를 들어 버스, 트럭, 택시, 자전거, 오토바이, 기차, 비행기, 배, 행글라이더, 무인비행기, 퀵보드 가 포함될 수 있다. 또한 관심 영역 검출부(140)는 그러한 동적 객체에서 주요 정보를 가지는 관심 영역을 설정할 수 있다.
다음으로, 가변 압축부(150)는 관심 영역에 대한 압축률과 동적 객체에 대한 압축률이 서로 다르도록 영상을 압축할 수 있다. 또는 가변 압축부(150)는 관심도에 따라 영역에 대한 해상도 및 압축률과, 영상의 기타 영역에 대한 압축률이 서로 다르도록 영상을 압축할 수 있다. 예를 들어, 비동적 객체는 저화질로 변경하여 고압축하고, 관심 영역은 중간단계의 화질과 압축률로 설정할 수 있고, 최고관심 영역은 최고화질을 유지하도록 저압축 또는 비압축할 수 있다.
일 실시예에서, 가변 압축부(150)는 영상의 각 프레임에 대하여 이전 프레임과 변화가 존재하는 상기 동적 객체에 대해서 영상 압축을 수행하고, 이전 프레임과 변화가 없는 동적 객체를 제외한 나머지 영역에 대해서는 비관심 영상부분으로 영상전송을 위한 영상 압축을 수행하지 않을 수 있다. 예를 들어, 자동차가 이동하는 영상에서, 동적 객체인 자동차를 제외한 기타 배경은, 복수 프레임에서 동일한 영상 데이터로 표현될 수 있다. 따라서, 가변 압축부(150)는 이전 프레임과 변화가 없는 영역, 즉, 동적 객체가 아닌 영역들에 대해서는 영상 압축을 수행하지 않음으로써, 영상 데이터의 크기를 줄일 수 있다.
일 실시예에서, 가변 압축부(150)는 상기 관심 영역에 대해서는 무손실 압축을 수행하고, 상기 동적 객체에 대해서는 손실 압축을 수행할 수 있다. 예를 들어, 영상이 제1 해상도를 가진다고 할 때, 관심 영역은 상기 제1 해상도를 가지도록 무손실 압축할 수 있다. 즉, 관심 영역은 원본 영상의 해상도를 그대로 가질 수 있다.
한편, 가변 압축부(150)는 동적 객체에 대해서는 제1 해상도 보다 낮은 제2 해상도를 가지도록 손실 압축할 수 있다. 이는, 관심 영역은 주요 정보를 포함하고 있으나, 동적 객체의 나머지 영역은 주요 정보를 포함하지 않기 때문이다. 이와 같이, 관심 영역만 높은 해상도를 유지하도록 하고 나머지에 대해서는 해상도를 낮추어 압축하도록 함으로써, 영상 데이터의 크기를 줄일 수 있다.
일 실시예에서, 가변 압축부(150)는 영상에서 관심 영역, 동적 객체 및 나머지 영역이 각각 다른 해상도를 가지도록 영상을 압축할 수 있다. 예를 들어, 가변 압축부(130)는 관심 영역은 제1 해상도를 가지도록, 동적 객체는 제2 해상도를 가지도록, 또한 관심 영역 및 동적 객체를 제외한 나머지 영역은 제3 해상도를 가지도록 영상을 압축할 수 있다. 여기에서, 제1 해상도는 제2 해상도 보다 높고, 제2 해상도는 제3 해상도보다 높을 수 있다.
일 실시예에서, 가변 압축부(150)는 주기적으로 프레임의 전체 영상을 압축하여 전송할 수 있다. 이는, 일반적으로는 전체 영상에서 변경된 부분에 대하여 압축을 수행하나, 주기적으로는 프레임의 영상 전체를 압축하도록 함으로써 영상의 복구의 신뢰성을 높이도록 하기 위함이다.
보다 구체적으로, 도 6을 참조, 가변 압축부(150)는 압축 영역 결정기(151), 압축부(152) 및 압축 데이터 생성기(153)를 포함할 수 있다.
상기 압축 영역 결정기(151)는 영상, 동적 객체 및 관심 영역을 입력받을 수 있다. 압축 영역 결정기(151)는 압축될 영역과, 해당 영역에 대한 압축률을 구분하여 해당 영역을 압축부(152)에 제공할 수 있다.
예를 들어, 압축부(152)는 복수 개의 압축기를 포함할 수 있고, 복수 개의 압축기 중 적어도 하나 이상은 무손실 압축기일 수 있고, 또는 손실 압축기 일 수 있다. 압축부는 관심 영역을 제1 압축기 내지 제n-1 압축기로 압축하도록 하고, 동적 객체는 제n 압축기로 압축하도록 할 수 있다.
다음으로, 압축 데이터 생성기(153)는 복수 개의 압축기에서 출력한 압축 데이터를 하나의 압축 데이터를 생성할 수 있다.
실시예에 따라, 압축기의 개수는 다양하게 설정될 수 있으며, 이에 따라 하나의 영상에서 각 영역에 대한 압축률을 차등적으로 하여 압축할 수 있다.
다만, 다양한 실시예에 공통적으로, 관심 영역은 타 영역에 비하여 높은 해상도를 가질 수 있다. 예를 들어, 관심 영역은 원본 영상의 해상도를 그대로 가지도록 할 수 있다.
도 7 내지 도 9는 영상에서 영역별로 차등적인 압축을 수행하는 것을 예시하는 도면으로서, 이하 도 7 내지 도 9를 참조하여 영상 처리 장치(100)의 처리 과정의 일 예를 설명한다.
도 7은 입력 영상의 일 예를 도시하는 도면으로서, 카메라 등으로부터 입력되는 영상을 도시하고 있다.
도 8은 도 7에 도시된 입력 영상에서 추출된 관심 영역을 도시하는 도면이다. 영상 처리 장치(100)는 영상에서 관심 영역을 검출할 수 있으며, 본 예에서는 사람의 얼굴 영역을 관심 영역으로서 검출하는 것을 도시하고 있다.
도 9는 도 7에 도시된 입력 영상에 대해, 관심 영역과 기타 영역의 압축률을 다르게 하여 압축된 데이터를 디코딩한 예를 도시하는 도면이다.
즉, 관심 영역인 사람의 얼굴은 도 7에 도시된 이미지와 동일한 해상도를 가지나, 기타 영역은 낮은 해상도를 가짐을 알 수 있다. 즉, 이와 같이, 주요 관심 영역은 높은 해상도를 유지하나 그 외 다른 영역의 해상도를 낮춤으로써, 압축 데이터의 크기를 매우 축소할 수 있다. 이에 따라, 압축 데이터의 전송이나 보관이 매우 용이해질 수 있다.
다음으로, 영상검색부(170)는 사용자의 입력조건에 부합하는 서로 다른 시간대의 동영상 내의 동적객체 및/또는 관심객체를 검색하는 구성일 수 있다.
보다 구체적으로, 영상검색부(170)는 동적객체 검색어 입력부(171), 조건별 검색 동영상 표출부(172), 시간동기화부(173) 및 백업부(174)를 포함한다.
상기 동적객체 검색조건 입력부(171)는 사용자가 입력한 조건에 부합하는 관심객체가 포함된 영상을 검색하기 위한 검색조건을 입력받는 구성일 수 있다.
상기 조건별 검색 동영상 추출부(172)는 검색조건에 부합하는 영상을 추출하는 구성일 수 있다.
상기 시간동기화부(173)는 서로 다른 시간대에 촬영된 영상들 중 동일 검색조건에 부합하는 영상들을 시간 동기화시키는 구성으로, 검색조건이 입력되면 해당 검색조건에 부합하는 다수의 영상을 재생하도록 도와주는 구성일 수 있다.
상기 시간동기화부(173)는 시간동기화 소프트웨어/소프트웨어가 탑재된 녹화기/소프트웨어가 탑재된 스토리지를 포함할 수 있고, 시간동기화 소프트웨어는 USB나 CD, RAM, SSD, HDD 에 탑재가 가능하다.
상기 백업부(174)는 시간동기화된 영상을 벡업하는 구성일 수 있다.
한편, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는 대표 이미지 생성부(미도시) 및 송신부(미도시)를 포함할 수 있다.
상기 대표 이미지 생성부는 관심 영역 검출부로부터 관심 영역에 대한 정보를 제공받고, 관심 영역을 이용하여 대표 이미지를 생성할 수 있다. 예를 들어, 대표 이미지 생성부는 영상에서 가장 많은 프레임 동안 반복되어 존재하는 관심 영역을 대표 이미지를 설정할 수 있다.
대표 이미지는 해당 압축 데이터를 대표하는 이미지로서 사용될 수 있다.
송신부는 가변 압축부에서 제공된 압축 데이터에 대표 이미지를 첨부하여, 저장 장치 등에 송신할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 순서도이고, 도 11은 도 10에 도시된 S720 과정의 세부 흐름도이고, 도 12는 도 10에 도시된 S730 과정의 세부 흐름도이고, 도 13은 도 10에 도시된 S750 과정의 세부 흐름도이다.
먼저, 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리방법(S700)은 먼저, 동적객체 식별부(110)에서 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별(S710)한다.
상기 동적 객체 식별부(110)는 제1 저장기(111), 제2 저장기(112), 모션 벡터 검출기(113) 및 동적 객체 검출기(114)를 포함할 수 있다.
영상은 복수의 프레임이 연속되어 이루어지며, 제1 저장기(111) 및 제2 저장기(112)는 각 프레임에 해당되는 이미지를 저장할 수 있다.
제1 저장기(111)는 저장한 이미지를 제2 저장기(112)에 제공하고, 새로운 프레임의 이미지를 저장할 수 있다. 따라서, 제1 저장기(111)에 저장된 제1 이미지와 제2 저장기(112)에 저장된 제2 이미지는 연속되는 두 프레임에 해당된다.
모션 벡터 검출기(113)는 제1 저장기(111)에 저장된 제1 이미지와, 제2 저장기(112)에 저장된 제2 이미지를 비교하여 모션 벡터를 검출할 수 있다. 모션 벡터 검출기(113)는 다양한 모션 벡터 검출 알고리즘이 적용될 수 있다.
동적 객체 검출기(114)는 모션 벡터를 이용하여 동적 객체를 결정할 수 있다. 동적 객체는 영상에서 움직이는 특정한 객체에 해당되는 동적 영역일 수 있으며, 이러한 동적 객체는 영상 압축의 대상이 됨은 상술한 바와 같다.
이후, 동적객체 ID 부여부(120)가 상기 동적객체 식별부(110)에서 식별된 동적객체에 ID를 부여(S720)한다.
상기 S720 과정은 동적객체 ID 할당부(121)에서 동적객체의 종류에 따라 ID를 할당하는 구성일 수 있다. 상기 동적객체 모션벡터 산출부(122)는 ID가 할당된 동적객체들의 모션벡터를 산출하는 구성일 수 있다. 상기 동적객체별 모션벡터 저장부(122)는 ID가 할당된 동적객체의 모션벡터를 저장하는 구성일 수 있다.
동적객체 인공지능 판별부가 학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적객체 식별부(110)에서 식별된 동적객체의 진위여부를 판별하고, 사용자가 지정한 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거(S730)한다;
보다 구체적으로, S730 과정은 관심객체 지정부(131)에서 사용자의 입력정보에 기초하여 동적객체 중 관심객체를 지정(S731)하고, 관심객체 ID 유지저장부(132)에서 지정된 관심객체의 ID를 유지(S732)하고, 비관심객체 ID 삭제부(133)에서 식별된 동적객체 중 관심객체를 제외한 나머지 동적객체 ID(비관심객체 ID)를 삭제하도록 필터링(S733)하고, 학습판별부(134)에서 학습되어 저장된 동적객체를 기초로 관심객체의 진위여부를 판별하는 구성으로, 딥러닝 학습 판별 알고리즘을 이용하여 진위여부를 판별(S734)하는 과정을 포함할 수 있다.
다음으로, 관심 영역 검출부(140)가 상기 적어도 하나 이상의 관심객체에서 특징점을 추출하여, 상기 관심 객체의 적어도 하나 이상의 일부 영역을 관심 영역으로 설정(S740)한다.
여기서, 상기 S740 과정은 동적 객체 인식기(141)에서 영상 및 동적 객체를 입력받아, 해당 동적 객체가 어느 종류인지를 판단(S741)하고, 관심영역 인식기(142)에서 사용자가 설정한 동적객체의 종류에 따른 관심영역을 인식(S742)하는 과정을 포함할 수 있다.
가령, 동적 객체가 사람에 해당하면 해당 동적 객체 중 얼굴에 해당되는 영역을 검출하여 관심 영역으로 인식할 수 있고, 자동차에 해당하면 해당 동적 객체 중 차량번호판에 해당되는 영역을 검출하여 관심 영역으로 인식한다. 참고로, 관심영역 인식기(142)는 얼굴인식 알고리즘, 문자인식 알고리즘 등 관심객체의 종류 에 따른 다양한 인식 알고리즘을 채용할 수 있다.
한편, 본 발명에서 언급한 사람의 얼굴과 차량의 번호판의 예를 들어 관심 영역 검출부(140)의 구성을 설명하고 있으나, 반드시 이에 한정되는 것은 아니다. 따라서, 동적 객체는 사람, 자동차 외에도 다양한 동적 객체가 존재할 수 있으며, 또한 관심 영역 검출부(140)는 그러한 동적 객체에서 주요 정보를 가지는 관심 영역을 설정할 수 있다.
이후, 가변 압축부(150)에서 상기 관심 영역에 대한 압축률과 상기 관심 객체에 대한 압축률이 서로 다르도록 상기 영상을 압축(S740)한다.
가변 압축부(150)는 관심 영역에 대한 압축률과 동적 객체에 대한 압축률이 서로 다르도록 영상을 압축할 수 있다. 또는 가변 압축부(150)는 관심 영역에 대한 압축률과, 영상의 기타 영역에 대한 압축률이 서로 다르도록 영상을 압축할 수 있다. 예를 들어, 동적 객체는 저화질로 변경하여 고압축하고, 관심 영역은 고화질을 유지하도록 저압축 또는 비압축할 수 있다.
일 실시예에서, 가변 압축부(150)는 영상의 각 프레임에 대하여 이전 프레임과 변화가 존재하는 상기 동적 객체에 대해서 영상 압축을 수행하고, 이전 프레임과 변화가 없는 동적 객체를 제외한 나머지 영역에 대해서는 영상 압축을 수행하지 않을 수 있다. 예를 들어, 자동차가 이동하는 영상에서, 동적 객체인 자동차를 제외한 기타 배경은, 복수 프레임에서 동일한 영상 데이터로 표현될 수 있다. 따라서, 가변 압축부(150)는 이전 프레임과 변화가 없는 영역, 즉, 동적 객체가 아닌 영역들에 대해서는 영상 압축을 수행하지 않음으로써, 영상 데이터의 크기를 줄일 수 있다.
일 실시예에서, 가변 압축부(150)는 상기 관심 영역에 대해서는 무손실 압축을 수행하고, 상기 동적 객체에 대해서는 손실 압축을 수행할 수 있다. 예를 들어, 영상이 제1 해상도를 가진다고 할 때, 관심 영역은 상기 제1 해상도를 가지도록 무손실 압축할 수 있다. 즉, 관심 영역은 원본 영상의 해상도를 그대로 가질 수 있다.
한편, 가변 압축부(150)는 동적 객체에 대해서는 제1 해상도 보다 낮은 제2 해상도를 가지도록 손실 압축할 수 있다. 이는, 관심 영역은 주요 정보를 포함하고 있으나, 동적 객체의 나머지 영역은 주요 정보를 포함하지 않기 때문이다. 이와 같이, 관심 영역만 높은 해상도를 유지하도록 하고 나머지에 대해서는 해상도를 낮추어 압축하도록 함으로써, 영상 데이터의 크기를 줄일 수 있다.
일 실시예에서, 가변 압축부(150)는 영상에서 관심 영역, 동적 객체 및 나머지 영역이 각각 다른 해상도를 가지도록 영상을 압축할 수 있다. 예를 들어, 가변 압축부(130)는 관심 영역은 제1 해상도를 가지도록, 동적 객체는 제2 해상도를 가지도록, 또한 관심 영역 및 동적 객체를 제외한 나머지 영역은 제3 해상도를 가지도록 영상을 압축할 수 있다. 여기에서, 제1 해상도는 제2 해상도 보다 높고, 제2 해상도는 제3 해상도보다 높을 수 있다.
일 실시예에서, 가변 압축부(150)는 주기적으로 프레임의 전체 영상을 압축하여 전송할 수 있다. 이는, 일반적으로는 전체 영상에서 변경된 부분에 대하여 압축을 수행하나, 주기적으로는 프레임의 영상 전체를 압축하도록 함으로써 영상의 복구의 신뢰성을 높이도록 하기 위함이다.
상기 S740 과정은 압축 영역 결정기(151)에서 영상, 동적 객체 및 관심 영역을 입력받은 후, 압축될 영역과, 해당 영역에 대한 압축률을 구분하여 해당 영역을 압축부(152)로 제공(S741)하고, 압축부에서 관심 영역을 제1 압축기 내지 제n-1 압축기로 압축하도록 하고, 동적 객체는 제n 압축기로 압축(S742)한 후, 압축 데이터 생성기(153)에서 복수 개의 압축기에서 출력한 압축 데이터를 하나의 압축 데이터를 생성(S743)하는 과정을 포함할 수 있다.
상기 S740 과정이 완료되면, 영상검색부(170)에서 사용자의 입력조건에 부합하는 서로 다른 시간대의 동영상 내의 동적객체 및/또는 관심객체를 검색하여 제공(S750)한다.
상기 S750 과정은 동적객체 검색조건 입력부(171)에서 사용자가 입력한 조건에 부합하는 관심객체가 포함된 영상을 검색하기 위한 검색조건을 입력받고(S751), 조건별 검색 동영상 추출부(172)에서 검색조건에 부합하는 영상을 추출(S752)하고, 상기 시간동기화부(173)에서 서로 다른 시간대에 촬영된 영상들 중 동일 검색조건에 부합하는 영상들을 시간 동기화(S753)하는 과정을 포함할 수 있다. 따라서, 검색조건이 입력되면 해당 검색조건에 부합하는 다수의 영상을 재생하도록 도와줄 수 있다.
여기서, 상기 시간동기화부(173)는 시간동기화 소프트웨어/소프트웨어가 탑재된 녹화기/소프트웨어가 탑재된 스토리지를 포함할 수 있고, 시간동기화 소프트웨어는 USB나 CD, RAM, SSD, HDD 에 탑재가 가능하다.
따라서, 본 발명의 일 실시예에 따른 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법은 다수의 동적객체가 있을 시 각 동적객체별로 객체를 인식하고 이들의 움직임에 따라 관심영역을 이동시키며, 객체들의 관심영역을 세분화하여 다중해상도로 압축 전송하며 저장하고 검색하는데 필요한 시간을 최소화 하는데 효과가 있다.
이를 통해 통신데이터를 오히려 줄일 수 있고 저장공간을 최소화 할 수 있기에 기존 통신인프라와 저장공간을 그대로 활용하거나 신규 비용증가를 최소화 할 수 있다는 이점을 제공한다.
본 발명의 일 실시예에서 사용된 “~부”는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
*부호의 설명*
100: 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치
110: 동적 객체 식별부
120: 동적 객체 ID 부여부
130: 동적객체 인공지능 판별부
140: 관심영역 검출부
150: 가변압축부
160: 영상저장부
170: 영상 검색부 도 14는 도 10에 도시된 ≤750 과정의 세부 흐름도이다.
도 14는 도 10에 도시된 S750 과정의 세부 흐름도이다.

Claims (8)

  1. 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별하는 동적객체 식별부;
    상기 동적객체 식별부에서 식별된 동적객체에 ID를 부여하는 동적객체 ID 부여부;
    학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적객체 식별부에서 식별된 동적객체의 진위여부를 판별하고, 사용자가 지정한 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 동적객체 인공지능 판별부;
    상기 적어도 하나 이상의 관심객체에서 특징점을 추출하여, 상기 관심 객체의 적어도 일부 영역을 관심 영역으로 설정하는 관심 영역 검출부; 및
    상기 관심 영역에 대한 압축률과 상기 관심 객체에 대한 압축률이 서로 다르도록 상기 영상을 압축하는 가변 압축부를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치.
  2. 제1항에 있어서,
    사용자의 입력조건에 부합하는 서로 다른 시간대의 동영상 내의 동적객체 및/또는 관심객체를 검색하는 영상검색부를 더 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치.
  3. 제1항에 있어서,
    상기 동적객체 인공지능 판별부는
    사용자의 입력정보에 기초하여 동적객체 중 관심객체를 지정하는 관심객체 지정부;
    상기 지정된 관심객체의 ID를 유지하는 관심객체 ID 유지저장부;
    식별된 동적객체 중 관심객체를 제외한 나머지 동적객체 ID(비관심객체 ID)를 삭제하도록 필터링하는 비관심객체 ID 삭제부; 및
    학습되어 저장된 동적객체를 기초로 관심객체의 진위여부를 판별하는 학습판별부를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치.
  4. 제2항에 있어서,
    상기 영상검색부는
    사용자가 입력한 조건에 부합하는 관심객체가 포함된 영상을 검색하기 위한 검색조건을 입력받는 동적객체 검색조건 입력부;
    검색조건에 부합하는 영상을 추출하는 조건별 검색 동영상 추출부; 및
    서로 다른 시간대에 촬영된 영상들 중 동일 검색조건에 부합하는 영상들을 시간 동기화시키는 시간동기화부를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치.
  5. 동적객체 식별부에서 입력된 영상에서 모션 벡터를 추출하여 동적 객체를 식별하는 단계;
    동적객체 ID 부여부가 상기 동적객체 식별부에서 식별된 동적객체에 ID를 부여하는 단계;
    동적객체 인공지능 판별부가 학습되어 저장된 동적객체의 종류별 표준형상을 기초로 상기 동적객체 식별부에서 식별된 동적객체의 진위여부를 판별하고, 사용자가 지정한 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 단계;
    관심 영역 검출부가 상기 적어도 하나 이상의 관심객체에서 특징점을 추출하여, 상기 관심 객체의 적어도 하나 이상의 일부 영역을 관심 영역으로 설정하는 단계;
    가변 압축부에서 상기 관심 영역에 대한 압축률과 상기 관심 객체에 대한 압축률이 서로 다르도록 상기 영상을 압축하는 단계; 및
    영상검색부에서 사용자의 입력조건에 부합하는 서로 다른 시간대의 동영상 내의 동적객체 및/또는 관심객체를 검색하여 제공하는 단계를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리방법.
  6. 제5항에 있어서,
    상기 식별된 동적객체 ID를 부여하는 단계는
    동적객체 ID 할당부에서 동적객체의 종류에 따라 ID를 할당하는 단계;
    동적객체 모션벡터 산출부에서 ID가 할당된 동적객체들의 모션벡터를 산출하는 단계; 및
    동적객체별 모션벡터 저장부에서 ID가 할당된 동적객체의 모션벡터를 저장하는 단계를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리방법.
  7. 제5항에 있어서,
    상기 적어도 하나 이상의 관심객체와 비관심객체를 분류한 후, 비관심객체를 제거하는 단계는
    관심객체 지정부에서 사용자의 입력정보에 기초하여 동적객체 중 관심객체를 지정하는 단계;
    관심객체 ID 유지저장부에서 지정된 관심객체의 ID를 유지하는 단계;
    비관심객체 ID 삭제부에서 식별된 동적객체 중 관심객체를 제외한 나머지 동적객체 ID(비관심객체 ID)를 삭제하도록 필터링하는 단계; 및
    학습판별부에서 학습되어 저장된 동적객체를 기초로 관심객체의 진위여부를 판별하는 단계를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리방법.
  8. 제5항에 있어서,
    상기 동적객체 및/또는 관심객체를 검색하여 제공하는 단계는
    사용자가 입력한 조건에 부합하는 관심객체가 포함된 영상을 검색하기 위한 검색조건을 입력받는 단계;
    검색조건에 부합하는 영상을 추출하는 단계;
    서로 다른 시간대에 촬영된 영상들 중 동일 검색조건에 부합하는 영상들을 시간 동기화시키는 단계; 및
    동기화된 영상을 백업하는 단계를 포함하는 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리방법.
PCT/KR2021/006156 2021-04-29 2021-06-17 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법 WO2022231053A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/871,900 US20220358744A1 (en) 2021-04-29 2022-07-23 Multi-resolution image processing device and method capable of processing recognition of multiple dynamic objects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0055926 2021-04-29
KR1020210055926A KR102284806B1 (ko) 2021-04-29 2021-04-29 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/871,900 Continuation US20220358744A1 (en) 2021-04-29 2022-07-23 Multi-resolution image processing device and method capable of processing recognition of multiple dynamic objects

Publications (1)

Publication Number Publication Date
WO2022231053A1 true WO2022231053A1 (ko) 2022-11-03

Family

ID=77314368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006156 WO2022231053A1 (ko) 2021-04-29 2021-06-17 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법

Country Status (3)

Country Link
US (1) US20220358744A1 (ko)
KR (1) KR102284806B1 (ko)
WO (1) WO2022231053A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589306B1 (ko) * 2023-06-29 2023-10-12 주식회사 휴데이터스 블랙박스 영상을 생성하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050656A1 (en) * 2008-12-16 2011-03-03 Kotaro Sakata Information displaying apparatus and information displaying method
KR101173853B1 (ko) * 2012-04-18 2012-08-14 (주)한국알파시스템 다중 객체 인식장치 및 방법
KR20150104288A (ko) * 2014-03-05 2015-09-15 에스케이플래닛 주식회사 영상 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101704775B1 (ko) * 2016-02-03 2017-02-08 (주)비상정보통신 다중해상도 영상 처리 장치 및 영상 처리 방법
KR20190026116A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 객체 인식 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365237B1 (ko) 2013-09-12 2014-02-19 주식회사 엘앤비기술 적응적으로 다중 해상도를 지원하는 감시 카메라 시스템
KR20160093809A (ko) * 2015-01-29 2016-08-09 한국전자통신연구원 프레임 영상과 모션 벡터에 기초하는 객체 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050656A1 (en) * 2008-12-16 2011-03-03 Kotaro Sakata Information displaying apparatus and information displaying method
KR101173853B1 (ko) * 2012-04-18 2012-08-14 (주)한국알파시스템 다중 객체 인식장치 및 방법
KR20150104288A (ko) * 2014-03-05 2015-09-15 에스케이플래닛 주식회사 영상 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101704775B1 (ko) * 2016-02-03 2017-02-08 (주)비상정보통신 다중해상도 영상 처리 장치 및 영상 처리 방법
KR20190026116A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 객체 인식 방법 및 장치

Also Published As

Publication number Publication date
US20220358744A1 (en) 2022-11-10
KR102284806B1 (ko) 2021-08-03

Similar Documents

Publication Publication Date Title
WO2017213398A1 (en) Learning model for salient facial region detection
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
US20110074970A1 (en) Image processing apparatus and image processing method
WO2014069822A1 (en) Apparatus and method for face recognition
WO2020027513A1 (ko) 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
WO2018030658A1 (ko) 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
WO2021149857A1 (ko) Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2019124635A1 (ko) 압축영상에 대한 신택스 기반의 객체 침입 감지 방법
WO2022231053A1 (ko) 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
KR20190041704A (ko) Cctv 분할 운영시스템 및 그 운영방법
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2019132093A1 (ko) 바코드 검출 장치 및 이를 이용한 바코드 검출 방법
CN111429376A (zh) 高低精度融合的高效数字图像处理方法
WO2021225296A1 (en) Method for explainable active learning, to be used for object detector, by using deep encoder and active learning device using the same
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
WO2019124634A1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
WO2020027511A1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
WO2021125539A1 (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램
CN110379130B (zh) 一种基于多路高清sdi视频的医疗看护防摔倒系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939435

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21939435

Country of ref document: EP

Kind code of ref document: A1