WO2024257974A1 - 영상 이상을 감지하는 방법 및 장치 - Google Patents

영상 이상을 감지하는 방법 및 장치 Download PDF

Info

Publication number
WO2024257974A1
WO2024257974A1 PCT/KR2023/020120 KR2023020120W WO2024257974A1 WO 2024257974 A1 WO2024257974 A1 WO 2024257974A1 KR 2023020120 W KR2023020120 W KR 2023020120W WO 2024257974 A1 WO2024257974 A1 WO 2024257974A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
abnormality
detecting
snippets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/020120
Other languages
English (en)
French (fr)
Inventor
허민회
마켕텍
쿠데이비드
첸웨이링
예우지지안
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Priority to CN202380099232.4A priority Critical patent/CN121368787A/zh
Publication of WO2024257974A1 publication Critical patent/WO2024257974A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV programme
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a method and device for detecting image abnormalities capable of detecting abnormal signs included in an image.
  • image anomaly detection which determines abnormal data contained in images without direct human observation, has been applied and used in various fields.
  • abnormal behavior and irregular work can be detected in the production process, and in the medical field, the patient's condition can be monitored and an alarm can be automatically sent to the medical staff when an accident occurs.
  • the public safety field it is intended to protect human life and property by recognizing illegal or accidental acts in advance in images.
  • image anomaly detection was performed based on information about visual features included in the image, depending on the degree of supervision involvement of the image observer.
  • the present invention has been proposed to solve such problems, and aims to provide a method and device for detecting image abnormalities by using not only visual features included in an image but also text features to detect abnormal signs included in an image.
  • a method for detecting an image abnormality to achieve the above object may include the steps of collecting at least one image information and dividing the at least one image information into a plurality of snippets; extracting visual feature information and text feature information for each of the plurality of divided snippets; generating composite information by synthesizing the extracted visual feature information and text feature information; and detecting an abnormality sign of the at least one image information based on the generated composite information.
  • the extracting step may include a step of performing preprocessing in which frames are cropped according to a preset number of crops for each of the plurality of segmented snippets; and a step of extracting the visual feature information for each of the plurality of snippets on which the preprocessing has been performed.
  • the extracting step may include a step of generating a caption included in each of the plurality of segmented snippets; and a step of extracting the text feature information by performing sentence embedding based on the generated caption.
  • the extracting step may include a step of performing multi-scale correction on the visual feature information and the text feature information for each of the plurality of snippets; and a step of extracting the visual feature information and the text feature information on which the correction was performed.
  • the generating step may include a step of generating the synthetic information by using at least one of a plurality of synthetic methods for the extracted visual feature information and text feature information.
  • the detecting step may include: a step of determining a first loss value corresponding to a total loss value of the at least one image information and a second loss value corresponding to a learning value for detecting an abnormality sign of the at least one image information based on the generated synthetic information; a step of generating a loss function based on the determined first loss value and second loss value; and a step of detecting an abnormality sign of the at least one image information based on the generated loss function.
  • the step of determining the first loss value and the second loss value may include: a step of determining a feature size corresponding to each of the plurality of snippets based on the generated synthetic information; a step of determining an average feature size of feature sizes corresponding to a preset reference number in size order among the determined feature sizes; and a step of determining the first loss value based on the determined average feature size.
  • the step of determining the first loss value and the second loss value may include: a step of determining a feature size corresponding to each of the plurality of snippets based on the generated synthetic information; a step of determining a frame-level prediction value of each of the plurality of snippets based on the determined feature sizes; a step of determining an abnormality score of the at least one image information based on a frame-level prediction value corresponding to a feature size corresponding to a preset reference number in order of increasing feature sizes; and a step of determining the second loss value based on the determined abnormality score.
  • the method may further include a step of outputting an abnormality score of the at least one image information and a caption included in the at least one image information.
  • the outputting step may include a step of outputting a warning alarm if the abnormality score of at least one piece of image information exceeds a preset reference score.
  • a device for detecting an image abnormality for achieving the above purpose may include an image collection unit for collecting at least one image information and dividing the at least one image information into a plurality of snippets; an information extraction unit for extracting visual feature information and text feature information for each of the plurality of snippets divided by the image collection unit; and a detection control unit for generating composite information by synthesizing the extracted visual feature information and text feature information, and detecting an abnormality sign of the at least one image information based on the generated composite information.
  • the information extraction unit may perform preprocessing in which frames are cropped according to a preset number of crops for each of the plurality of segmented snippets, and extract the visual feature information for each of the plurality of snippets on which the preprocessing has been performed.
  • the information extraction unit can generate a caption included in each of the plurality of segmented snippets and perform sentence embedding based on the generated caption to extract the text feature information.
  • the information extraction unit may perform multi-scale correction on the visual feature information and the text feature information for each of the plurality of snippets, and extract the visual feature information and text feature information on which the correction was performed.
  • the detection control unit can generate the synthetic information by using at least one of a plurality of synthetic methods for the extracted visual feature information and text feature information.
  • the detection control unit may determine a first loss value corresponding to a total loss value of the at least one piece of image information and a second loss value corresponding to a learning value for detecting an abnormality sign of the at least one piece of image information based on the generated synthetic information, generate a loss function based on the determined first loss value and second loss value, and detect an abnormality sign of the at least one piece of image information based on the generated loss function.
  • the detection control unit may determine a feature size corresponding to each of the plurality of snippets based on the generated synthetic information, determine an average feature size of feature sizes corresponding to a preset standard number in size order among the determined feature sizes, and determine the first loss value based on the determined average feature size.
  • the detection control unit may determine a feature size corresponding to each of the plurality of snippets based on the generated synthetic information, determine a frame-level prediction value of each of the plurality of snippets based on the determined feature size, determine an abnormality score of the at least one image information based on a frame-level prediction value corresponding to a feature size corresponding to a preset reference number in order of the feature size increase, and determine the second loss value based on the determined abnormality score.
  • the detection control unit may cause an abnormality score of the at least one image information and a caption included in the at least one image information to be output when the abnormality sign is detected.
  • the detection control unit may output a warning alarm when the abnormality score of at least one piece of image information exceeds a preset reference score.
  • the method and device for detecting image abnormalities of the present invention can improve the accuracy in detecting image abnormalities by detecting abnormal signs included in an image based on visual features and text features extracted from the image.
  • the robustness of a method and device for detecting image abnormalities can be improved by performing multi-scale correction for each of visual features and text features.
  • a user using the method and device for detecting an image abnormality according to the present invention can efficiently respond to an abnormality sign included in the image.
  • Figures 1 to 4 are block diagrams for explaining the configuration of a device for detecting image abnormalities according to one embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method for detecting image abnormalities according to one embodiment of the present invention.
  • FIGS. 1 to 4 a device for detecting image abnormalities according to an embodiment of the present invention will be described.
  • Figures 1 to 4 are block diagrams for explaining the configuration of a device for detecting image abnormalities according to one embodiment of the present invention.
  • a device for detecting an image abnormality may include an image collection unit (100), an information extraction unit (200), and a detection control unit (300).
  • Fig. 1 mainly illustrates components related to an embodiment of the present invention, and it is obvious that when implementing an actual device for detecting an image abnormality, fewer or more components may be included.
  • each component (100, 200, 300) of the device for detecting image abnormalities may include a communication device for communicating with other components, a memory for storing operating systems or logic commands and input/output information, and one or more processors for performing judgments, calculations, decisions, etc. necessary for controlling the responsible function.
  • the image collection unit (100) can collect at least one image information and divide the at least one image information into a plurality of snippets.
  • the image collection unit (100) can collect at least one image information captured by an external shooting device equipped to capture an image in real time as input information. Then, the image collection unit (100) divides the at least one image information into a plurality of snippets, and divides the at least one image information into a plurality of snippets (SN 1 , SN 2 , SN 3 ) by a preset number (e.g., T). , SN T ) can be divided into.
  • a preset number e.g., T
  • the image collection unit (100) may divide at least one image information into multiple snippets, and group and manage corresponding snippets among at least one image information.
  • this is an example and is not necessarily limited thereto.
  • the image collection unit (100) may be configured to collect only image information captured by an external shooting device, and accordingly, the function of dividing the image information into multiple snippets may be performed by being separated from the image collection unit (100) by a separate device.
  • the image collection unit (100) can transmit information about multiple segmented snippets to the information extraction unit (200).
  • the information extraction unit (200) may be provided with information on a plurality of segmented snippets, and may extract visual feature information and text feature information for each of the plurality of snippets based on the information.
  • the information extraction unit (200) may include a visual feature extraction unit (210) and a text feature extraction unit (220).
  • the visual feature extraction unit (210) may include a preprocessing unit (211) and a multi-scale correction unit (212)
  • the text feature extraction unit (220) may include a caption generation unit (221), a sentence embedding unit (222), and a multi-scale correction unit (223).
  • FIG. 3 mainly illustrates components related to an embodiment of the present invention, and it goes without saying that the actual information extraction unit (200) may include fewer or more components.
  • the visual feature extraction unit (210) can extract visual feature information included in each of the plurality of snippets based on information about the plurality of snippets provided by the image collection unit (100). For example, the visual feature extraction unit (210) can extract visual feature information included in each of the plurality of snippets through ResNet-50, which is a pre-trained neural network, and the visual feature information may be information according to the I3D (Inflated 3D Convnet) method. However, this is an example and is not necessarily limited thereto.
  • the visual feature extraction unit (210) may perform a preprocessing process through the preprocessing unit (211) to increase the consistency of information when extracting visual feature information.
  • the preprocessing unit (211) may perform preprocessing in which frames of each of the divided multiple snippets are cropped according to a preset cropping number. For example, when the preset cropping number is 5, the preprocessing unit (211) may crop the frames of each of the multiple snippets to the four corners and the center.
  • the visual feature extraction unit (210) can extract visual feature information for each of the plurality of snippets on which preprocessing has been performed when the plurality of snippets have been preprocessed through the preprocessing unit (211).
  • preprocessing unit (211) By performing preprocessing in which frames are cropped for each of the plurality of snippets, the amount of information that can be processed increases compared to the information for the existing plurality of snippets, and by extracting visual feature information through this, the consistency of information can be improved.
  • the text feature extraction unit (220) can extract text feature information included in each of the plurality of snippets based on information about the plurality of snippets provided by the image collection unit (100). For example, the text feature extraction unit (220) can generate a caption included in each of the plurality of snippets through the caption generation unit (221). At this time, the caption generation unit (221) can also generate captions for consecutive frames using a sliding window strategy for each of the plurality of snippets. In addition, the caption may describe an event included in each of the plurality of snippets, for example, a person's movement and an object's arrangement included in each of the plurality of snippets. However, this is an example and is not necessarily limited thereto.
  • the caption generation unit (221) can transfer information about the generated caption to the sentence embedding unit (222), and the sentence embedding unit (222) can perform sentence embedding based on the generated caption.
  • the sentence embedding unit (222) can perform sentence embedding using a drop-out noise method or based on pairs recorded in a natural language inference dataset, which is one of the natural language processing (NLP) methods.
  • NLP natural language processing
  • the text feature extraction unit (220) can extract text feature information by generating a caption for each of a plurality of snippets through the caption generation unit (221) and the sentence embedding unit (222), and performing sentence embedding.
  • the visual feature extraction unit (210) and the text feature extraction unit (220) can perform multi-scale correction on the visual feature information and text feature information initially extracted for each of the plurality of snippets before transmitting the visual feature information and text feature information to the outside.
  • the visual feature extraction unit (210) and the text feature extraction unit (220) can be equipped with multi-scale correction units (212, 223), respectively.
  • the multi-scale correction unit (212, 223) can perform multi-scale correction on the visual feature information and text feature information that are initially extracted through the temporal network.
  • the temporal network can include a multiple layer pyramid dilated convolution region and a non-local region (NLB: Non-Local Block).
  • the pyramid dilated convolution for the temporal range can be used to learn representations for multiple snippets at multiple scales, and the non-local region can be used to learn the overall temporal dependency between the multiple snippets.
  • the temporal dependency can be well captured when the visual feature information and the text feature information that are corrected and extracted in the visual feature extraction unit (210) and the text feature extraction unit (220) are synthesized.
  • the information extraction unit (200) can extract visual feature information through the visual feature extraction unit (210), extract text feature information through the text feature extraction unit (220), and provide the extracted visual feature information and text feature information to the detection control unit (300).
  • the detection control unit (300) can generate composite information by synthesizing the visual feature information and text feature information extracted from the information extraction unit (200), and detect an abnormality sign of at least one image information based on the generated composite information.
  • the detection control unit (300) can include a synthesis unit (310), a judgment unit (320), and an abnormality detection unit (330).
  • FIG. 4 mainly shows components related to an embodiment of the present invention, and it goes without saying that the actual detection control unit (300) can include fewer or more components.
  • the synthesis unit (310) synthesizes the visual feature information and text feature information extracted and provided by the information extraction unit (200) to generate synthesis information, and may generate the synthesis information using at least one synthesis method among multiple synthesis methods.
  • the multiple synthesis methods may include concatenation, addition, and multiplication methods, but these are exemplary and are not necessarily limited thereto.
  • the synthesis unit (310) can add a fully connected layer to reduce the dimension of the visual feature information to the same dimension as that of the text feature information, and then generate synthetic information for the visual feature information and the text feature information.
  • this is an example and is not necessarily limited thereto.
  • the judgment unit (320) can determine an image loss value based on the synthesis information generated by the synthesis unit (310), and can determine a first loss value and a second loss value for determining the image loss value.
  • the first loss value may be a value corresponding to the total loss value of at least one image information collected by the image collection unit (100)
  • the second loss value may be a value corresponding to a learning value for detecting an abnormality sign of at least one image information.
  • the judgment unit (320) can determine the feature size corresponding to each of the plurality of snippets based on the synthesis information generated by the synthesis unit (310). At this time, the judgment unit (320) can determine the feature size using the l 2 norm method, but this is an example and is not necessarily limited thereto.
  • the judgment unit (320) can determine the average feature size of the feature sizes corresponding to the preset standard number in size order among the judged feature sizes. For example, if the preset standard number is k, the judgment unit (320) can extract the feature sizes corresponding to the top k in size order among the feature sizes corresponding to each of the plurality of snippets, and determine the average feature size based on this.
  • Average feature size ( ) can be determined through the following mathematical expression 1. In particular, the average feature size can be determined as the feature size corresponding to at least one piece of image information.
  • the judgment unit (320) determines a first loss value (corresponding to the total loss value of at least one image information) using the mathematical expression 2 below based on the average feature size determined through the mathematical expression 1 above. ) can be judged.
  • the first loss value ( ) may mean a total loss value that includes both normal data and abnormal data in at least one image information.
  • the judgment unit (320) can determine the feature size corresponding to each of the plurality of snippets based on the generated synthetic information, and can determine the frame-level prediction value of each of the plurality of snippets based on this.
  • the judgment unit (320) can train a separately provided binary snippet classifier based on feature sizes corresponding to a preset standard number in size order among the determined feature sizes. Then, the judgment unit (320) can determine the snippet-level prediction value propagated to each frame included in each of the plurality of snippets based on the learned binary snippet classifier, and can determine the frame-level prediction value of each of the plurality of snippets based on the determined snippet-level prediction value.
  • the judgment unit (320) can determine the abnormality score of at least one image information based on the frame-level prediction value corresponding to the feature size corresponding to the preset reference number in order of the feature size corresponding to each of the plurality of snippets. It is assumed that the judgment unit (320) determines the abnormality score for at least one image information as a whole based on the value corresponding to the upper reference number in order of the feature size among the frame-level prediction values corresponding to each of the plurality of snippets. Accordingly, the judgment unit (320) determines the abnormality score () for at least one image information through the following mathematical expression 3. ) can be judged.
  • the present invention may mean a frame-level prediction value corresponding to a feature size corresponding to a preset reference number in size order among feature sizes corresponding to each of a plurality of snippets.
  • the present invention has a secondary purpose to facilitate the distinction between normal data and abnormal data by increasing the difference between an abnormality score of image information including normal data and an abnormality score of image information including abnormal data.
  • a binary snippet classifier may be trained based on a feature size corresponding to a preset reference number in size order among feature sizes corresponding to each of a plurality of snippets. Then, by determining the abnormality score of image information based on the frame-level prediction value determined by the trained binary snippet classifier, the difference between the abnormality score of image information including normal data and the abnormality score of image information including abnormal data may be increased.
  • the judgment unit (320) determines an abnormality score (for at least one image information judged through the above mathematical expression 3) ) can be used to determine the second loss value corresponding to the learning value for detecting an abnormality of at least one image information.
  • the determination unit (320) determines the second loss value ( through the following mathematical expression 4 formed based on binary cross entropy. ) can be judged.
  • the judgment unit (320) determines the first loss value as described above ( ) and the second loss value ( ) can be used to generate a loss function. At this time, the judgment unit (320) uses the following mathematical expression 5 to generate the loss function ( ) can be created.
  • the weight of the first loss value can be adjusted. That is, the loss function is a parameter as in the mathematical expression 5 above.
  • the first loss value ( ) and the second loss value ( ) can be generated in the form of a linear function based on the equation. However, this is an example and is not necessarily limited to this.
  • the judgment unit (320) can provide the generated loss function to the abnormality detection unit (330), and the abnormality detection unit (330) can detect an abnormality sign of at least one image information based on the generated loss function. In addition, when an abnormality sign is detected in at least one image information, the abnormality detection unit (330) can output information about the detected abnormality sign so that an external user can recognize the abnormality sign.
  • the abnormality detection unit (330) may output an abnormality score of at least one piece of image information and a caption included in the at least one piece of image information.
  • the abnormality score of the at least one piece of image information may be an abnormality score for a plurality of snippets into which the at least one piece of image information is divided
  • the caption included in the at least one piece of image information may be a caption for a plurality of snippets into which the at least one piece of image information is divided.
  • the abnormality detection unit (330) may output a warning alarm together when outputting the abnormality score of at least one piece of image information and the caption included in at least one piece of image information described above.
  • the abnormality detection unit (330) may compare the abnormality score of at least one piece of image information determined when detecting an abnormality sign with a preset reference score.
  • the abnormality detection unit (330) may generate a warning alarm if the abnormality score of at least one piece of image information exceeds the preset reference score as a result of the preceding comparison.
  • the abnormality detection unit (330) may generate a warning alarm and output the generated warning alarm so that an external user may recognize and respond to the abnormality sign.
  • this is an example and is not necessarily limited thereto.
  • FIG. 5 a method for detecting an image abnormality according to an embodiment of the present invention will be described with reference to FIG. 5 based on the configuration of the device for detecting an image abnormality described above with reference to FIGS. 1 to 4.
  • a specific description of each step of FIG. 5 has been described above with reference to FIGS. 1 to 4, a detailed description thereof will be omitted below.
  • FIG. 5 is a flowchart illustrating a method for detecting image abnormalities according to one embodiment of the present invention.
  • the image collection unit (100) can collect at least one image information from an external shooting device (S510) and divide the collected at least one image information into a plurality of snippets (S520).
  • the information extraction unit (200) can extract visual feature information and text feature information for each of the plurality of snippets based on the divided plurality of snippets (S530).
  • the detection control unit (300) can generate synthetic information by synthesizing the visual feature information and text feature information extracted from the information extraction unit (200) (S540), and based on the generated synthetic information, can determine a first loss value corresponding to the total loss value of at least one piece of image information and a second loss value corresponding to a learning value for detecting an abnormality sign of at least one piece of image information (S550).
  • the detection control unit (300) can generate a loss function based on the determined first loss value and second loss value (S560), and can perform anomaly detection for at least one image information based on the generated loss function (S570).
  • the detection control unit (300) can cause the abnormality score of at least one piece of image information and the caption included in at least one piece of image information to be output (S590).
  • the detection control unit (300) can cause a warning alarm to be output together with the abnormality score and caption output when the abnormality score of at least one piece of image information exceeds a preset reference score.
  • the method and device for detecting image abnormalities of the present invention can improve the accuracy in detecting image abnormalities by detecting abnormal signs included in an image based on visual features and text features extracted from the image.
  • the robustness of a method and device for detecting image abnormalities can be improved by performing multi-scale correction for each of visual features and text features.
  • a user using the method and device for detecting an image abnormality according to the present invention can efficiently respond to an abnormality sign included in the image.
  • the above-described present invention can be implemented as a computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices that store data that can be read by a computer system. Examples of the computer-readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, etc. Therefore, the above detailed description should not be construed as limiting in all aspects but should be considered as illustrative. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 이상을 감지하는 방법 및 영상 이상을 감지하는 장치에 관한 것으로, 일 실시예에 따른 영상 이상을 감지하는 방법은 복수의 스니펫으로 분할된 입력 영상에서 텍스트 특징 및 시각적 특징을 추출하고, 추출된 특징의 합성을 수행하며, 합성 결과를 기반으로 영상 이상을 감지하는 단계를 포함할 수 있다.

Description

영상 이상을 감지하는 방법 및 장치
본 발명은 영상에 포함된 이상 징후를 감지할 수 있는 영상 이상을 감지하는 방법 및 장치에 관한 것이다.
최근에는 사람이 직접 관찰하지 않고도 영상 속에 포함된 비정상적인 데이터를 판단하는 영상 이상 감지 작업이 다양한 분야에 적용되어 사용되고 있다. 예컨대, 제조 분야에서는 생산 공정에서 비정상적인 행동과 불규칙한 작업을 감지할 수 있고, 의료 분야에서는 환자의 상태를 모니터링하고 사고가 발생하면 자동으로 의료진에게 알람을 송출하도록 할 수 있다. 또한, 공공 안전 분야에서는 영상 속에서 불법 행위 또는 사고 행위와 같은 행위를 미리 인식하여 인명 및 재산을 보호하고자 하였다.
이러한 영상 이상 감지 작업이 원활하게 수행되기 위해서는 정상적인 데이터와 비정상적인 데이터 각각이 균형적으로 확보될 필요가 있다. 그러나, 일상에서는 비정상적인 데이터에 대응되는 이벤트의 발생이 적음에 따라 비정상적인 데이터가 부족하여 정상적인 데이터와 비정상적인 데이터 간의 불균형으로 인한 원활한 영상 이상 감지 작업이 수행되기 어려운 문제가 있다. 또한, 정상적인 데이터와 비정상적인 데이터를 구분하는 기준이 명확하지 않아 원활한 영상 이상 감지 작업이 수행되기 어려운 문제도 있다.
종래에는 이러한 문제를 해결하기 위해 영상 관찰자의 감독 관여 정도에 따라 영상에 포함된 시각적 특징에 대한 정보를 기반으로 영상 이상 감지 작업이 수행되도록 하였다. 그러나, 시각적 특징에 대한 정보만을 기반으로는 영상에 포함된 의미론적 의미를 명확히 판단하기가 어렵고, 그로 인한 영상 이상 감지 작업의 정확성이 저하되는 문제가 빈번히 발생하고 있다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 영상에 포함된 시각적 특징 뿐만 아니라 텍스트 특징을 함께 이용하여 영상에 포함된 이상 징후를 감지하는 영상 이상을 감지하는 방법 및 장치를 제공하고자 함이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명에 따른 영상 이상을 감지하는 방법은, 적어도 하나의 영상 정보를 수집하여 상기 적어도 하나의 영상 정보를 복수의 스니펫으로 분할하는 단계; 상기 분할된 복수의 스니펫 각각에 대한 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 단계; 상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성하는 단계; 및 상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 단계;를 포함할 수 있다.
예를 들어, 상기 추출하는 단계는 상기 분할된 복수의 스니펫 각각에 대해 기 설정된 크롭횟수에 따라 프레임이 크롭되는 전처리를 수행하는 단계; 및 상기 전처리가 수행된 복수의 스니펫 각각에 대한 상기 시각적 특징 정보를 추출하는 단계;를 포함할 수 있다.
예를 들어, 상기 추출하는 단계는 상기 분할된 복수의 스니펫 각각에 포함된 캡션을 생성하는 단계; 및 상기 생성된 캡션을 기반으로 문장 임베딩을 수행하여 상기 텍스트 특징 정보를 추출하는 단계;를 포함할 수 있다.
예를 들어, 상기 추출하는 단계는 상기 복수의 스니펫 각각에 대한 상기 시각적 특징 정보 및 상기 텍스트 특징 정보에 다중 스케일에 따른 보정을 수행하는 단계; 및 상기 보정이 수행된 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 단계;를 포함할 수 있다.
예를 들어, 상기 생성하는 단계는 상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 복수의 합성 방식 중 적어도 하나의 방식을 이용하여 상기 합성 정보를 생성하는 단계;를 포함할 수 있다.
예를 들어, 상기 감지하는 단계는 상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 총 손실값에 대응되는 제1 손실값 및 상기 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 제2 손실값을 각각 판단하는 단계; 상기 판단된 제1 손실값 및 제2 손실값을 기반으로 손실함수를 생성하는 단계; 및 상기 생성된 손실함수를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 단계;를 포함할 수 있다.
예를 들어, 상기 제1 손실값 및 제2 손실값을 각각 판단하는 단계는 상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하는 단계; 상기 판단된 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기들의 평균 특징 크기를 판단하는 단계; 및 상기 판단된 평균 특징 크기를 기반으로 상기 제1 손실값을 판단하는 단계;를 포함할 수 있다.
예를 들어, 상기 제1 손실값 및 제2 손실값을 각각 판단하는 단계는 상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하는 단계; 상기 판단된 특징 크기를 기반으로 상기 복수의 스니펫 각각의 프레임 수준 예측값을 판단하는 단계; 상기 특징 크기 증 크기순으로 기 설정된 기준개수에 해당하는 특징 크기에 대응되는 프레임 수준 예측값을 기반으로 상기 적어도 하나의 영상 정보의 이상 점수를 판단하는 단계; 및 상기 판단된 이상 점수를 기반으로 상기 제2 손실값을 판단하는 단계;를 포함할 수 있다.
예를 들어, 상기 감지하는 단계 이후, 상기 이상 징후가 감지되면 상기 적어도 하나의 영상 정보의 이상 점수 및 상기 적어도 하나의 영상 정보에 포함된 캡션을 출력하는 단계;를 더 포함할 수 있다.
예를 들어, 상기 출력하는 단계는 상기 적어도 하나의 영상 정보의 이상 점수가 기 설정된 기준 점수를 초과하면 경고 알람을 출력하는 단계;를 포함할 수 있다.
또한, 상기의 목적을 달성하기 위한 본 발명에 따른 영상 이상을 감지하는 장치는, 적어도 하나의 영상 정보를 수집하여 상기 적어도 하나의 영상 정보를 복수의 스니펫으로 분할하는 영상 수집부; 상기 영상 수집부에서 분할된 복수의 스니펫 각각에 대한 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 정보 추출부; 및 상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성하고, 상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 감지 제어부;를 포함할 수 있다.
예를 들어, 상기 정보 추출부는 상기 분할된 복수의 스니펫 각각에 대해 기 설정된 크롭횟수에 따라 프레임이 크롭되는 전처리를 수행하고, 상기 전처리가 수행된 복수의 스니펫 각각에 대한 상기 시각적 특징 정보를 추출할 수 있다.
예를 들어, 상기 정보 추출부는 상기 분할된 복수의 스니펫 각각에 포함된 캡션을 생성하고, 상기 생성된 캡션을 기반으로 문장 임베딩을 수행하여 상기 텍스트 특징 정보를 추출할 수 있다.
예를 들어, 상기 정보 추출부는 상기 복수의 스니펫 각각에 대한 상기 시각적 특징 정보 및 상기 텍스트 특징 정보에 다중 스케일에 따른 보정을 수행하고, 상기 보정이 수행된 시각적 특징 정보 및 텍스트 특징 정보를 추출할 수 있다.
예를 들어, 상기 감지 제어부는 상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 복수의 합성 방식 중 적어도 하나의 방식을 이용하여 상기 합성 정보를 생성할 수 있다.
예를 들어, 상기 감지 제어부는 상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 총 손실값에 대응되는 제1 손실값 및 상기 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 제2 손실값을 각각 판단하고, 상기 판단된 제1 손실값 및 제2 손실값을 기반으로 손실함수를 생성하며, 상기 생성된 손실함수를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지할 수 있다.
예를 들어, 상기 감지 제어부는 상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하고, 상기 판단된 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기들의 평균 특징 크기를 판단하며, 상기 판단된 평균 특징 크기를 기반으로 상기 제1 손실값을 판단할 수 있다.
예를 들어, 상기 감지 제어부는 상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하고, 상기 판단된 특징 크기를 기반으로 상기 복수의 스니펫 각각의 프레임 수준 예측값을 판단하며, 상기 특징 크기 증 크기순으로 기 설정된 기준개수에 해당하는 특징 크기에 대응되는 프레임 수준 예측값을 기반으로 상기 적어도 하나의 영상 정보의 이상 점수를 판단하고, 상기 판단된 이상 점수를 기반으로 상기 제2 손실값을 판단할 수 있다.
예를 들어, 상기 감지 제어부는 상기 이상 징후가 감지되면 상기 적어도 하나의 영상 정보의 이상 점수 및 상기 적어도 하나의 영상 정보에 포함된 캡션이 출력되도록 할 수 있다.
예를 들어, 상기 감지 제어부는 상기 적어도 하나의 영상 정보의 이상 점수가 기 설정된 기준 점수를 초과하면 경고 알람이 출력되도록 할 수 있다.
상술한 바에 따르면, 본 발명의 영상 이상을 감지하는 방법 및 장치는 영상에서 추출된 시각적 특징 및 텍스트 특징을 기반으로 영상에 포함된 이상 징후를 감지함으로써 영상 이상을 감지함에 있어 정확도를 향상시킬 수 있다.
그리고, 시각적 특징 및 텍스트 특징 각각에 대해 다중 스케일에 따른 보정을 수행함으로써 영상 이상을 감지하는 방법 및 장치의 견고성을 향상시킬 수 있다.
또한, 영상에 대한 이상 점수와 영상에 포함된 캡션이 출력되도록 함으로써 본 발명에 따른 영상 이상을 감지하는 방법 및 장치를 사용하는 사용자가 영상에 포함된 이상 징후에 대해 효율적으로 대응할 수 있다.
아울러, 시각적 특징 뿐만 아니라 텍스트 특징을 함께 이용하여 영상에 포함된 이상 징후의 의미론적 의미를 포착할 수 있어 다양한 분야에 적용시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 내지 4는 본 발명의 일 실시예에 따른 영상 이상을 감지하는 장치의 구성을 설명하기 위한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 영상 이상을 감지하는 방법을 설명하기 위한 순서도이다.
본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 4를 참조하여 본 발명의 실시예에 따른 영상 이상을 감지하는 장치에 대해 설명하도록 한다.
도 1 내지 4는 본 발명의 일 실시예에 따른 영상 이상을 감지하는 장치의 구성을 설명하기 위한 블럭도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 이상을 감지하는 장치는 영상 수집부(100), 정보 추출부(200) 및 감지 제어부(300)를 포함할 수 있다. 도 1은 본 발명의 실시예와 관련된 구성 요소를 위주로 나타낸 것으로, 실제 영상 이상을 감지하는 장치를 구현함에 있어서는 이보다 더 적거나 많은 구성 요소를 포함할 수 있음은 물론이다.
한편, 본 발명의 실시예에 따른 영상 이상을 감지하는 장치의 구성 요소 각각(100, 200, 300)은 다른 구성 요소와 통신하는 통신 장치, 운영체제나 로직 명령어와 입출력 정보 등을 저장하는 메모리 및 담당 기능 제어에 필요한 판단, 연산, 결정 등을 수행하는 하나 이상의 프로세서를 포함할 수 있다.
이하에서는 도 2 내지 4를 참조하여 각 구성 요소에 대해 설명하도록 한다.
먼저, 도 2를 참조하여 본 발명의 실시예에 따른 영상 수집부(100)에 대해 설명한다.
도 2를 참조하면, 영상 수집부(100)는 적어도 하나의 영상 정보를 수집할 수 있고, 적어도 하나의 영상 정보를 복수의 스니펫으로 분할할 수 있다. 예컨대, 영상 수집부(100)는 실시간으로 영상을 촬영하도록 구비된 외부 촬영장치에서 촬영된 적어도 하나의 영상 정보를 입력 정보로써 수집할 수 있다. 그리고, 영상 수집부(100)는 적어도 하나의 영상 정보를 복수의 스니펫으로 분할하되, 적어도 하나의 영상 정보를 사전 설정된 개수(예컨대, T개)만큼 복수의 스니펫(SN1, SN2,
Figure PCTKR2023020120-appb-img-000001
, SNT)으로 분할할 수 있다.
또한, 영상 수집부(100)는 적어도 하나의 영상 정보를 복수의 스니펫으로 분할하고, 적어도 하나의 영상 정보 간에 서로 대응되는 스니펫을 그룹핑하여 관리할 수도 있다. 다만, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다. 예컨대, 영상 수집부(100)는 외부 촬영장치에서 촬영된 영상 정보만을 수집하도록 구성될 수 있으며, 그에 따라 영상 정보를 복수의 스니펫으로 분할하는 기능은 영상 수집부(100)와 별도의 장치로 분리되어 수행될 수도 있다.
영상 수집부(100)는 분할된 복수의 스니펫에 대한 정보를 정보 추출부(200)에 전달할 수 있다.
다음으로는 도 3을 참조하여 본 발명의 실시예에 따른 정보 추출부(200)에 대해 설명한다.
도 3을 참조하면, 정보 추출부(200)는 분할된 복수의 스니펫에 대한 정보를 제공받고, 이를 기반으로 복수의 스니펫 각각에 대한 시각적 특징 정보 및 텍스트 특징 정보를 추출할 수 있다. 이를 위해, 정보 추출부(200)는 시각적 특징 추출부(210) 및 텍스트 특징 추출부(220)를 포함할 수 있다. 그리고, 시각적 특징 추출부(210)는 전처리부(211) 및 다중 스케일 보정부(212)를 포함할 수 있으며, 텍스트 특징 추출부(220)는 캡션 생성부(221), 문장 임베딩부(222) 및 다중 스케일 보정부(223)를 포함할 수 있다. 도 3은 본 발명의 실시예와 관련된 구성 요소를 위주로 나타낸 것으로, 실제 정보 추출부(200)를 구현함에 있어서는 이보다 더 적거나 많은 구성 요소를 포함할 수 있음은 물론이다.
이하, 각 구성 요소에 대해 설명한다.
시각적 특징 추출부(210)는 영상 수집부(100)에서 제공된 복수의 스니펫에 대한 정보를 기반으로 복수의 스니펫 각각에 포함된 시각적 특징 정보를 추출할 수 있다. 예컨대, 시각적 특징 추출부(210)는 사전 학습된 신경망인 ResNet-50을 통해 복수의 스니펫 각각에 포함된 시각적 특징 정보를 추출할 수 있으며, 시각적 특징 정보는 I3D(Inflated 3D Convnet) 방식에 따른 정보일 수 있다. 다만, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
그리고, 시각적 특징 추출부(210)는 시각적 특징 정보 추출시 정보의 정합성을 높이기 위해 전처리부(211)를 통해 전처리 과정을 수행할 수 있다. 예를 들어, 전처리부(211)는 분할된 복수의 스니펫 각각에 대해 기 설정된 크롭횟수에 따라 프레임이 크롭(crop)되는 전처리를 수행할 수 있다. 예컨대, 기 설정된 크롭횟수가 5회인 경우, 전처리부(211)는 복수의 스니펫 각각의 프레임이 네 모서리 부분과 중앙 부분으로 크롭(crop)되도록 할 수 있다.
시각적 특징 추출부(210)는 복수의 스니펫이 전처리부(211)를 거쳐 전처리가 수행되면, 전처리가 수행된 복수의 스니펫 각각에 대한 시각적 특징 정보를 추출할 수 있다. 복수의 스니펫 각각에 대해 프레임이 크롭되는 전처리를 수행함으로써 기존 복수의 스니펫에 대한 정보보다 처리할 수 있는 정보의 양이 증가하게 되고, 이를 통해 시각적 특징 정보를 추출함으로써 정보의 정합성을 높일 수 있다.
텍스트 특징 추출부(220)는 영상 수집부(100)에서 제공된 복수의 스니펫에 대한 정보를 기반으로 복수의 스니펫 각각에 포함된 텍스트 특징 정보를 추출할 수 있다. 예컨대, 텍스트 특징 추출부(220)는 캡션 생성부(221)를 통해 복수의 스니펫 각각에 포함된 캡션(caption)을 생성할 수 있다. 이때, 캡션 생성부(221)는 복수의 스니펫 각각에 대하여 슬라이딩 윈도우 전략을 사용하여 연속된 프레임에 대한 캡션을 생성할 수도 있다. 또한, 캡션은 복수의 스니펫 각각에 포함된 이벤트를 설명하는 것으로, 예를 들어, 복수의 스니펫 각각에 포함된 사람의 동작 및 사물의 배치 상태 등을 설명하는 것일 수 있다. 다만, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
캡션 생성부(221)는 생성된 캡션에 대한 정보를 문장 임베딩부(222)에 전달할 수 있으며, 문장 임베딩부(222)는 생성된 캡션을 기반으로 문장 임베딩을 수행할 수 있다. 예컨대, 문장 임베딩부(222)는 드롭아웃 노이즈(Drop-out Noise) 방식을 이용하거나 자연어 처리 방식(NLP : Natural Language Processing) 중 하나인 자연어 추론 데이터세트에 기록된 쌍을 기반으로 문장 임베딩을 수행할 수 있다. 다만, 이는 예시적인 것으로, 반드시 이에 한정되지 않음은 물론이다. 텍스트 특징 추출부(220)는 캡션 생성부(221) 및 문장 임베딩부(222)를 통해 복수의 스니펫 각각에 대하여 캡션을 생성하고, 문장 임베딩을 수행함으로써 텍스트 특징 정보를 추출할 수 있다.
한편, 시각적 특징 추출부(210) 및 텍스트 특징 추출부(220)는 시각적 특징 정보 및 텍스트 특징 정보를 외부로 전달하기 이전, 복수의 스니펫 각각에 대해 1차적으로 추출된 시각적 특징 정보 및 텍스트 특징 정보를 다중 스케일에 따른 보정을 수행할 수 있다. 이를 위해, 시각적 특징 추출부(210) 및 텍스트 특징 추출부(220)에는 각각 다중 스케일 보정부(212, 223)가 구비될 수 있다.
예컨대, 다중 스케일 보정부(212, 223)는 시간적 네트워크(Temporal Network)를 통해 1차적으로 추출된 시각적 특징 정보 및 텍스트 특징 정보를 다중 스케일에 따른 보정을 수행할 수 있다. 시간적 네트워크는 다층 피라미드 확장 컨벌루션(Multiple Layer Pyramid Dilated Convolution) 영역과 비로컬 영역(NLB : Non-Local Block)이 포함될 수 있다. 시간 범위에 대한 피라미드 확장 컨벌루션은 여러 스케일로 복수의 스니펫에 대한 표현을 학습하는데 사용될 수 있으며, 비로컬 영역은 복수의 스니펫 간의 전반적인 시간적 종속성을 학습하는데 사용될 수 있다. 다중 스케일 보정부(212, 223)에서 시각적 특징 정보 및 텍스트 특징 정보 각각에 시간적 네트워크를 통한 다중 스케일에 따른 보정을 수행함으로써 이후 시각적 특징 추출부(210) 및 텍스트 특징 추출부(220)에서 보정되어 추출된 시각적 특징 정보 및 텍스트 특징 정보의 합성시 시간적 종속성이 잘 포착되도록 할 수 있다.
상술한 바와 같이, 정보 추출부(200)는 시각적 특징 추출부(210)를 통해 시각적 특징 정보를 추출하고, 텍스트 특징 추출부(220)를 통해 텍스트 특징 정보를 추출할 수 있으며, 추출된 시각적 특징 정보와 텍스트 특징 정보를 감지 제어부(300)에 제공할 수 있다.
다음으로는 도 4를 참조하여 본 발명의 실시예에 따른 감지 제어부(300)에 대해 설명한다.
도 4를 참조하면, 본 발명의 실시예에 따른 감지 제어부(300)는 정보 추출부(200)에서 추출된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성하고, 생성된 합성 정보를 기반으로 적어도 하나의 영상 정보의 이상 징후를 감지할 수 있다. 이를 위해, 감지 제어부(300)는 합성부(310), 판단부(320) 및 이상 감지부(330)를 포함할 수 있다. 도 4는 본 발명의 실시예와 관련된 구성 요소를 위주로 나타낸 것으로, 실제 감지 제어부(300)를 구현함에 있어서는 이보다 더 적거나 많은 구성 요소를 포함할 수 있음은 물론이다.
이하, 각 구성 요소에 대해 설명한다.
합성부(310)는 정보 추출부(200)에서 추출되어 제공된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성하되, 복수의 합성 방식 중 적어도 하나의 합성 방식을 이용하여 합성 정보를 생성할 수 있다. 복수의 합성 방식에는 연결(Concatenation), 더하기(Addition) 및 곱하기(Product) 방식이 존재할 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
그리고, 더하기 및 곱하기 방식을 통해 합성 정보가 생성될 경우, 합성부(310)는 시각적 특징 정보에 대한 차원을 텍스트 특징 정보에 대한 차원과 동일하게 줄이기 위해 완전 연결된 레이어를 추가할 수 있으며, 이후 시각적 특징 정보와 텍스트 특징 정보에 대한 합성 정보를 생성할 수 있다. 다만, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
판단부(320)는 합성부(310)에서 생성된 합성 정보를 기반으로 영상 손실값을 판단할 수 있으며, 영상 손실값을 판단하기 위한 제1 손실값 및 제2 손실값을 판단할 수 있다. 예컨대, 제1 손실값은 영상 수집부(100)에서 수집된 적어도 하나의 영상 정보의 총 손실값에 대응되는 값일 수 있으며, 제2 손실값은 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 값일 수 있다.
구체적으로, 판단부(320)는 합성부(310)에서 생성된 합성 정보를 기반으로 복수의 스니펫 각각에 대응되는 특징 크기를 판단할 수 있다. 이때, 판단부(320)는 l2 norm 방식을 이용한 특징 크기를 판단할 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
그리고, 판단부(320)는 판단된 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기들의 평균 특징 크기를 판단할 수 있다. 예컨대, 기 설정된 기준개수가 k개인 경우, 판단부(320)는 복수의 스니펫 각각에 대응되는 특징 크기 중 크기순으로 상위 k개에 해당하는 특징 크기들을 추출하고, 이를 기반으로 평균 특징 크기를 판단할 수 있다. 평균 특징 크기(
Figure PCTKR2023020120-appb-img-000002
)는 아래 수학식 1을 통해 판단될 수 있다. 특히, 평균 특징 크기는 적어도 하나의 영상 정보에 대응되는 특징 크기로 판단될 수도 있다.
Figure PCTKR2023020120-appb-img-000003
판단부(320)는 위 수학식 1을 통해 판단된 평균 특징 크기를 기반으로 아래의 수학식 2를 이용하여 적어도 하나의 영상 정보의 총 손실값에 대응되는 제1 손실값(
Figure PCTKR2023020120-appb-img-000004
)을 판단할 수 있다.
Figure PCTKR2023020120-appb-img-000005
제1 손실값(
Figure PCTKR2023020120-appb-img-000006
)은 적어도 하나의 영상 정보에서 정상적인 데이터와 비정상적인 데이터를 모두 포함하는 총 손실값을 의미할 수 있다.
또한, 판단부(320)는 생성된 합성 정보를 기반으로 복수의 스니펫 각각에 대응되는 특징 크기를 판단하고, 이를 기반으로 복수의 스니펫 각각의 프레임 수준 예측값을 판단할 수 있다. 예를 들어, 판단부(320)는 판단된 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기들을 기반으로 별도 구비된 이진 스니펫 분류기(Binary Snippet Classifier)를 학습시킬 수 있다. 그리고, 판단부(320)는 학습된 이진 스니펫 분류기를 기반으로 복수의 스니펫 각각에 포함된 개별 프레임으로 전파되는 스니펫 수준 예측값을 판단할 수 있으며, 판단된 스니펫 수준 예측값을 기반으로 복수의 스니펫 각각의 프레임 수준 예측값을 판단할 수 있다.
그리고, 판단부(320)는 복수의 스니펫 각각에 대응되는 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기에 대응되는 프레임 수준 예측값을 기반으로 적어도 하나의 영상 정보의 이상 점수를 판단할 수 있다. 판단부(320)는 복수의 스니펫 각각에 대응되는 프레임 수준 예측값 중 특징 크기 순으로 상위 기준개수에 해당하는 값을 기반으로 적어도 하나의 영상 정보 전체에 대한 이상 점수를 판단할 것을 가정한다. 이에 판단부(320)는 아래 수학식 3을 통해 적어도 하나의 영상 정보에 대한 이상 점수(
Figure PCTKR2023020120-appb-img-000007
)를 판단할 수 있다.
Figure PCTKR2023020120-appb-img-000008
이때,
Figure PCTKR2023020120-appb-img-000009
는 복수의 스니펫 각각에 대응되는 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기에 대응되는 프레임 수준 예측값을 의미할 수 있다. 본 발명은 정상적인 데이터를 포함하고 있는 영상 정보의 이상 점수와 비정상적인 데이터를 포함하고 있는 영상 정보의 이상 점수의 차이가 커지도록 하여 정상적인 데이터와 비정상적인 데이터의 구분을 용이하게 할 것을 부수적인 목적으로 한다. 이를 달성하기 위해, 복수의 스니펫 각각에 대응되는 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기를 기반으로 이진 스니펫 분류기를 학습시킬 수 있다. 그리고, 학습된 이진 스니펫 분류기에서 판단된 프레임 수준 예측값을 기반으로 영상 정보의 이상 점수를 판단함으로써 정상적인 데이터를 포함하고 있는 영상 정보의 이상 점수와 비정상적인 데이터를 포함하고 있는 영상 정보의 이상 점수의 차이가 커지게 할 수 있다.
이후, 판단부(320)는 위 수학식 3을 통해 판단된 적어도 하나의 영상 정보에 대한 이상 점수(
Figure PCTKR2023020120-appb-img-000010
)를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 제2 손실값을 판단할 수 있다. 이때, 판단부(320)는 이진 교차 엔트로피(Binary Cross Entrophy)를 기반으로 형성된 아래 수학식 4를 통해 제2 손실값(
Figure PCTKR2023020120-appb-img-000011
)을 판단할 수 있다.
Figure PCTKR2023020120-appb-img-000012
그리고, 판단부(320)는 상술한 바와 같이 판단된 제1 손실값(
Figure PCTKR2023020120-appb-img-000013
) 및 제2 손실값(
Figure PCTKR2023020120-appb-img-000014
)을 기반으로 손실함수를 생성할 수 있다. 이때, 판단부(320)는 아래 수학식 5를 이용하여 손실함수(
Figure PCTKR2023020120-appb-img-000015
)를 생성할 수 있다.
Figure PCTKR2023020120-appb-img-000016
위 수학식 5에서
Figure PCTKR2023020120-appb-img-000017
는 손실 구성 요소의 가중치를 조정하기 위한 매개변수로써, 본 발명의 실시예에서는 제1 손실값의 가중치를 조정할 수 있다. 즉, 손실함수는 위 수학식 5와 같이 매개변수
Figure PCTKR2023020120-appb-img-000018
, 제1 손실값(
Figure PCTKR2023020120-appb-img-000019
) 및 제2 손실값(
Figure PCTKR2023020120-appb-img-000020
)을 기반으로 한 일차함수 형태로 생성될 수 있다. 다만, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
판단부(320)는 생성된 손실함수를 이상 감지부(330)에 제공할 수 있으며, 이상 감지부(330)는 생성된 손실함수를 기반으로 적어도 하나의 영상 정보의 이상 징후를 감지할 수 있다. 그리고, 이상 감지부(330)는 적어도 하나의 영상 정보에서 이상 징후가 감지되면, 외부 사용자가 이상 징후에 대해 인식할 수 있도록 감지된 이상 징후에 대한 정보가 출력되도록 할 수 있다.
예를 들어, 이상 감지부(330)는 적어도 하나의 영상 정보에서 이상 징후가 감지되면, 적어도 하나의 영상 정보의 이상 점수 및 적어도 하나의 영상 정보에 포함된 캡션이 출력되도록 할 수 있다. 이때, 적어도 하나의 영상 정보의 이상 점수는 적어도 하나의 영상 정보를 분할한 복수의 스니펫에 대한 이상 점수일 수 있고, 적어도 하나의 영상 정보에 포함된 캡션은 적어도 하나의 영상 정보를 분할한 복수의 스니펫에 대한 캡션일 수 있다.
또한, 이상 감지부(330)는 상술한 적어도 하나의 영상 정보의 이상 점수 및 적어도 하나의 영상 정보에 포함된 캡션을 출력하고자 할 때 경고 알람도 함께 출력되도록 할 수 있다. 예를 들어, 이상 감지부(330)는 이상 징후 감지시 판단된 적어도 하나의 영상 정보의 이상 점수를 기반으로 기 설정된 기준 점수와 비교할 수 있다. 이상 감지부(330)는 앞선 비교 결과, 적어도 하나의 영상 정보의 이상 점수가 기 설정된 기준 점수를 초과하면 경고 알람을 생성할 수 있다. 이상 감지부(330)가 경고 알람을 생성하고, 생성된 경고 알람이 출력되도록 함으로써 외부 사용자가 인식하고 이상 징후에 대응하도록 할 수 있다. 다만, 이는 예시적인 것으로 반드시 이에 한정되지 않음은 물론이다.
이하에서는 도 1 내지 4를 참조하여 상술한 영상 이상을 감지하는 장치의 구성을 바탕으로 본 발명의 실시예에 따른 영상 이상을 감지하는 방법을 도 5를 참조하여 설명한다. 단, 도 5의 각 단계에 대한 구체적인 설명은 도 1 내지 4를 참조하여 상술하였으므로, 이하에서는 생략하기로 한다.
도 5는 본 발명의 일 실시예에 따른 영상 이상을 감지하는 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 영상 수집부(100)는 외부의 촬영장치로부터 적어도 하나의 영상 정보를 수집할 수 있고(S510), 수집된 적어도 하나의 영상 정보를 복수의 스니펫으로 분할할 수 있다(S520).
그리고, 정보 추출부(200)는 분할된 복수의 스니펫을 기반으로 복수의 스니펫 각각에 대한 시각적 특징 정보 및 텍스트 특징 정보를 추출할 수 있다(S530).
그리고, 감지 제어부(300)는 정보 추출부(200)에서 추출된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성할 수 있고(S540), 생성된 합성 정보를 기반으로 적어도 하나의 영상 정보의 총 손실값에 대응되는 제1 손실값 및 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 제2 손실값을 각각 판단할 수 있다(S550).
감지 제어부(300)는 판단된 제1 손실값 및 제2 손실값을 기반으로 손실함수를 생성할 수 있으며(S560), 생성된 손실함수를 기반으로 적어도 하나의 영상 정보에 대한 이상 감지를 수행할 수 있다(S570).
이후, 이상 감지 수행시 적어도 하나의 영상 정보에서 이상 징후가 감지될 경우(S580의 Yes), 감지 제어부(300)는 적어도 하나의 영상 정보의 이상 점수 및 적어도 하나의 영상 정보에 포함된 캡션이 출력되도록 할 수 있다(S590). 또한, 감지 제어부(300)는 적어도 하나의 영상 정보의 이상 점수가 기 설정된 기준 점수를 초과할 경우, 이상 점수 및 캡션 출력시 경고 알람이 함께 출력되도록 할 수도 있다.
상술한 바에 따르면, 본 발명의 영상 이상을 감지하는 방법 및 장치는 영상에서 추출된 시각적 특징 및 텍스트 특징을 기반으로 영상에 포함된 이상 징후를 감지함으로써 영상 이상을 감지함에 있어 정확도를 향상시킬 수 있다.
그리고, 시각적 특징 및 텍스트 특징 각각에 대해 다중 스케일에 따른 보정을 수행함으로써 영상 이상을 감지하는 방법 및 장치의 견고성을 향상시킬 수 있다.
또한, 영상에 대한 이상 점수와 영상에 포함된 캡션이 출력되도록 함으로써 본 발명에 따른 영상 이상을 감지하는 방법 및 장치를 사용하는 사용자가 영상에 포함된 이상 징후에 대해 효율적으로 대응할 수 있다.
아울러, 시각적 특징 뿐만 아니라 텍스트 특징을 함께 이용하여 영상에 포함된 이상 징후의 의미론적 의미를 포착할 수 있어 다양한 분야에 적용시킬 수 있다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
[부호의 설명]
100 : 영상 수집부
200 : 정보 추출부
300 : 감지 제어부

Claims (20)

  1. 적어도 하나의 영상 정보를 수집하여 상기 적어도 하나의 영상 정보를 복수의 스니펫으로 분할하는 단계;
    상기 분할된 복수의 스니펫 각각에 대한 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 단계;
    상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성하는 단계; 및
    상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 단계;를 포함하는 영상 이상을 감지하는 방법.
  2. 청구항 1에 있어서,
    상기 추출하는 단계는
    상기 분할된 복수의 스니펫 각각에 대해 기 설정된 크롭횟수에 따라 프레임이 크롭되는 전처리를 수행하는 단계; 및
    상기 전처리가 수행된 복수의 스니펫 각각에 대한 상기 시각적 특징 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  3. 청구항 1에 있어서,
    상기 추출하는 단계는
    상기 분할된 복수의 스니펫 각각에 포함된 캡션을 생성하는 단계; 및
    상기 생성된 캡션을 기반으로 문장 임베딩을 수행하여 상기 텍스트 특징 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  4. 청구항 1에 있어서,
    상기 추출하는 단계는
    상기 복수의 스니펫 각각에 대한 상기 시각적 특징 정보 및 상기 텍스트 특징 정보에 다중 스케일에 따른 보정을 수행하는 단계; 및
    상기 보정이 수행된 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  5. 청구항 1에 있어서,
    상기 생성하는 단계는
    상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 복수의 합성 방식 중 적어도 하나의 방식을 이용하여 상기 합성 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  6. 청구항 1에 있어서,
    상기 감지하는 단계는
    상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 총 손실값에 대응되는 제1 손실값 및 상기 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 제2 손실값을 각각 판단하는 단계;
    상기 판단된 제1 손실값 및 제2 손실값을 기반으로 손실함수를 생성하는 단계; 및
    상기 생성된 손실함수를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  7. 청구항 6에 있어서,
    상기 제1 손실값 및 제2 손실값을 각각 판단하는 단계는
    상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하는 단계;
    상기 판단된 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기들의 평균 특징 크기를 판단하는 단계; 및
    상기 판단된 평균 특징 크기를 기반으로 상기 제1 손실값을 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  8. 청구항 6에 있어서,
    상기 제1 손실값 및 제2 손실값을 각각 판단하는 단계는
    상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하는 단계;
    상기 판단된 특징 크기를 기반으로 상기 복수의 스니펫 각각의 프레임 수준 예측값을 판단하는 단계;
    상기 특징 크기 증 크기순으로 기 설정된 기준개수에 해당하는 특징 크기에 대응되는 프레임 수준 예측값을 기반으로 상기 적어도 하나의 영상 정보의 이상 점수를 판단하는 단계; 및
    상기 판단된 이상 점수를 기반으로 상기 제2 손실값을 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  9. 청구항 1에 있어서,
    상기 감지하는 단계 이후,
    상기 이상 징후가 감지되면 상기 적어도 하나의 영상 정보의 이상 점수 및 상기 적어도 하나의 영상 정보에 포함된 캡션을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  10. 청구항 9에 있어서,
    상기 출력하는 단계는
    상기 적어도 하나의 영상 정보의 이상 점수가 기 설정된 기준 점수를 초과하면 경고 알람을 출력하는 단계;를 포함하는 것을 특징으로 하는 영상 이상을 감지하는 방법.
  11. 적어도 하나의 영상 정보를 수집하여 상기 적어도 하나의 영상 정보를 복수의 스니펫으로 분할하는 영상 수집부;
    상기 영상 수집부에서 분할된 복수의 스니펫 각각에 대한 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 정보 추출부; 및
    상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 합성하여 합성 정보를 생성하고, 상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 감지 제어부;를 포함하는 영상 이상을 감지하는 장치.
  12. 청구항 11에 있어서,
    상기 정보 추출부는
    상기 분할된 복수의 스니펫 각각에 대해 기 설정된 크롭횟수에 따라 프레임이 크롭되는 전처리를 수행하고, 상기 전처리가 수행된 복수의 스니펫 각각에 대한 상기 시각적 특징 정보를 추출하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  13. 청구항 11에 있어서,
    상기 정보 추출부는
    상기 분할된 복수의 스니펫 각각에 포함된 캡션을 생성하고, 상기 생성된 캡션을 기반으로 문장 임베딩을 수행하여 상기 텍스트 특징 정보를 추출하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  14. 청구항 11에 있어서,
    상기 정보 추출부는
    상기 복수의 스니펫 각각에 대한 상기 시각적 특징 정보 및 상기 텍스트 특징 정보에 다중 스케일에 따른 보정을 수행하고, 상기 보정이 수행된 시각적 특징 정보 및 텍스트 특징 정보를 추출하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  15. 청구항 11에 있어서,
    상기 감지 제어부는
    상기 추출된 시각적 특징 정보 및 텍스트 특징 정보를 복수의 합성 방식 중 적어도 하나의 방식을 이용하여 상기 합성 정보를 생성하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  16. 청구항 11에 있어서,
    상기 감지 제어부는
    상기 생성된 합성 정보를 기반으로 상기 적어도 하나의 영상 정보의 총 손실값에 대응되는 제1 손실값 및 상기 적어도 하나의 영상 정보의 이상 징후를 감지하기 위한 학습값에 대응되는 제2 손실값을 각각 판단하고, 상기 판단된 제1 손실값 및 제2 손실값을 기반으로 손실함수를 생성하며, 상기 생성된 손실함수를 기반으로 상기 적어도 하나의 영상 정보의 이상 징후를 감지하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  17. 청구항 16에 있어서,
    상기 감지 제어부는
    상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하고, 상기 판단된 특징 크기 중 크기순으로 기 설정된 기준개수에 해당하는 특징 크기들의 평균 특징 크기를 판단하며, 상기 판단된 평균 특징 크기를 기반으로 상기 제1 손실값을 판단하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  18. 청구항 16에 있어서,
    상기 감지 제어부는
    상기 생성된 합성 정보를 기반으로 상기 복수의 스니펫 각각에 대응되는 특징 크기를 판단하고, 상기 판단된 특징 크기를 기반으로 상기 복수의 스니펫 각각의 프레임 수준 예측값을 판단하며, 상기 특징 크기 증 크기순으로 기 설정된 기준개수에 해당하는 특징 크기에 대응되는 프레임 수준 예측값을 기반으로 상기 적어도 하나의 영상 정보의 이상 점수를 판단하고, 상기 판단된 이상 점수를 기반으로 상기 제2 손실값을 판단하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  19. 청구항 11에 있어서,
    상기 감지 제어부는
    상기 이상 징후가 감지되면 상기 적어도 하나의 영상 정보의 이상 점수 및 상기 적어도 하나의 영상 정보에 포함된 캡션이 출력되도록 하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
  20. 청구항 19에 있어서,
    상기 감지 제어부는
    상기 적어도 하나의 영상 정보의 이상 점수가 기 설정된 기준 점수를 초과하면 경고 알람이 출력되도록 하는 것을 특징으로 하는 영상 이상을 감지하는 장치.
PCT/KR2023/020120 2023-06-16 2023-12-07 영상 이상을 감지하는 방법 및 장치 Ceased WO2024257974A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380099232.4A CN121368787A (zh) 2023-06-16 2023-12-07 检测图像异常的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230077624A KR20240176676A (ko) 2023-06-16 2023-06-16 영상 이상을 감지하는 방법 및 장치
KR10-2023-0077624 2023-06-16

Publications (1)

Publication Number Publication Date
WO2024257974A1 true WO2024257974A1 (ko) 2024-12-19

Family

ID=93852302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/020120 Ceased WO2024257974A1 (ko) 2023-06-16 2023-12-07 영상 이상을 감지하는 방법 및 장치

Country Status (3)

Country Link
KR (1) KR20240176676A (ko)
CN (1) CN121368787A (ko)
WO (1) WO2024257974A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120707974A (zh) * 2025-08-28 2025-09-26 山东省计算中心（国家超级计算济南中心） 一种多模态提示记忆的无监督持续异常检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891887B1 (ko) * 2016-09-08 2018-08-24 연세대학교 산학협력단 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
KR20220046023A (ko) * 2020-10-06 2022-04-14 주식회사 인포쉐어 인공지능(ai) 기반 영상 및 음성정보를 활용한 자살고위험군 조기선별시스템 및 방법
KR102397839B1 (ko) * 2020-11-11 2022-05-16 주식회사 자비스넷 Ａｉ 영상 자율 센서의 영상 분석 기반 캡션 센서 장치 및 그 동작 방법
JP2022530785A (ja) * 2019-09-16 2022-07-01 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像処理方法、装置、電子機器及びコンピュータプログラム
JP2022180942A (ja) * 2021-05-25 2022-12-07 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891887B1 (ko) * 2016-09-08 2018-08-24 연세대학교 산학협력단 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
JP2022530785A (ja) * 2019-09-16 2022-07-01 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像処理方法、装置、電子機器及びコンピュータプログラム
KR20220046023A (ko) * 2020-10-06 2022-04-14 주식회사 인포쉐어 인공지능(ai) 기반 영상 및 음성정보를 활용한 자살고위험군 조기선별시스템 및 방법
KR102397839B1 (ko) * 2020-11-11 2022-05-16 주식회사 자비스넷 Ａｉ 영상 자율 센서의 영상 분석 기반 캡션 센서 장치 및 그 동작 방법
JP2022180942A (ja) * 2021-05-25 2022-12-07 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120707974A (zh) * 2025-08-28 2025-09-26 山东省计算中心（国家超级计算济南中心） 一种多模态提示记忆的无监督持续异常检测方法及系统

Also Published As

Publication number Publication date
CN121368787A (zh) 2026-01-20
KR20240176676A (ko) 2024-12-24

Similar Documents

Publication Publication Date Title
WO2014069822A1 (en) Apparatus and method for face recognition
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2023128186A1 (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
CN115065798B (zh) 一种基于大数据的视频分析监控系统
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2014193040A1 (ko) 센싱 데이터 분석 시스템 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021194008A1 (ko) 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
WO2024019337A1 (en) Video enhancement method and apparatus
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2021246810A1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
WO2024257974A1 (ko) 영상 이상을 감지하는 방법 및 장치
WO2020155773A1 (zh) 文本输入异常监控方法、装置、计算机设备及存储介质
WO2023085479A1 (ko) 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법
KR102423934B1 (ko) 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
WO2022131490A1 (ko) 딥러닝 기반 이미지 복구 기술을 이용한 패션 이미지 검색 방법 및 장치
WO2018030658A1 (ko) 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2022231053A1 (ko) 복수의 동적객체인식 처리가 가능한 다중해상도 영상처리장치 및 방법
WO2023140519A1 (ko) 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템
WO2023074994A1 (ko) 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법
WO2020067615A1 (ko) 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치
WO2025135283A1 (ko) 영상 분석을 통해 이벤트 관련 메시지를 생성하는 방법 및 이를 지원하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23941755

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11202508070T

Country of ref document: SG

WWP Wipo information: published in national office

Ref document number: 11202508070T

Country of ref document: SG