WO2022164235A1 - 영상 컨텐츠 실시간 유해성 검사 장치 및 방법 - Google Patents

영상 컨텐츠 실시간 유해성 검사 장치 및 방법 Download PDF

Info

Publication number
WO2022164235A1
WO2022164235A1 PCT/KR2022/001508 KR2022001508W WO2022164235A1 WO 2022164235 A1 WO2022164235 A1 WO 2022164235A1 KR 2022001508 W KR2022001508 W KR 2022001508W WO 2022164235 A1 WO2022164235 A1 WO 2022164235A1
Authority
WO
WIPO (PCT)
Prior art keywords
harmfulness
image
video
inspection
result
Prior art date
Application number
PCT/KR2022/001508
Other languages
English (en)
French (fr)
Inventor
김민석
Original Assignee
김민석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김민석 filed Critical 김민석
Publication of WO2022164235A1 publication Critical patent/WO2022164235A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Definitions

  • the present invention relates to image content harmfulness inspection technology, and more particularly, a real-time image content harmfulness inspection apparatus capable of inspecting for harmfulness in real time along with the reproduction of streamed image content and immediately reflecting the result on the image being reproduced. and methods.
  • the inspection time can be reduced by minimizing the load that may occur.
  • unexpected and unintended test results may occur.
  • An embodiment of the present invention is to provide an apparatus and method for real-time harmfulness inspection of video content that can check whether a streamed video content is harmful in real time along with the reproduction and immediately reflect the result on a reproduced video.
  • An embodiment of the present invention determines the number of frames extracted from a real-time streaming video according to the performance of the user terminal and reads the harmfulness test result with respect to the extracted image frames to secure the reliability of the test result.
  • An object of the present invention is to provide an apparatus and method for real-time harmfulness inspection of video content.
  • An embodiment of the present invention is to provide an apparatus and method for real-time harmfulness testing for video content, capable of predicting and pre-blocking harmfulness of a subsequent image frame through association between harmfulness test result values.
  • the image content real-time harmfulness inspection apparatus plays a video server providing a real-time streaming video file, and a video file streamed from the video server, and extracts a plurality of image frames per second from the video file to check and inspect for harmfulness and a user terminal that reads the result and blocks the harmful image of the video being reproduced.
  • the user terminal may include an image content receiving unit, a harmfulness checking unit configured to start a harmfulness test of the moving image file at a buffering time for playing the moving image file of the image content received from the image content receiving unit, or to inspect the harmfulness of a reproduced image in real time;
  • An inspection result reading unit that reads the inspection result based on the correlation between the inspection result values of the harmfulness inspection unit and determines the harmfulness of the current image of the reproduced image, and the image content receiving unit reproduces a moving picture file of the image content received from the image content receiving unit, It may include an image reproduction processing unit for blocking the harmful image by reflecting the harmfulness determination of the inspection result reading unit on the reproduced image.
  • the video content receiving unit may receive a real-time streaming video file from the video server in response to a user's request for video content, check a certificate of the received streaming video file, and determine the necessity of a harmfulness check of the video to be played back.
  • the harmfulness inspection unit extracts at least two or more image frames per second according to the performance of the user terminal and the resolution of the image from the streaming video file, inspects the harmfulness of each of the extracted image frames, and frames the harmfulness inspection result. It can be saved with timecode information.
  • the inspection result reading unit may calculate a correlation between the harmfulness test result of the current image frame with a plurality of immediately preceding image frames and read the harmfulness of the current image frame based on the calculated association.
  • the inspection result reading unit may calculate the correlation by obtaining an average value of the inspection result value of the current image frame and result values of image frames extracted within a specific time immediately preceding the location of the current image frame and tested for harmfulness.
  • the inspection result reading unit may apply a weight to the risk in the ratio of safety to risk among the hazard test result value and read the image frame at the boundary of safety or danger as a harmful image.
  • the inspection result reading unit compares the similarity between the first image frame and the immediately preceding image frame when the deviation between the harmfulness inspection result values of the image frames extracted in the same time period is greater than a preset criterion, and determines that the scene change is abrupt when the similarity is less than or equal to the reference value and the harmfulness can be read according to the similarity test result for the current image frame.
  • the method for real-time harmfulness inspection of video content includes receiving a real-time streaming video file from a video server in response to a user's request for video content, and the necessity of checking the harmfulness of the video file by verifying a certificate included in the received streaming video file.
  • the disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.
  • the apparatus and method for real-time harmfulness inspection of video content can inspect whether or not harmfulness is present in real time together with the reproduction of streamed video content and immediately reflect the result in the image being reproduced, so that harmful images can be obtained at an accurate time. can be blocked or hidden.
  • a video content real-time harmfulness inspection apparatus and method determines the number of frames extracted from a real-time streaming video according to the performance of a user terminal and reads the extracted image frames in association with the harmfulness inspection result. The reliability of the inspection results can be secured.
  • the apparatus and method for real-time harmfulness testing for image content can predict and pre-block harmfulness of subsequent image frames through association between harmfulness test result values, thereby preventing exposure of harmful scenes in advance.
  • FIG. 1 is a diagram for explaining an apparatus for real-time harmfulness detection of video content according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a user terminal of an apparatus for real-time harmfulness detection of video content according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method for real-time harmfulness inspection of video content according to an embodiment of the present invention.
  • FIG. 4 is a flowchart for explaining a process of a hazard test and a test result reading process according to an exemplary embodiment.
  • first and second are for distinguishing one component from another, and the scope of rights should not be limited by these terms.
  • a first component may be termed a second component, and similarly, a second component may also be termed a first component.
  • Identifiers eg, a, b, c, etc.
  • the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device.
  • the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner.
  • FIG. 1 is a diagram for explaining an apparatus for real-time harmfulness detection of video content according to an embodiment of the present invention.
  • the video content real-time harmfulness testing apparatus 100 may include a video server 110 and a user terminal 130, and perform video playback and a real-time harmfulness check between them, and the result can be implemented to immediately reflect the image being played back.
  • the video server 110 may be implemented as a computing device capable of transmitting video content to the user terminal 130 through a network.
  • the video server 110 may store a plurality of video contents in the form of video files in a streaming service platform and provide real-time streaming video data.
  • the video server 110 may be connected to the user terminal 130 through a wired network or a wireless network such as Bluetooth or WiFi.
  • the user terminal 130 may request image content from the video server 110 and may correspond to a computing device capable of receiving and playing a real-time streaming video file of the requested image content.
  • the user terminal 130 may be implemented as a smart phone, a notebook computer, or a computer, but is not necessarily limited thereto, and may be implemented in various devices such as a tablet PC, IPTV, and the like.
  • the user terminal 130 extracts image frames from the image content to be reproduced for the harmfulness test, and determines the number of image frames per second to be extracted according to the performance and resolution of the user terminal 130 to increase the reliability of the harmfulness test.
  • the user terminal 130 can minimize the time difference due to the inspection by first starting the harmfulness test during the buffering time for video playback of online streaming, or in real time when there is no buffering, and can display the test result immediately. It can be reflected in the video being played.
  • the user terminal 130 may stop or prohibit the reproduction of the video file according to the harmfulness test result, and block or cover a specific section to prevent exposure of harmful scenes.
  • FIG. 2 is a block diagram illustrating a configuration of a user terminal in an apparatus for real-time harmfulness detection of video content according to an embodiment of the present invention.
  • the user terminal 130 may include an image content receiving unit 210 , a harmfulness inspection unit 230 , an inspection result reading unit 350 , an image reproduction processing unit 270 , and a control unit 290 .
  • the image content receiver 210 may receive image content from the video server 110 .
  • the image content receiving unit 210 may receive a real-time streaming video file of the corresponding image content by network connection with the video server 110 in response to a user's request for image content.
  • the video content receiving unit 210 may determine the necessity of checking the harmfulness of the video to be played by checking the certificate of the received streaming video file.
  • the video content receiving unit 210 may determine that if the streaming video file has already been tested as a safe video in the process of posting it to the video server 110 and there is authentication, it is not necessary to check the harmfulness of the video to be played back.
  • the video content receiving unit 210 may determine that the harmfulness test is necessary when the streaming video file is not authenticated, when the authentication is present but reliability is low, when the authentication period has expired, or when the user unconditionally requests the test.
  • the image content receiving unit 210 may check the reliability of the corresponding image content through metadata included in the streaming video file.
  • the image content receiving unit 210 may check reliability by comparing the addresses of the website on which the image content is uploaded and the streaming website from the metadata, and if the addresses of the two sites match, it may be determined that there is reliability. have.
  • the received video file may be tested for harmfulness and reproduced by the harmfulness inspection unit 230 and the image reproduction processing unit 270 , respectively.
  • the harmfulness inspection unit 230 may perform a harmfulness inspection on the real-time streaming video file received by the image content receiving unit 210 . According to the performance of the user terminal 130 and the resolution of the reproduced image, the harmfulness inspection unit 230 extracts at least two or more image frames per second from the reproduced video file to perform the harmful content inspection. .
  • Time code is used to indicate the position from the start point of a specific frame, which is usually expressed in the form of hours:minutes:seconds;frames. For example, if the time code of a specific frame is 00:12:34:15, it means that it is at the position of 12 minutes 34 seconds 15 frames.
  • the harmfulness checking unit 230 may extract at least 2 to 29 image frames per second according to the hardware performance of the user terminal 130 and the resolution of the reproduced image.
  • the harmfulness inspection unit 230 may first start the inspection during the buffering time for the reproduction of the real-time streaming video file in the image reproduction processing unit 270 . If the network speed of the user terminal 130 is fast, the video of online streaming may be immediately played, but in general, a playback delay of about 2 to 3 seconds may occur.
  • the harmfulness test unit 230 may first start the examination for the image requiring the harmfulness examination during the buffering time for reproduction.
  • the harmfulness inspection unit 230 may inspect the harmfulness of the image being reproduced in real time when there is no buffering.
  • the harmfulness check unit 230 may perform a harmfulness check on each of the plurality of extracted images in seconds, and store the check result together with a frame time code.
  • the harmfulness test method the harmfulness test may be performed through an artificial intelligence learning model based on features or contents based on the user's viewable rating, and various methods may be used without being limited thereto.
  • the harmfulness test unit 250 may store the harmfulness test result in the format [image name]_[hour minute second]_[checked image number]_[result] format.
  • the hazard test unit 230 may convert the test result into a percentile according to a safe level or a harmful level and represent the result as a numerical value.
  • the inspection result reading unit 250 may read the harmfulness test result, determine the harmfulness of the corresponding image frame, and reflect it on the reproduced image. In one embodiment, the inspection result reading unit 250 reads the result of the harmfulness inspection so that it is possible to play, stop, block, and the like of the corresponding image.
  • the test result reading unit 250 may process the harmfulness test result to be reflected in the image of the reproduced image as it is. For example, when three image frames are extracted in seconds and checked for harmfulness, the first image is dangerous, the second image is also dangerous, and the third image is safe. Hides or stops playback for , and resumes normal playback in the third image. Since the image being reproduced by the local image reproduction processing unit 270 can be controlled in units of milliseconds, the screen can be blocked or unblocked by reflecting the result of the hazard test in units of seconds.
  • the inspection result reading unit 250 may process harmful content by reading a correlation between a previous inspection result and a subsequent inspection result based on the harmfulness inspection result.
  • the inspection result reading unit 250 compares the average of the inspection result value of the current image frame and the inspection result value of the plurality of immediately preceding image frames to determine the value of the current image frame. The test results can be judged.
  • the inspection result reading unit 250 may use the average of the inspection result values of the image frames within at least 2 seconds immediately before. If the number of image frames from 2 seconds before to the current time is large, the reliability of the association may be secured by limiting the number. Associativity readings can be unreliable in fast-changing scenes, as an image typically needs to be exposed for at least 0.3 seconds.
  • the test result reading unit 250 may convert the harmfulness test result into a score for each image. For example, as for the hazard test result, a positive number represents “safe” and a negative number represents “risk”, and it can be expressed numerically according to the degree of safety and hazard.
  • the inspection result reading unit 250 may finally determine the inspection result of the current frame by calculating an average of the inspection result of a predetermined number of frames immediately before and the inspection result of the current frame based on the position of the current inspection frame. For example, if the hazard test score of the current image is 54, the hazard test score of the immediately preceding first image is -85, the hazard test score of the second image is -70, and the hazard test score of the third image is -86. The average value of the hazard test score of the four images is -46.75, so even if the hazard test score of the current image is 54, the average value of -46.75 can be judged as dangerous.
  • the test result reading unit 250 may adjust the weight of the result by applying a weight to the hazard test result value.
  • the inspection result reading unit 250 may read an image at the boundary of safety or danger as harmful by applying a weight to the risk in the ratio of safety to risk. Weighting is not performed independently, but is dependent on other reading methods such as correlation reading, allowing the intensity of test results to be adjusted.
  • the test result reading unit 250 determines that the screen change is abrupt when the deviation between the test result values of the images extracted in the same time period is greater than a preset standard, and in this case, the related test result is temporarily suspended and the first image and the last image to check the similarity.
  • the test result reading unit 250 may determine a sudden screen change by comparing it with a plurality of previous test results. For example, from 01 second to scene 1 result is “safe 80”, scene 2 result is “danger -90” scene 3 result is “danger -85”. case can be predicted.
  • the test result reading unit 250 may temporarily withhold the correlation test result and compare the first scene result and the third scene result to check the similarity between the two images.
  • scene 3 corresponds to an image frame currently being reproduced and being read as a result of the harmfulness test
  • scene 1 corresponds to a previous image frame of the image immediately preceding the image currently being reproduced.
  • the inspection result reading unit 250 compares the similarity between the two image frames, and when the similarity is less than a reference value, that is, when the similarity is low, the result is displayed on the screen in the form of each image frame, which is a strict inspection method, without following the correlation test result. You can adjust the results.
  • the test result reading unit 250 may display the correlation test result on the screen when the similarity between the two image frames is equal to or greater than a reference value, that is, when a similar image can be viewed.
  • the similarity comparison between the two image frames may be calculated using brightness information and distortion information for each pixel of two images that are objects of similarity comparison.
  • the inspection result reading unit 250 may prevent inspection errors that may occur due to a sudden scene change by comparing the similarity between the two image frames.
  • the image reproduction processing unit 270 may reproduce the real-time streaming video file received by the image content receiving unit 210 in a user-viewable form and output the screen.
  • the image reproduction processing unit 270 may display the image on the screen so that the user can view the image after about 2 seconds after the start of the examination by the harmfulness inspection unit 230 . Therefore, the hazard test result can be immediately reflected in the reproduced image.
  • the image reproduction processing unit 270 normally reproduces and displays the image content that has passed the user's harmfulness determination standard based on the reading result of the inspection result reading unit 250, and displays the image content that does not pass the user's harmfulness determination standard. It can be displayed by changing it to other video content. For example, content may be displayed through a process such as blurring harmful images.
  • the image reproduction processing unit 270 may process the image to be covered, stopped, stopped, or reproduced by reflecting the harmfulness test reading result for each image frame of the image being reproduced.
  • the image reproduction processing unit 250 may block processing in a response method according to a result designated by an administrator according to the content and number of results such as bad/dangerous/adult.
  • the harmful content processing unit 270 may store in the block list, stop playing the corresponding image, restrict blocking and reconnection of the image file and the corresponding web site, and report this series of processes to the administrator. For example, if the video content being played is for children, if the result is that the currently lewd image is played for 2 seconds or more, the video can be stopped and moved to a safe site with a warning message.
  • the video playback may be stopped, and the video content may be played back only after approval of the administrator (parent) or passing authentication/re-authentication.
  • the image reproduction processing unit 270 may report the harmfulness test reading result and measures to the designated terminal of the manager or guardian through a notification message or e-mail or the like.
  • the control unit 290 inspects the harmfulness of the video content subscribed by streaming in the user terminal 130 in real time, reads the test result, and immediately reflects the result in the image being reproduced. It is possible to control overall operations of the harmfulness inspection unit 230 , the inspection result reading unit 250 , and the image reproduction processing unit 270 , and manage control and data flow between them.
  • FIG. 3 is a flowchart illustrating a method for real-time harmfulness inspection of video content according to an embodiment of the present invention.
  • the user may request video content from the video server 110 through the user terminal 130 (step S310 ).
  • the user terminal 130 may be connected to the video server 110 through a network and may correspond to a computing device having an image playback function.
  • the user terminal 130 may request desired image content through a web browser, an app, a smart device, or the like.
  • the video server 110 may provide a video file of the corresponding video content to the user terminal 130 in real-time streaming.
  • the user terminal 130 may receive a real-time streaming video file and determine whether to check for harmfulness (step S320).
  • the user terminal 130 may receive a video file in an online state by streaming through the video content receiving unit 210, and check the reliability authentication through a certificate included in the received video file, and according to the confirmation result You can decide whether or not to check the corresponding video file for harmfulness.
  • the image content receiving unit 210 may determine that the harmfulness test is necessary when the reliability of the video file is not authenticated, when the reliability is low, when the authentication period has expired, or when a harmfulness test is requested by the user. .
  • the user terminal 130 may start image reproduction and harmfulness check of the streaming video file (step S330).
  • the user terminal 130 may perform image reproduction processing through the image reproduction processing unit 270 , and may perform harmfulness examination of the image being reproduced through the harmfulness inspection unit 230 .
  • the harmfulness checking unit 230 may extract a plurality of image frames in seconds according to the hardware performance of the user terminal 130 and the resolution of the image being reproduced and check the harmfulness.
  • the harmfulness inspection unit 230 may first start the harmfulness test of the video being streamed at the time it is buffered for playback, or if there is no buffering, perform a harmfulness check in real time and immediately reflect the test result on the image being reproduced. .
  • the user terminal 130 may read the harmfulness test result of the extracted images to determine the harmfulness of the corresponding image (step S340).
  • the user terminal 130 determines the harmfulness of the image as it is as the result of the harmfulness examination through the examination result reading unit 250 , the harmfulness examination result of the current image and the harmfulness examination results of the immediately preceding images.
  • the second reading method that determines the harmfulness of the current image based on the correlation between the second reading method and the third reading method that determines the harmfulness by applying a weight to the risk among the harmfulness test results
  • the harmfulness test result may be read through one method set by the user (administrator or guardian) among the fourth reading methods for determining the harmfulness of the current image based on the similarity.
  • the inspection result reading unit 250 may read the harmfulness inspection result using the second reading method using the association as a default, but is not limited thereto.
  • the user terminal 130 may stop or mask the reproduction of the dangerous image by reflecting the reading result on the image being reproduced (step S350).
  • the user terminal 130 may stop the reproduction of the dangerous image among the images currently being reproduced through the image reproducing processing unit 270 according to the result of reading the harmfulness of the image content and replay the safe image.
  • the blocking method for the danger image may be made in various ways.
  • the user terminal 130 may prevent and block the posting of the corresponding image content by automatically reporting the harmfulness reading result to the manager.
  • FIG. 4 is a flowchart for explaining a process of checking a hazard and reading a test result according to an exemplary embodiment.
  • the harmfulness checking unit 230 extracts a plurality of image frames per second from the real-time streaming video data (step S410 ).
  • the number of extracted frames may be determined by the hardware performance of the user terminal 130 and the resolution of the reproduced image.
  • the harmfulness test unit 230 may extract at least 2 to 29 image frames per second.
  • the harmfulness checking unit 230 examines the harmfulness of each of the plurality of extracted image frames (step S420).
  • the harmfulness test may extract features or contents of images and apply them to an artificial intelligence-based model to examine the harmfulness.
  • the harmfulness test unit 230 may store the harmfulness test result together with time code information of the corresponding image.
  • the harmfulness test unit 230 may store the test result in the following format.
  • tmpResult is the temporary storage
  • result is the inspection result
  • data is the converted raw data of the inspection result
  • curSenconds is the location in the video
  • sceneNum is the scene number.
  • the scene number means the sequence number of a plurality of image frames in seconds extracted as the number of the extracted scene within 1 second from the time of the extracted image.
  • the inspection result reading unit 250 calculates an average of the inspection result values of the current image frame and the previous predetermined number of image frames when the reading method using the association is set as a default (step S430).
  • the inspection result reading unit 250 obtains the sum of the result values of the image frames extracted within 2 seconds immediately before the harmfulness test from the position of the current image frame and the inspection result value of the current image frame and divided by the number of images.
  • the average value can be calculated.
  • the inspection result reading unit 250 may read the harmfulness of the current image frame based on the calculated average value. For example, even if the harmfulness examination result of the current image frame is safe as 54, when the average value with the previous image frames is -24, the examination result reading unit 250 is inserted into the current image frame in association with the harmfulness examination result of the previous image frames. can be read as harmful.
  • the inspection result reading unit 250 compares the similarity between the first image frame and the last image frame among the immediately preceding image frames when the deviation of the harmfulness inspection result value between the previous image frames is greater than a reference value, When the similarity falls below the threshold, the harmfulness can be read as it is as a result of the harmfulness test of the current image frame instead of calculating the average value by predicting a sudden change of the screen. For example, when a plurality of extracted image frames are sequentially inspected for hazards, the current image frame 3 is 'dangerous', the previous image frame 1 is 'safe', and the image frame 2 is 'dangerous'.
  • the inspection result reading unit 250 may predict that there is a change in the scene, and when the difference between the inspection result values of the first and second image frames is greater than or equal to a threshold upper limit (eg, 120), it may be determined as an abrupt scene change.
  • the inspection result reading unit 250 compares the similarity between the first and third image frames, that is, the difference, when it is determined that the scene change is abrupt, and if the difference is 60% or more, the current image frame 3 is changed to a 'dangerous' scene If it is 59% or less, it is judged that there is a change in the previous scene rather than a new scene, and the result can be read and the intensity of the result can be adjusted.
  • An apparatus and method for real-time harmfulness inspection of video content can inspect online obscene video chatting and obscene video services, which have recently become a problem, in real time, and according to the test result, stop or prohibit playback of a video file or a specific section (Example: smoking scenes, scenes with excessive body exposure, sections with scenes that are difficult to watch with children, etc.)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 영상 컨텐츠 실시간 유해성 검사 장치 및 방법에 관한 것으로, 사용자의 영상 컨텐츠 요청에 따라 동영상 서버에서 실시간 스트리밍 동영상 파일을 수신하고, 스트리밍 동영상 파일에 포함되는 인증서 확인을 통해 상기 동영상 파일의 유해성 검사 필요성을 결정하고, 유해성 검사를 개시하여 사용자 단말의 성능 및 영상의 해상도를 기초로 상기 동영상 파일에서 초당 복수의 이미지 프레임들을 추출하고, 상기 복수의 이미지 프레임들 각각에 대해 유해성을 검사하고, 현재 이미지 프레임의 유해성 검사 결과 및 직전 특정구간 내 복수의 이미지 프레임들의 유해성 검사 결과 간의 연관성을 구하여 현재 이미지 프레임의 유해성을 판독하고, 판독 결과를 재생되고 있는 영상의 해당 구간에 반영시켜 정상적으로 재생하거나 재생을 중단하거나 가리도록 처리하는 단계를 포함한다.

Description

영상 컨텐츠 실시간 유해성 검사 장치 및 방법
본 발명은 영상 컨텐츠 유해성 검사 기술에 관한 것으로, 보다 상세하게는 스트리밍되는 영상 컨텐츠의 재생과 함께 실시간으로 유해성 여부를 검사하고 결과를 즉각적으로 재생되고 있는 영상에 반영할 수 있는 영상 컨텐츠 실시간 유해성 검사 장치 및 방법에 관한 것이다.
누구나 동영상과 같은 미디어 콘텐츠를 생산하고 소비하는 양방향 미디어 시대가 도래함에 따라, 실시간 소통이 가능하고 공유와 확산 속도가 빨라져 동영상 컨텐츠 생성과 스트리밍 이용률이 폭발적으로 늘고 있다.
누구나 쉽게 컨텐츠를 업로드할 수 있기 때문에 음란물이나 폭력물 등 선정적이고 자극적인 유해 영상 또한 증가하고 있어 사회적 문제로 대두되고 있다. 이에, 영상 정보의 유해성을 검사하여 차단하는 관련 기술 개발이 진행되어 오고 있다. 대표적으로, 키워드 기반 차단기술, 해시(hash) 목록 기반 차단기술, 특징 기반 차단기술, 내용 기반 차단기술 등이 있다.
그러나, 실시간 스트리밍 동영상에서 추출된 동영상 프레임에 대한 유해성 검사를 수행함에 있어, 화면에 재생되고 있는 프레임과 검사 프레임 간의 시간 차이로 인하여 검사 결과를 즉각적으로 재생되고 있는 영상에 반영하기 어려운 문제가 있었다. 예컨대, 차단하려는 영상이 이미 재생되어 지나간 경우가 발생할 수 있다.
한편, 초당 여러 프레임으로 재생되고 있는 영상에서 하나의 프레임을 추출하여 유해성 검사를 하는 경우에는 발생할 수 있는 부하를 최소화하여 검사 시간을 줄일 수 있지만 추출된 영상이 뭉개져 있거나 장면이 급격히 바뀌는 경우, 전후 프레임의 영상이 겹쳐져서 추출되는 경우에 의도치 않은 의외의 검사 결과가 발생할 수 있다.
본 발명의 일 실시예는 스트리밍되는 영상 컨텐츠의 재생과 함께 실시간으로 유해성 여부를 검사하고 결과를 즉각적으로 재생되고 있는 영상에 반영할 수 있는 영상 컨텐츠 실시간 유해성 검사 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 사용자 단말의 성능에 따라 실시간 스트리밍 동영상에서 추출되는 프레임의 개수를 결정하고 추출된 이미지 프레임들에 대해 유해성 검사 결과를 연관시켜 판독하여 검사 결과에 대한 신뢰성을 확보할 수 있는 영상 컨텐츠 실시간 유해성 검사 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 유해성 검사 결과 값들 간에 연관성을 통해 이후 이미지 프레임의 유해성을 예측하고 사전 차단할 수 있는 영상 컨텐츠 실시간 유해성 검사 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 영상 컨텐츠 실시간 유해성 검사 장치는 실시간 스트리밍 동영상 파일을 제공하는 동영상 서버, 및 상기 동영상 서버로부터 스트리밍되는 동영상 파일을 재생하고 상기 동영상 파일에서 초당 복수의 이미지 프레임들을 추출하여 유해성 검사하고 검사 결과를 판독하여 재생되고 있는 영상의 유해한 이미지를 차단하는 사용자 단말을 포함한다.
상기 사용자 단말은 영상 컨텐츠 수신부, 상기 영상 컨텐츠 수신부에서 수신되는 영상 컨텐츠의 동영상 파일의 재생을 위해 버퍼링하는 시간에 상기 동영상 파일의 유해성 검사를 개시하거나 재생되는 영상의 유해성을 실시간 검사하는 유해성 검사부, 상기 유해성 검사부의 검사 결과 값들 사이의 연관성을 토대로 검사결과를 판독하여 재생되는 영상의 현재 이미지에 대해 유해성을 판단하는 검사 결과 판독부, 및 상기 영상 컨텐츠 수신부에서 수신되는 영상 컨텐츠의 동영상 파일을 재생하고 상기 검사결과 판독부의 유해성 판단을 재생하고 있는 영상에 반영시켜 유해한 이미지를 차단 처리하는 영상 재생처리부를 포함할 수 있다.
상기 영상 컨텐츠 수신부는 사용자의 영상 컨텐츠 요청에 따라 상기 동영상 서버에서 실시간 스트리밍 동영상 파일을 수신하고, 수신되는 스트리밍 동영상 파일의 인증서를 확인하여 해당 재생할 동영상의 유해성 검사의 필요성을 결정할 수 있다.
상기 유해성 검사부는 상기 스트리밍 동영상 파일에서 상기 사용자 단말의 성능 및 영상의 해상도에 따라 초당 적어도 2개 이상의 복수의 이미지 프레임들을 추출하여 추출한 복수의 이미지 프레임들 각각에 대해 유해성을 검사하고 유해성 검사 결과를 프레임 타임코드 정보와 함께 저장할 수 있다.
상기 검사결과 판독부는 현재 이미지 프레임의 유해성 검사 결과를 직전 복수의 이미지 프레임들과의 연관성을 산출하고 산출한 연관성을 기초로 현재 이미지 프레임의 유해성을 판독할 수 있다.
상기 검사결과 판독부는 현재 이미지 프레임의 위치에서 직전 특정 시간 이내에 추출하여 유해성 검사한 이미지 프레임들의 결과값들과 현재 이미지 프레임의 검사 결과값의 평균값을 구하여 상기 연관성을 산출할 수 있다.
상기 검사결과 판독부는 상기 유해성 검사 결과값 중 안전 대 위험의 비율에서 위험에 가중치를 적용시켜 안전 또는 위험의 경계에 있는 이미지 프레임에 대해 유해한 이미지로 판독할 수 있다.
상기 검사결과 판독부는 동일 시간대에 추출한 이미지 프레임들의 유해성 검사 결과값 간의 편차가 기설정된 기준 이상으로 클 경우에 첫번째 이미지 프레임과 직전 이미지 프레임 간 유사도를 비교하여 유사도가 기준수치 이하인 경우 급격한 장면 변화로 판단하고 현재 이미지 프레임에 대해 유사성 검사 결과 대로 유해성을 판독할 수 있다.
실시예들 중에서, 영상 컨텐츠 실시간 유해성 검사 방법은 사용자의 영상 컨텐츠 요청에 따라 동영상 서버에서 실시간 스트리밍 동영상 파일을 수신하는 단계, 수신되는 스트리밍 동영상 파일에 포함되는 인증서 확인을 통해 상기 동영상 파일의 유해성 검사 필요성을 결정하는 단계, 유해성 검사가 필요한 경우, 상기 동영상 파일의 스트리밍 중에 유해성 검사를 개시하여 사용자 단말의 성능 및 영상의 해상도를 기초로 상기 동영상 파일에서 초당 복수의 이미지 프레임들을 추출하는 단계, 상기 추출된 복수의 이미지 프레임들 각각에 대해 유해성을 검사하는 단계, 현재 이미지 프레임의 유해성 검사 결과 및 직전 특정구간 내 복수의 이미지 프레임들의 유해성 검사 결과 간의 연관성을 구하여 상기 현재 이미지 프레임의 유해성을 판독하는 단계, 및 상기 판독 결과를 재생되고 있는 영상의 해당 구간에 반영시켜 안전한 이미지 프레임의 경우 정상적으로 재생하고 유해한 이미지 프레임의 경우 재생을 중단하거나 가리도록 처리하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치 및 방법은 스트리밍되는 영상 컨텐츠의 재생과 함께 실시간으로 유해성 여부를 검사하고 결과를 즉각적으로 재생되고 있는 영상에 반영할 수 있어 정확한 시점에서 유해 이미지를 차단하거나 가릴 수 있다.
본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치 및 방법은 사용자 단말의 성능에 따라 실시간 스트리밍 동영상에서 추출되는 프레임의 개수를 결정하고 추출된 이미지 프레임들에 대해 유해성 검사 결과를 연관시켜 판독하여 검사 결과에 대한 신뢰성을 확보할 수 있다.
본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치 및 방법은 유해성 검사 결과 값들 간에 연관성을 통해 이후 이미지 프레임의 유해성을 예측하고 사전 차단할 수 있어 유해 장면의 노출을 미연에 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치의 사용자 단말의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 유해성 검사 및 검사결과 판독 과정을 설명하기 위한 흐름도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 영상 컨텐츠 실시간 유해성 검사 장치(100)는 동영상 서버(110) 및 사용자 단말(130)을 포함할 수 있고, 이들 사이의 스트리밍 중 인 영상 재생 및 실시간 유해성 검사를 수행하고 그 결과를 즉각적으로 재생되고 있는 영상에 반영하도록 구현될 수 있다.
동영상 서버(110)는 사용자 단말(130)에 네트워크를 통해 영상 컨텐츠를 전송할 수 있는 컴퓨팅 장치로 구현될 수 있다. 일 실시예에서, 동영상 서버(110)는 스트리밍 서비스 플랫폼에서 복수의 영상 컨텐츠들을 동영상 파일 형태로 저장하고 실시간 스트리밍 동영상 데이터를 제공할 수 있다. 여기에서, 동영상 서버(110)는 사용자 단말(130)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있다.
사용자 단말(130)은 동영상 서버(110)에 영상 컨텐츠를 요청할 수 있고 요청한 영상 컨텐츠의 실시간 스트리밍 동영상 파일을 수신받아 재생할 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(130)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC, IPTV 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(130)은 유해성 검사를 위해 재생할 영상 컨텐츠로부터 이미지 프레임을 추출하고 추출할 초 단위 이미지 프레임 개수는 사용자 단말(130)의 성능 및 해상도에 따라 결정하여 유해성 검사의 신뢰성을 높일 수 있다. 일 실시예에서, 사용자 단말(130)은 온라인 스트리밍의 영상 재생을 위한 버퍼링 시간 동안 유해성 검사를 먼저 시작하거나 또는 버퍼링이 없는 경우 실시간으로 검사하여 검사에 따른 시간 차이를 최소화할 수 있고 검사 결과를 즉각적으로 재생되고 있는 영상에 반영할 수 있다. 여기에서, 사용자 단말(130)은 유해성 검사 결과에 따라서 동영상 파일의 재생을 중지 또는 금지할 수 있고 특정 구간 등을 차단하거나 가려서 유해한 장면의 노출을 방지할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치에서 사용자 단말의 구성을 도시한 블록도이다.
도 2를 참조하면, 사용자 단말(130)은 영상 컨텐츠 수신부(210), 유해성 검사부(230), 검사결과 판독부(350), 영상 재생처리부(270) 및 제어부(290)를 포함할 수 있다.
영상 컨텐츠 수신부(210)는 동영상 서버(110)로부터 영상 컨텐츠를 수신할 수 있다. 일 실시예에서, 영상 컨텐츠 수신부(210)는 사용자의 영상 컨텐츠 요청에 따라 동영상 서버(110)와 네트워크 접속하여 해당 영상 컨텐츠의 실시간 스트리밍 동영상 파일을 수신할 수 있다. 영상 컨텐츠 수신부(210)는 수신되는 스트리밍 동영상 파일의 인증서를 확인하여 해당 재생할 동영상의 유해성 검사의 필요성을 결정할 수 있다. 영상 컨텐츠 수신부(210)는 스트리밍 동영상 파일이 동영상 서버(110)에 게시 과정에서 안전한 영상으로 이미 검사를 받아 인증이 존재할 경우 해당 재생할 동영상의 유해성 검사가 필요없는 경우로 결정할 수 있다. 영상 컨텐츠 수신부(210)는 스트리밍 동영상 파일이 인증이 안된 경우, 인증은 있으나 신뢰성이 떨어진 경우, 인증기간이 만료된 경우 또는 사용자에 의해 무조건 검사를 요청한 경우에는 유해성 검사가 필요하다고 결정할 수 있다. 일 실시예에서, 영상 컨텐츠 수신부(210)는 스트리밍 동영상 파일에 포함된 메타데이터를 통해 해당 영상 컨텐츠의 신뢰성을 확인할 수 있다. 여기에서, 영상 컨텐츠 수신부(210)는 메타데이터로부터 영상 컨텐츠가 업로드된 웹사이트와 스트리밍된 웹사이트의 주소를 비교하여 신뢰성을 확인할 수 있고, 두 사이트의 주소가 일치할 경우 신뢰성이 있다고 판단할 수 있다.
수신되는 동영상 파일은 유해성 검사부(230) 및 영상 재생처리부(270)에서 각각 유해성 검사 및 영상 재생될 수 있다.
유해성 검사부(230)는 영상 컨텐츠 수신부(210)에 의해 수신되는 실시간 스트리밍 동영상 파일에 대해 유해성 검사를 수행할 수 있다. 일 실시예에서, 유해성 검사부(230)는 사용자 단말(130)의 성능 및 재생되는 영상의 해상도에 따라 재생되고 있는 동영상 파일에서 초당 적어도 2개 이상의 이미지 프레임을 추출하여 유해 컨텐츠 검사를 수행할 수 있다.
프레임(Frame)은 동영상의 가장 작은 단위로, 대부분의 동영상은 초당 15에서 30 프레임의 이미지를 보여준다. 특정 프레임의 시작점으로부터의 위치를 표시할 때에 타임 코드를 사용하는 데, 일반적으로 시:분:초;프레임 형식으로 표현한다. 예를 들어, 특정 프레임의 타임코드가 00:12:34:15이라면 이것은 12분 34초 15프레임의 위치에 있다는 말이 된다.
일 실시예에서, 유해성 검사부(230)는 사용자 단말(130)의 하드웨어 성능 및 재생되는 영상의 해상도에 따라서 1초에 최소 2장에서 29장의 이미지 프레임을 추출할 수 있다. 유해성 검사부(230)는 영상 재생처리부(270)에서 실시간 스트리밍 동영상 파일의 재생을 위한 버퍼링 시간 동안 먼저 검사를 시작할 수 있다. 사용자 단말(130)의 네트워크 속도가 빠를 경우 온라인 스트리밍의 영상이 즉시 재생되는 경우가 있으나 일반적으로 약 2~3초 정도의 재생 지연이 발생할 수 있다. 여기에서, 유해성 검사부(230)는 유해성 검사가 필요한 영상에 대해 재생을 위한 버퍼링 시간 동안 먼저 검사를 시작할 수 있다. 유해성 검사부(230)는 버퍼링이 없는 경우에 재생되고 있는 영상에 대해 실시간으로 유해성을 검사할 수 있다.
유해성 검사부(230)는 추출한 초단위 복수의 이미지들 각각에 대해 유해성 검사를 수행하고 검사결과를 프레임 타임코드와 함께 저장할 수 있다. 여기에서, 유해성 검사 방식은 사용자의 시청 가능 등급을 기준으로 특징이나 내용 기반의 인공지능 학습 모델을 통해 유해성 검사를 수행할 수 있고, 이에 한정되지 않고 다양한 방식을 사용할 수 있다. 일 실시예에서, 유해성 검사부(250)는 유해성 검사결과를 [영상명]_[시분초]_[검사한이미지번호]_[결과] 형식으로 저장할 수 있다. 예를 들어, 도깨비라는 영상의 프레임 위치가 1시간 23분 1초이고 해당 위치에서 검사를 위해 추출한 복수의 프레임들 중 첫번째 프레임이고 유해성 검사결과 안전한 경우에는 “”형식으로 저장할 수 있다. 유해성 검사부(230)는 검사 결과를 안전한 정도 또는 유해한 정도에 따라 백분위로 환산하여 수치로 나타낼 수 있다.
검사결과 판독부(250)는 유해성 검사 결과를 판독하여 해당 이미지 프레임의 유해성을 판단하고 재생되는 영상에 반영시킬 수 있다. 일 실시예에서, 검사결과 판독부(250)는 유해성 검사 결과를 판독하여 해당 영상의 재생, 재생중지, 차단 등을 처리할 수 있게 한다.
일 실시예에서, 검사결과 판독부(250)는 유해성 검사 결과를 그대로 재생되는 영상의 이미지에 반영하도록 처리할 수 있다. 예컨대, 초단위로 3개의 이미지 프레임을 추출하여 유해성 검사한 결과, 첫번째 이미지는 위험, 두번째 이미지도 위험, 세번째 이미지는 안전인 경우 검사결과 판독부(250)는 재생되는 영상의 해당 위치에 있는 이미지에 대해 재생을 가리거나 중단하고 세번째 이미지에서 다시 정상 재생을 할 수 있도록 한다. 로컬의 영상 재생처리부(270)에서 재생되고 있는 영상은 밀리세컨즈(milliseconds) 단위로 제어가 가능하기 때문에 초단위로 유해성 검사 결과를 반영하여 화면을 차단하거나 차단 해제할 수 있다.
일 실시예에서, 검사결과 판독부(250)는 유해성 검사 결과를 기반으로 이전 검사 결과와 이후 검사 결과 사이의 연관성을 판독하여 유해 컨텐츠를 처리할 수 있다. 영상 컨텐츠의 경우 시퀀스로 이루어지는 경우가 많기 때문에 전후 프레임 간에 유사성이 존재할 수 있다. 검사결과 판독부(250)는 현재 이미지 프레임의 검사 결과가 직전 이미지 프레임의 검사 결과와 상이한 경우 현재 이미지 프레임의 검사 결과값과 직전 복수의 이미지 프레임들의 검사 결과값의 평균을 비교하여 현재 이미지 프레임의 검사 결과를 판단할 수 있다. 여기에서, 검사결과 판독부(250)는 직전 최소 2초 이내에서 이미지 프레임들의 검사 결과 값의 평균을 사용할 수 있다. 만약, 2초 이전부터 현재 시간까지의 이미지 프레임의 숫자가 많을 경우 그 숫자를 제한하여 연관성의 신뢰도를 확보할 수 있다. 일반적으로 하나의 이미지가 최소 0.3초 이상 노출이 되어야 하기 때문에 빠르게 바뀌는 장면에서 연관성 판독은 신뢰성이 떨어질 수 있다.
검사결과 판독부(250)는 각각의 이미지에 대해 유해성 검사 결과를 점수로 환산할 수 있다. 예컨대, 유해성 검사 결과값은 양수는 “안전”, 음수는 “위험”을 표현하고 안전 및 유해 정도에 따라 수치로 표현할 수 있다. 검사결과 판독부(250)는 현재 검사 프레임의 위치를 기준으로 직전 일정개의 프레임의 검사 결과와 현재 프레임의 검사결과의 평균을 산출하여 현재 프레임의 검사 결과를 최종 결정할 수 있다. 예를 들어, 현재 이미지의 유해성 검사 점수가 54이고, 직전 제1 이미지의 유해성 검사 점수가 -85, 제2 이미지의 유해성 검사 점수가 -70, 제3 이미지의 유해성 검사 점수가 -86인 경우 이들 4개 이미지의 유해성 검사 점수의 평균값인 -46.75로 현재 이미지의 유해성 검사 점수가 54라 하더라도 평균값인-46.75로 위험하다고 판단할 수 있다.
일 실시예에서, 검사결과 판독부(250)는 유해성 검사 결과값에 가중치를 적용하여 결과의 비중을 조절할 수도 있다. 여기에서, 검사결과 판독부(250)는 안전 대 위험의 비율에서 위험에 가중치를 적용하여 안전 또는 위험의 경계에 있는 이미지에 대해 유해한 것으로 판독할 수 있다. 가중치 적용은 독립적으로 수행되지 않고 연관성 판독 등 다른 판독 방식에 종속되어 검사 결과의 강도를 조절할 수 있게 한다.
일 실시예에서, 검사결과 판독부(250)는 동일 시간대에서 추출한 이미지들의 검사 결과값 간의 편차가 기설정된 기준 이상으로 클 경우에는 급격한 화면의 변화로 판단하고 이때는 연관 검사 결과를 일단 보류하고 첫번째 이미지와 마지막 이미지를 비교하여 유사성을 검사할 수 있다. 검사결과 판독부(250)는 유사성 검사부(230)에서 신규 검사 결과가 나오면 복수의 이전 검사 결과들과 비교하여 급격한 화면의 변화를 판단할 수 있다. 예를 들면, 01초에서 1번 장면 결과가 “안전 80”2번 장면 결과가 “위험 -90”3번 장면 결과가 “위험 -85”으로 1초 안에 급격화 변화가 나오면 장면 전환이 심하게 일어난 경우로 예측할 수 있다. 이때, 검사결과 판독부(250)는 연관검사 결과를 일단 보류하고 1번 장면 결과와 3번 장면 결과를 비교하여 두 이미지 간의 유사성을 검사할 수 있다. 여기에서, 3번 장면은 현재 재생 중이며 유해성 검사 결과 판독 중인 이미지 프레임에 해당하고, 1번 장면은 현재 재생 중인 이미지의 직전 이미지의 이전 이미지 프레임에 해당한다. 검사결과 판독부(250)는 두 이미지 프레임 간 유사도를 비교하여 유사도가 기준수치 이하인 경우 즉, 유사성이 떨어지는 경우에는 연관검사 결과를 따르지 않고 엄격한 검사 방식인 각 이미지 프레임 형식으로 결과를 화면에 표시하도록 결과값을 조정할 수 있다. 검사결과 판독부(250)는 두 이미지 프레임 간 유사도가 기준수치 이상인 경우 즉, 유사한 이미지로 볼 수 있는 경우에는 연관검사 결과를 화면에 표시하도록 할 수 있다. 여기에서, 두 이미지 프레임 간 유사도 비교는 유사도 비교의 대상이 되는 두 이미지의 각 픽셀에 대한 밝기 정보와 왜곡 정보를 이용하여 계산될 수 있다. 검사결과 판독부(250)는 두 이미지 프레임 간의 유사도 비교를 통해 급격한 장면 전환으로 인해 발생할 수 있는 검사 오류를 방지할 수 있다.
영상 재생처리부(270)는 영상 컨텐츠 수신부(210)에 의해 수신되는 실시간 스트리밍 동영상 파일을 사용자가 시청 가능한 형태로 재생하여 화면 출력할 수 있다. 영상 재생처리부(270)는 유해성 검사부(230)에서 검사 시작 약 2초 후 영상의 재생이 시작되어 사용자가 시청할 수 있도록 화면에 표시할 수 있다. 따라서, 재생되는 영상에 즉각적으로 유해성 검사 결과를 반영할 수 있다. 영상 재생처리부(270)는 검사결과 판독부(250)의 판독결과를 기반으로 사용자의 유해성 판단 기준을 통과한 영상 컨텐츠에 대해서는 정상적으로 재생하여 표시하고 사용자의 유해성 판단 기준을 통과하지 못한 영상 컨텐츠에 대해서는 다른 영상 컨텐츠로 변경하여 표시할 수 있다. 예컨대, 유해성이 있는 이미지를 흐릿하게 처리하거나 하는 등의 과정을 거쳐 컨텐츠를 표시할 수 있다. 영상 재생처리부(270)는 재생되고 있는 영상의 각 이미지 프레임에 대해 유해성 검사 판독 결과를 반영하여 영상의 가림, 멈춤, 중단, 재생되도록 처리할 수 있다. 일 실시예에서, 영상 재생처리부(250)는 나쁨/위험/성인 등의 결과 내용 및 횟수에 따라 관리자가 지정한 결과에 따른 대응방법으로 차단 처리할 수 있다. 여기에서, 유해 컨텐츠 처리부(270)는 차단목록 내 저장하거나 해당 영상의 재생을 중단하거나 영상 파일 및 해당 웹 사이트 차단 및 재접속을 제한할 수 있고 이러한 일련의 과정을 관리자에게 보고할 수 있다. 예를 들어, 재생되고 있는 영상 컨텐츠가 어린이를 위한 것이면 현재 음란 노출 영상이 2초 이상 재생된다고 결과가 나올 경우, 영상의 재생을 멈추고 경고 메시지와 함께 안전한 사이트로 이동할 수 있다. 해당 영상 컨텐츠가 사용자 단말(130) 내에 저장된 경우에는 영상의 재생을 중단시키고 관리자(부모)의 승낙이 있거나 인증/재인증을 통과하여야만 재생되도록 할 수 있다. 영상 재생처리부(270)는 유해성 검사 판독 결과 및 조치 사항에 관해 관리자 또는 보호자의 지정 단말에 알림 메시지 또는 이메일 등으로 보고할 수 있다.
제어부(290)는 사용자 단말(130)에서 스트리밍으로 구독하는 영상 컨텐츠에 대해 실시간으로 유해성을 검사하고 검사 결과를 판독하여 재생되고 있는 영상에 즉각적으로 결과를 반영할 수 있도록 영상 컨텐츠 수신부(210), 유해성 검사부(230), 검사결과 판독부(250) 및 영상 재생처리부(270)의 동작을 전반적으로 제어하고 이들 간의 제어 및 데이터 흐름을 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 사용자는 사용자 단말(130)을 통해 동영상 서버(110)에 영상 컨텐츠를 요청할 수 있다(단계 S310). 여기에서, 사용자 단말(130)은 동영상 서버(110)와 네트워크를 통해 연결될 수 있고 영상 재생 기능을 갖춘 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(130)은 웹브라우저, 앱, 스마트 디바이스 등을 통해 원하는 영상 컨텐츠 요청을 할 수 있다.
사용자 단말(130)의 영상 컨텐츠 요청에 따라, 동영상 서버(110)는 해당 영상 컨텐츠의 동영상 파일을 실시간 스트리밍으로 사용자 단말(130)에 제공할 수 있다.
사용자 단말(130)은 실시간 스트리밍 동영상 파일을 수신하고 유해성 검사 여부를 결정할 수 있다(단계 S320). 일 실시예에서, 사용자 단말(130)은 영상 컨텐츠 수신부(210)를 통해 동영상 파일을 스트리밍으로 온라인 상태에서 수신할 수 있고 수신되는 동영상 파일에 포함되는 인증서를 통해 신뢰성 인증을 확인하고 확인 결과에 따라 해당 동영상 파일의 유해성 검사 여부를 결정할 수 있다. 여기에서, 영상 컨텐츠 수신부(210)는 해당 동영상 파일의 신뢰성 인증이 안된 경우, 신뢰성이 떨어진 경우, 인증 기간이 만료된 경우, 사용자에 의해 유해성 검사 요청이 있는 경우에는 유해성 검사가 필요하다고 결정할 수 있다.
사용자 단말(130)은 스트리밍 중인 동영상 파일을 영상 재생 및 유해성 검사를 개시할 수 있다(단계 S330). 일 실시예에서, 사용자 단말(130)은 영상 재생처리부(270)를 통해 영상 재생 처리를 수행할 수 있고, 유해성 검사부(230)를 통해 재생되고 있는 영상의 유해성 검사를 수행할 수 있다. 여기에서, 유해성 검사부(230)는 사용자 단말(130)의 하드웨어 성능 및 재생되고 있는 영상의 해상도에 따라 초단위로 복수의 이미지 프레임들을 추출하여 유해성을 검사할 수 있다. 유해성 검사부(230)는 스트리밍 중인 영상이 재생을 위해 버퍼링되는 시간에 먼저 해당 영상의 유해성 검사를 개시하거나 버퍼링이 없는 경우엔 실시간으로 유해성 검사하여 재생되고 있는 영상에 검사 결과를 즉각적으로 반영시킬 수 있다.
사용자 단말(130)은 추출한 이미지들의 유해성 검사 결과를 판독하여 해당 이미지의 유해성을 결정할 수 있다(단계 S340). 일 실시예에서, 사용자 단말(130)은 검사결과 판독부(250)를 통해 유해성 검사 결과 그대로 해당 이미지의 유해성을 결정하는 제1 판독방식, 현재 이미지의 유해성 검사 결과와 직전 이미지들의 유해성 검사 결과들 사이의 연관성을 토대로 현재 이미지의 유해성을 결정하는 제2 판독방식, 유해성 검사 결과 중 위험에 가중치를 적용하여 유해성을 결정하는 제3 판독방식, 초단위의 이미지 프레임들 간의 유해성 검사 결과의 편차에 따라 유사성을 토대로 현재 이미지의 유해성을 결정하는 제4 판독방식 중 사용자(관리자 또는 보호자)에 의해 설정된 하나를 방식을 통해 유해성 검사 결과를 판독할 수 있다. 여기에서, 검사결과 판독부(250)는 연관성을 이용한 제2 판독방식을 디폴트로 하여 유해성 검사 결과를 판독할 수 있지만 이에 한정되는 것은 아니다.
사용자 단말(130)은 재생되고 있는 영상에 판독결과를 반영하여 위험 이미지의 재생을 중단하거나 가림 처리할 수 있다(단계 S350). 일 실시예에서, 사용자 단말(130)은 영상 컨텐츠의 유해성 판독 결과에 따라 영상 재생처리부(270)를 통해 현재 재생되고 있는 영상 중 위험 이미지의 재생을 중단하고 안전 이미지에서 다시 재생을 수행할 수 있다. 여기에서, 위험 이미지에 대한 차단 방법은 다양하게 이루어질 수 있다. 사용자 단말(130)은 유해성 판독 결과를 관리자 측에 자동 보고하여 해당 영상 컨텐츠의 게시를 방지 및 차단하도록 할 수 있다.
도 4는 일 실시예에 따른 유해성 검사 및 검사 결과 판독 과정을 설명하기 위한 흐름도이다.
도 4에서, 유해성 검사부(230)는 실시간 스트리밍 동영상 데이터에서 초당 복수의 이미지 프레임들을 추출한다(단계 S410). 여기에서, 추출되는 프레임 개수는 사용자 단말(130)의 하드웨어 성능 및 재생되는 영상의 해상도에 의해 결정될 수 있다. 일 실시예에서, 유해성 검사부(230)는 1초에 최소 2개에서 29개의 이미지 프레임을 추출할 수 있다.
유해성 검사부(230)는 추출되는 복수의 이미지 프레임들 각각에 대해 유해성을 검사한다(단계 S420). 여기에서, 유해성 검사는 이미지들의 특징 또는 내용을 추출하여 인공지능 기반의 모델에 적용하여 유해성을 검사할 수 있다. 유해성 검사부(230)는 유해성 검사 결과를 해당 이미지의 타임코드 정보와 함께 저장할 수 있다. 일 실시예에서, 유해성 검사부(230)는 하기와 같은 형식으로 검사 결과를 저장할 수 있다.
var tmpResult = { result: result_text, data: request.predictions, curSeconds: curSeconds, sceneNum: sceneNum };
여기에서, tmpResult는 임시 저장소이고, result는 검사결과이고, data는 검사결과의 원시 데이터를 변환한 것이고, curSenconds는 동영상에서의 위치이고, sceneNum은 장면 번호를 나타낸다.
장면번호는 추출된 이미지의 시간에서 1초 단위 안에서 추출된 장면의 번호로 추출한 초단위 복수의 이미지 프레임의 순번을 의미한다.
검사결과 판독부(250)는 연관성을 이용한 판독 방식이 디폴트로 설정된 경우, 현재 이미지 프레임 및 직전 일정개수의 이미지 프레임들의 검사 결과값들의 평균을 산출한다(단계 S430). 여기에서, 검사결과 판독부(250)는 현재 이미지 프레임의 위치에서 직전 2초 이내의 추출하여 유해성 검사한 이미지 프레임들의 결과값들과 현재 이미지 프레임의 검사 결과값을 합을 구한 후 이미지 개수로 나누어 평균값을 산출할 수 있다.
검사결과 판독부(250)는 산출한 평균값을 기초로 현재 이미지 프레임의 유해성을 판독할 수 있다. 예컨대, 현재 이미지 프레임의 유해성 검사 결과값이 54로 안전하더라도 직전 이미지 프레임들과의 평균값이 -24로 나온 경우 검사 결과 판독부(250)는 직전 이미지 프레임들의 유해성 검사 결과와 연관하여 현재 이미지 프레임에 대해 유해하다고 판독할 수 있다. 일 실시예에서, 검사결과 판독부(250)는 직전 이미지 프레임들 간의 유해성 검사 결과값에 대한 편차가 기준수치 이상으로 클 경우에는 직전 이미지 프레임들 중 첫번째 이미지 프레임과 마지막 이미지 프레임 간의 유사성을 비교하고 유사성이 임계치 이하로 떨어질 경우 화면의 급격한 변화로 예측하여 평균값 산출 대신 현재 이미지 프레임의 유해성 검사 결과 그대로 유해성을 판독할 수 있다. 예를 들면, 추출한 복수의 이미지 프레임들을 순서대로 유해성 검사할 때 현재 3번 이미지 프레임의 검사 결과 '위험'이고 그 이전 1번 이미지 프레임은 '안전', 2번 이미지 프레임은 '위험'으로 나온 경우, 검사 결과 판독부(250)는 장면의 변화가 있다고 예측하고 1번과 2번 이미지 프레임의 검사 결과값의 차이가 임계 상한치(예: 120) 이상일 경우 급격한 장면 전환으로 판단할 수 있다. 검사결과 판독부(250)는 급격한 장면 전환으로 판단시 1번과 3번 이미지 프레임 간의 유사도 비교 즉, 차이성을 검사하여 차이가 60% 이상일 경우 현재 3번 이미지 프레임이 '위험'한 장면으로 바뀌었다고 판단하고, 59% 이하일 경우 새로운 장면이 아니고 이전 장면에 변화가 있는 정도로 판단하여 결과를 판독하고 결과의 강도를 조절할 수 있다.
일 실시예에 따른 영상 컨텐츠 실시간 유해성 검사 장치 및 방법은, 최근 문제가 되고 있는 온라인 음란 화상채팅 및 음란 동영상 서비스를 실시간으로 검사할 수 있고 검사 결과에 따라서 동영상 파일의 재생을 중지 또는 금지하거나 특정 구간(예: 흡연 장면, 신체 노출이 과한 장면, 아이들과 시청하기 거북한 장면이 나오는 구간 등)을 최대한 차단하거나 가려서 유아 청소년들을 위한 안전한 인터넷 환경을 구현할 수 있다.
또한, 필요에 따라 특정 부위를 가리거나 유해한 장면(예: 담배를 피우기 전이거나 과도한 폭력 장면 및 신체 노출 장면 등)이 나오기 직전의 장면에서 가리고 해제할 수 있으며, 재생되고 있는 영상에 검사 결과를 즉각적으로 반영하여 검사와 재생 간의 시간 차에 의한 차단 및 해제 시점의 오류를 방지할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명의 영상 컨텐츠 실시간 유해성 검사 장치 및 방법은 영상 분야에 적용되는 예를 중심으로 설명하였으나, 이외에도 다양한 영상 컨텐츠 관련 시스템에 적용하는 것이 가능하다.

Claims (9)

  1. 실시간 스트리밍 동영상 파일을 제공하는 동영상 서버; 및
    상기 동영상 서버로부터 스트리밍되는 동영상 파일을 재생하고 상기 동영상 파일에서 초당 복수의 이미지 프레임들을 추출하여 유해성 검사하고 검사 결과를 판독하여 재생되고 있는 영상의 유해한 이미지를 차단하는 사용자 단말을 포함하는 영상 컨텐츠 실시간 유해성 검사 장치.
  2. 제1항에 있어서, 상기 사용자 단말은
    영상 컨텐츠 수신부;
    상기 영상 컨텐츠 수신부에서 수신되는 영상 컨텐츠의 동영상 파일의 재생을 위해 버퍼링하는 시간에 상기 동영상 파일의 유해성 검사를 개시하거나 재생되는 영상의 유해성을 실시간 검사하는 유해성 검사부;
    상기 유해성 검사부의 검사 결과 값들 사이의 연관성을 토대로 검사결과를 판독하여 재생되는 영상의 현재 이미지에 대해 유해성을 판단하는 검사결과 판독부; 및
    상기 영상 컨텐츠 수신부에서 수신되는 영상 컨텐츠의 동영상 파일을 재생하고 상기 검사결과 판독부의 유해성 판단을 재생하고 있는 영상에 반영시켜 유해한 이미지를 차단 처리하는 영상 재생처리부를 포함하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  3. 제2항에 있어서, 상기 영상 컨텐츠 수신부는
    사용자의 영상 컨텐츠 요청에 따라 상기 동영상 서버에서 실시간 스트리밍 동영상 파일을 수신하고, 수신되는 스트리밍 동영상 파일의 인증서를 확인하여 해당 재생할 동영상의 유해성 검사의 필요성을 결정하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  4. 제2항에 있어서, 상기 유해성 검사부는
    상기 스트리밍 동영상 파일에서 상기 사용자 단말의 성능 및 영상의 해상도에 따라 초당 적어도 2개 이상의 복수의 이미지 프레임들을 추출하여 추출한 복수의 이미지 프레임들 각각에 대해 유해성을 검사하고 유해성 검사 결과를 프레임 타임코드 정보와 함께 저장하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  5. 제2항에 있어서, 상기 검사결과 판독부는
    현재 이미지 프레임의 유해성 검사 결과를 직전 복수의 이미지 프레임들과의 연관성을 산출하고 산출한 연관성을 기초로 현재 이미지 프레임의 유해성을 판독하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  6. 제5항에 있어서, 상기 검사결과 판독부는
    현재 이미지 프레임의 위치에서 직전 특정 시간 이내에 추출하여 유해성 검사한 이미지 프레임들의 결과값들과 현재 이미지 프레임의 검사 결과값의 평균값을 구하여 상기 연관성을 산출하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  7. 제5항에 있어서, 상기 검사결과 판독부는
    상기 유해성 검사 결과값 중 안전 대 위험의 비율에서 위험에 가중치를 적용시켜 안전 또는 위험의 경계에 있는 이미지 프레임에 대해 유해한 이미지로 판독하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  8. 제5항에 있어서, 상기 검사결과 판독부는
    동일 시간대에 추출한 이미지 프레임들의 유해성 검사 결과값 간의 편차가 기설정된 기준 이상으로 클 경우에 첫번째 이미지 프레임과 직전 이미지 프레임 간 유사도를 비교하여 유사도가 기준수치 이하인 경우 급격한 장면 변화로 판단하고 현재 이미지 프레임에 대해 유사성 검사 결과 대로 유해성을 판독하는 것을 특징으로 하는 영상 컨텐츠 실시간 유해성 검사 장치.
  9. 사용자의 영상 컨텐츠 요청에 따라 동영상 서버에서 실시간 스트리밍 동영상 파일을 수신하는 단계;
    수신되는 스트리밍 동영상 파일에 포함되는 인증서 확인을 통해 상기 동영상 파일의 유해성 검사 필요성을 결정하는 단계;
    유해성 검사가 필요한 경우, 상기 동영상 파일의 스트리밍 중에 유해성 검사를 개시하여 사용자 단말의 성능 및 영상의 해상도를 기초로 상기 동영상 파일에서 초당 복수의 이미지 프레임들을 추출하는 단계;
    상기 추출된 복수의 이미지 프레임들 각각에 대해 유해성을 검사하는 단계;
    현재 이미지 프레임의 유해성 검사 결과 및 직전 특정구간 내 복수의 이미지 프레임들의 유해성 검사 결과 간의 연관성을 구하여 상기 현재 이미지 프레임의 유해성을 판독하는 단계; 및
    상기 판독 결과를 재생되고 있는 영상의 해당 구간에 반영시켜 안전한 이미지 프레임의 경우 정상적으로 재생하고 유해한 이미지 프레임의 경우 재생을 중단하거나 가리도록 처리하는 단계를 포함하는 영상 컨텐츠 실시간 유해성 검사 방법.
PCT/KR2022/001508 2021-01-28 2022-01-27 영상 컨텐츠 실시간 유해성 검사 장치 및 방법 WO2022164235A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0011995 2021-01-28
KR1020210011995A KR102454230B1 (ko) 2021-01-28 2021-01-28 영상 컨텐츠 실시간 유해성 검사 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022164235A1 true WO2022164235A1 (ko) 2022-08-04

Family

ID=82653698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001508 WO2022164235A1 (ko) 2021-01-28 2022-01-27 영상 컨텐츠 실시간 유해성 검사 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102454230B1 (ko)
WO (1) WO2022164235A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090006397A (ko) * 2007-07-11 2009-01-15 에스케이 텔레콤주식회사 동영상 유통 환경에서 유해 동영상의 다단계 차단 시스템및 방법
KR20110129224A (ko) * 2010-05-25 2011-12-01 (주)뮤레카 유해물 차단을 위해 통합제어모듈을 가지는 컴퓨터 단말기 및 이를 이용한 유해물 차단시스템
KR101574027B1 (ko) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 스마트폰 유해 차단 시스템
KR102150226B1 (ko) * 2020-02-19 2020-08-31 주식회사 플랜티넷 스마트 tv 동영상 시간 제어 및 유해동영상 필터링을 위한 장치 및 방법
KR102169073B1 (ko) * 2019-09-30 2020-10-22 광운대학교 산학협력단 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100670815B1 (ko) 2005-12-08 2007-01-19 한국전자통신연구원 순차적 데이터 처리 기반의 유해 멀티미디어 서비스 차단장치 및 그 방법
KR100930529B1 (ko) 2007-08-08 2009-12-09 주식회사 코난테크놀로지 비디오 식별을 통한 유해 동영상 검열 시스템 및 방법
KR20110120545A (ko) * 2010-04-29 2011-11-04 이승수 컴퓨터 유해 동영상 차단 장치 및 방법
KR20110137954A (ko) * 2010-06-18 2011-12-26 주식회사 케이티 유해 콘텐츠 검출 방법 및 장치
KR102158747B1 (ko) * 2019-10-30 2020-09-22 김민석 유해 콘텐츠 게시 방지 및 차단 장치
KR102189482B1 (ko) * 2020-06-29 2020-12-11 김태주 유해 동영상 파일을 필터링 하기 위한 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090006397A (ko) * 2007-07-11 2009-01-15 에스케이 텔레콤주식회사 동영상 유통 환경에서 유해 동영상의 다단계 차단 시스템및 방법
KR20110129224A (ko) * 2010-05-25 2011-12-01 (주)뮤레카 유해물 차단을 위해 통합제어모듈을 가지는 컴퓨터 단말기 및 이를 이용한 유해물 차단시스템
KR101574027B1 (ko) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 스마트폰 유해 차단 시스템
KR102169073B1 (ko) * 2019-09-30 2020-10-22 광운대학교 산학협력단 동영상 유해성 분석 결과 기반 실시간 스트리밍 차단 시스템 및 방법
KR102150226B1 (ko) * 2020-02-19 2020-08-31 주식회사 플랜티넷 스마트 tv 동영상 시간 제어 및 유해동영상 필터링을 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20220108915A (ko) 2022-08-04
KR102454230B1 (ko) 2022-10-14

Similar Documents

Publication Publication Date Title
CN110365996A (zh) 直播管理方法、直播管理平台、电子设备及存储介质
KR102259730B1 (ko) 인공지능 기반의 유해 컨텐츠 차단 장치
JP6828817B2 (ja) 顔認証システム、顔認証方法、生体認証システム、生体認証方法及び記録媒体
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
CN114245205B (zh) 基于数字资产管理的视频数据加工方法和系统
CN110737726B (zh) 一种确定待测试接口的测试数据的方法和装置
CN113923441A (zh) 视频质量的评估方法、装置及电子设备
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2017150791A2 (ko) 디지털 콘텐츠 모니터링 시스템 및 그 처리 방법
WO2020111637A1 (ko) 몰입도 운용 방법 및 이를 지원하는 전자 장치
JP4740706B2 (ja) 不正画像検出装置、方法、プログラム
WO2021256755A1 (ko) 메타데이터를 이용한 유해 컨텐츠 관리 장치 및 방법
CN116189079A (zh) 一种用于监控设备的异常检测方法及设备
WO2022164235A1 (ko) 영상 컨텐츠 실시간 유해성 검사 장치 및 방법
CN111916024B (zh) 一种防入侵的led视频控制系统以及led显示系统
Brunnström et al. Quality measurement methods for video assisting refereeing systems
WO2013022170A1 (ko) 영상 입력 기기의 접속 장애 판별 장치 및 접속 장애 판별 방법
CN110381308B (zh) 一种测试直播视频处理效果的系统
CN116132625A (zh) 交易流程的监管方法和装置
CN114998800A (zh) 视频检测方法、装置、设备及计算机可读存储介质
WO2020004693A1 (ko) 시간별 코멘트에 기초한 동일 콘텐트 판단 방법 및 시스템
WO2015093682A1 (ko) 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
WO2015167312A1 (ko) 동영상 처리 장치 및 방법
CN113542724B (zh) 一种视频资源的自动化检测方法及其系统
WO2024107000A1 (ko) 피드백 데이터를 이용한 사용자 맞춤형 리뷰 영상 생성 방법 및 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22746261

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22746261

Country of ref document: EP

Kind code of ref document: A1