KR101849092B1 - Method and Apparatus for Detecting Picture Breaks for Video Service of Real Time - Google Patents
Method and Apparatus for Detecting Picture Breaks for Video Service of Real Time Download PDFInfo
- Publication number
- KR101849092B1 KR101849092B1 KR1020160154003A KR20160154003A KR101849092B1 KR 101849092 B1 KR101849092 B1 KR 101849092B1 KR 1020160154003 A KR1020160154003 A KR 1020160154003A KR 20160154003 A KR20160154003 A KR 20160154003A KR 101849092 B1 KR101849092 B1 KR 101849092B1
- Authority
- KR
- South Korea
- Prior art keywords
- patch
- area
- image
- real
- detection
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 실시예는 실시간 영상 서비스의 화면깨짐 검출방법 및 그를 위한 장치에 관한 것이다. The present embodiment relates to a method for detecting a screen break of a real-time image service and an apparatus therefor.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.
IPTV(Internet Protocol Television) 시스템은 네트워크 망을 기반으로 디스플레이 장치를 통하여 실시간 방송, VOD 서비스, 및 전자 상거래 콘텐츠 등의 서비스를 복합적으로 제공한다.The Internet Protocol Television (IPTV) system provides services such as real-time broadcast, VOD service, and electronic commerce content through a display device based on a network.
IPTV 시스템에서는 컨텐츠 제공장치가 비디오 영상을 압축(부호화: Encoding)하여 IP 망(Internet Protocol Network)으로 전송하고, 셋탑박스(Set-Top Box: STB)는 IP 망으로부터 수신한 압축된 비디오 영상을 복호화(Decoding)하여 디스플레이 장치에 출력한다.In the IPTV system, a content providing apparatus compresses (encodes) a video image and transmits the video image to an IP network. A set-top box (STB) decodes the compressed video image received from the IP network, (Decoded) and outputs it to the display device.
일반적으로 IPTV의 영상품질을 측정하는 방법으로는 네트워크 패킷을 기반으로 고성능의 계측기를 이용하는 방법이 있다. 이 경우 계측기는 네트워크 망(IP 망)으로부터 MPEG-2 패킷을 수신하여 역다중화(Demuxing)하고 역다중화된 영상신호를 복호화한 뒤, 프레임 단위의 품질을 측정한다. 그러나 고성능의 계측기를 이용하는 방법은 셋탑박스 이외에 별도의 장치를 설치해야 하므로 추가비용이 발생하고, 실시간으로 영상 프레임의 오류를 검출하기 어렵다. 따라서, 고성능의 계측기 없이 셋탑박스에서 프레임의 손실을 측정하는 방법이 필요하다.Generally, as a method of measuring the image quality of IPTV, there is a method of using a high performance instrument based on a network packet. In this case, the instrument receives the MPEG-2 packet from the network (IP network), demultiplexes it, decodes the demultiplexed video signal, and measures the frame quality. However, a method using a high-performance measuring instrument requires additional equipment in addition to a set-top box, so that additional cost is incurred and it is difficult to detect an error of an image frame in real time. Therefore, there is a need for a method for measuring frame loss in a set-top box without a high-performance instrument.
또한, 일반적으로 영상 프레임을 이용하여 영상 오류를 측정하는 방법으로는 정상적인 영상을 참조(Reference) 영상으로 설정하고, 테스트할 영상과 비교하여 상이한 영상 부분을 오류가 있는 영상으로 판단할 수 있다. 하지만, 이러한 참조 영상을 이용하는 방식의 경우 실시간으로 서비스 중인 영상에 대한 오류를 검출하기 어렵다는 문제점이 있다. In general, as a method of measuring an image error using an image frame, a normal image may be set as a reference image, and a different image portion may be determined as an image having an error by comparing with a reference image. However, in the case of using the reference image, there is a problem that it is difficult to detect the error in the image being serviced in real time.
한편, 서비스 중인 영상을 분석하는 No Reference 방식의 경우, 오류를 검출하기 위한 규칙(Rule)을 만들어 알고리즘을 적용하는 방식을 사용할 수 있으나 검출률이 매우 낮은 수준이며, 지속적인 업그레이드가 필요하다는 문제점이 있다. On the other hand, in the case of the No Reference method for analyzing a service image, it is possible to use a method of creating a rule for detecting an error and applying an algorithm, but the detection rate is very low and a continuous upgrade is required.
이에, 현재 실시간 영상 서비스의 영상 오류를 판단하기 위해서는 사람이 화면을 바라보며 모니터링을 수행하고 있다. 하지만, 이러한 모니터링 방식으로는 영상 오류를 정확하게 검출할 수 없으며, 사람이 지속적으로 모니터링만을 수행하는 것이 현실적으로 불가능하다. Accordingly, in order to judge a video error of the current real-time image service, a person is monitoring by looking at the screen. However, such a monitoring method can not accurately detect a video error, and it is practically impossible for a person to perform only monitoring continuously.
본 실시예는 실시간 또는 샘플 영상 데이터를 기반으로 복수의 패치 영역을 포함하는 학습 데이터를 생성하고, 생성된 학습 데이터를 딥러닝(Deep Learning) 알고리즘에 학습 처리하여 판단기준 모델을 생성하며, 판단기준 모델을 실시간 영상에 대한 패치 영역에 적용하여 화면깨짐 영역을 검출하는 실시간 영상 서비스의 화면깨짐 검출방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.In this embodiment, learning data including a plurality of patch areas is generated based on real-time or sample image data, a learning model is generated by learning processing the generated learning data to a Deep Learning algorithm, A method for detecting a screen break in a real-time image service and a device therefor, which detects a screen break area by applying a model to a patch area for a real-time image.
본 실시예의 일 측면에 의하면, 실시간 영상 서비스에서 영상 오류 검출장치가 화면깨짐을 검출하는 방법에 있어서, 머신러닝(Machine Learning) 알고리즘을 기반으로 생성된 판단기준 모델을 획득하는 모델 획득과정; 외부장치로부터 실시간 영상 프레임을 획득하는 실시간 영상 획득과정; 상기 실시간 영상 프레임을 상기 판단기준 모델에 근거하여 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 상기 복수의 검출 패치 영역 중 전체 또는 일부를 오류 검출 영역을 설정하는 검출영역 설정과정; 및 상기 판단기준 모델을 이용하여 상기 오류 검출 영역에서 화면깨짐 영역을 검출하는 화면깨짐 검출과정을 포함하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출방법을 제공한다.According to an aspect of the present invention, there is provided a method of detecting a screen break in an image error detection apparatus in a real-time image service, the method comprising: acquiring a decision criterion model generated based on a machine learning algorithm; A real-time image acquisition process for acquiring a real-time image frame from an external device; The real-time image frame is divided into a plurality of detection patch areas having a patch size set based on the determination reference model, and a detection area setting process of setting all or a part of the plurality of detection patch areas as an error detection area ; And a screen break detection step of detecting a screen break area in the error detection area using the determination criterion model.
또한, 본 실시예의 다른 측면에 의하면, 실시간 영상 서비스에서 화면깨짐을 검출하는 장치에 있어서, 머신러닝(Machine Learning) 알고리즘을 기반으로 생성된 판단기준 모델을 획득하는 모델 획득부; 외부장치로부터 실시간 영상 프레임을 획득하는 실시간 영상 획득부; 상기 실시간 영상 프레임을 상기 판단기준 모델에 근거하여 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 상기 복수의 검출 패치 영역 중 전체 또는 일부를 오류 검출 영역을 설정하는 검출영역 설정부; 및 상기 판단기준 모델을 이용하여 상기 오류 검출 영역에서 화면깨짐 영역을 검출하는 화면깨짐 검출부를 포함하는 것을 특징으로 하는 영상 오류 검출장치를 제공한다.According to another aspect of the present invention, there is provided an apparatus for detecting a screen break in a real-time image service, the apparatus comprising: a model acquisition unit for acquiring a decision criterion model generated based on a machine learning algorithm; A real-time image acquisition unit for acquiring a real-time image frame from an external device; Wherein the real-time image frame is divided into a plurality of detection patch areas having a patch size set based on the determination criterion model and all or a part of the plurality of detection patch areas is set as a detection area, ; And a picture break detection unit for detecting a picture break area in the error detection area using the judgment reference model.
또한, 본 실시예의 다른 측면에 의하면, 데이터 처리 기기에, 머신러닝(Machine Learning) 알고리즘을 기반으로 생성된 판단기준 모델을 획득하는 모델 획득과정; 외부장치로부터 실시간 영상 프레임을 획득하는 실시간 영상 획득과정; 상기 실시간 영상 프레임을 상기 판단기준 모델에 근거하여 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 상기 복수의 검출 패치 영역 중 전체 또는 일부를 오류 검출 영역을 설정하는 검출영역 설정과정; 및 상기 판단기준 모델을 이용하여 상기 오류 검출 영역에서 화면깨짐 영역을 검출하는 화면깨짐 검출과정을 포함하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.According to another aspect of the present invention, there is provided a data processing apparatus including: a model acquiring step of acquiring a decision criterion model generated based on a machine learning algorithm; A real-time image acquisition process for acquiring a real-time image frame from an external device; The real-time image frame is divided into a plurality of detection patch areas having a patch size set based on the determination reference model, and a detection area setting process of setting all or a part of the plurality of detection patch areas as an error detection area ; And a screen break detection step of detecting a screen break area in the error detection area using the determination criterion model. The computer readable medium having recorded thereon the program for realizing the screen break detection method of the real time image service, Thereby providing a recording medium.
이상에서 설명한 바와 같이 본 실시예에 의하면, 실시간으로 제공되는 영상 서비스의 영상 오류를 검출할 수 있응 효과가 있다. As described above, according to the present embodiment, video errors of a video service provided in real time can be detected.
또한, 실시간 영상을 모니터링하는 인력의 낭비를 줄일 수 있으며, 딥러닝 알고리즘을 이용하여 자동으로 화면깨짐을 검출할 수 있는 효과가 있다. In addition, it is possible to reduce a waste of manpower for monitoring a real-time image and to detect a screen break automatically using a deep-running algorithm.
또한, 실시간 영상에 대한 오류 검출 정확도를 향상시킬 수 있는 효과가 있다. In addition, there is an effect that the accuracy of error detection for a real-time image can be improved.
도 1은 본 실시예에 따른 영상 서비스 제공 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 영상 오류 검출장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 영상 오류 검출장치에 포함된 전처리부를 개략적으로 나타낸 블록 구성도이다.
도 5는 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 전처리 과정을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 전처리 과정에서 영상 오류를 판단하는 동작을 설명하기 위한 예시도이다.
도 7a 및 도 7b는 본 실시예에 따른 판단기준 모델을 생성하기 위한 학습 데이터를 나타낸 예시도이다.
도 8a 내지 도 8c는 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하는 동작을 나타낸 예시도이다.
도 9는 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 전체 동작 과정을 개략적으로 나타낸 예시도이다. 1 is a block diagram schematically showing a video service providing system according to the present embodiment.
2 is a block diagram schematically showing an image error detecting apparatus according to the present embodiment.
3 is a flowchart illustrating a method for detecting a screen break of a real-time image according to the present embodiment.
4 is a block diagram schematically showing a preprocessing unit included in the video error detection apparatus according to the present embodiment.
5 is a flowchart illustrating a preprocessing process for detecting a screen break of a real-time image according to the present embodiment.
6 is an exemplary diagram for explaining an operation of determining a video error in a preprocessing process for detecting a screen break of a real-time video according to the present embodiment.
7A and 7B are diagrams showing learning data for generating a determination criterion model according to the present embodiment.
8A to 8C are views illustrating an operation of detecting a screen break of a real-time image according to the present embodiment.
FIG. 9 is an exemplary view schematically showing an entire operation procedure for detecting screen breakage of a real-time image according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.
도 1은 본 실시예에 따른 영상 서비스 제공 시스템을 개략적으로 나타낸 블록 구성도이다.1 is a block diagram schematically showing a video service providing system according to the present embodiment.
본 실시예에 따른 영상 서비스 제공 시스템(100)은 영상 제공 서버(110), 셋탑박스(120), 영상 출력장치(130) 및 영상 오류 검출장치(140)를 포함한다. The video
영상 제공 서버(110)는 네트워크망(IP 망)을 기반으로 실시간 또는 비실시간 영상 데이터 서비스를 제공한다. 구체적으로, 무압축 비디오 영상을 압축 (부호화: Encoding)하여 전송 스트림(Transport Stream: TS, 이하 'TS'라 칭함) 패킷(Packet)으로 변환한 뒤, 네트워크망(IP 망)을 통하여 이를 전송한다. 여기서 무압축 비디오 영상은 복수의 화상(Picture)으로 구성될 수 있고 복수의 화상은 압축(부호화) 과정을 통해 I 프레임, B 프레임 및 P 프레임으로 변환된다. TS 패킷은 영상 신호, 음향 신호, 데이터 신호가 다중화(Muxing)된 신호일 수 있다. 예를 들어, MPEG-2 규격의 영상 신호, 돌비 AC-3 규격 음향 신호 등이 다중화된 MPEG-2 TS가 될 수 있다. 영상 제공 서버(110)는 IPTV 헤드엔드(Headend) 장치를 의미할 수도 있다.The
한편, 영상 제공 서버(110)는 컨텐츠 공급자로부터 복수의 방송 컨텐츠 정보를 수신하고, 수신한 컨텐츠 정보를 셋탑박스(120) 및 단말기(130) 등의 장치로 전송하여 IPTV 가입자에게 제공하는 IPTV 서비스 장치로 구현될 수 있다. 즉, 영상 제공 서버(110)는 컨텐츠 공급자로부터 송출된 복수의 방송 컨텐츠 정보를 수신하고, 수신한 방송 컨텐츠 정보를 셋탑박스(120) 및 가입자 단말기(130)로 분배하여 IPTV 가입자에게 실시간 방송 및 VOD(Video On Demand) 등의 서비스를 제공할 수 있다. Meanwhile, the
셋탑박스(120)는 영상 제공 서버(110)로부터 중계노드(미도시)를 경유하여 전송된 영상 데이터(패킷)를 수신하고, 수신된 영상 데이터를 역다중화(Demultiplexing) 및 복호화(Decoding)한다. 셋탑박스(120)는 영상 데이터를 역다중화 및 복호화한 영상 신호를 영상 출력장치(130)로 전송하여 비디오 영상이 출력되도록 한다. The set-
영상 출력장치(130)는 셋탑박스(120)로부터 영상 신호를 수신하여 디스플레이하는 장치를 의미한다. 영상 출력장치(130)는 휴대용 디스플레이장치, 스마트폰, 모니터, TV 등일 수 있다. 영상 출력장치(130)는 셋탑박스(120)과 유선으로 연결될 수 있으나 무선랜 신호 또는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 무선통신으로 연결될 수도 있다. The
한편, 영상 출력장치(130)는 셋탑박스(120)와 별도의 장치인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 셋탑박스 기능이 결합된 하나의 디스플레이 장치로 구현될 수도 있다. Although the
영상 오류 검출장치(140)는 머신러닝(Machine Learning) 알고리즘을 기반으로 실시간 영상의 오류를 검출하는 동작을 수행한다. 영상 오류 검출장치(140)는 영상 제공 서버(110), 셋탑박스(120) 등과 연결되어 영상 출력장치(130)에서 출력되는 실시간 영상의 오류를 검출한다. 여기서, 실시간 영상의 오류는 화면깨짐일 수 있으나 반드시 이에 한정되는 것은 아니며, 화면에 발생하는 다양한 형태의 오류일 수 있다. The image
영상 오류 검출장치(140)는 영상 제공 서버(110) 또는 외부 장치로부터 샘플 영상 데이터를 수신하여 학습 데이터를 생성하고, 생성된 학습 데이터를 딥러닝(Deep Learning)을 이용하여 판단기준 모델을 생성할 수 있다. 여기서, 영상 오류 검출장치(140)는 알렉스넷(Alexnet) 기법을 이용하여 판단기준 모델을 생성하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, GoogleNet, VGG(Covolutional Neural Net), ResNet 등의 딥러닝 기법을 이용하여 판단기준 모델을 생성할 수 있다. The image
이하, 영상 오류 검출장치(140)에서 학습 데이터 및 판단기준 모델을 생성하는 동작에 대해 간략히 설명하도록 한다. Hereinafter, the operation of generating the learning data and the judgment reference model in the video
영상 오류 검출장치(140)는 샘플 영상 데이터에 패킷 에러를 유도하여 비정상 영상 데이터를 생성하고, 비정상 영상 데이터와 정상 영상 데이터를 비교하여 비정상 화소를 포함하는 비정상 패치를 추출한다. 여기서, 패치는 기 설정된 크기의 일부 영상 영역을 의미한다. The video
영상 오류 검출장치(140)는 비정상 패치에 대응하는 정상 패치를 추출하고, 정상 패치 및 비정상 패치 각각을 클래스(Class)로 구분하여 학습 데이터를 생성한다. 여기서, 영상 오류 검출장치(140)는 영상 데이터에서 텍스트 패치를 추가적으로 추출할 수 있으며, 추출된 텍스트 패치를 별도의 클래스로 구분하여 학습 데이터에 포함시킬 수 있다. The video
영상 오류 검출장치(140)는 정상 패치 클래스, 비정상 패치 클래스, 텍스트 패치 클래스 등을 포함하는 학습 데이터를 딥러닝 알고리즘에 적용하여 영상의 화면깨짐을 검출하기 위한 판단기준 모델을 생성한다. The video
영상 오류 검출장치(140)는 영상 제공 서버(110) 또는 외부 장치로부터 샘플 영상 데이터를 수신하여 딥러닝 알고리즘에 적용하기 위한 학습 데이터를 생성하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 예컨대, 영상 오류 검출장치(140)는 영상 제공 서버(110)에서 셋탑박스(120)로 전송하는 실시간 영상 데이터를 획득하여 학습 데이터를 생성하고, 생성된 학습 데이터를 딥러닝 알고리즘에 적용할 수 있다. The image
이하, 영상 오류 검출장치(140)에서 판단기준 모델을 이용하여 실시간 영상 프레임에서 화면깨짐을 검출하는 동작에 대해 간략히 설명하도록 한다. Hereinafter, an operation of detecting a screen break in a real-time image frame using the judgment reference model in the video
영상 오류 검출장치(140)는 영상 제공 서버(110)에서 셋탑박스(120)로 전송되는 실시간 영상 프레임을 획득하고, 딥러닝 알고리즘을 기반으로 생성된 판단기준 모델을 이용하여 실시간 영상 프레임의 화면 깨짐을 검출한다. The video
영상 오류 검출장치(140)는 실시간 영상 프레임을 기 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 복수의 검출 패치 영역을 포함하는 오류 검출 영역을 설정한다. 여기서, 영상 오류 검출장치(140)는 복수의 검출 패치 영역의 전체 또는 일부를 오류 검출 영역으로 설정할 수 있다. The video
영상 오류 검출장치(140)는 판단기준 모델을 이용하여 오류 검출 영역에서 화면깨짐 영역을 검출한다. 영상 오류 검출장치(140)는 오류 검출 영역 내에 판단기준 모델을 적용하여 오류 검출 영역에 포함된 각각의 패치 영역마다 화소 상태정보를 산출하고, 화소 상태정보에 근거하여 해당 실시간 영상 프레임에서 화면깨짐을 검출한다. The video
영상 오류 검출장치(140)는 판단기준 모델을 적용하여 각각의 패치 영역마다 정상 화소 검출율, 비정상 화소 검출율, 텍스트 화소 검출율 등을 포함하는 화소 상태정보를 산출하고, 화소 상태정보 중 비정상 화소 검출율이 기 설정된 기준 검출율 이상인 경우 실시간 영상 프레임에서 화면깨짐 영역으로 검출한다. The image
도 2는 본 실시예에 따른 영상 오류 검출장치를 개략적으로 나타낸 블록 구성도이다.2 is a block diagram schematically showing an image error detecting apparatus according to the present embodiment.
본 실시예에 따른 영상 오류 검출장치(140)는 전처리부(210), 모델 획득부(220), 실시간 영상 획득부(230), 검출영역 설정부(240) 및 화면깨짐 검출부(250)를 포함한다. The video
전처리부(210)는 영상 데이터를 기반으로 머신러닝 알고리즘에 입력하기 위한 학습 데이터를 생성하고, 생성된 학습 데이터를 머신러닝 알고리즘에 적용하여 학습 결과인 판단기준 모델을 생성한다. 여기서, 학습 데이터를 생성하기 위한 영상 데이터는 영상 제공 서버(110) 또는 외부 장치로부터 수신된 샘플 영상 데이터일 수 있으나 반드시 이에 한정되는 것은 아니며, 영상 제공 서버(110) 또는 셋탑박스(120)로부터 수신된 실시간 영상 데이터일 수 있다. The
전처리부(210)는 영상 데이터에 패킷 에러를 유도하여 비정상 영상 데이터를 생성하고, 비정상 영상 데이터와 정상 영상 데이터를 비교하여 비정상 화소를 포함하는 비정상 패치를 추출한다. 전처리부(210)는 비정상 패치에 대응하는 정상 패치 및 텍스트 화소에 대한 텍스트 패치를 추출하고, 정상 패치, 비정상 패치 및 텍스트 패치 각각을 클래스(Class)로 구분하여 학습 데이터를 생성한다. The
전처리부(210)는 정상 패치 클래스, 비정상 패치 클래스, 텍스트 패치 클래스 등을 포함하는 학습 데이터를 딥러닝 알고리즘에 적용하여 영상의 화면깨짐을 검출하기 위한 판단기준 모델을 생성한다. 전처리부(210)의 구성 및 동작은 도 4에서 구체적으로 기재하도록 한다. The
모델 획득부(220)는 전처리부(210)로부터 생성된 판단기준 모델을 획득한다. 여기서, 모델 획득부(220)는 획득한 판단기준 모델을 검출영역 설정부(240)로 전송하여 오류 검출영역이 설정되거나, 화면깨짐 검출부(250)로 전송하여 실시간 영상 프레임에서 화면깨짐영역이 검출되도록 한다. The
모델 획득부(220)는 사용자 또는 제작자의 필요에 따라 영상 오류 검출장치(140)의 구성요소에서 생략될 수 있으며, 생략되는 경우 전처리부(210)는 생성된 판단기준 모델을 검출영역 설정부(240) 또는 화면깨짐 검출부(250)로 직접 제공할 수 있다. The
실시간 영상 획득부(230)는 영상 제공 서버(110)에서 셋탑박스(120)로 전송되는 실시간 영상 프레임을 획득한다. 실시간 영상 획득부(230)는 셋탑박스(120)로부터 실시간 영상 프레임을 획득하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 영상 제공 서버(110)로부터 실시간 영상 프레임을 수신할 수도 있다. 여기서, 실시간 영상 프레임은 IPTV(Internet Protocol Television)에 대한 영상 프레임일 수 있다. The real-time
검출영역 설정부(240)는 실시간 영상 프레임을 복수의 검출 패치 영역으로 구분하여 오류 검출영역을 설정한다. 검출영역 설정부(240)는 판단기준 모델에 근거하여 기 설정된 패치(Patch) 사이즈를 이용하여 실시간 영상 프레임을 복수의 검출 패치 영역으로 구분한다. 예컨대, 227 * 227 패치 사이즈를 기반으로 생성된 판단기준 모델의 경우, 검출영역 설정부(240)는 227 * 227 패치 사이즈를 이용하여 실시간 영상 프레임을 격자형태를 갖는 복수의 검출 패치 영역으로 구분한다. The detection
검출영역 설정부(240)는 복수의 검출 패치 영역의 전체 또는 일부 영역을 오류 검출 영역으로 설정한다. 검출영역 설정부(240)는 실시간 영상 프레임의 화면깨짐 영역을 정확하게 검출하기 위해 복수의 검출 패치 영역의 전체 패치 영역을 오류 검출 영역으로 설정할 수 있다. 한편, 검출영역 설정부(240)는 실시간 영상의 프레임 유지시간, 신속 검출처리 및 하드웨어 부하 등을 고려하여 복수의 검출 패치 영역의 일부 패치 영역을 오류 검출 영역으로 설정할 수 있다. The detection
예를 들어, 검출영역 설정부(240)는 실시간 영상 프레임이 1920 * 1080 크기를 갖는 풀 HD(Full High Definition) 영상 프레임인 경우, 227 * 227 패치 사이즈를 이용하여 32 개의 검출 패치 영역을 구분하며, 32 개의 검출 패치 영역의 전체 또는 일부 패치 영역을 오류 검출 영역으로 설정할 수 있다. For example, when the real-time image frame is a full HD image frame having a size of 1920 * 1080, the detection
화면깨짐 검출부(250)는 판단기준 모델을 이용하여 오류 검출 영역에서 화면깨짐 영역을 검출한다. The
화면깨짐 검출부(250)는 오류 검출 영역 내에 판단기준 모델을 적용하여 오류 검출 영역에 포함된 각각의 패치 영역마다 화소 상태정보를 산출하고, 화소 상태정보에 근거하여 해당 실시간 영상 프레임에서 화면깨짐을 검출한다. The screen
화면깨짐 검출부(250)는 판단기준 모델을 적용하여 각각의 패치 영역마다 정상 화소 검출율, 비정상 화소 검출율, 텍스트 화소 검출율 등을 포함하는 화소 상태정보를 산출하고, 화소 상태정보 중 비정상 화소 검출율이 기 설정된 기준 검출율 이상인 경우 실시간 영상 프레임에서 화면깨짐 영역으로 검출한다. The screen
화면깨짐 검출부(250)는 검출영역 설정부(240)에서 전체 패치 영역을 오류 검출 영역으로 설정된 경우, 소정의 개수의 패치영역을 중복되지 않도록 변경하여 오류 검출 영역에 대해 화면깨짐 영역을 검출한다. 여기서, 소정의 개수의 패치영역은 동시에 분석 가능한 패치의 개수를 의미한다. When the entire patch area is set as the error detection area in the detection
한편, 화면깨짐 검출부(250)는 검출영역 설정부(240)에서 일부 패치 영역을 오류 검출 영역으로 설정된 경우, 매 영상 프레임마다 서로 상이한 영역의 오류 검출 영역에 대해 화면깨짐 영역을 검출한다. 다시 말해, 화면깨짐 검출부(250)는 매 영상 프레임마다 기 설정된 규칙에 의해 일부 패치 영역이 변경되거나, 일부 패치 영역이 랜덤하게 변경되는 오류 검출 영역 내에서 화면깨짐 영역을 검출한다. On the other hand, when the detection
화면깨짐 검출부(250)는 검출하고자 하는 화면깨짐(오류)이 지속되는 시간을 오류 유효 유지시간으로 설정하고, 설정된 오류 유효 유지시간 내에서 오류 검출 영역에 대한 화면깨짐의 분석을 종료한다. The
도 3은 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 방법을 설명하기 위한 순서도이다. 3 is a flowchart illustrating a method for detecting a screen break of a real-time image according to the present embodiment.
영상 오류 검출장치(140)는 학습 데이터를 생성하고(S310), 머신러닝 알고리즘에 학습 데이터를 학습시켜 판단기준 모델을 생성한다(S320). 다시 말해, 영상 오류 검출장치(140)는 정상 패치 클래스, 비정상 패치 클래스, 텍스트 패치 클래스 등을 포함하는 학습 데이터를 딥러닝 알고리즘에 적용하여 실시간 영상의 화면깨짐을 검출하기 위한 판단기준 모델을 생성한다. The video
영상 오류 검출장치(140)는 셋탑박스(120)로부터 실시간 영상 프레임을 획득한다(S330). 여기서, 영상 오류 검출장치(140)는 셋탑박스(120)로부터 실시간 영상 프레임을 획득하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 영상 제공 서버(110)로부터 실시간 영상 프레임을 수신할 수도 있다. 여기서, 실시간 영상 프레임은 IPTV(Internet Protocol Television)에 대한 영상 프레임일 수 있다. The video
영상 오류 검출장치(140)는 실시간 영상 프레임을 복수의 검출 패치 영역으로 구분한다(S340). 영상 오류 검출장치(140)는 판단기준 모델에 근거하여 기 설정된 패치(Patch) 사이즈를 이용하여 실시간 영상 프레임을 복수의 검출 패치 영역으로 구분한다. 예컨대, 227 * 227 패치 사이즈를 기반으로 생성된 판단기준 모델의 경우, 영상 오류 검출장치(140)는 227 * 227 패치 사이즈를 이용하여 실시간 영상 프레임을 격자형태를 갖는 복수의 검출 패치 영역으로 구분한다. The video
영상 오류 검출장치(140)는 복수의 검출 패치 영역의 전체 또는 일부 패치 영역을 포함하는 오류 검출 영역을 설정한다(S350).The video
영상 오류 검출장치(140)는 판단기준 모델을 이용하여 오류 검출 영역에서 화면깨짐 영역을 검출한다(S360). 영상 오류 검출장치(140)는 오류 검출 영역 내에 판단기준 모델을 적용하여 오류 검출 영역에 포함된 각각의 패치 영역마다 화소 상태정보를 산출하고, 화소 상태정보에 근거하여 해당 실시간 영상 프레임에서 화면깨짐을 검출한다. 다시 말해, 영상 오류 검출장치(140)는 판단기준 모델을 적용하여 각각의 패치 영역마다 정상 화소 검출율, 비정상 화소 검출율, 텍스트 화소 검출율 등을 포함하는 화소 상태정보를 산출하고, 화소 상태정보 중 비정상 화소 검출율이 기 설정된 기준 검출율 이상인 경우 실시간 영상 프레임에서 화면깨짐 영역으로 검출한다. The video
도 3에서는 단계 S310 내지 단계 S360를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S360 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.3, it is described that steps S310 to S360 are sequentially executed. However, this is merely an exemplary description of the technical idea of the present embodiment, and it will be understood by those skilled in the art that, It will be understood that various changes and modifications may be made to the invention without departing from the essential characteristics thereof, or alternatively, by executing one or more of the steps S310 through S360 in parallel, But is not limited thereto.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 영상 오류 검출장치(140)의 동작은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 오류 검출장치(140)의 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다. As described above, the operation of the video
도 4는 본 실시예에 따른 영상 오류 검출장치에 포함된 전처리부를 개략적으로 나타낸 블록 구성도이다.4 is a block diagram schematically showing a preprocessing unit included in the video error detection apparatus according to the present embodiment.
본 실시예에 따른 전처리부(210)는 영상 획득부(410), 노이즈 발생부(420), 동기화 처리부(430), 영상 오류 판단부(440), 패치 추출부(450), 학습 데이터 생성부(460) 및 판단기준 모델 생성부(470)를 포함한다. The
영상 획득부(410)는 제1 입력포트(412) 및 제2 입력포트(414)를 포함하며, 제1 입력포트(412) 및 제2 입력포트(414) 각각을 통해 동일한 제1 영상 데이터(정상 영상 데이터)를 획득한다. 여기서, 제1 영상 데이터는 영상 제공 서버(110) 또는 외부 장치로부터 수신된 샘플 영상 데이터일 수 있으나, 영상 제공 서버(110) 또는 셋탑박스(120)로부터 수신된 실시간 영상 데이터일 수 있다. The
영상 제공 서버(110) 또는 외부 장치로부터 수신된 샘플 영상 데이터를 획득하는 경우 제1 입력포트(412) 및 제2 입력포트(414)는 제1 셋탑박스(미도시) 및 제2 셋탑박스(미도시)로 구현될 수 있다. When acquiring the sample image data received from the
영상 획득부(410)는 제1 입력 포트(412)를 통해 입력된 제1 영상 데이터는 노이즈 발생부(420)를 경유하여 동기화 처리부(430)로 전송하고, 제2 입력포트(414)를 통해 입력된 제1 영상 데이터는 동기화 처리부(430)로 전송한다. The
노이즈 발생부(420)는 노이즈를 포함하는 제2 영상 데이터(비정상 여상 데이터)를 생성한다. 노이즈 발생부(420)는 제1 입력 포트를 통해 입력된 제1 영상 데이터의 패킷 에러를 유도하여 제2 영상 데이터를 생성한다. The
노이즈 발생부(420)는 영상 획득부(410)와 별도의 모듈인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 제1 입력 포트(412) 내에 포함된 형태로 구현될 수 있다. Although the
동기화 처리부(430)는 제2 입력포트(414)를 통해 입력된 제1 영상 데이터와 노이즈를 포함하는 제2 영상 데이터 간의 영상 프레임 시점을 동기화 처리한다. The
동기화 처리부(430)는 제1 영상 데이터 및 제2 영상 데이터 간의 영상 프레임의 시점을 동기화 처리하기 위한 별도의 모듈인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 영상 획득부(410) 또는 영상 오류 판단부(440)에 포함된 형태로 구현될 수 있다. The
영상 오류 판단부(440)는 제1 영상 데이터 및 제2 영상 데이터를 비교하여 영상 오류를 판단하고, 영상 오류에 대한 비정상 화소를 검출한다. 여기서, 제1 영상 데이터 및 제2 영상 데이터는 동기화 처리부(430)에 의해 동기화 처리된 동일 시점의 영상 프레임을 비교하여 비정상 화소를 검출한다. The image
영상 오류 판단부(440)는 제1 영상 데이터의 제1 영상 프레임과 제2 영상 데이터의 제2 영상 프레임 간의 동일 위치 화소를 각각 비교하여 기 설정된 기준 화소 차이값을 초과하는 화소들을 영상 오류로 판단하여 제2 영상 프레임 내에서 비정상 화소를 검출한다. 여기서, 기준 화소 차이값을 초과하는 화소들은 K-평균 군집화 기법(K-means clustering method)를 적용하여 비정상 화소를 검출할 수 있으나 반드시 이에 한정되는 것은 아니며, 계층적 군집화 기법, 비계층적 군집화 기법, 모델-기반 기법 등과 같이 소정의 특징을 이용하여 복수의 화소들을 구분할 수 있는 군집화 기법이라면 그 어떤 군집화 기법도 적용 가능하다. The video
패치 추출부(450)는 비정상 화소를 포함하는 비정상 패치(Negative Patch)를 추출하고, 비정상 패치에 대응되는 정상 패치(Pasitive Patch)를 추출한다. 다시 말해, 패치 추출부(450)는 제2 영상 프레임 내에서 비정상 화소를 포함하는 기 설정된 패치 사이즈를 갖는 비정상 패치를 추출하고, 제1 영상 프레임 내에서 비정상 패치에 대응되는 정상 패치를 추출한다. 여기서, 패치 추출부(450)는 비정상 패치에 대응되는 위치에서 정상 패치를 추출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 비정상 패치 및 정상 패치 각각의 별도의 영상 프레임 위치에서 추출될 수 있다. The
패치 추출부(450)는 제2 영상 프레임 내에서 기 설정된 패치 사이즈의 영역 중 가장 많은 비정상 화소를 포함하는 패치 영역을 제1 비정상 패치로 추출하고, 이후 제1 비정상 패치로 추출된 영역을 제외한 나머지 영역에서 가장 많은 비정상 화소를 포함하는 패치 영역을 제2 비정상 패치로 추출한다. 패치 추출부(450)는 제1 비정상 패치, 제2 비정상 패치 등 복수의 비정상 패치를 추출하기 위해 패치 추출 동작을 반복한다. 여기서, 패치 추출부(450)는 기 설정된 패치 사이즈의 영역 내에 비정상 화소가 존재하지 않거나 기 설정된 개수 미만의 비정상 화소가 존재할 때까지 비정상 패치를 추출하는 동작을 반복한다.The
패치 추출부(450)는 제1 영상 프레임 내에서 텍스트로 인식되는 영역에 대한 텍스트 패치를 추가로 추출한다. 여기서, 패치 추출부(450)는 OCR(Optical Character Recognition) 방식을 이용하여 텍스트를 인식할 수 있다. The
패치 추출부(450)는 제1 영상 프레임 내에서 기 설정된 패치 사이즈의 텍스트 패치를 추출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 패치 추출부(450)는 비정상 패치의 추출이 완료된 제2 영상 프레임에서 비정상 패치를 제외한 나머지 영역에서 텍스트 패치를 추출할 수 있다. Although the
패치 추출부(450)에서 추출된 비정상 패치, 정상 패치 및 텍스트 패치의 사이즈는 모두 동일한 것이 바람직하다. The sizes of the abnormal patch, the normal patch, and the text patch extracted by the
학습 데이터 생성부(460)는 패치 추출부(450)에서 생성된 각종 패치를 수집하고, 수집된 패치를 각각의 클래스(Class)로 구분하여 학습 데이터를 생성한다. 여기서, 학습 데이터는 머신러닝 알고리즘에 입력시키기 위한 입력 데이터이며, 머신러닝 알고리즘의 학습을 통해 생성된 판단기준 모델의 기초(샘플) 데이터를 의미한다. The learning
학습 데이터 생성부(460)는 복수의 비정상 패치 및 정상 패치를 수집하고, 복수의 비정상 패치 및 정상 패치 각각을 비정상 클래스 및 정상 클래스로 구분하여 학습 데이터를 생성한다. The learning
학습 데이터 생성부(460)는 비정상 패치와 비정상 패치에 대응하는 정상 패치 각각을 클래스로 구분할 수 있으나 반드시 이에 한정되는 것은 아니며, 제1 영상 프레임 및 제2 영상 프레임 각각에서 별도로 추출된 정상 패치 및 비정상 패치 각각을 정상 클래스 및 비정상 클래스로 구분하여 학습 데이터를 생성할 수 있다.The training
학습 데이터 생성부(460)는 텍스트 패치가 존재하는 경우 추가적으로 텍스트 패치를 수집하고, 텍스트 패치에 대한 텍스트 클래스를 추가로 형성하여 학습 데이터를 생성한다. The learning
학습 데이터 생성부(460)는 정상 클래스, 비정상 클래스, 텍스트 클래스 각각에 포함된 패치의 개수의 차이를 기 설정된 오차 개수 범위 내에서 유지되도록 하는 것이 바람직하다. 학습 데이터 생성부(460)는 클래스 각각에 포함된 정상 패치, 비정상 패치, 텍스트 패치의 개수 차이를 오차 개수 범위 내에서 유지되도록 처리 함으로써, 학습 데이터를 기반으로 생성되는 판단기준 모델의 정확도를 높일 수 있다. 예를 들어, 학습 데이터 생성부(460)는 학습 데이터가 정상 클래스, 비정상 클래스 및 텍스트 클래스를 포함하는 경우, 정상 클래스가 '10 만개의 정상 패치', '비정상 클래스가 30 만개의 비정상 패치', 텍스트 클래스가 '20 만개의 텍스트 패치'를 포함하는 제1 학습 데이터보다 정상 클래스가 '10 만개의 정상 패치', '비정상 클래스가 11 만개의 비정상 패치', 텍스트 클래스가 '9 만개의 텍스트 패치'를 포함하며 2 만개의 오차 개수 범위를 갖는 제2 학습 데이터를 생성하는 것이 바람직하다. The learning
판단기준 모델 생성부(470)는 학습 데이터를 머신러닝 알고리즘에 적용하여 판단기준 모델을 생성한다. 여기서, 판단기준 모델 생성부(470)는 딥러닝(Deep Learning)을 이용하여 판단기준 모델을 생성할 수 있다. The determination criterion
판단기준 모델 생성부(470)는 알렉스넷(Alexnet) 기법을 이용하여 판단기준 모델을 생성하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, GoogleNet, VGG(Covolutional Neural Net), ResNet 등의 딥러닝 기법을 이용하여 판단기준 모델을 생성할 수 있다. The determination criterion
판단기준 모델 생성부(470)는 복수의 패치 영역 각각에서 화면깨짐을 검출하기 위한 판단기준 모델을 생성한다. 판단기준 모델은 각각의 패치 영역마다 정상 화소 검출율, 비정상 화소 검출율, 텍스트 화소 검출율 등을 포함하는 화소 상태정보를 산출할 수 있으며, 판단기준 모델을 기반으로 화소 상태정보 중 비정상 화소 검출율이 기 설정된 기준 검출율 이상인 경우, 해당 패치 영역을 화면깨짐 영역으로 검출되도록 한다. The criterion reference
도 5는 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 전처리 과정을 설명하기 위한 순서도이다. 도 5에 기재된 단계 S510 내지 S590은 도 3의 단계 S310 및 S320을 구체화하여 설명한다. 5 is a flowchart illustrating a preprocessing process for detecting a screen break of a real-time image according to the present embodiment. Steps S510 to S590 described in Fig. 5 are described in detail with reference to steps S310 and S320 in Fig.
영상 오류 검출장치(140)는 제1 입력포트(412) 및 제2 입력포트(414) 각각을 통해 제1 영상 데이터를 획득한다(S510). 여기서, 여기서, 제1 영상 데이터는 영상 제공 서버(110) 또는 외부 장치로부터 수신된 샘플 영상 데이터일 수 있으나, 영상 제공 서버(110) 또는 셋탑박스(120)로부터 수신된 실시간 영상 데이터일 수 있다. The video
영상 오류 검출장치(140)는 제1 입력포트(412)를 통해 입력된 제1 영상 데이터의 패킷 에러를 유도하여 노이즈를 포함하는 제2 영상 데이터 생성한다(S520).The video
영상 오류 검출장치(140)는 제2 입력포트(414)를 통해 획득한 제1 영상 데이터의 제1 영상 프레임 및 제2 영상 데이터의 제2 영상 프레임을 비교하고(S530), 제2 영상 프레임에서 비정상 화소를 검출한다(S540). 여기서, 제1 영상 데이터 및 제2 영상 데이터는 동기화 처리되어 동일 시점의 제1 영상 프레임 및 제2 영상 프레임을 비교하여 비정상 화소를 검출한다. 더 자세히 설명하자면, 영상 오류 검출장치(140)는 제1 영상 프레임과 제2 영상 프레임 간의 동일 위치 화소를 각각 비교하여 기 설정된 기준 화소 차이값을 초과하는 화소들을 영상 오류로 판단하여 제2 영상 프레임 내에서 비정상 화소를 검출한다. The video
영상 오류 검출장치(140)는 비정상 화소를 포함하는 비정상 패치(Negative Patch)를 추출하고(S550), 비정상 패치에 대응되는 정상 패치(Pasitive Patch)를 추출한다(S552). 다시 말해, 영상 오류 검출장치(140)는 제2 영상 프레임 내에서 비정상 화소를 포함하는 기 설정된 패치 사이즈를 갖는 비정상 패치를 추출하고, 제1 영상 프레임 내에서 비정상 패치에 대응되는 정상 패치를 추출한다. 여기서, 영상 오류 검출장치(140)는 비정상 패치에 대응되는 위치에서 정상 패치를 추출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 비정상 패치 및 정상 패치 각각의 별도의 영상 프레임 위치에서 추출될 수 있다. The image
영상 오류 검출장치(140)는 제1 영상 프레임 또는 제2 영상 프레임 내에서 텍스트로 인식되는 영역에 대한 텍스트 패치를 추가로 추출할 수 있다. The image
영상 오류 검출장치(140)는 복수의 비정상 패치 및 정상 패치를 각각의 클래스로 구분한다(S560). 여기서, 영상 오류 검출장치(140)는 텍스트 패치가 존재하는 경우 텍스트 패치에 대한 텍스트 클래스를 추가로 형성할 수 있다. The video
영상 오류 검출장치(140)는 각각의 클래스에 포함된 비정상 패치, 정상 패치, 텍스트 패치 등이 기 설정된 개수에 도달하는 경우(S562), 정상 패치 클래스, 비정상 패치 클래스, 텍스트 패치 클래스 등을 포함하는 학습 데이터를 생성한다(S570).The video
영상 오류 검출장치(140)는 정상 클래스, 비정상 클래스, 텍스트 클래스 각각에 포함된 패치의 개수의 차이를 기 설정된 오차 개수 범위 내에서 유지되도록 하는 것이 바람직하다. 영상 오류 검출장치(140)는 클래스 각각에 포함된 정상 패치, 비정상 패치, 텍스트 패치의 개수 차이를 오차 개수 범위 내에서 유지되도록 처리 함으로써, 학습 데이터를 기반으로 생성되는 판단기준 모델의 정확도를 높일 수 있다.It is preferable that the image
영상 오류 검출장치(140)는 학습 데이터를 머신러닝 알고리즘에 적용하여(S580), 실시간 영상 프레임의 화면깨짐 영역을 검출하기 위한 판단기준 모델을 생성한다(S590). 영상 오류 검출장치(140)는 알렉스넷(Alexnet) 기법, GoogleNet, VGG(Covolutional Neural Net), ResNet 등의 딥러닝 알고리즘을 적용하여 판단기준 모델을 생성할 수 있으며, 판단기준 모델은 실시간 영상 플레임에 대해 각각의 패치 영역마다 정상 화소 검출율, 비정상 화소 검출율, 텍스트 화소 검출율 등을 포함하는 화소 상태정보가 산출되도록 한다. The video
도 5에서는 단계 S510 내지 단계 S590를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 S510 내지 단계 S590 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.5, it is described that steps S510 to S590 are sequentially executed. However, this is merely an example of the technical idea of the present embodiment, and it should be understood that any person skilled in the art will be able to It is to be understood that variations and modifications may be made without departing from the spirit or scope of the inventive concept by varying the order described in FIG. 5 or by performing one or more of steps S510 through S590 in parallel, It is not.
전술한 바와 같이 도 5에 기재된 본 실시예에 따른 영상 오류 검출장치(140)의 동작은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 오류 검출장치(140)의 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다. As described above, the operation of the video
도 6은 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 전처리 과정에서 영상 오류를 판단하는 동작을 설명하기 위한 예시도이다. 6 is an exemplary diagram for explaining an operation of determining a video error in a preprocessing process for detecting a screen break of a real-time video according to the present embodiment.
도 6의 (a)는 제1 영상 데이터를 기반의 '정상 프레임'을 나타내고, 도 6의 (a)는 제2 영상 데이터 기반의 '비정상 프레임'을 나타낸다. FIG. 6A shows a 'normal frame' based on the first image data, and FIG. 6A shows an 'abnormal frame' based on the second image data.
영상 오류 검출장치(140)는 '정상 프레임'과 '비정상 프레임' 간의 동일 위치 화소를 각각 비교하여 기 설정된 기준 화소 차이값을 초과하는 화소들을 영상 오류로 판단한다. The video
도 6의 (c)는 '비정상 프레임' 내에서 영상 오류로 판단된 비정상 화소를 표시한 '영상 오류 프레임'을 나타낸다. 영상 오류 검출장치(140)는 K-평균 군집화 기법(K-means clustering method)를 적용하여 기준 화소 차이값을 초과하는 비정상 화소를 붉은 점으로 표시할 수 있다. FIG. 6C shows an 'image error frame' indicating an abnormal pixel determined as a video error within the 'abnormal frame'. The image
영상 오류 검출장치(140)는 도 6의 (c)의 프레임 내에서 비정상 화소를 포함하는 기 설정된 패치 사이즈를 갖는 비정상 패치를 추출하며, 도 6의 (a)의 프레임 내에서 비정상 패치에 대응되는 정상 패치를 추출한다.The image
도 7a 및 도 7b는 본 실시예에 따른 판단기준 모델을 생성하기 위한 학습 데이터를 나타낸 예시도이다.7A and 7B are diagrams showing learning data for generating a determination criterion model according to the present embodiment.
도 7a의 (a)는 복수의 비정상 패치를 포함하는 비정상 클래스를 나타내고, 도 7a의 (b)는 복수의 정상 패치를 포함하는 정상 클래스를 나타낸다. 영상 오류 검출장치(140)는 비정상 화소를 포함하는 비정상 패치를 추출하고, 비정상 패치에 대응되는 정상 패치를 추출한다. 영상 오류 검출장치(140)는 각각의 클래스에 기 설정된 개수의 패치가 포함될 때까지 패치를 추출하는 동작을 반복한다. FIG. 7A shows an abnormal class including a plurality of abnormal patches, and FIG. 7B shows a normal class including a plurality of normal patches. The video
도 7b는 텍스트 패치를 포함하는 텍스트 클래스를 나타낸다. 영상 오류 검출장치(140)는 OCR(Optical Character Recognition) 방식을 이용하여 텍스트를 인식하고, 텍스트에 해당하는 기 설정된 크기의 패치를 추출하여 텍스트 클래스로 구분한다. Fig. 7B shows a text class containing a text patch. The image
도 8a 내지 도 8c는 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하는 동작을 나타낸 예시도이다. 8A to 8C are views illustrating an operation of detecting a screen break of a real-time image according to the present embodiment.
도 8a는 영상 오류 검출장치(140)에서 실시간 영상 프레임을 복수의 검출 패치 영역으로 구분한 결과를 나타낸 예시도이다. 도 8a에 도시된 바와 같이, 영상 오류 검출장치(140)는 227 * 227 크기를 갖는 복수의 검출 패치 영역으로 1920 * 1080 크기의 실시간 영상 프레임을 구분할 수 있다. 8A is a diagram illustrating a result of dividing a real-time image frame into a plurality of detection patch regions in the video
영상 오류 검출장치(140)는 227 * 227 크기를 갖는 복수의 검출 패치 영역의 전체 또는 일부를 이용하여 화면깨짐을 검출할 수 있다. The image
도 8b는 영상 오류 검출장치(140)에서 복수의 검출 패치 영역의 일부를 이용하여 실시간 영상 프레임의 화면깨짐을 검출하는 동작을 나타낸 예시도이다. FIG. 8B is an exemplary view showing an operation of detecting a screen break of a real-time image frame using a part of a plurality of detection patch areas in the video
영상 오류 검출장치(140)에서 검출하고자 하는 화면깨짐(오류)이 지속되는 시간을 오류 유효 유지시간으로 명명한다. 예를 들어, 화면깨짐이 유지되는 시간은 2 초일 수 있다. 따라서, 영상 오류 검출장치(140)는 오류 유효 유지시간 내에서 복수의 검출 패치 영역에 대한 분석을 종료해야 한다. The time at which the image
도 8b에 도시된 바와 같이, 영상 오류 검출장치(140)는 오류 유효 유지시간 동안 최소 1 번이라도 복수의 검출 패치 영역이 분석될 수 있도록 오류 유효 유지시간 동안의 실시간 영상 프레임을 10 개의 프레임으로 나눈다. 여기서, 영상 오류 검출장치(140)는 1 개의 프레임은 4 개의 동시분석처리 패치(830) 영역을 180 ms 내에 판단기준 모델을 기반으로 분석한다. 즉, 오류 유효 유지시간 동안 복수의 실시간 영상 프레임을 모두 분석하는 시간은 180 ms * 10 + 200 ms(영상처리 Overhead 시간)일 수 있으며, 이러한 시간은 오류 유효 유지시간인 2000 ms 보다 작게 설정되어야 한다. 전술한 영상 오류 검출장치(140)의 동작은 [표 1]과 같이 설정되는 것이 바람직하다. As shown in FIG. 8B, the video
도 8b에 기재된 오류 유효 유지시간, 오류 유효 유지시간 내에서 분할되는 프레임 수, 동시분석처리 패치의 처리시간, 동시분석처리 패치개수 등의 조건정보는 영상 오류 검출장치(140)의 연결상태, 분석환경, 사용자의 설정입력 등에 의해 자동 또는 수동으로 변경될 수 있다. 한편, 영상 오류 검출장치(140)는 기 설정된 주기마다 실시간 영상의 종류(예: 드라마, 뉴스, 영화, 음악 등), 실시간 영상 프레임의 크기(예: HD, Full HD, UHD, 4K 등) 등과 같은 분석환경을 확인하고, 분석환경에 따라 조건정보를 변경할 수 있다. The condition information such as the error validity holding time described in FIG. 8B, the number of frames divided within the error validity holding time, the processing time of the simultaneous analysis processing patch, the number of simultaneous analysis processing patches, Environment, user setting input, or the like. On the other hand, the video
도 8c은 영상 오류 검출장치(140)에서 복수의 검출 패치 영역의 일부 영역을 규칙적 또는 랜덤하게 변경하여 실시간 영상 프레임의 화면깨짐을 검출하는 동작을 나타낸 예시도이다. 8C is an exemplary view illustrating an operation of detecting a screen break of a real-time image frame by regularly or randomly changing a partial area of a plurality of detection patch areas in the video
도 8c의 (a)에 도시된 바와 같이, 영상 오류 검출장치(140)는 규칙적으로 설정된 오류 검출 영역(840)에서 딥러닝 알고리즘 기반의 판단기준 모델을 적용하여 화면깨짐을 검출할 수 있다. As shown in FIG. 8C, the image
도 8c의 (b)에 도시된 바와 같이, 영상 오류 검출장치(140)는 랜덤하게 설정된 오류 검출 영역(850)에서 딥러닝 알고리즘 기반의 판단기준 모델을 적용하여 화면깨짐을 검출할 수 있다. As shown in (b) of FIG. 8, the image
도 9는 본 실시예에 따른 실시간 영상의 화면깨짐을 검출하기 위한 전체 동작 과정을 개략적으로 나타낸 예시도이다. FIG. 9 is an exemplary view schematically showing an entire operation procedure for detecting screen breakage of a real-time image according to the present embodiment.
본 실시예에 따른 영상 오류 검출장치(140)는 정상 프레임과 비정상 프레임의 차이를 자동으로 감지하여 비정상 패치 및 정상 패치를 페어(Pair)로 추출하여 학습 데이터를 생성한다. The video
영상 오류 검출장치(140)는 생성된 학습 데이터를 딥러닝(Deep Learning) 알고리즘에 학습 처리하여 판단기준 모델을 생성한다. 다시 말해, 영상 오류 검출장치(140)는 최신 딥러닝 학습 모델인 알렉스넷(Alexnet), GoogleNet, VGG(Covolutional Neural Net), ResNet 등을 이용하여 비정상 패치 및 정상 패치를 포함하는 학습 데이터를 학습하며, 화면깨짐을 검출하기 위한 분류 패턴을 자동으로 학습한 판단기준 모델을 생성한다. The video
영상 오류 검출장치(140)는 학습된 판단기준 모델을 이용하여 실시간 영상에 대한 화면깨짐을 검출 및 예측한다. 영상 오류 검출장치(140)는 화면깨짐이 유지되는 시간을 기반으로 프레임별 화면깨짐 분석 영역을 분산하여 실시간으로 화면깨짐을 검출할 수 있다. The video
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
100: 영상 서비스 제공 시스템 110: 영상 제공 서버
120: 셋탑박스 130: 영상 출력장치
140: 영상 오류 검출장치
210: 전처리부 220: 모델 획득부
230: 실시간 영상 획득부 240: 검출영역 설정부
250: 화면깨짐 검출부
410: 영상 획득부 420: 노이즈 발생부
430: 동기화 처리부 440: 영상 오류 판단부
450: 패치 추출부 460: 학습 데이터 생성부
470: 판단기준 모델 생성부100: video service providing system 110: video providing server
120: set-top box 130: video output device
140: Video error detection device
210: preprocessing unit 220: model acquisition unit
230: Real-time image acquisition unit 240: Detection area setting unit
250: screen break detector
410: image acquisition unit 420: noise generation unit
430: synchronization processing unit 440: video error determination unit
450: Patch extracting unit 460: Learning data generating unit
470:
Claims (16)
머신러닝(Machine Learning) 알고리즘을 기반으로 생성된 판단기준 모델을 획득하는 모델 획득과정;
외부장치로부터 실시간 영상 프레임을 획득하는 실시간 영상 획득과정;
상기 실시간 영상 프레임을 상기 판단기준 모델에 근거하여 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 상기 복수의 검출 패치 영역 중 전체 또는 일부를 오류 검출 영역을 설정하는 검출영역 설정과정; 및
상기 판단기준 모델을 이용하여 상기 오류 검출 영역에서 화면깨짐 영역을 검출하는 화면깨짐 검출과정을 포함하며,
상기 화면깨짐 검출과정은,
전체 패치 영역을 포함하는 상기 오류 검출 영역에서 상기 판단기준 모델을 이용하여 상기 화면깨짐 영역을 검출하되, 기 설정된 오류 유효 시간 내에서 동시에 분석 가능한 동시분석처리 패치 영역을 상기 전체 패치 영역 내에서 중복되지 않도록 변경하여 상기 화면깨짐 영역을 검출하는 것을 특징으로 하는 실시간 영상 서비스 화면깨짐 검출 방법. A method for detecting a screen break in an image error detection apparatus in a real-time image service,
A model acquisition process for acquiring a decision criterion model generated based on a machine learning algorithm;
A real-time image acquisition process for acquiring a real-time image frame from an external device;
The real-time image frame is divided into a plurality of detection patch areas having a patch size set based on the determination reference model, and a detection area setting process of setting all or a part of the plurality of detection patch areas as an error detection area ; And
And a screen break detection step of detecting a screen break area in the error detection area using the judgment reference model,
The screen break detection process includes:
Wherein the simultaneous analysis processing patch area that can simultaneously analyze within the predetermined error validity time is detected in the entire patch area using the determination criterion model in the error detection area including the entire patch area, And detecting the broken area of the screen image.
상기 화면깨짐 검출과정은,
일부 패치 영역을 포함하는 상기 오류 검출 영역에서 상기 판단기준 모델을 이용하여 상기 화면깨짐 영역을 검출하되,
상기 일부 패치 영역은 실시간으로 입력되는 영상 프레임마다 서로 상이한 영역인 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.The method according to claim 1,
The screen break detection process includes:
Detecting the screen broken area using the determination criterion model in the error detection area including a part of patch areas,
Wherein the patch region is a different region for each image frame input in real time.
상기 화면깨짐 검출과정은,
상기 영상 프레임마다 기 설정된 규칙에 의해 상기 일부 패치 영역이 변경되거나, 상기 일부 패치 영역이 랜덤하게 변경되는 상기 오류 검출 영역에서 상기 화면깨짐 영역을 검출하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.3. The method of claim 2,
The screen break detection process includes:
And detecting the screen broken area in the error detection area in which the partial patch area is changed according to a predetermined rule for each of the image frames or the partial patch area is randomly changed. .
제1 영상 데이터를 기반으로 학습 데이터를 생성하고, 상기 학습 데이터를 상기 머신러닝 알고리즘에 적용하여 상기 판단기준 모델을 생성하는 전처리 과정
을 추가로 포함하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.The method according to claim 1,
A preprocessing step of generating learning data based on the first image data and applying the learning data to the machine learning algorithm to generate the determination criterion model
Further comprising a step of detecting a screen break of the real-time image service.
상기 전처리 과정은,
제1 입력포트 및 제2 입력포트 각각을 통해 상기 제1 영상 데이터를 획득하는 영상 획득과정;
상기 제1 영상 데이터의 패킷 에러를 유도하여 제2 영상 데이터를 생성하고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 비교하여 비정상 화소를 추출하는 영상 비교과정;
상기 비정상 화소를 포함하는 비정상 패치(Negative Patch)를 추출하고, 상기 비정상 패치에 대응되는 정상 패치(Pasitive Patch)를 추출하여 학습 데이터를 생성하는 데이터 생성과정; 및
상기 학습 데이터를 상기 머신러닝 알고리즘에 적용하여 상기 판단기준 모델을 생성하는 모델 생성과정
을 포함하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.6. The method of claim 5,
The pre-
An image acquiring step of acquiring the first image data through each of a first input port and a second input port;
An image comparing step of deriving a packet error of the first image data to generate second image data, and comparing the first image data and the second image data to extract an abnormal pixel;
A data generation step of extracting an abnormal patch including the abnormal pixel and extracting a normal patch corresponding to the abnormal patch to generate learning data; And
A model generation step of applying the learning data to the machine learning algorithm to generate the determination criterion model
And detecting a screen break of the real-time image service.
상기 영상 비교과정은,
상기 제1 입력포트를 통해 획득한 상기 제1 영상 데이터의 상기 패킷 에러를 유도하여 노이즈를 포함하는 상기 제2 영상 데이터를 출력하는 노이즈 발생과정; 및
상기 제1 영상 데이터의 제1 영상 프레임과 상기 제2 영상 데이터의 제2 영상 프레임을 비교하여 기 설정된 기준 화소 차이값을 초과하는 깨짐 영역의 상기 비정상 화소를 추출하는 영상 오류 판단과정
을 포함하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.The method according to claim 6,
The image comparison process includes:
A noise generation step of deriving the packet error of the first image data acquired through the first input port and outputting the second image data including noise; And
An image error judging process of comparing the first image frame of the first image data with the second image frame of the second image data and extracting the abnormal pixel in a broken region exceeding a preset reference pixel difference value
And detecting a screen break of the real-time image service.
상기 영상 비교과정은,
상기 제1 영상 데이터 및 상기 제2 영상 데이터의 시점을 동기화하는 동기화 처리과정을 추가로 포함하며,
상기 영상 오류 판단과정은, 동일한 시점의 상기 제1 영상 프레임 및 상기 제2 영상 프레임을 비교하여 상기 비정상 화소를 추출하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.8. The method of claim 7,
The image comparison process includes:
Further comprising a synchronization processing step of synchronizing the viewpoints of the first image data and the second image data,
Wherein the image error determination step comprises comparing the first image frame and the second image frame at the same time point to extract the abnormal pixel.
상기 데이터 생성과정은,
상기 제2 영상 프레임 내에서 상기 비정상 화소를 포함하는 소정의 크기의 상기 비정상 패치를 추출하고, 상기 제1 영상 프레임 내에서 상기 비정상 패치에 대응되는 상기 정상 패치를 추출하는 패치 추출과정; 및
상기 비정상 패치 및 상기 정상 패치를 수집하고, 상기 비정상 패치 및 상기 정상 패치 각각의 클래스(Class)로 구분하여 학습 데이터를 생성하는 학습 데이터 생성과정
을 포함하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.The method according to claim 6,
The data generation process includes:
A patch extracting step of extracting the abnormal patch of a predetermined size including the abnormal pixel in the second image frame and extracting the normal patch corresponding to the abnormal patch in the first image frame; And
A learning data generating step of collecting the abnormal patch and the normal patch and dividing the abnormal patch and the normal patch into classes,
And detecting a screen break of the real-time image service.
상기 패치 추출과정은,
상기 제1 영상 프레임 내에서 텍스트로 인식되는 영역에 대한 텍스트 패치를 추가로 추출하고,
상기 학습 데이터 생성과정은 상기 텍스트 패치에 대한 클래스를 추가로 포함하는 상기 학습 데이터를 생성하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.10. The method of claim 9,
The patch extracting process includes:
Further extracting a text patch for an area recognized as text in the first image frame,
Wherein the learning data generating step generates the learning data further including a class for the text patch.
상기 모델 생성과정은,
딥러닝(Deep Learning) 알고리즘을 이용하여 상기 판단기준 모델을 생성하되,
상기 화면깨짐 검출과정은 알렉스넷(Alexnet), GoogleNet, VGG(Covolutional Neural Net) 및 ResNet 중 적어도 하나의 딥러닝 기법을 이용하여 생성된 상기 판단기준 모델을 상기 오류 검출 영역에 포함된 소정의 패치 영역에 적용하여 상기 화면깨짐 영역을 검출하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.The method according to claim 6,
The model generation process includes:
Generating a determination criterion model using a Deep Learning algorithm,
The screen breaking detection process may include detecting a criterion model generated using at least one of deep processing techniques such as Alexnet, GoogleNet, Covolutional Neural Net (VGG), and ResNet to a predetermined patch area And detecting the broken area of the screen.
상기 제1 영상 데이터는,
상기 실시간 영상 데이터 또는 별도로 입력된 샘플 영상 데이터인 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.6. The method of claim 5,
Wherein the first image data comprises:
Wherein the real-time image data is the real-time image data or the separately input sample image data.
상기 화면깨짐 검출과정은,
상기 판단기준 모델에 근거하여 상기 오류 검출 영역에 포함된 각각의 패치 영역마다 화소 상태정보를 산출하고, 상기 화소 상태정보에 근거하여 상기 화면깨짐을 검출하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.The method according to claim 1,
The screen break detection process includes:
Wherein the error detection unit detects the screen breakage based on the pixel state information and calculates the pixel state information for each patch region included in the error detection region based on the determination criterion model, Way.
상기 화소 상태정보는,
정상 화소 검출율, 비정상 화소 검출율 및 텍스트 화소 검출율 중 적어도 하나를 포함하며,
상기 화면깨짐 검출과정은 상기 비정상 화소 검출율이 기 설정된 기준 검출율 이상인 경우 상기 실시간 영상 프레임에서 상기 화면깨짐 영역으로 검출하는 것을 특징으로 하는 실시간 영상 서비스의 화면깨짐 검출 방법.14. The method of claim 13,
Wherein the pixel state information comprises:
A normal pixel detection rate, an abnormal pixel detection rate, and a text pixel detection rate,
Wherein the screen breaking detection process detects the screen breaking area in the real time image frame when the abnormal pixel detection rate is equal to or greater than a predetermined reference detection rate.
머신러닝(Machine Learning) 알고리즘을 기반으로 생성된 판단기준 모델을 획득하는 모델 획득부;
외부장치로부터 실시간 영상 프레임을 획득하는 실시간 영상 획득부;
상기 실시간 영상 프레임을 상기 판단기준 모델에 근거하여 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 상기 복수의 검출 패치 영역 중 전체 또는 일부를 오류 검출 영역을 설정하는 검출영역 설정부; 및
상기 판단기준 모델을 이용하여 상기 오류 검출 영역에서 화면깨짐 영역을 검출하는 화면깨짐 검출부를 포함하며,
상기 화면깨짐 검출부는,
전체 패치 영역을 포함하는 상기 오류 검출 영역에서 상기 판단기준 모델을 이용하여 상기 화면깨짐 영역을 검출하되, 기 설정된 오류 유효 시간 내에서 동시에 분석 가능한 동시분석처리 패치 영역을 상기 전체 패치 영역 내에서 중복되지 않도록 변경하여 상기 화면깨짐 영역을 검출하는 것을 특징으로 하는 영상 오류 검출장치.An apparatus for detecting a screen break in a real-time video service,
A model acquisition unit for acquiring a decision criterion model generated based on a machine learning algorithm;
A real-time image acquisition unit for acquiring a real-time image frame from an external device;
Wherein the real-time image frame is divided into a plurality of detection patch areas having a patch size set based on the determination criterion model and all or a part of the plurality of detection patch areas is set as a detection area, ; And
And a screen break detection unit for detecting a screen break area in the error detection area using the judgment reference model,
Wherein the screen breakage detection unit comprises:
Wherein the simultaneous analysis processing patch area that can simultaneously analyze within the predetermined error validity time is detected in the entire patch area using the determination criterion model in the error detection area including the entire patch area, And detects the screen breakage area by changing the screen breakage area.
머신러닝(Machine Learning) 알고리즘을 기반으로 생성된 판단기준 모델을 획득하는 모델 획득과정;
외부장치로부터 실시간 영상 프레임을 획득하는 실시간 영상 획득과정;
상기 실시간 영상 프레임을 상기 판단기준 모델에 근거하여 설정된 패치(Patch) 사이즈를 갖는 복수의 검출 패치 영역으로 구분하고, 상기 복수의 검출 패치 영역 중 전체 또는 일부를 오류 검출 영역을 설정하는 검출영역 설정과정; 및
상기 판단기준 모델을 이용하여 상기 오류 검출 영역에서 화면깨짐 영역을 검출하는 화면깨짐 검출과정을 포함하며,
상기 화면깨짐 검출과정은,
전체 패치 영역을 포함하는 상기 오류 검출 영역에서 상기 판단기준 모델을 이용하여 상기 화면깨짐 영역을 검출하되, 기 설정된 오류 유효 시간 내에서 동시에 분석 가능한 동시분석처리 패치 영역을 상기 전체 패치 영역 내에서 중복되지 않도록 변경하여 상기 화면깨짐 영역을 검출하는 것을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
In the data processing device,
A model acquisition process for acquiring a decision criterion model generated based on a machine learning algorithm;
A real-time image acquisition process for acquiring a real-time image frame from an external device;
The real-time image frame is divided into a plurality of detection patch areas having a patch size set based on the determination reference model, and a detection area setting process of setting all or a part of the plurality of detection patch areas as an error detection area ; And
And a screen break detection step of detecting a screen break area in the error detection area using the judgment reference model,
The screen break detection process includes:
Wherein the simultaneous analysis processing patch area that can simultaneously analyze within the predetermined error validity time is detected in the entire patch area using the determination criterion model in the error detection area including the entire patch area, And detecting the screen broken area by changing the display area of the screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160154003A KR101849092B1 (en) | 2016-11-18 | 2016-11-18 | Method and Apparatus for Detecting Picture Breaks for Video Service of Real Time |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160154003A KR101849092B1 (en) | 2016-11-18 | 2016-11-18 | Method and Apparatus for Detecting Picture Breaks for Video Service of Real Time |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101849092B1 true KR101849092B1 (en) | 2018-05-24 |
Family
ID=62296781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160154003A KR101849092B1 (en) | 2016-11-18 | 2016-11-18 | Method and Apparatus for Detecting Picture Breaks for Video Service of Real Time |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101849092B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210109777A1 (en) * | 2019-10-09 | 2021-04-15 | Ross Video Limited | Systems and methods of computer system monitoring and control |
-
2016
- 2016-11-18 KR KR1020160154003A patent/KR101849092B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210109777A1 (en) * | 2019-10-09 | 2021-04-15 | Ross Video Limited | Systems and methods of computer system monitoring and control |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7586544B2 (en) | Method and apparatus for testing lip-sync of digital television receiver | |
CN104853244B (en) | Method and apparatus for managing audio-video, audio or video content | |
EP2244208A2 (en) | Methods and apparatus for identifying primary media content in a post-production media content presentation | |
US9224048B2 (en) | Scene-based people metering for audience measurement | |
HUE028719T2 (en) | Method and apparatus for temporally synchronizing the input bit stream of a video decoder with the processed video sequence decoded by the video decoder | |
US10893321B2 (en) | System and method for detecting and classifying direct response advertisements using fingerprints | |
US20160165227A1 (en) | Detection of audio to video synchronization errors | |
JP2009043265A (en) | Subtitle area extracting device, subtitle area extracting method and subtitle area extraction program | |
CN106973324A (en) | A kind of poster generation method and device | |
CN103686056B (en) | The method for processing video frequency of conference terminal and the conference terminal | |
KR101849092B1 (en) | Method and Apparatus for Detecting Picture Breaks for Video Service of Real Time | |
CN109040784A (en) | Commercial detection method and device | |
US20170150142A1 (en) | Testing system, testing method, computer program product, and non-transitory computer readable data carrier | |
KR102456189B1 (en) | system for Cloud edge-based video analysis | |
CN115499677A (en) | Audio and video synchronization detection method and device based on live broadcast | |
EP2682895A2 (en) | Video display apparatus and video display method | |
KR101625567B1 (en) | Verification apparatus for screen synchronization information | |
KR101426579B1 (en) | Apparatus and method for providing images in wireless communication system and portable display apparatus and method for displaying images | |
KR102487111B1 (en) | Method and apparatus for monitoring quality of sign language broadcasting | |
KR101616457B1 (en) | Verification Device And System For Video Delay Time | |
US20230186654A1 (en) | Systems and methods for detection and display of whiteboard text and/or an active speaker | |
CN113038146A (en) | Method and system for detecting consistency of self-adaptive IPTV live broadcast content | |
US20200019787A1 (en) | Methods and apparatus to monitor a split screen media presentation | |
CN112954448A (en) | Live broadcast content image feature code extraction method and live broadcast content consistency comparison method | |
WO2014001137A1 (en) | Synchronized movie summary |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |