KR102565295B1 - Apparatus and method for evaluating performance of video streaming system - Google Patents
Apparatus and method for evaluating performance of video streaming system Download PDFInfo
- Publication number
- KR102565295B1 KR102565295B1 KR1020210078901A KR20210078901A KR102565295B1 KR 102565295 B1 KR102565295 B1 KR 102565295B1 KR 1020210078901 A KR1020210078901 A KR 1020210078901A KR 20210078901 A KR20210078901 A KR 20210078901A KR 102565295 B1 KR102565295 B1 KR 102565295B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- frame
- image
- streaming system
- video streaming
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
Abstract
본 발명에 따르면, 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하여, 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법이 개시된다.According to the present invention, when a streaming image in which a frame index is pre-inserted for each frame is reproduced in a video streaming system, the streaming image output from the transmitter of the video streaming system is captured and stored as a first raw video. and captures the streaming video output from the receiving end, stores it as a second raw video, compares frame indices in the first raw video and the second raw video, and compares frame indices between frames corresponding to frame indices that match each other. An apparatus and method for evaluating the performance of a video streaming system comparing quality are disclosed.
Description
본 발명은 실시간 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for evaluating the performance of a real-time video streaming system.
실시간 비디오 스트리밍(Real-time video streaming)의 중요성은 점점 커지고 있다. 실시간 비디오 전송(Real-time video delivery)이 대표적으로 필요한 라이브 비디오 회의(live video conferencing) 이외에도, VR 엣지 컴퓨팅(VR edge computing), 클라우드 게이밍, 원격 차량 제어 등 다양한 어플리케이션의 서비스를 위해서 신뢰할 수 있는 실시간 스트리밍(real-time streaming) 기술의 개발이 요구되고 있다.The importance of real-time video streaming is growing. In addition to live video conferencing, which typically requires real-time video delivery, reliable real-time video conferencing is provided for various application services such as VR edge computing, cloud gaming, and remote vehicle control. Development of real-time streaming technology is required.
이러한 실시간 스트리밍 시스템의 고품질 서비스를 위해서는, 비디오 프레임이 생성되고 수신단까지 도착하는 시간을 정밀하게 측정할 수 있는 성능 평가 기법의 발전이 동반되어야만 한다.For high-quality service of such a real-time streaming system, it is necessary to develop a performance evaluation technique that can precisely measure the time from when a video frame is generated to a receiving end.
종래의 경우, 도 1에 나타난 바와 같이, 스탑워치를 사용하여 실시간 양방향 비디오 스트리밍의 양방향 지연시간을 측정하는 기법을 이용한다.In the conventional case, as shown in FIG. 1, a technique of measuring bi-directional delay time of real-time bi-directional video streaming using a stopwatch is used.
이 때, 도 1의 (a)에 나타난 스톱워치들은 다음과 같이 서술되는 상태를 의미한다.At this time, the stopwatches shown in (a) of FIG. 1 mean a state described as follows.
스탑워치 1: 시간이 흘러가는 stand alone 앱, 스탑워치 2: 스탑워치 1을 캡쳐한 비디오, 스탑워치 3: Cellular를 통해 수신 컴퓨터로 전송된 비디오, 스탑워치 4: 스탑워치 3을 캠으로 캡쳐한 비디오, 스탑워치 5: 스탑워치 4를 재전송 받은 비디오Stopwatch 1: stand alone app with time passing, Stopwatch 2: video captured by Stopwatch 1, Stopwatch 3: video sent to receiving computer via Cellular, Stopwatch 4: video captured by Stopwatch 3 with cam Video, Stopwatch 5: Video Received Stopwatch 4
이 상황에서 스탑워치 2와 스탑워치 5의 차이(gap)를 왕복 비디오 지연(Round-trip video delay)이라 정의하고 이를 측정한 것이 도 1의 (b)에 표시된 그래프이다.In this situation, the gap between
해당 기법을 통해서는 실시간 비디오 스트림의 양방향 딜레이는 알 수 있지만, 실제 유저의 QoE를 고려할 수 있는 단방향 딜레이를 측정할 수 없고, 비디오의 품질 또한 측정할 수 없는 한계를 가지고 있다.Through this technique, the bi-directional delay of the real-time video stream can be known, but the uni-directional delay that can consider the QoE of the actual user cannot be measured, and the quality of the video cannot be measured either.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 비디오 스트리밍 시스템의 단방향 프레임 지연시간 및 비디오 품질의 차이를 정밀하게 측정하는 것을 포함한다.An object to be solved according to an embodiment of the present invention includes precisely measuring a difference between a unidirectional frame delay time and video quality of a video streaming system.
본 명세서에 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in this specification may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
상기 과제를 해결하기 위해, 본 발명의 일 측면에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치는, 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 영상 프레임 기록부 및 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 성능 평가부를 포함한다.In order to solve the above problem, an apparatus for evaluating the performance of a video streaming system according to an aspect of the present invention, when a streaming image in which a frame index is previously inserted for each frame is reproduced in the video streaming system, the An image frame recorder for capturing a streaming image output from a transmitting end of a video streaming system and storing it as a first raw video, and capturing a streaming image output from a receiving end and storing it as a second raw video; and and a performance evaluation unit that compares frame indices of the first original image and the second original image, and compares quality between frames corresponding to the matching frame indices.
또한, 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 동기화부를 더 포함할 수 있다.In addition, the video streaming system may further include a synchronization unit for synchronizing the time of the transmitting end and the time of the receiving end.
또한, 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 프레임 정보 삽입부를 더 포함할 수 있다.In addition, it may further include a frame information insertion unit for generating a streaming image by inserting a frame index into each of a plurality of frames of an image to be reproduced.
여기서, 상기 영상 프레임 기록부는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장할 수 있다.Here, the image frame recording unit may store a time point at which each frame of the first original image is captured and a time point at which each frame of the second original image is captured.
여기서, 상기 성능 평가부는, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출할 수 있다.Here, the performance evaluation unit may compare quality between matched frames and calculate a delay time based on a difference in captured time.
또한, 상기 비디오 스트리밍 시스템의 송신단과 수신단에서 수신단에서 상기 출력되는 스트리밍 영상을 캡쳐하기 위한 캡쳐 보드를 더 포함할 수 있다.In addition, the video streaming system may further include a capture board for capturing the streaming image output from the receiving end at the transmitting end and the receiving end.
여기서, 상기 프레임 정보 삽입부는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입할 수 있다.Here, the frame information insertion unit may insert the frame index in the form of a barcode.
본 발명의 또 다른 측면에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법은, 영상 프레임 기록부가 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계 및 성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 단계를 포함할 수 있다.A method for evaluating the performance of a video streaming system according to another aspect of the present invention, when the video frame recorder reproduces a streaming video in which a frame index is previously inserted for each frame in the video streaming system, the video streaming Capturing the streaming image output from the transmitting end of the system and storing it as a first raw video, and capturing the streaming image output from the receiving end and storing it as a second raw video, and a performance evaluation unit performing the first raw video. Comparing frame indices of the first original image and the second original image, and comparing quality between frames corresponding to frame indices that match each other.
또한, 동기화부가 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 단계를 더 포함할 수 있다.In addition, the synchronizing unit may further include synchronizing the time of the transmitting end and the time of the receiving end of the video streaming system.
또한, 프레임 정보 삽입부가 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 단계를 더 포함할 수 있다.The method may further include generating a streaming image by inserting a frame index into each of a plurality of frames of an image to be reproduced by the frame information inserting unit.
여기서, 상기 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장할 수 있다.Here, the step of capturing the streaming image and storing it as a first raw video, and capturing the streaming image output from the receiving end and storing it as a second raw video, each of the first original video A time point at which a frame is captured and a time point at which each frame of the second original image is captured may be stored together.
여기서, 상기 프레임 간의 품질을 비교하는 단계는, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출할 수 있다.Here, in the step of comparing quality between frames, quality between matched frames may be compared, and a delay time may be calculated based on a difference in captured time.
여기서, 상기 스트리밍 영상을 생성하는 단계는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입할 수 있다.Here, in the generating of the streaming image, the frame index may be inserted in the form of a barcode.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.In addition, as a computer-readable recording medium storing a computer program, the computer program may provide a computer-readable recording medium containing instructions for causing a processor to perform a method for evaluating the performance of a video streaming system. there is.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.In addition, as a computer program stored on a computer-readable recording medium, the computer program may provide a computer program including instructions for causing a processor to perform a method for evaluating performance of a video streaming system.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 비디오 스트리밍 시스템의 소스 코드에 접근할 수 없고, 물리적으로 송수신단 장비가 떨어져 있는 상황에서도, 단방향 프레임 지연시간 및 비디오 품질의 차이를 정밀하게 측정할 수 있다.As described above, according to the embodiments of the present invention, the difference in unidirectional frame delay time and video quality is precisely measured even in a situation where source code of a video streaming system is not accessible and equipment of the transmitting and receiving end is physically separated. can do.
또한, 수신단에서 실제 사용자에게 프레임이 재생되는 시간까지의 실제 인지 단방향 지연 시간을 측정할 수 있다.In addition, the actual perceptual one-way delay time from the receiving end to the time at which the frame is reproduced to the actual user can be measured.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification expected by the technical features of the present invention and their provisional effects are treated as described in the specification of the present invention.
도 1은 종래의 비디오 스트리밍의 양방향 지연시간을 측정하는 기법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 구체적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 단방향 스트리밍 성능을 평가한 것을 나타낸 도면이다.1 is a diagram illustrating a conventional technique for measuring bi-directional latency of video streaming.
2 is a block diagram illustrating an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention.
3 is a flowchart illustrating a method for evaluating the performance of a video streaming system according to an embodiment of the present invention.
4 is a diagram specifically illustrating an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention.
5 is a diagram illustrating evaluation of unidirectional streaming performance using an apparatus for evaluating performance of a video streaming system according to an embodiment of the present invention.
이하, 본 발명에 관련된 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, an apparatus and method for evaluating the performance of a video streaming system related to the present invention will be described in more detail with reference to the drawings. However, the present invention may be embodied in many different forms and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves.
본 발명의 일 실시예는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법에 관한 것이다.One embodiment of the present invention relates to an apparatus and method for evaluating the performance of a video streaming system.
명세서에서 비디오 스트리밍 시스템의 성능은 비디오 스트리밍 시스템의 지연 및 비디오 품질을 포함한다.The performance of the video streaming system in the specification includes the delay and video quality of the video streaming system.
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 나타낸 블록도이다.2 is a block diagram illustrating an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 프레임 정보 삽입부(100), 동기화부(200), 영상 프레임 기록부(300) 및 성능 평가부(400)를 포함한다.Referring to FIG. 2, an
본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 비디오 스트리밍 시스템(20)에서 비디오 프레임의 품질과 송신단(21)의 비디오 프레임 생성에서부터 라우터(23)를 통해 수신단(22)에서 재생될 때까지 걸리는 단방향 지연을 측정할 수 있는 장치이다.
비디오 스트리밍 시스템(20)의 송신단(21)에서는 UDP를 통해 송신단 비디오 인코더에서 인코딩된 비디오를 전송한다. 이 부분은 외부에서 접근을 못하는 부분으로 블랙 박스(Black box)이다.The
여기서, 비디오 프레임은 전송하고자 하는 영상에 포함되는 복수의 프레임을 의미한다.Here, the video frame means a plurality of frames included in an image to be transmitted.
본 발명의 명세서에 기재된 영상은, 이미지뿐만 아니라 동영상, 즉 비디오(video)를 지칭할 수 있다.An image described in the specification of the present invention may refer to a moving picture, that is, a video, as well as an image.
본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 비디오 스트리밍 시스템(20)의 소스 코드에 접근할 수 없고, 물리적으로 송수신단 장비가 떨어져 있는 상황에서도, 단방향 프레임 지연시간 및 비디오 품질의 차이를 정밀하게 측정하기 위한 것으로, 구체적인 구성은 하기 도 4에서 상세히 설명한다.The
프레임 정보 삽입부(100)는 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성한다.The frame
여기서, 프레임 정보 삽입부(100)는 복수의 프레임 상에 프레임 인덱스(frame index)를 바코드 형태로 삽입하여, 바코드 형태의 프레임 인덱스(frame index)가 삽입된 스트리밍 영상을 생성한다.Here, the frame
도 2에서 프레임 정보 삽입부(100)는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)에 포함되는 것으로 도시하였으나, 프레임 정보 삽입부(100)는 비디오 스트리밍 시스템(20)이 전송하고자 하는 스트리밍 영상을 사전에 생성하기 위한 것으로, 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)의 외부에 마련되어 비디오 스트리밍 시스템(20)의 송신단(21)으로 스트리밍 영상을 제공할 수도 있다.In FIG. 2, the
동기화부(200)는 상기 비디오 스트리밍 시스템의 송신단(21)의 시간과 수신단(23)의 시간을 동기화한다.The
본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 송신단과 수신단에서 각각 캡쳐된 스트리밍 영상을 확인하여 프레임 인덱스를 매칭하는 방법으로 프레임 지연 시간을 측정하는데, 이를 위해서는 송신단과 수신단의 시간을 동기화 하는 것이 필요하다.
본 발명의 일 실시예에서는 NTP (Network Time Protocol)을 활용하여 동기화를 수행한다.In one embodiment of the present invention, synchronization is performed using Network Time Protocol (NTP).
영상 프레임 기록부(300)는 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장한다.The image
여기서, 스트리밍 영상을 캡쳐하기 위해 송신단과 수신단의 화면을 각각의 캡쳐 보드를 이용하여 캡쳐하게 된다.Here, in order to capture a streaming image, the screens of the transmitting end and the receiving end are captured using respective capture boards.
이 때, 영상 프레임 기록부(300)는 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장한다.At this time, the image
성능 평가부(400)는 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교한다.The
구체적으로, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출한다.Specifically, the quality of matched frames is compared, and the delay time is calculated based on the difference in captured time.
영상의 품질은 캡쳐된 스트리밍 영상을 통해 측정하며, 지연시간은 프레임 인덱스를 이용한 캡쳐된 시점의 차이를 이용한다.The quality of the video is measured through the captured streaming video, and the delay time uses the difference between the captured time point using the frame index.
구체적으로, 품질을 측정하기 위해서는 PSNR (Peak Signal-to-Noise Ratio)과 SSIM (Structural Similarity Index Map) 방법을 이용할 수 있다.Specifically, PSNR (Peak Signal-to-Noise Ratio) and SSIM (Structural Similarity Index Map) methods may be used to measure quality.
PSNR (Peak Signal-to-Noise Ratio)은 생성 또는 압축된 영상의 화질에 대한 손실 정보를 평가하기 위한 것으로, 손실이 적을수록 높은 값이 나타난다.PSNR (Peak Signal-to-Noise Ratio) is for evaluating loss information about the quality of a generated or compressed video, and a higher value appears as the loss decreases.
SSIM (Structural Similarity Index Map)은 PSNR과 다르게 수치적인 에러가 아닌 인간의 시각적 화질 차이를 평가하기 위해 고안된 방법이며, Luminance, Contrast, Structural 이 3가지 측면에서 품질을 평가하게 된다.SSIM (Structural Similarity Index Map), unlike PSNR, is a method devised to evaluate human visual quality differences rather than numerical errors, and quality is evaluated in three aspects: Luminance, Contrast, and Structural.
지연시간을 산출하는 경우에는, 예를 들어, 제1 원본 영상의 10번째 프레임 인덱스에 대응되는 프레임과 제2 원본 영상의 10번째 프레임 인덱스에 대응되는 프레임 사이의 캡쳐 시점을 비교하여 지연시간을 산출하게 된다.In the case of calculating the delay time, for example, the delay time is calculated by comparing the capture time between the frame corresponding to the 10th frame index of the first original video and the frame corresponding to the 10th frame index of the second original video. will do
도 3은 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method for evaluating the performance of a video streaming system according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법은, 단계 S100에서 프레임 정보 삽입부가 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하며, 프레임 인덱스(frame index)를 바코드 형태로 삽입할 수 있다.Referring to FIG. 3, in a method for evaluating the performance of a video streaming system according to an embodiment of the present invention, in step S100, a frame information inserter sets frame indexes on a plurality of frames of an image to be reproduced. A streaming image may be generated by inserting each, and a frame index may be inserted in the form of a barcode.
여기서, 단계 S100은 비디오 스트리밍 시스템이 전송하고자 하는 스트리밍 영상을 사전에 생성하기 위한 것으로, 비디오 스트리밍 시스템의 성능을 평가하기 위한 단계 이전에 수행되어, 미리 비디오 스트리밍 시스템의 송신단으로 스트리밍 영상이 제공될 수도 있다.Here, step S100 is for generating a streaming image to be transmitted by the video streaming system in advance, and is performed before the step for evaluating the performance of the video streaming system, so that the streaming image may be provided to the transmitter of the video streaming system in advance. there is.
단계 S200에서 동기화부가 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화한다.In step S200, the synchronizing unit synchronizes the time of the transmitter and the receiver of the video streaming system.
단계 S300에서 영상 프레임 기록부가 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장한다.In step S300, when the video frame recorder reproduces the streaming video in which the frame index is previously inserted for each frame in the video streaming system, the video streaming system captures the streaming video output from the transmitting end and creates a first original video (raw). video), captures the streaming video output from the receiving end, and stores it as a second raw video.
구체적으로, 상기 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계(S300)는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장한다.Specifically, in the step of capturing the streaming image and storing it as a first raw video, and capturing the streaming image output from the receiving end and storing it as a second raw video (S300), the first A time point at which each frame of the original image is captured and a time point at which each frame of the second original image is captured are stored together.
단계 S400에서 성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교한다.In step S400, the performance evaluation unit compares frame indices of the first original video and the second original video, and compares quality between frames corresponding to frame indexes that match each other.
여기서, 상기 프레임 간의 품질을 비교하는 단계(S400)는, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출한다.Here, in the step of comparing the quality between the frames (S400), the quality between the matched frames is compared, and the delay time is calculated based on the difference in captured time.
도 4는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 구체적으로 나타낸 도면이다.4 is a diagram specifically illustrating an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 비디오 스트리밍 시스템(20)은 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)의 외부에 위치하며, 도 4에 블랙 박스(Black box)로 표기되어 있는 송신단(video sender), 수신단(video receiver)은 접근이 불가능한 요소일 수 있다.According to an embodiment of the present invention, the
이를 위해, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치는 비디오 전송 코드, 비디오 수신 코드에 직접적인 수정 없이도 비디오 스트리밍 시스템의 성능을 평가할 수 있도록 구성된다.To this end, an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention is configured to evaluate the performance of a video streaming system without direct modification to video transmission code and video reception code.
구체적으로, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치는 물리적 장치인 캡쳐 보드(Capture board)를 사용하여, 실제 송신단과 수신단이 각각의 출력장치(모니터)로 출력하는 영상을 캡쳐하여, 캡쳐된 영상을 각각의 데스크탑에 제1 원본 영상(raw video)과 제2 원본 영상(raw video)으로 저장함과 동시에, 각 프레임이 캡쳐되는 시점을 저장한다.Specifically, an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention uses a capture board, which is a physical device, to output data to respective output devices (monitors) of actual transmitters and receivers. An image is captured, and the captured image is stored as a first raw video and a second raw video on each desktop, and at the same time, the time point at which each frame is captured is stored.
이를 위해, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 상기 비디오 스트리밍 시스템의 송신단과 수신단에서 상기 출력되는 스트리밍 영상을 캡쳐하기 위한 캡쳐 보드를 포함할 수 있다.To this end, the
일반적으로 PC는 비디오 출력만 가능하고 비디오 입력이 불가능하기 때문에 캡처 보드를 이용하여 A/V, S-단자, 컴포넌트, HDMI 등을 입력하여 PC 내에서 재생이 가능하도록 할 수 있다.In general, PCs can only output video and cannot input video, so you can use a capture board to input A/V, S-terminal, component, HDMI, etc. to enable playback in the PC.
이 때, 비디오 스트리밍 시스템을 통해 전송되는 영상에는 프레임 인덱스가 바코드 형태로 입혀져 있다.At this time, the image transmitted through the video streaming system is coated with a frame index in the form of a barcode.
이후, 송수신단 각각에서 저장된 제1 원본 영상(raw video)과 제2 원본 영상(raw video)의 프레임 인덱스를 비교하여, 매칭이 되는 프레임 인덱스의 프레임 품질을 비교하는 것을 통해 영상 화질을 측정하고, 매칭이 되는 프레임 인덱스가 송신단에서 캡쳐된 시점(프레임이 생성된 시점)에서 수신단에서 수신되어 캡쳐된 시점 프레임이 수신되고 수신단 화면에 출력된 시점)의 시간 차이를 계산하는 것을 통해 프레임 지연시간을 측정할 수 있다.Thereafter, the frame indexes of the first raw video and the second raw video stored in each of the transmitting and receiving terminals are compared, and the image quality is measured by comparing the frame quality of the matching frame index, Frame delay time is measured by calculating the time difference between the time when the matching frame index is captured by the transmitting end (the time when the frame is created) and the time when the frame is received and captured by the receiving end and the time when the frame is received and displayed on the screen of the receiving end) can do.
또한, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 다양한 비디오 스트리밍 시스템의 성능 평가를 위해 사용될 수 있으며, 특히 적응형 비디오 스트리밍(DASH 등의 가변 비트레이트 비디오)의 성능을 최적화하는 데에 활용될 수 있다.In addition, the
도 5는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 단방향 스트리밍 성능을 평가한 것을 나타낸 도면이다.5 is a diagram illustrating evaluation of unidirectional streaming performance using an apparatus for evaluating performance of a video streaming system according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 다수의 기술들의 단방향 스트리밍 성능을 평가한 것으로, 비디오 스트리밍의 프레임별 화질 및 송신단에서 프레임이 생성되고 수신단에서 실제 사용자에게 프레임이 재생되는 시간까지의 실제 인지 단방향 지연 시간을 측정할 수 있음을 확인할 수 있다.Referring to FIG. 5, unidirectional streaming performance of multiple technologies is evaluated using an apparatus for evaluating the performance of a video streaming system according to an embodiment of the present invention. It can be confirmed that the actual perceptual one-way delay time from the receiving end to the time when the frame is reproduced to the actual user can be measured.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.In addition, as a computer-readable recording medium storing a computer program, the computer program may provide a computer-readable recording medium containing instructions for causing a processor to perform a method for evaluating the performance of a video streaming system. there is.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.In addition, as a computer program stored on a computer-readable recording medium, the computer program may provide a computer program including instructions for causing a processor to perform a method for evaluating performance of a video streaming system.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Such computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, etc. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is just one embodiment of the present invention, and those skilled in the art can implement it in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention should be construed to include various embodiments within the scope equivalent to those described in the claims without being limited to the above-described embodiments.
Claims (15)
상기 비디오 스트리밍 시스템에서 프레임(frame) 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 영상 프레임 기록부; 및
상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 영상 품질을 비교하는 성능 평가부;를 포함하되,
상기 영상 프레임 기록부는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장하고,
상기 성능 평가부는, 매칭된 프레임간의 영상 품질을 비교하고, 상기 제1 원본 영상의 캡쳐되는 시점과 상기 제2 원본 영상의 캡쳐되는 시점 간의 차이에 기초하여 지연시간을 산출하며,
상기 송신단과 상기 수신단은 사용자의 접근이 불가능한 장소에 위치하여 상기 비디오 스트리밍 시스템의 소스 코드에 접근할 수 없고 상기 비디오 스트리밍 시스템과 물리적으로 떨어져 있는 상황에서도 단방향 프레임 지연시간 및 비디오 품질 차이의 측정이 가능하고,
상기 성능 평가부는 PSNR(peak signal-to-noise ratio) 및 SSIM(structural similarity index map)을 이용하여, 생성 또는 압축된 영상의 화질에 대한 손실 정보와 인간의 시각적 화질 차이를 평가함으로써 상기 캡쳐된 스트리밍 영상의 품질을 측정하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치.An apparatus for evaluating the performance of a video streaming system,
In the video streaming system, when a streaming image in which a frame index is pre-inserted for each frame is reproduced, the streaming image output from the transmitter of the video streaming system is captured and stored as a first raw video. an image frame recorder for capturing and storing the streaming image output from the receiving end as a second raw video; and
A performance evaluation unit that compares frame indices of the first original image and the second original image and compares image quality between frames corresponding to frame indices that match each other;
The image frame recorder stores a time point at which each frame of the first original image is captured and a time point at which each frame of the second original image is captured together;
The performance evaluation unit compares image quality between matched frames and calculates a delay time based on a difference between a capturing time of the first original image and a capturing time of the second original image;
The transmitting end and the receiving end are located in a place inaccessible to users and cannot access the source code of the video streaming system, and can measure unidirectional frame delay time and video quality difference even in a situation where they are physically separated from the video streaming system. do,
The performance evaluation unit evaluates the loss information on the image quality of a generated or compressed image and the difference in human visual quality using a peak signal-to-noise ratio (PSNR) and a structural similarity index map (SSIM) to evaluate the captured streaming. A device for evaluating the performance of a video streaming system that measures the quality of video.
상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 동기화부;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치.According to claim 1,
Apparatus for evaluating the performance of the video streaming system further comprising a synchronization unit for synchronizing the time of the transmitting end and the time of the receiving end of the video streaming system.
재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 프레임 정보 삽입부;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치.According to claim 1,
An apparatus for evaluating the performance of a video streaming system, further comprising: a frame information insertion unit for generating a streaming image by inserting a frame index into each of a plurality of frames of an image to be reproduced.
상기 비디오 스트리밍 시스템의 송신단과 수신단에서 상기 출력되는 스트리밍 영상을 캡쳐하기 위한 캡쳐 보드를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치.According to claim 1,
Apparatus for evaluating the performance of the video streaming system further comprising a capture board for capturing the output streaming image from the transmitting end and the receiving end of the video streaming system.
상기 프레임 정보 삽입부는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치.According to claim 3,
The frame information inserting unit evaluates performance of a video streaming system for inserting the frame index in the form of a barcode.
상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 영상 프레임 기록부가 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계; 및
성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 영상 품질을 비교하는 단계;를 포함하되,
상기 저장하는 단계는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장하는 단계이고,
상기 프레임 간의 영상 품질을 비교하는 단계는, 매칭된 프레임 간의 영상 품질을 비교하고, 상기 제1 원본 영상의 캡쳐되는 시점과 상기 제2 원본 영상의 캡쳐되는 시점 간의 차이에 기초하여 지연시간을 산출하는 단계이며,
상기 송신단과 상기 수신단은 사용자의 접근이 불가능한 장소에 위치하여 상기 비디오 스트리밍 시스템의 소스 코드에 접근할 수 없고 상기 비디오 스트리밍 시스템과 물리적으로 떨어져 있는 상황에서도 단방향 프레임 지연시간 및 비디오 품질 차이의 측정이 가능하고,
상기 성능 평가부는 PSNR 및 SSIM을 이용하여, 생성 또는 압축된 영상의 화질에 대한 손실 정보와 인간의 시각적 화질 차이를 평가함으로써 상기 캡쳐된 스트리밍 영상의 품질을 측정하는
비디오 스트리밍 시스템의 성능을 평가하기 위한 방법.In a method for evaluating the performance of a video streaming system,
In the video streaming system, when a streaming video in which a frame index is pre-inserted for each frame is reproduced, the video frame recorder captures the streaming video output from the transmitter of the video streaming system and converts the video into a first raw video. Storing, capturing the streaming image output from the receiving end and storing it as a second raw video; and
Comparing, by a performance evaluation unit, frame indices of the first original image and the second original image, and comparing image quality between frames corresponding to frame indices that match each other;
The storing is a step of storing a time at which each frame of the first original image is captured and a time at which each frame of the second original image is captured together;
Comparing the image quality between the frames may include comparing the image quality between matched frames and calculating a delay time based on a difference between a capturing time of the first original image and a capturing time of the second original image. step,
The transmitting end and the receiving end are located in a place inaccessible to users and cannot access the source code of the video streaming system, and can measure unidirectional frame delay time and video quality difference even in a situation where they are physically separated from the video streaming system. do,
The performance evaluation unit measures the quality of the captured streaming image by evaluating the difference between the loss information on the image quality of the generated or compressed image and the visual quality of the human using PSNR and SSIM.
A method for evaluating the performance of video streaming systems.
동기화부가 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 단계;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법.According to claim 8,
Synchronizing, by a synchronization unit, the time of the transmitter and the receiver of the video streaming system; Method for evaluating the performance of the video streaming system further comprising.
프레임 정보 삽입부가 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 단계;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법.According to claim 8,
A method for evaluating the performance of a video streaming system, further comprising generating a streaming image by inserting a frame index into each of a plurality of frames of the image to be reproduced by the frame information inserter.
상기 스트리밍 영상을 생성하는 단계는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법.According to claim 10,
The generating of the streaming image is a method for evaluating the performance of a video streaming system in which the frame index is inserted in the form of a barcode.
상기 컴퓨터 프로그램은,
비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스가 기 삽입된 스트리밍 영상이 재생되면, 영상 프레임 기록부가 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상으로 저장하는 단계; 및
성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 영상 품질을 비교하는 단계;를 포함하되,
상기 저장하는 단계는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장하는 단계이고,
상기 프레임 간의 영상 품질을 비교하는 단계는, 매칭된 프레임 간의 영상 품질을 비교하고, 상기 제1 원본 영상의 캡쳐되는 시점과 상기 제2 원본 영상의 캡쳐되는 시점 간의 차이에 기초하여 지연시간을 산출하는 단계이고,
상기 송신단과 상기 수신단은 사용자의 접근이 불가능한 장소에 위치하여 상기 비디오 스트리밍 시스템의 소스 코드에 접근할 수 없고 상기 비디오 스트리밍 시스템과 물리적으로 떨어져 있는 상황에서도 단방향 프레임 지연시간 및 비디오 품질 차이의 측정이 가능하고,
상기 성능 평가부는 PSNR 및 SSIM을 이용하여, 생성 또는 압축된 영상의 화질에 대한 손실 정보와 인간의 시각적 화질 차이를 평가함으로써 상기 캡쳐된 스트리밍 영상의 품질을 측정하는
비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium storing a computer program,
The computer program,
In the video streaming system, when a streaming video in which a frame index is already inserted for each frame is reproduced, the video frame recorder captures the streaming video output from the transmitting end of the video streaming system, stores it as a first original video, and stores the streaming video output from the receiving end. capturing and storing as a second original image; and
Comparing, by a performance evaluation unit, frame indices of the first original image and the second original image, and comparing image quality between frames corresponding to frame indices that match each other;
The storing is a step of storing a time at which each frame of the first original image is captured and a time at which each frame of the second original image is captured together;
Comparing the image quality between the frames may include comparing the image quality between matched frames and calculating a delay time based on a difference between a capturing time of the first original image and a capturing time of the second original image. step,
The transmitting end and the receiving end are located in a place inaccessible to users and cannot access the source code of the video streaming system, and can measure unidirectional frame delay time and video quality difference even in a situation where they are physically separated from the video streaming system. do,
The performance evaluation unit measures the quality of the captured streaming image by evaluating the difference between the loss information on the image quality of the generated or compressed image and the visual quality of the human using PSNR and SSIM.
A computer-readable recording medium containing instructions for causing a processor to perform a method for evaluating the performance of a video streaming system.
상기 컴퓨터 프로그램은,
비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스가 기 삽입된 스트리밍 영상이 재생되면, 영상 프레임 기록부가 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상으로 저장하는 단계; 및
성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 영상 품질을 비교하는 단계;를 포함하되,
상기 저장하는 단계는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장하는 단계이고,
상기 프레임 간의 영상 품질을 비교하는 단계는, 매칭된 프레임 간의 영상 품질을 비교하고, 상기 제1 원본 영상의 캡쳐되는 시점과 상기 제2 원본 영상의 캡쳐되는 시점 간의 차이에 기초하여 지연시간을 산출하는 단계이고,
상기 송신단과 상기 수신단은 사용자의 접근이 불가능한 장소에 위치하여 상기 비디오 스트리밍 시스템의 소스 코드에 접근할 수 없고 상기 비디오 스트리밍 시스템과 물리적으로 떨어져 있는 상황에서도 단방향 프레임 지연시간 및 비디오 품질 차이의 측정이 가능하고,
상기 성능 평가부는 PSNR 및 SSIM을 이용하여, 생성 또는 압축된 영상의 화질에 대한 손실 정보와 인간의 시각적 화질 차이를 평가함으로써 상기 캡쳐된 스트리밍 영상의 품질을 측정하는
비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 기록매체에 저장된 컴퓨터 프로그램.As a computer program stored on a computer-readable recording medium,
The computer program,
In the video streaming system, when a streaming video in which a frame index is already inserted for each frame is reproduced, the video frame recorder captures the streaming video output from the transmitting end of the video streaming system, stores it as a first original video, and stores the streaming video output from the receiving end. capturing and storing as a second original image; and
Comparing, by a performance evaluation unit, frame indices of the first original image and the second original image, and comparing image quality between frames corresponding to frame indices that match each other;
The storing is a step of storing a time at which each frame of the first original image is captured and a time at which each frame of the second original image is captured together;
Comparing the image quality between the frames may include comparing the image quality between matched frames and calculating a delay time based on a difference between a capturing time of the first original image and a capturing time of the second original image. step,
The transmitting end and the receiving end are located in a place inaccessible to users and cannot access the source code of the video streaming system, and can measure unidirectional frame delay time and video quality difference even in a situation where they are physically separated from the video streaming system. do,
The performance evaluation unit measures the quality of the captured streaming image by evaluating the difference between the loss information on the image quality of the generated or compressed image and the visual quality of the human using PSNR and SSIM.
A computer program stored in a recording medium including instructions for causing a processor to perform a method for evaluating the performance of a video streaming system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200186521 | 2020-12-29 | ||
| KR20200186521 | 2020-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220095083A KR20220095083A (en) | 2022-07-06 |
| KR102565295B1 true KR102565295B1 (en) | 2023-08-10 |
Family
ID=82399939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210078901A KR102565295B1 (en) | 2020-12-29 | 2021-06-17 | Apparatus and method for evaluating performance of video streaming system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102565295B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101382048B1 (en) * | 2013-01-04 | 2014-04-04 | 한국과학기술원 | Method for measuring peak signal to noise ratio based frame weight on dynamic image |
| KR101797870B1 (en) | 2016-08-12 | 2017-11-14 | 라인 가부시키가이샤 | Method and system for measuring quality of video call |
| KR101846386B1 (en) * | 2017-08-02 | 2018-04-06 | 주식회사 비바엔에스 | Method and system for checking video call quality of mobile device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102350570B1 (en) * | 2016-01-11 | 2022-01-11 | 에스케이텔레콤 주식회사 | Set-Top Box for Measuring Frame Loss in a Video Stream and Method for Operating Same |
| KR101934200B1 (en) * | 2017-02-03 | 2019-04-05 | 한국과학기술원 | Method and system for media synchronization |
-
2021
- 2021-06-17 KR KR1020210078901A patent/KR102565295B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101382048B1 (en) * | 2013-01-04 | 2014-04-04 | 한국과학기술원 | Method for measuring peak signal to noise ratio based frame weight on dynamic image |
| KR101797870B1 (en) | 2016-08-12 | 2017-11-14 | 라인 가부시키가이샤 | Method and system for measuring quality of video call |
| KR101846386B1 (en) * | 2017-08-02 | 2018-04-06 | 주식회사 비바엔에스 | Method and system for checking video call quality of mobile device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220095083A (en) | 2022-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230232069A1 (en) | Methods and apparatus for an embedded appliance | |
| US10623789B1 (en) | Quality evaluation of multimedia delivery in cloud environments | |
| CN110519477B (en) | Embedded device for multimedia capture | |
| KR101789086B1 (en) | Concept for determining the quality of a media data stream with varying quality-to-bitrate | |
| CA2666376C (en) | A method of determining video quality | |
| KR20210022134A (en) | Establishment and use of temporal mapping based on interpolation using low-rate fingerprinting to facilitate frame-accurate content modification | |
| KR20100064532A (en) | Apparatus and method for audio and video synchronization in wireless communication network | |
| CN105429983A (en) | Media data acquisition method, media terminal and music teaching system | |
| EP2974205A1 (en) | External roundtrip latency measurement for a communication system | |
| Kryczka et al. | AvCloak: A tool for black box latency measurements in video conferencing applications | |
| CN109756744B (en) | Data processing method, electronic device and computer storage medium | |
| CN112565224A (en) | Video processing method and device | |
| CN103297862A (en) | Apparatus and method of displaying contents using key frames in a terminal | |
| KR102565295B1 (en) | Apparatus and method for evaluating performance of video streaming system | |
| CN110545447B (en) | Audio and video synchronization method and device | |
| KR102273795B1 (en) | System and control method for video synchronization processing | |
| Wilk et al. | Scalable mobile quality assessment for User-generated Video | |
| Zimmermann et al. | High resolution live streaming with the HYDRA architecture | |
| KR101609145B1 (en) | Image management method and system for captured image at the film site of broadcast site | |
| AU2013254937B2 (en) | Embedded Appliance for Multimedia Capture | |
| AU2019204751A1 (en) | Embedded appliance for multimedia capture | |
| CN114157678A (en) | Data transmission method, terminal equipment and data storage system | |
| WO2020043493A1 (en) | A system for recording an interpretation of a source media item | |
| TW201840195A (en) | System and method of mixingvideo streaming with video recording by using mobile device which can detect the abnormal network transmission bandwidth without additionally consuming network bandwidth to perform the transmission test | |
| AU2012202843A1 (en) | Embedded appliance for multimedia capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |