KR20220095083A - 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법 - Google Patents
비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20220095083A KR20220095083A KR1020210078901A KR20210078901A KR20220095083A KR 20220095083 A KR20220095083 A KR 20220095083A KR 1020210078901 A KR1020210078901 A KR 1020210078901A KR 20210078901 A KR20210078901 A KR 20210078901A KR 20220095083 A KR20220095083 A KR 20220095083A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- frame
- streaming system
- performance
- evaluating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명에 따르면, 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하여, 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법이 개시된다.
Description
본 발명은 실시간 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법에 관한 것이다.
실시간 비디오 스트리밍(Real-time video streaming)의 중요성은 점점 커지고 있다. 실시간 비디오 전송(Real-time video delivery)이 대표적으로 필요한 라이브 비디오 회의(live video conferencing) 이외에도, VR 엣지 컴퓨팅(VR edge computing), 클라우드 게이밍, 원격 차량 제어 등 다양한 어플리케이션의 서비스를 위해서 신뢰할 수 있는 실시간 스트리밍(real-time streaming) 기술의 개발이 요구되고 있다.
이러한 실시간 스트리밍 시스템의 고품질 서비스를 위해서는, 비디오 프레임이 생성되고 수신단까지 도착하는 시간을 정밀하게 측정할 수 있는 성능 평가 기법의 발전이 동반되어야만 한다.
종래의 경우, 도 1에 나타난 바와 같이, 스탑워치를 사용하여 실시간 양방향 비디오 스트리밍의 양방향 지연시간을 측정하는 기법을 이용한다.
이 때, 도 1의 (a)에 나타난 스톱워치들은 다음과 같이 서술되는 상태를 의미한다.
스탑워치 1: 시간이 흘러가는 stand alone 앱, 스탑워치 2: 스탑워치 1을 캡쳐한 비디오, 스탑워치 3: Cellular를 통해 수신 컴퓨터로 전송된 비디오, 스탑워치 4: 스탑워치 3을 캠으로 캡쳐한 비디오, 스탑워치 5: 스탑워치 4를 재전송 받은 비디오
이 상황에서 스탑워치 2와 스탑워치 5의 차이(gap)를 왕복 비디오 지연(Round-trip video delay)이라 정의하고 이를 측정한 것이 도 1의 (b)에 표시된 그래프이다.
해당 기법을 통해서는 실시간 비디오 스트림의 양방향 딜레이는 알 수 있지만, 실제 유저의 QoE를 고려할 수 있는 단방향 딜레이를 측정할 수 없고, 비디오의 품질 또한 측정할 수 없는 한계를 가지고 있다.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 비디오 스트리밍 시스템의 단방향 프레임 지연시간 및 비디오 품질의 차이를 정밀하게 측정하는 것을 포함한다.
본 명세서에 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 측면에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치는, 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 영상 프레임 기록부 및 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 성능 평가부를 포함한다.
또한, 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 동기화부를 더 포함할 수 있다.
또한, 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 프레임 정보 삽입부를 더 포함할 수 있다.
여기서, 상기 영상 프레임 기록부는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장할 수 있다.
여기서, 상기 성능 평가부는, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출할 수 있다.
또한, 상기 비디오 스트리밍 시스템의 송신단과 수신단에서 수신단에서 상기 출력되는 스트리밍 영상을 캡쳐하기 위한 캡쳐 보드를 더 포함할 수 있다.
여기서, 상기 프레임 정보 삽입부는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입할 수 있다.
본 발명의 또 다른 측면에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법은, 영상 프레임 기록부가 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계 및 성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 단계를 포함할 수 있다.
또한, 동기화부가 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 단계를 더 포함할 수 있다.
또한, 프레임 정보 삽입부가 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장할 수 있다.
여기서, 상기 프레임 간의 품질을 비교하는 단계는, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출할 수 있다.
여기서, 상기 스트리밍 영상을 생성하는 단계는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입할 수 있다.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 비디오 스트리밍 시스템의 소스 코드에 접근할 수 없고, 물리적으로 송수신단 장비가 떨어져 있는 상황에서도, 단방향 프레임 지연시간 및 비디오 품질의 차이를 정밀하게 측정할 수 있다.
또한, 수신단에서 실제 사용자에게 프레임이 재생되는 시간까지의 실제 인지 단방향 지연 시간을 측정할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 종래의 비디오 스트리밍의 양방향 지연시간을 측정하는 기법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 구체적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 단방향 스트리밍 성능을 평가한 것을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 구체적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 단방향 스트리밍 성능을 평가한 것을 나타낸 도면이다.
이하, 본 발명에 관련된 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 일 실시예는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법에 관한 것이다.
명세서에서 비디오 스트리밍 시스템의 성능은 비디오 스트리밍 시스템의 지연 및 비디오 품질을 포함한다.
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 프레임 정보 삽입부(100), 동기화부(200), 영상 프레임 기록부(300) 및 성능 평가부(400)를 포함한다.
본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 비디오 스트리밍 시스템(20)에서 비디오 프레임의 품질과 송신단(21)의 비디오 프레임 생성에서부터 라우터(23)를 통해 수신단(22)에서 재생될 때까지 걸리는 단방향 지연을 측정할 수 있는 장치이다.
비디오 스트리밍 시스템(20)의 송신단(21)에서는 UDP를 통해 송신단 비디오 인코더에서 인코딩된 비디오를 전송한다. 이 부분은 외부에서 접근을 못하는 부분으로 블랙 박스(Black box)이다.
여기서, 비디오 프레임은 전송하고자 하는 영상에 포함되는 복수의 프레임을 의미한다.
본 발명의 명세서에 기재된 영상은, 이미지뿐만 아니라 동영상, 즉 비디오(video)를 지칭할 수 있다.
본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 비디오 스트리밍 시스템(20)의 소스 코드에 접근할 수 없고, 물리적으로 송수신단 장비가 떨어져 있는 상황에서도, 단방향 프레임 지연시간 및 비디오 품질의 차이를 정밀하게 측정하기 위한 것으로, 구체적인 구성은 하기 도 4에서 상세히 설명한다.
프레임 정보 삽입부(100)는 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성한다.
여기서, 프레임 정보 삽입부(100)는 복수의 프레임 상에 프레임 인덱스(frame index)를 바코드 형태로 삽입하여, 바코드 형태의 프레임 인덱스(frame index)가 삽입된 스트리밍 영상을 생성한다.
도 2에서 프레임 정보 삽입부(100)는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)에 포함되는 것으로 도시하였으나, 프레임 정보 삽입부(100)는 비디오 스트리밍 시스템(20)이 전송하고자 하는 스트리밍 영상을 사전에 생성하기 위한 것으로, 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)의 외부에 마련되어 비디오 스트리밍 시스템(20)의 송신단(21)으로 스트리밍 영상을 제공할 수도 있다.
동기화부(200)는 상기 비디오 스트리밍 시스템의 송신단(21)의 시간과 수신단(23)의 시간을 동기화한다.
본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 송신단과 수신단에서 각각 캡쳐된 스트리밍 영상을 확인하여 프레임 인덱스를 매칭하는 방법으로 프레임 지연 시간을 측정하는데, 이를 위해서는 송신단과 수신단의 시간을 동기화 하는 것이 필요하다.
본 발명의 일 실시예에서는 NTP (Network Time Protocol)을 활용하여 동기화를 수행한다.
영상 프레임 기록부(300)는 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장한다.
여기서, 스트리밍 영상을 캡쳐하기 위해 송신단과 수신단의 화면을 각각의 캡쳐 보드를 이용하여 캡쳐하게 된다.
이 때, 영상 프레임 기록부(300)는 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장한다.
성능 평가부(400)는 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교한다.
구체적으로, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출한다.
영상의 품질은 캡쳐된 스트리밍 영상을 통해 측정하며, 지연시간은 프레임 인덱스를 이용한 캡쳐된 시점의 차이를 이용한다.
구체적으로, 품질을 측정하기 위해서는 PSNR (Peak Signal-to-Noise Ratio)과 SSIM (Structural Similarity Index Map) 방법을 이용할 수 있다.
PSNR (Peak Signal-to-Noise Ratio)은 생성 또는 압축된 영상의 화질에 대한 손실 정보를 평가하기 위한 것으로, 손실이 적을수록 높은 값이 나타난다.
SSIM (Structural Similarity Index Map)은 PSNR과 다르게 수치적인 에러가 아닌 인간의 시각적 화질 차이를 평가하기 위해 고안된 방법이며, Luminance, Contrast, Structural 이 3가지 측면에서 품질을 평가하게 된다.
지연시간을 산출하는 경우에는, 예를 들어, 제1 원본 영상의 10번째 프레임 인덱스에 대응되는 프레임과 제2 원본 영상의 10번째 프레임 인덱스에 대응되는 프레임 사이의 캡쳐 시점을 비교하여 지연시간을 산출하게 된다.
도 3은 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 나타낸 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법은, 단계 S100에서 프레임 정보 삽입부가 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하며, 프레임 인덱스(frame index)를 바코드 형태로 삽입할 수 있다.
여기서, 단계 S100은 비디오 스트리밍 시스템이 전송하고자 하는 스트리밍 영상을 사전에 생성하기 위한 것으로, 비디오 스트리밍 시스템의 성능을 평가하기 위한 단계 이전에 수행되어, 미리 비디오 스트리밍 시스템의 송신단으로 스트리밍 영상이 제공될 수도 있다.
단계 S200에서 동기화부가 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화한다.
단계 S300에서 영상 프레임 기록부가 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장한다.
구체적으로, 상기 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계(S300)는, 상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장한다.
단계 S400에서 성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교한다.
여기서, 상기 프레임 간의 품질을 비교하는 단계(S400)는, 매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출한다.
도 4는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 구체적으로 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 비디오 스트리밍 시스템(20)은 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)의 외부에 위치하며, 도 4에 블랙 박스(Black box)로 표기되어 있는 송신단(video sender), 수신단(video receiver)은 접근이 불가능한 요소일 수 있다.
이를 위해, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치는 비디오 전송 코드, 비디오 수신 코드에 직접적인 수정 없이도 비디오 스트리밍 시스템의 성능을 평가할 수 있도록 구성된다.
구체적으로, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치는 물리적 장치인 캡쳐 보드(Capture board)를 사용하여, 실제 송신단과 수신단이 각각의 출력장치(모니터)로 출력하는 영상을 캡쳐하여, 캡쳐된 영상을 각각의 데스크탑에 제1 원본 영상(raw video)과 제2 원본 영상(raw video)으로 저장함과 동시에, 각 프레임이 캡쳐되는 시점을 저장한다.
이를 위해, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 상기 비디오 스트리밍 시스템의 송신단과 수신단에서 상기 출력되는 스트리밍 영상을 캡쳐하기 위한 캡쳐 보드를 포함할 수 있다.
일반적으로 PC는 비디오 출력만 가능하고 비디오 입력이 불가능하기 때문에 캡처 보드를 이용하여 A/V, S-단자, 컴포넌트, HDMI 등을 입력하여 PC 내에서 재생이 가능하도록 할 수 있다.
이 때, 비디오 스트리밍 시스템을 통해 전송되는 영상에는 프레임 인덱스가 바코드 형태로 입혀져 있다.
이후, 송수신단 각각에서 저장된 제1 원본 영상(raw video)과 제2 원본 영상(raw video)의 프레임 인덱스를 비교하여, 매칭이 되는 프레임 인덱스의 프레임 품질을 비교하는 것을 통해 영상 화질을 측정하고, 매칭이 되는 프레임 인덱스가 송신단에서 캡쳐된 시점(프레임이 생성된 시점)에서 수신단에서 수신되어 캡쳐된 시점 프레임이 수신되고 수신단 화면에 출력된 시점)의 시간 차이를 계산하는 것을 통해 프레임 지연시간을 측정할 수 있다.
또한, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치(10)는 다양한 비디오 스트리밍 시스템의 성능 평가를 위해 사용될 수 있으며, 특히 적응형 비디오 스트리밍(DASH 등의 가변 비트레이트 비디오)의 성능을 최적화하는 데에 활용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 단방향 스트리밍 성능을 평가한 것을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치를 이용하여 다수의 기술들의 단방향 스트리밍 성능을 평가한 것으로, 비디오 스트리밍의 프레임별 화질 및 송신단에서 프레임이 생성되고 수신단에서 실제 사용자에게 프레임이 재생되는 시간까지의 실제 인지 단방향 지연 시간을 측정할 수 있음을 확인할 수 있다.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
Claims (15)
- 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치에 있어서,
상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 영상 프레임 기록부; 및
상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 성능 평가부;를 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 제1항에 있어서,
상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 동기화부;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 제1항에 있어서,
재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 프레임 정보 삽입부;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 제1항에 있어서,
상기 영상 프레임 기록부는,
상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 제4항에 있어서,
상기 성능 평가부는,
매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 제1항에 있어서,
상기 비디오 스트리밍 시스템의 송신단과 수신단에서 수신단에서 상기 출력되는 스트리밍 영상을 캡쳐하기 위한 캡쳐 보드를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 제3항에 있어서,
상기 프레임 정보 삽입부는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치. - 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법에 있어서,
영상 프레임 기록부가 상기 비디오 스트리밍 시스템에서 프레임 별로 프레임 인덱스(frame index)가 기 삽입된 스트리밍 영상이 재생되면, 상기 비디오 스트리밍 시스템의 송신단에서 출력되는 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계; 및
성능 평가부가 상기 제1 원본 영상과 상기 제2 원본 영상에서 프레임 인덱스를 비교하여 서로 매칭되는 프레임 인덱스에 대응되는 프레임 간의 품질을 비교하는 단계;를 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법. - 제8항에 있어서,
동기화부가 상기 비디오 스트리밍 시스템의 송신단의 시간과 수신단의 시간을 동기화하는 단계;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법. - 제8항에 있어서,
프레임 정보 삽입부가 재생하고자 하는 영상의 복수의 프레임 상에 프레임 인덱스(frame index)를 각각 삽입하여 스트리밍 영상을 생성하는 단계;를 더 포함하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법. - 제8항에 있어서,
상기 스트리밍 영상을 캡쳐하여 제1 원본 영상(raw video)으로 저장하고, 수신단에서 출력되는 스트리밍 영상을 캡쳐하여 제2 원본 영상(raw video)으로 저장하는 단계는,
상기 제1 원본 영상의 각 프레임이 캡쳐되는 시점과, 상기 제2 원본 영상의 각 프레임이 캡쳐되는 시점을 함께 저장하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법. - 제11항에 있어서,
상기 프레임 간의 품질을 비교하는 단계는,
매칭된 프레임(frame)간의 품질을 비교하고, 캡쳐된 시간의 차이에 기초하여, 지연시간을 산출하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법. - 제10항에 있어서,
상기 스트리밍 영상을 생성하는 단계는, 상기 프레임 인덱스(frame index)를 바코드 형태로 삽입하는 비디오 스트리밍 시스템의 성능을 평가하기 위한 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서,
상기 컴퓨터 프로그램은,
제8항 내지 제13항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
제8항 내지 제13항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200186521 | 2020-12-29 | ||
| KR20200186521 | 2020-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220095083A true KR20220095083A (ko) | 2022-07-06 |
| KR102565295B1 KR102565295B1 (ko) | 2023-08-10 |
Family
ID=82399939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210078901A KR102565295B1 (ko) | 2020-12-29 | 2021-06-17 | 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102565295B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101382048B1 (ko) * | 2013-01-04 | 2014-04-04 | 한국과학기술원 | 동적 영상의 프레임 가중치 기반 영상 피크 신호 대 잡음비 측정 방법 |
| KR20170083844A (ko) * | 2016-01-11 | 2017-07-19 | 에스케이텔레콤 주식회사 | 영상프레임의 손실을 측정하기 위한 iptv 셋탑박스 및 그 동작방법 |
| KR101797870B1 (ko) * | 2016-08-12 | 2017-11-14 | 라인 가부시키가이샤 | 영상통화 품질 측정 방법 및 시스템 |
| KR101846386B1 (ko) * | 2017-08-02 | 2018-04-06 | 주식회사 비바엔에스 | 모바일 영상통화 품질측정 방법 및 시스템 |
| KR20180090719A (ko) * | 2017-02-03 | 2018-08-13 | 한국과학기술원 | 미디어 동기화 방법 및 시스템 |
-
2021
- 2021-06-17 KR KR1020210078901A patent/KR102565295B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101382048B1 (ko) * | 2013-01-04 | 2014-04-04 | 한국과학기술원 | 동적 영상의 프레임 가중치 기반 영상 피크 신호 대 잡음비 측정 방법 |
| KR20170083844A (ko) * | 2016-01-11 | 2017-07-19 | 에스케이텔레콤 주식회사 | 영상프레임의 손실을 측정하기 위한 iptv 셋탑박스 및 그 동작방법 |
| KR101797870B1 (ko) * | 2016-08-12 | 2017-11-14 | 라인 가부시키가이샤 | 영상통화 품질 측정 방법 및 시스템 |
| KR20180090719A (ko) * | 2017-02-03 | 2018-08-13 | 한국과학기술원 | 미디어 동기화 방법 및 시스템 |
| KR101846386B1 (ko) * | 2017-08-02 | 2018-04-06 | 주식회사 비바엔에스 | 모바일 영상통화 품질측정 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102565295B1 (ko) | 2023-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110519477B (zh) | 用于多媒体捕获的嵌入式装置 | |
| KR101789086B1 (ko) | 다양한 비트레이트에 대한 품질을 갖는 미디어 데이터 스트림의 품질 결정에 대한 개념 | |
| CN113923441B (zh) | 视频质量的评估方法、装置及电子设备 | |
| CN110585702B (zh) | 一种音画同步数据处理方法、装置、设备及介质 | |
| KR20100064532A (ko) | 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법 | |
| Kryczka et al. | AvCloak: A tool for black box latency measurements in video conferencing applications | |
| CN109756744B (zh) | 数据处理方法、电子设备及计算机存储介质 | |
| CN112565224A (zh) | 一种视频处理方法及装置 | |
| Baker et al. | Computation and performance issues in coliseum: an immersive videoconferencing system | |
| CN103297862A (zh) | 在终端中使用关键帧显示内容的设备和方法 | |
| KR102565295B1 (ko) | 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법 | |
| JP2020010321A (ja) | 映像通話サービスの品質をリアルタイムで測定する方法およびシステム | |
| KR102530830B1 (ko) | Rtsp를 이용한 영상과 데이터 동기화 시스템 및 동기화 방법 | |
| KR102273795B1 (ko) | 영상 동기화 처리를 위한 시스템 및 그 제어방법 | |
| AU2016225817B2 (en) | Embedded appliance for multimedia capture | |
| Zimmermann et al. | High resolution live streaming with the HYDRA architecture | |
| AU2013254937B2 (en) | Embedded Appliance for Multimedia Capture | |
| Zhou et al. | Online Traffic Surveillance: Impact of Wireless Communication on Video Quality | |
| CA2914803C (en) | Embedded appliance for multimedia capture | |
| CN114157678A (zh) | 一种数据传输方法、终端设备及数据存储系统 | |
| TW201840195A (zh) | 利用行動裝置結合影音串流與錄影之系統及方法 | |
| Tian et al. | Design and Implementation of Synchronization of WPAN Devices for Multimedia Playback | |
| Mao et al. | VTD: A monitoring index of transmission quality for streaming media | |
| AU2012202843A1 (en) | Embedded appliance for multimedia capture | |
| KR20160025696A (ko) | 영화 또는 방송의 촬영 현장에서 촬영되는 영상을 관리하는 영상 관리 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |