KR20130123757A - 영상 프레임 전송 및 처리 방법 - Google Patents

영상 프레임 전송 및 처리 방법 Download PDF

Info

Publication number
KR20130123757A
KR20130123757A KR1020120047123A KR20120047123A KR20130123757A KR 20130123757 A KR20130123757 A KR 20130123757A KR 1020120047123 A KR1020120047123 A KR 1020120047123A KR 20120047123 A KR20120047123 A KR 20120047123A KR 20130123757 A KR20130123757 A KR 20130123757A
Authority
KR
South Korea
Prior art keywords
frame
source device
image frame
skip
frames
Prior art date
Application number
KR1020120047123A
Other languages
English (en)
Other versions
KR101726686B1 (ko
Inventor
정태성
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120047123A priority Critical patent/KR101726686B1/ko
Publication of KR20130123757A publication Critical patent/KR20130123757A/ko
Application granted granted Critical
Publication of KR101726686B1 publication Critical patent/KR101726686B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 프레임 전송 및 처리 방법을 개시한다.
본 발명의 바람직한 일 실시예에 따른 디스플레이 디바이스가 영상 프레임을 처리하는 방법은, 소스 디바이스로부터 상기 소스 디바이스와 디스플레이 디바이스 사이의 복수의 제어 디바이스들을 통해 영상 프레임을 수신하는 단계; 상기 수신한 영상 프레임으로부터 상기 소스 디바이스와 상기 제어 디바이스들 각각이 상기 영상 프레임에 삽입한 시퀀스 정보를 추출하는 단계; 및 상기 시퀀스 정보를 기초로 상기 소스 디바이스와 상기 제어 디바이스들의 영상 프레임 스킵율을 계산하는 단계;를 포함할 수 있다.

Description

영상 프레임 전송 및 처리 방법{Method of transmitting and processing video frame}
본 발명은 영상 프레임 전송 및 처리 방법에 관한 것이다.
종래에는 카메라 등의 영상 소스로부터 네트워크를 통해 영상 프레임이 여러단계를 거쳐 전달이 되고, 단방향으로 전달이 이루어져 사용자가 특정 영상을 모니터링한다. 그리고, 최종 모니터링 단계에서만 프레임율(Frame Rate) 확인을 통해 영상 라이브(Live) 품질을 판단하고 있다.
즉, 영상 소스(카메라 등)로부터 영상을 받아 사용자가 모니터링할 경우, 프레임율(Frame Rate)을 기준으로 영상이 정상적으로 보여지는지 확인을 하게 된다. 이때 네트워크 부하 또는 디바이스 결함, 디바이스의 그래픽 처리 등의 이유로 프레임율이 정상적으로 보여지지 않을 경우 소스와 모니터링 툴 사이에 어디서부터 프레임이 누락되었는지 알 수 없다.
이에 따라, 모니터링시 프레임이 정상적으로 전달이 되지 않아 품질이 떨어지는 경우 각 단계별로 정량적으로 프레임율 측정이 불가능하여 어디에서 문제가 발생하는지, 어떤 이유로 문제가 발생하는지를 판단하여 처리하기 어렵다.
또한 영상이 균등하게 보여지지 않아 모니터링시 부드럽게 영상이 보여지지 않는 현상 발생시 소스와 모니터링 툴 사이에 어디에서 균등하게 프레임이 오지 않는지 알 수 없다.
한국공개특허 제2001-0085311은 영상 데이터에 포함된 복수의 순차블록들 각각의 헤더에 일련번호를 기입하여 데이터를 전송하는 방법을 개시한다.
본 발명은 소스부터 모니터링 툴까지 영상 프레임이 전송시 각 단계별로 영상 프레임의 스킵율과 균등율을 계산하여 문제의 원인이 되는 부분을 정량적으로 측정하여 개선할 수 있도록 한다.
본 발명의 바람직한 일 실시예에 따른 디스플레이 디바이스가 영상 프레임을 처리하는 방법은, 소스 디바이스로부터 상기 소스 디바이스와 디스플레이 디바이스 사이의 복수의 제어 디바이스들을 통해 영상 프레임을 수신하는 단계; 상기 수신한 영상 프레임으로부터 상기 소스 디바이스와 상기 제어 디바이스들 각각이 상기 영상 프레임에 삽입한 시퀀스 정보를 추출하는 단계; 및 상기 시퀀스 정보를 기초로 상기 소스 디바이스와 상기 제어 디바이스들의 영상 프레임 스킵율을 계산하는 단계;를 포함할 수 있다.
상기 영상 프레임 스킵율 계산 단계는, 상기 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 일정 개수의 영상 프레임들에 대해 각 디바이스별 영상 프레임 누락 개수를 계산하는 단계;를 포함할 수 있다.
상기 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 일정 개수의 영상 프레임들에 대해 표준편차를 계산하여 스킵 균등 여부를 판단하는 단계;를 더 포함할 수 있다.
상기 시퀀스 정보는 상기 영상 프레임의 헤더에 포함될 수 있다.
본 발명의 바람직한 일 실시예에 따른 소스 디바이스로부터 복수의 제어 디바이스들을 통해 디스플레이 디바이스로 영상 프레임을 전송하는 방법은, 상기 소스 디바이스가 영상 프레임에 시퀀스 번호를 삽입하여 출력하는 단계; 상기 제어 디바이스들 각각이 영상 프레임의 수신 순서에 따라 영상 프레임에 시퀀스 번호를 삽입하는 단계; 및 상기 디스플레이 디바이스가 수신한 영상 프레임에 삽입된 시퀀스 정보를 분석하여 상기 소스 디바이스와 상기 제어 디바이스들의 영상 프레임 스킵율을 계산하는 단계;를 포함할 수 있다.
상기 소스 디바이스와 상기 제어 디바이스들 각각은 자신의 영상 프레임 스킵율을 계산하고, 영상 프레임에 시퀀스 번호와 함께 자신의 영상 프레임 스킵율을 삽입할 수 있다.
본 발명은 현재 영상 성능을 정량적으로 측정함으로써 어디에서 문제가 발생하는지를 인식하여 신속하게 해결함으로써 영상 라이브 품질 향상을 도모할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임 송수신 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 소스 디바이스로부터 디스플레이 디바이스까지 영상 프레임이 전송되는 방법을 설명하는 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 시퀀스 번호 삽입 예시를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 프레임 스킵 개수를 계산하는 방법을 설명하는 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 스킵 균등율 계산 방법을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 디바이스가 영상 프레임을 수신하여 처리하는 방법을 설명하는 흐름도이다.
도 10은 본 발명의 다른 실시예에 따른 영상 프레임 스킵 개수를 계산하는 방법을 설명하는 도면이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면상의 동일한 부호는 동일한 요소를 지칭한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임 송수신 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 프레임 송수신 시스템은 소스 디바이스(10), 제어 디바이스(30) 및 디스플레이 디바이스(70)를 포함할 수 있다. 소스 디바이스(10), 제어 디바이스(30) 및 디스플레이 디바이스(70)는 유선 또는 무선 통신 네트워크에 접속한다.
소스 디바이스(10)는 영상 프레임(이하, '프레임'이라 함)을 생성 및/또는 저장하고, 특정 프레임을 디스플레이 디바이스(70)로 전송한다. 소스 디바이스(10)는 특정 영역을 촬영한 영상을 획득하는 카메라, 영상을 재생 및 백업하는 디지털 비디오 레코더(Digital Video Recorder, DVR) 및 네트워크 비디오 레코더(Network Video Recorder, NVR) 등을 포함할 수 있다. 소스 디바이스(10)는 출력하는 프레임에 출력 순서에 따라 시퀀스 번호를 삽입하여 전송한다. 시퀀스 번호는 프레임의 헤더에 삽입될 수 있다.
제어 디바이스(30)는 소스 디바이스(10)와 디스플레이 디바이스(70) 사이에서 프레임을 릴레이한다. 제어 디바이스(30)는 서비스 프로바이더(Service Provider, SP)(40)와 서버(50)를 포함할 수 있다. 서비스 프로바이더(40)는 소스 디바이스(10)의 종류에 따라 프레임을 특정 포맷으로 변환하고, 프레임의 수신 순서에 따라 시퀀스 번호를 삽입하여 전송한다. 서비스 프로바이더(40)는 소스 디바이스(10)에 일대일 대응하게 구비될 수 있다. 서버(50)는 서비스 프로바이더(40)로부터 출력되는 프레임을 수신하여 복수의 디스플레이 디바이스(70) 중 해당 디스플레이 디바이스(70)로 전송한다. 서버(50)는 프레임의 수신 순서에 따라 시퀀스 번호를 삽입하여 전송한다. 서비스 프로바이더(40)와 서버(50)는 시퀀스 번호를 프레임의 헤더에 삽입할 수 있다. 본 발명의 실시예에서는 프레임의 릴레이에 관여하는 제어 디바이스(30)로서 서비스 프로바이더(40)와 서버(50)를 개시하였으나, 본 발명은 이에 한정되지 않고, 프레임을 릴레이하는 복수의 다른 디바이스들이 존재할 수 있음은 물론이다.
디스플레이 디바이스(70)는 프레임을 수신하여 뷰어를 통해 출력한다. 디스플레이 디바이스(70)는 중앙 모니터링 시스템(Central monitoring system)으로서, 휴대 단말, PC 등의 사용자 단말 등에 탑재되어 동작할 수 있다. 디스플레이 디바이스(70)는 수신한 프레임의 헤더에 삽입된 시퀀스 번호를 추출하여, 소스 디바이스(70)와 제어 디바이스(30) 각각의 프레임 스킵율과 스킵 균등율을 계산한다. 스킵율은 얼마나 많은 프레임이 스킵되었는지를 나타내는 지표이고, 스킵 균등율은 얼마나 균등하게 스킵이 일어나는지를 나타내는 지표이다. 디스플레이 디바이스(70)의 스킵율과 균등 스킵율 계산 방법은 후술하겠다.
도 2는 본 발명의 일 실시예에 따른 소스 디바이스로부터 디스플레이 디바이스까지 영상 프레임이 전송되는 방법을 설명하는 도면이다.
도 2의 실시예에서는, 소스 디바이스로서 카메라(100), 디스플레이 디바이스로서 뷰어(700), 제어 디바이스로서 서비스 프로바이더(300)와 서버(500)를 예로서 설명하겠다.
도 2를 참조하면, 카메라(100)는 촬영한 영상 신호로부터 프레임을 생성하고, 출력되는 순서대로 프레임의 헤더에 시퀀스 번호(cam.seq.)를 삽입한다. 서비스 프로바이더(300)는 카메라(100)로부터 프레임을 수신하고, 수신 순서대로 프레임의 헤더에 시퀀스 번호(sp.seq.)를 삽입하여 출력한다. 서버(500)는 서비스 프로바이더(300)로부터 프레임을 수신하고, 수신 순서대로 프레임의 헤더에 시퀀스 번호(ser.seq.)를 삽입하여 출력한다. 뷰어(700)는 서버(500)로부터 프레임을 수신하고, 프레임의 시퀀스 정보를 추출한다. 시퀀스 정보는 카메라(100)의 시퀀스 번호(cam.seq.), 서비스 프로바이더(300)의 시퀀스 번호(ser.seq.), 서버(500)의 시퀀스 번호(ser.seq.)를 포함한다. 뷰어(700)는 시퀀스 정보를 기초로 각 디바이스에서 프레임의 스킵율 및 스킵 균등율을 계산하여, 결과를 디스플레이한다.
본 발명의 실시예는 카메라(100) -> SP(300) -> 서버(500) -> 뷰어(700)의 프레임 전송 단계 중 어느 단계에서 프레임의 스킵이 많이 발생하는지 확인이 가능하도록 각 단계마다 프레임 시퀀스를 순차적으로 기록한다. 운영자는 기록된 정보를 토대로 어느 부분에서 느려져 프레임 스킵이 일어났는지 확인하여 그에 맞게 계획을 세워 개선하도록 한다. 또한 끊김 없이 부드럽게 영상이 나오기 위해서 일괄적으로 프레임 스킵이 발생하는지를 나타내는 스킵 균등율을 표준편차를 이용하여 계산한다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 시퀀스 번호 삽입 예시를 보여주는 도면이다. 프레임의 헤더에는 카메라, 서비스 프로바이더(SP), 서버의 시퀀스 번호 항목을 추가한다. 카메라의 시퀀스 번호는 프레임의 정보이다. SP 및 서버의 시퀀스 번호는 프레임 수신 정보이다. 따라서, 카메라의 시퀀스 번호를 기준으로 일정 개수의 프레임에 대해 스킵율 및 스킵 균등율이 판단될 수 있다.
도 3은 영상 프레임의 스킵이 없는 경우의 예이다.
도 3(a)를 참조하면, 카메라는 프레임의 출력 순서대로 순차적인 시퀀스 번호를 카메라 시퀀스 번호 항목에 기록한다. 도 3(b)를 참조하면, 카메라로부터 프레임을 수신한 서비스 프로바이더는 프레임의 수신 순서대로 순차적인 시퀀스 번호를 SP 시퀀스 번호 항목에 기록하여 출력한다. 따라서, 프레임 헤더에는 카메라 시퀀스 번호와 SP 시퀀스 번호가 기록되어 있다. 도 3(c)를 참조하면, SP로부터 프레임을 수신한 서버는 프레임의 수신 순서대로 순차적인 시퀀스 번호를 서버 시퀀스 번호 항목에 기록하여 출력한다. 따라서, 프레임 헤더에는 카메라 시퀀스 번호, SP 시퀀스 번호, 서버 시퀀스 번호가 기록되어 있다.
뷰어는 수신한 마지막 프레임(10번 영상 프레임)부터 소정 개수, 예를 들어, 8개의 프레임(3번 내지 10번 영상 프레임)의 시퀀스 정보를 추출하고, 프레임 스킵 여부를 판단한다. 도 3의 예에서, 카메라, SP 및 서버 모두 프레임의 스킵(누락)이 없음을 알 수 있다.
도 4는 영상 프레임의 스킵이 있는 경우의 예이다.
도 4(a)를 참조하면, 카메라는 프레임의 출력 순서대로 순차적인 시퀀스 번호를 카메라 시퀀스 번호 항목에 기록한다. 도 4(b)를 참조하면, 카메라로부터 프레임을 수신한 서비스 프로바이더는 프레임의 수신 순서대로 순차적인 시퀀스 번호를 SP 시퀀스 번호 항목에 기록하여 출력한다. 도 4(c)를 참조하면, SP로부터 프레임을 수신한 서버는 프레임의 수신 순서대로 순차적인 시퀀스 번호를 서버 시퀀스 번호 항목에 기록하여 출력한다.
뷰어는 수신한 마지막 프레임(10번 영상 프레임)부터 소정 개수, 예를 들어, 8개의 프레임(3번 내지 10번 프레임)의 시퀀스 정보를 추출하고, 프레임 스킵 여부를 판단한다. 도 4의 예에서, 카메라는 프레임의 스킵이 없고, SP에서는 2개의 프레임(3번 및 5번 프레임)의 스킵이 있고, 서버에서는 1개의 프레임(7번 프레임)의 스킵이 있음을 알 수 있다.
도 5는 영상 프레임의 스킵이 있는 경우의 다른 예이다. 카메라는 카메라 내부에서 생성된 프레임 중 출력되지 않고 스킵되는 프레임은 제외하고 시퀀스 번호를 기록할 수 있다. 또는, 카메라는 카메라 내부에서 출력되지 않고 스킵되는 프레임에도 시퀀스 번호를 기록할 수 있다.
도 5(a)를 참조하면, 카메라는 프레임에 생성되는 순서대로 순차적인 시퀀스 번호를 카메라 시퀀스 번호 항목에 기록한다. 도 5(b)를 참조하면, 카메라는 3번과 7번 프레임을 스킵하고 출력한다. 도 5(c)를 참조하면, 카메라로부터 프레임을 수신한 서비스 프로바이더는 프레임의 수신 순서대로 순차적인 시퀀스 번호를 SP 시퀀스 번호 항목에 기록하여 출력한다. 도 5(d)를 참조하면, SP로부터 프레임을 수신한 서버는 프레임의 수신 순서대로 순차적인 시퀀스 번호를 서버 시퀀스 번호 항목에 기록하여 출력한다.
뷰어는 수신한 마지막 프레임(12번 영상 프레임)부터 소정 개수, 예를 들어, 8개의 프레임(4번 내지 12번 프레임)의 시퀀스 정보를 추출하고, 프레임 스킵 여부를 판단한다. 도 5의 예에서, 카메라에서는 1개의 프레임(7번 프레임)의 스킵이 있고, SP에서는 2개의 프레임(6번 및 8번 프레임)의 스킵이 있고, 서버에서는 2개의 프레임(5번 및 11번 프레임)의 스킵이 있음을 알 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 프레임 스킵 개수를 계산하는 방법을 설명하는 도면이다.
도 6을 참조하면, (a)는 카메라에 의해 기록된 시퀀스 번호의 나열이고, (b)는 SP에 의해 기록된 시퀀스 번호의 나열이고, (c)는 서버에 의해 기록된 시퀀스 번호의 나열이다.
뷰어가 마지막으로 수신한 프레임이 86번 프레임인 경우, 86번 프레임부터 8개의 프레임(78번 내지 86번 프레임)에 대해 뷰어는 스킵 개수를 다음과 같이 계산할 수 있다.
- 카메라: (86-78)+1-8=1 -> 1개 프레임 스킵
- SP: {(86-78)+1}-{(70-65)+1}=9-6=3, 3-1(카메라가 스킵한 프레임의 개수)=2 -> 2개 프레임 스킵
- 서버: {(70-65)+1}-{(60-56)+1}=6-5=1 -> 1개 프레임 스킵
도시하지 않았으나, 마찬가지로 뷰어 또한 서버로부터 뷰어가 프레임을 수신하면서 스킵되는 스킵율을 계산할 수 있다. 뷰어는 프레임을 수신하면서 프레임 수신 순서를 기록하며 프레임의 시퀀스 정보를 추출하고, 각 디바이스와 자신의 스킵율을 계산할 수 있다.
끊김 없이 부드럽게 영상이 나오기 위해서 프레임의 스킵이 균등하게 일어나는지를 확인할 필요가 있다. 본 발명의 실시예는 일정 개수, 예를 들어 8개의 프레임에 대한 표준편차를 이용하여 정량적으로 스킵 균등율을 계산한다. 표준 편차가 작을수록 평균값에서 변량들의 거리가 가까운 것으로 프레임 스킵율이 작다는 것이고, 표준편차 간의 값이 작다면 균등하게 스킵이 일어난다고 볼 수 있다. 예를 들어, 평균 표준편차의 값은 최근 8개의 프레임에서 4개의 프레임씩 스킵되는 균등 스킵의 지표로 본다면, 표준편차의 값이 평균표준편차의 값보다 작은 경우 4개 이상의 프레임이 스킵되는 것으로 볼 수 있고, 따라서 균등 스킵이 되지 않고 있음을 의미한다. 단, 표준편차의 값의 기복이 심하지는 않다면 균등 스킵으로 판단할 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 스킵 균등율 계산 방법을 설명하는 도면이다. 도 7 및 도 8은, 소스 디바이스가 전송한 프레임에 대해 수신 디바이스가 수신한 프레임의 스킵 균등율을 8개의 프레임 단위로 계산하는 예이다. 수신 디바이스가 서버인 예로 설명하겠다.
도 7을 참조하면, 프레임 수신을 1이라고 하면, A의 경우 평균은 (1+1+1+1)/8=0.5가 되고, 수신한 4개의 프레임 각각의 분산((0.5-1)2/8=0.031)의 합에 대한 표준편차는 0.352가 된다. B의 경우 표준편차를 계산하면, 동일하게 0.352가 계산된다. 따라서, 서버는 균등하게(균일하게) 프레임을 스킵하고 있다고 판단할 수 있다.
도 8을 참조하면, A의 경우 표준편차는 0.352이고, B의 경우 표준편차는 0.383이다. 따라서, 서버의 스킵율이 균등하지 않다고 판단할 수 있다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 디바이스가 영상 프레임을 수신하여 처리하는 방법을 설명하는 흐름도이다.
소스 디바이스와 디스플레이 디바이스 사이에는 복수의 제어 디바이스들이 구비되어, 소스 디바이스로부터 전송되는 영상 프레임을 릴레이한다.
디스플레이 디바이스는 소스 디바이스로부터 제어 디바이스들을 통해 영상 프레임을 수신한다(S101). 소스 디바이스는 영상 프레임에 순차적으로 시퀀스 번호를 삽입하여 출력하고, 제어 디바이스들 각각은 영상 프레임의 수신 순서에 따라 영상 프레임에 시퀀스 번호를 삽입한다. 시퀀스 번호는 영상 프레임의 헤더에 포함된다.
디스플레이 디바이스는 수신한 영상 프레임으로부터 소스 디바이스와 제어 디바이스들 각각이 영상 프레임에 삽입한 시퀀스 번호를 포함하는 시퀀스 정보를 추출한다(S103).
디스플레이 디바이스는 시퀀스 정보를 분석하여 소스 디바이스와 제어 디바이스들 각각의 영상 프레임 스킵율을 계산한다(S105). 디스플레이 디바이스는 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 일정 개수의 영상 프레임들에 대해 각 디바이스별 영상 프레임 누락 개수를 계산함으로써 스킵율을 계산할 수 있다. 예를 들어, 디스플레이 디바이스는 마지막으로 수신한 최근 영상 프레임부터 일정 개수의 영상 프레임들에 대해 스킵율을 계산할 수 있다.
디스플레이 디바이스는 스킵율 계산에 의해 영상 프레임의 스킵이 있다면(S107), 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 일정 개수의 영상 프레임들에 대해 표준편차를 계산하여 스킵 균등 여부를 판단한다(S109). 디스플레이 디바이스는 표준편차를 수치로 표시하거나 그래프로 표시하여 표준편차의 변화를 제공할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상 프레임 스킵 개수를 계산하는 방법을 설명하는 도면이다.
도 10을 참조하면, (a)는 카메라에 의해 기록된 시퀀스 번호의 나열이고, (b)는 SP에 의해 기록된 시퀀스 번호의 나열이고, (c)는 서버에 의해 기록된 시퀀스 번호의 나열이다. 본 발명의 실시예는 카메라, SP, 서버가 각각 자신의 프레임 스킵율을 계산하고, 시퀀스 번호와 함께 자신의 프레임 스킵율을 영상 프레임에 삽입하는 경우이다.
(a)를 참조하면, 카메라는 내부에서 생성된 프레임이 출력되면서 스킵되는 스킵율을 계산할 수 있다. 예를 들어, 카메라는 88번 프레임부터 8개의 프레임(80번 내지 88번 프레임)에 대해 스킵율을 계산{(88-80+1)-8=1}할 수 있다. 이 경우 카메라는 1개의 프레임을 스킵하고 출력하였다.
(b)를 참조하면, SP는 카메라로부터 SP가 프레임을 수신하면서 스킵되는 스킵율을 계산할 수 있다. 예를 들어, SP는 71번째 수신한 프레임부터 8개의 프레임(87번 내지 79번 프레임)에 대해 스킵율을 계산{(88-80+1)-(71-66+1)=3, 3-1=2}할 수 있다. 이 경우 SP는 2개의 프레임을 스킵하고 수신하였다.
(c)를 참조하면, 서버는 SP로부터 서버가 프레임을 수신하면서 스킵되는 스킵율을 계산할 수 있다. 예를 들어, 서버는 60번째 수신한 프레임부터 8개의 프레임(86번 내지 78번 프레임)에 대해 스킵율을 계산{(71-66+1)-(60-56+1)=1}할 수 있다. 이 경우 서버는 1개의 프레임을 스킵하고 수신하였다.
도시하지 않았으나, 마찬가지로 뷰어 또한 서버로부터 뷰어가 프레임을 수신하면서 스킵되는 스킵율을 계산할 수 있다. 뷰어는 프레임을 수신하면서 프레임 수신 순서를 기록하며 자신의 프레임 스킵율을 계산할 수 있다. 또한 뷰어는 표준편차를 이용하여 스킵 균등율을 계산하여 표시할 수 있다.
본 발명의 실시예는 영상 프레임의 스킵이 아닌 그외 순차적으로 데이터를 받아 처리하는 모듈에 적용하여 여러 단계의 처리 상태를 알 수 있도록 함으로써 문제가 어디서 발생하는지, 얼마만큼 데이터가 누락되었는지, 균등하게 데이터가 전달되고 있는지 등의 문제점을 쉽게 파악할 수 있도록 하여 기술 개발 및 개선 비용을 절약할 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (8)

  1. 디스플레이 디바이스가 영상 프레임을 처리하는 방법에 있어서,
    소스 디바이스로부터 상기 소스 디바이스와 디스플레이 디바이스 사이의 복수의 제어 디바이스들을 통해 영상 프레임을 수신하는 단계;
    상기 수신한 영상 프레임으로부터 상기 소스 디바이스와 상기 제어 디바이스들 각각이 상기 영상 프레임에 삽입한 시퀀스 정보를 추출하는 단계; 및
    상기 시퀀스 정보를 기초로 상기 소스 디바이스와 상기 제어 디바이스들의 영상 프레임 스킵율을 계산하는 단계;를 포함하는 디스플레이 디바이스의 영상 프레임 처리 방법.
  2. 제1항에 있어서, 상기 영상 프레임 스킵율 계산 단계는,
    상기 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 일정 개수의 영상 프레임들에 대해 각 디바이스별 영상 프레임 누락 개수를 계산하는 단계;를 포함하는 디스플레이 디바이스의 영상 프레임 처리 방법.
  3. 제1항에 있어서,
    상기 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 일정 개수의 영상 프레임들에 대해 표준편차를 계산하여 스킵 균등 여부를 판단하는 단계;를 포함하는 디스플레이 디바이스의 영상 프레임 처리 방법.
  4. 제1항에 있어서,
    상기 시퀀스 정보는 상기 영상 프레임의 헤더에 포함된 디스플레이 디바이스의 영상 프레임 처리 방법.
  5. 소스 디바이스로부터 복수의 제어 디바이스들을 통해 디스플레이 디바이스로 영상 프레임을 전송하는 방법에 있어서,
    상기 소스 디바이스가 영상 프레임에 시퀀스 번호를 삽입하여 출력하는 단계;
    상기 제어 디바이스들 각각이 영상 프레임의 수신 순서에 따라 영상 프레임에 시퀀스 번호를 삽입하는 단계; 및
    상기 디스플레이 디바이스가 수신한 영상 프레임에 삽입된 시퀀스 정보를 분석하여 상기 소스 디바이스와 상기 제어 디바이스들의 영상 프레임 스킵율을 계산하는 단계;를 포함하는 영상 프레임 전송 방법.
  6. 제5항에 있어서, 상기 영상 프레임 스킵율 계산 단계는,
    상기 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 상기 디스플레이 디바이스가 일정 개수의 영상 프레임들에 대해 각 디바이스별 프레임 누락 개수를 계산하는 단계;를 포함하는 영상 프레임 전송 방법.
  7. 제5항에 있어서,
    상기 소스 디바이스가 삽입한 영상 프레임의 시퀀스 정보를 기준으로, 상기 디스플레이 디바이스가 일정 개수의 수신한 영상 프레임들에 대해 표준편차를 계산하여 스킵 균등 여부를 판단하는 단계;를 포함하는 영상 프레임 전송 방법.
  8. 제5항에 있어서,
    상기 소스 디바이스와 상기 제어 디바이스들 각각이 자신의 영상 프레임 스킵율을 계산하고, 영상 프레임에 시퀀스 번호와 함께 자신의 영상 프레임 스킵율을 삽입하는 영상 프레임 전송 방법.
KR1020120047123A 2012-05-03 2012-05-03 영상 프레임 전송 및 처리 방법 KR101726686B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120047123A KR101726686B1 (ko) 2012-05-03 2012-05-03 영상 프레임 전송 및 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120047123A KR101726686B1 (ko) 2012-05-03 2012-05-03 영상 프레임 전송 및 처리 방법

Publications (2)

Publication Number Publication Date
KR20130123757A true KR20130123757A (ko) 2013-11-13
KR101726686B1 KR101726686B1 (ko) 2017-04-26

Family

ID=49852908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047123A KR101726686B1 (ko) 2012-05-03 2012-05-03 영상 프레임 전송 및 처리 방법

Country Status (1)

Country Link
KR (1) KR101726686B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996170A (zh) * 2019-12-10 2020-04-10 Oppo广东移动通信有限公司 视频文件播放方法及相关设备
WO2022169124A1 (ko) * 2021-02-05 2022-08-11 삼성전자 주식회사 복수의 디스플레이를 포함하는 디스플레이 시스템 및 그 영상 출력 방법
US11948533B2 (en) 2021-02-05 2024-04-02 Samsung Electronics Co., Ltd. Display system including plurality of displays and image output method thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4973381B2 (ja) * 2007-08-15 2012-07-11 ソニー株式会社 監視装置、監視方法及び監視システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996170A (zh) * 2019-12-10 2020-04-10 Oppo广东移动通信有限公司 视频文件播放方法及相关设备
CN110996170B (zh) * 2019-12-10 2022-02-15 Oppo广东移动通信有限公司 视频文件播放方法及相关设备
WO2022169124A1 (ko) * 2021-02-05 2022-08-11 삼성전자 주식회사 복수의 디스플레이를 포함하는 디스플레이 시스템 및 그 영상 출력 방법
US11948533B2 (en) 2021-02-05 2024-04-02 Samsung Electronics Co., Ltd. Display system including plurality of displays and image output method thereof

Also Published As

Publication number Publication date
KR101726686B1 (ko) 2017-04-26

Similar Documents

Publication Publication Date Title
CN109286813B (zh) 一种视频通信质量检测方法和装置
CN107430840B (zh) 视频信号监视方法、视频信号监视装置和显示装置
KR20130123757A (ko) 영상 프레임 전송 및 처리 방법
CN105471914A (zh) 基于终端异常状态的信息推送方法和装置
CN110906508A (zh) 空调传感器的故障检测方法及系统
US20160285680A1 (en) Network operation management system, network operation management apparatus, and network operation management method
EP3349214A1 (en) Evaluating propagation of a video feed
CN112565894A (zh) 一种检测直播节目播放质量的方法和系统
CN111865707B (zh) 一种传感器数据的传输时序监控方法及装置
JP4932741B2 (ja) 監視装置
JP2007312191A (ja) ビデオ品質評価装置、ビデオ品質監視装置、およびビデオ品質監視システム
CN110956509A (zh) 一种户外广告监播方法及装置
CN111008868A (zh) 一种广告监测方法、系统和计算机可读存储介质
EP1505838A2 (en) Automatically Detecting Errors in an Image Frame
JP4573301B2 (ja) 映像信号のフレーム同期方式
CN112771839B (zh) 图像处理装置以及图像显示系统
CN111294562B (zh) 一种模拟视频处理方法、系统及装置
CN107734326A (zh) 一种视频稳定性的测试方法及系统
CN106028028A (zh) Hdcp功能的检测方法、装置和用于检测hdcp功能的装置
US10902574B2 (en) Information processing apparatus, image capture system, control method and storage medium
US8681879B2 (en) Method and apparatus for displaying video data
US8929712B2 (en) Display for displaying progress
CN114339453B (zh) 时间戳校准方法和装置、电子设备和存储介质
US11488199B2 (en) Display system for calculating advertising costs
JP2012182712A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant