KR20080077537A - 저지연 영상 통신 시스템 및 방법 - Google Patents

저지연 영상 통신 시스템 및 방법 Download PDF

Info

Publication number
KR20080077537A
KR20080077537A KR1020070046854A KR20070046854A KR20080077537A KR 20080077537 A KR20080077537 A KR 20080077537A KR 1020070046854 A KR1020070046854 A KR 1020070046854A KR 20070046854 A KR20070046854 A KR 20070046854A KR 20080077537 A KR20080077537 A KR 20080077537A
Authority
KR
South Korea
Prior art keywords
frame
scene change
encoding
current frame
video communication
Prior art date
Application number
KR1020070046854A
Other languages
English (en)
Other versions
KR101371507B1 (ko
Inventor
문주희
박민철
김은희
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Publication of KR20080077537A publication Critical patent/KR20080077537A/ko
Application granted granted Critical
Publication of KR101371507B1 publication Critical patent/KR101371507B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/19—Flow control; Congestion control at layers above the network layer
    • H04L47/193—Flow control; Congestion control at layers above the network layer at the transport layer, e.g. TCP related
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 통신을 위한 시스템 및 방법에 관한 것으로서, 특히 장면 전환 프레임이 있는 경우에도 버퍼 넘침 현상이나 전송 지연, 재생 화질의 열화를 방지할 수 있는 영상 통신 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 영상 통신 시스템은 송신측 장치와 수신측 장치를 포함하는데, 상기한 송신측 장치는 현재 프레임이 장면 전환 프레임인지를 판단하고, 현재 프레임이 장면 전환 프레임으로 판단된 경우에는 현재 프레임에 대한 부호화를 완료한 후에는 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 부호화하지 않고 스킵하고 그 다음 프레임부터 부호화하여 전송한다. 그리고 상기한 수신측 장치는 송신측 장치로부터 수신된 데이터를 복호화하고, 장면 전환 프레임이 해당되는 시간과 (N-1)개의 후속 프레임이 해당되는 시간에는 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생하며, N번째 후속 프레임이 해당되는 시간에는 장면 전환 프레임을 재생한다.
비트율 제어, 장면 전환, 영상 통신 시스템, 저지연, CBR, VBR

Description

저지연 영상 통신 시스템 및 방법{System and method for low-delay video telecommunication}
도 1은 종래 기술에 따른 영상 통신 시스템의 개략적인 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 통신 시스템의 개략적인 구성을 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 통신 시스템의 송신측 장치에서 제1 부호화 방법을 이용하여 프레임별로 부호화를 수행하는 것을 설명하기 위한 블록도이다.
도 4는 도 3의 부호화 방법에 따라서 부호화를 수행할 경우에 프레임별로 발생 비트량을 보여주는 그래프이다.
도 5는 장면 전환 프레임이 없는 경우에, 본 발명의 실시예에 따른 영상 통신 시스템의 송신측 장치에서 제2 및 제3 부호화 방법을 이용하여 프레임별로 부호화를 수행하는 것을 설명하기 위한 그래프이다.
도 6은 장면 전환 프레임이 있는 경우에 , 본 발명의 실시예에 따른 영상 통신 시스템의 송신측 장치에서 제2 및 제3 부호화 방법을 이용하여 프레임별로 부호 화를 수행하는 것을 설명하기 위한 그래프이다.
도 7은 장면 전환 프레임이 있는 경우에 제2 부호화 방법에 따라서 부호화하는 과정을 설명하기 위한 블록도이다.
도 8은 장면 전환 프레임이 있는 경우에 제3 부호화 방법에 따라서 부호화하는 과정을 설명하기 위한 블록도이다.
도 9는 제1 부호화 방법에 의하여 부호화된 영상을 본 발명의 실시예에 따른 수신측 장치의 디스플레이에서 재생하는 과정을 설명하기 위한 블록도이다.
도 10은 제2 부호화 방법에 의하여 부호화된 영상을 본 발명의 실시예에 따른 수신측 장치의 디스플레이에서 재생하는 과정을 설명하기 위한 블록도이다.
도 11은 제3 부호화 방법에 의하여 부호화된 영상을 본 발명의 실시예에 따른 수신측 장치의 디스플레이에서 재생하는 과정을 설명하기 위한 블록도이다.
본 발명은 영상 통신 시스템에 관한 것으로, 보다 구체적으로 저지연 영상 통신을 위한 시스템과 방법에 관한 것이다.
화상 전화나 영상 회의 등과 같은 실시간 영상 통신을 제공하기 위한 시스템은 서로 떨어져 있는 다수의 사용자 사이에서 음성 및 영상 통신이 실시간으로 이루어지도록 하기 위한 장치이다. 이러한 영상 통신 시스템에서 실시간성과 화질은 극히 중요한 요소로서, 영상 통신 서비스의 품질을 평가하는 결정적인 요소들 중의 하나이다. 한정된 채널 자원을 이용하는 실시간 영상 통신에서 실시간성과 화질을 보장하기 위해서는 단말기의 버퍼에서의 지연 등에 따른 종단간 지연(End-to-End Delay)을 방지할 필요가 있다.
영상 통신 시스템을 구현하기 위하여 여러 가지 영상 코덱 표준이 제안되었다. 예를 들어, 종합 정보 통신망(Integrated Services Digital Network, ISDN)을 이용한 화상 전화와 영상 회의를 위한 국제 표준인 H.261과 공중 전화 교환망(Public Switched Telephone Network, PSTN)을 이용한 비디오폰 서비스를 위한 국제 표준인 H.263이 있다. 그리고 디지털 저장 매체(Digital Storage Media, DSM)나 방송 통신을 위한 동영상 압축 표준인 엠펙(MPEG)1이나 엠펙2 등도 영상 통신 시스템의 영상 코덱 기술로서 이용될 수 있다.
도 1은 종래 기술에 따른 영상 통신 시스템(100)의 구성을 보여주는 블록도이다. 도 1을 참조하면, 영상 통신 시스템(100)은 카메라(112), 부호기(114), 부호기 버퍼(116), 및 비트율 제어부(118)를 포함하는 송신측 장치(110)와 디스플레이(132), 복호기(134), 및 복호기 버퍼(136)를 포함하는 수신측 장치(130)를 포함하며, 송신측 장치(110)와 수신측 장치(130)와의 사이에 데이터 전송은 소정의 전송 채널(120)을 통해서 이루어진다. 이하, 종래 기술에 따른 영상 통신 시스템(100)에서 영상을 전송하는 동작에 대해서 간략히 설명한다.
먼저, 송신측 장치(110)에 대하여 설명한다. 송신측 장치(110)에서는 카메라(112)를 통해 영상 신호를 획득하며, 획득된 영상 신호는 압축 및 부호화를 위하 여 부호기(114)로 입력된다. 부호기(114)는 입력된 영상 신호를 소정의 방식에 따라서 압축 및 부호화하며, 부호기(114)에서 출력되는 비트스트림은 부호기 버퍼(116)에 저장되었다가 일정한 대역폭을 가지는 전송 채널(120)을 통해 수신측 장치(130)로 전송된다. 이 경우에, 부호기(114)에서는 비트율 제어부(118)에서 제공하는 양자화 매개 변수(Quantizing Parameter, QP)를 이용하여 데이터의 압축율을 조절하는데, 상기 양자화 매개 변수의 크기는 가변적이다. 이것은 전송 채널(120)을 통하여 전송될 수 있는 단위 시간당 전송되는 데이터(비트스트림)의 양, 즉 데이터 전송율은 제한이 있는 반면에, 카메라(112)를 통해 입력되는 영상 신호의 데이터 양은 가변적이기 때문이다.
이와 같이, 송신측 장치(110)에서는 양자화 매개 변수를 달리하여 압축 및 부호화를 수행함으로써, 부호기(114)에서 출력되는 비트스트림의 양을 1차로 조절한다. 그리고 부호기 버퍼(116)는 전송 채널(120)의 대역폭이나 또는 채널 상황에 따라서 수신측 장치(130)로 전송되는 데이터의 양을 2차로 조절한다.
한편, 비트율 제어부(118)는 카메라(112)로부터 소정의 정보 예컨대, 현재 프레임의 영상 복잡도에 관한 정보를 수신하여 적절한 양자화 매개 변수를 결정한 다음 이를 부호기(114)로 전송한다. 실시예에 따라서는 양자화 매개 변수를 결정하는데 부호기 버퍼(116)의 상태 정보 등도 함께 이용될 수 있는데, 예를 들어, 부호기 버퍼(116)의 상태를 지시하는 정보가 부호기 버퍼(116)로부터 비트율 제어부(118)로 입력될 수도 있다.
한편, 수신측 장치(130)의 안테나를 통해 수신된 데이터는 복호기 버퍼(136) 에 잠시 저장되었다가 복호기(134)로 보내진다. 복호기(134)는 압축 및 부호화된 비트스트림에 대한 복호화를 수행하며, 복호화되어 재구성된 영상은 수신측 장치의 디스플레이(132)를 통해 재생된다.
그런데 실시간 영상 통신의 관점에서 볼 때, 상기 카메라(112)를 통해서 들어오는 입력 영상은 크게 두 가지 경우로 나눌 수 있다. 한 가지 경우는 시간의 경과에 따라서 입력 영상에 큰 변화가 없고 자연스러운 흐름이 보장되는 이상적인 영상이다. 이런 영상은 개개의 프레임마다 거의 비슷한 양의 데이터가 발생될 것이고, 이 경우에는 부호기(114)에서 압축을 수행하는데 부하가 작을 뿐만 아니라 부호기 버퍼(116)에 많은 양의 데이터가 저장되는 문제점은 발생하지 않는다.
그런데, 다른 한 가지 경우는 장면 전환이 있거나 또는 장면 전환이 있는 것은 아니지만 이전 프레임의 영상과 현재 프레임의 영상의 상관성이 아주 적은 경우이다. 이와 같은 프레임(이하, '장면 전환 프레임'이라 한다)의 영상을 부호화하면, 이전 프레임에 비하여 발생 비트량이 상당히 많이 증가하기 때문에 부호기(114)에 가해지는 부하가 커진다. 그리고 부호기(114)에서 발생되는 비트량이 순간적으로 증가하면, 부호기 버퍼(116)에서 데이터의 적체가 생길 뿐만 아니라, 심한 경우에는 부호기 버퍼(116)에서의 버퍼 넘침 현상이 발생하기도 한다. 버퍼 넘침 현상이 발생하면 영상 통신 시스템에서 복원할 수 없는 데이터의 손실을 야기하기 때문에 영상 통신 시스템에서는 절대 피해야 하는 문제이다.
부호기에서 발생하는 비트량이 증가하면, 비록 버퍼 넘침 현상이 생기지 않는 경우라고 하더라도 전송 지연이라는 다른 문제가 초래될 수도 있다. 왜냐하면, 부호기 버퍼(116)에 들어온 비트스트림은 전송 채널(120)을 통하여 수신측 장치(130)로 전송이 되어야 하는데, 전송 채널(120)의 데이터 전송율은 일반적으로 한계가 있기 때문이다. 이러한 전송 지연의 문제 역시 실시간 영상 통신에는 장애로 작용할 수가 있다.
또한, 부호기(114)에서 발생하는 비트량이 증가하면, 그 만큼 복호기(134)에서 복호화해야 하는 데이터의 양도 증가하기 때문에 복호화 또한 정상적으로 진행되기가 어렵다. 복호기(134)에서 복호화가 정상적으로 이루어지지 않으면, 디스플레이(132)에서 재생되는 영상의 화질에 크게 영향을 주게 되며, 그 결과 원활한 화상 통화나 영상 회의가 진행되기가 어렵다. 따라서 화상 통화나 영상 회의 등을 지원하는 실시간 영상 통신 시스템은 이러한 문제점들이 발생하지 않도록 할 필요가 있다.
전술한 여러 가지 문제점들을 해결하기 위한 한 가지 방법은, 장면 전환 등의 이유로 현재 프레임과 이전 프레임 사이의 상관성이 낮은 경우, 즉 장면 전환 프레임의 경우에도, 부호기(114)에서 발생되는 비트량을 거의 일정하게 유지시키는 것이다. 즉, 부호기(114)의 프레임당 발생 비트율을 프레임의 특성에 상관없이 일정하게 유지시키는 것이다. 그러나 부호기(114)에서 발생되는 비트량을 일정하게 유지할 경우에는 재생 영상의 화질이 일정하지 않으며, 특히 장면 전환 프레임의 경우에는 화질이 상당히 나빠지는 문제가 있다.
일반적으로, 고정 비트율(Constant Bit Rate, CBR) 특성의 채널을 이용하는 영상 통신 시스템에서는 부호기에서도 영상을 CBR 방식으로 부호화를 한다. 그러 나, 장면 전환 프레임이든 아니든 모든 프레임의 영상을 CBR 방식으로 부호화하는 것은, 전술한 바와 같이, 재생 영상의 화질이 일정하지 않은 문제가 있다.
그리고 CBR 방식으로 영상을 부호화하는 경우라도 부호기(114)에서 출력되는 비트스트림의 비트량에 변동이 있을 수가 있는데, 이 경우에는 부호기 버퍼(116)에서 이를 스무딩시켜 전송 채널(120)로는 일정한 전송율로 데이터를 전송한다. 그러나, 이와 같이 부호기 버퍼(116)에서 전송율을 제어하게 되면, 버퍼링에 의한 버퍼지연이 발생되게 되는데, 이 버퍼지연은 종단간 지연을 증가시키는 주된 요인이 된다.
한편, 디스플레이(132)에서 일정한 화질의 재생 영상을 얻기 위해서는 부호기(114)에서 영상의 특성에 따라서 프레임당 발생 비트량이 가변적으로 되도록 부호화를 수행해야 한다. 즉, 해당 프레임의 영상을 부호화하는데 필요한 만큼의 비트수를 전부 할당하여 부호화를 해야 한다. 이와 같이, 영상의 특성에 따라서 발생 비트량이 큰 폭으로 변동되는 것을 가변 비트율(Variable Bit Rate, VBR)이라 한다. 영상을 VBR 방식으로 부호화하면 일정한 화질의 재생 영상을 얻을 수 있고 또한 일반적으로 부호기 버퍼(116)가 필요하지 않을 수도 있기 때문에 버퍼 지연이 발생하지 않는 장점이 있다. 그러나 VBR 방식에 의할 경우에는 부호기(114)에서 발생되는 비트량에 큰 폭의 변동이 있기 때문에, 한정된 대역폭을 가지는 전송 채널(120)로는 발생되는 비트스트림을 모두 전송하기가 어려운 단점이 있다.
이전 프레임과 상관성이 적은 프레임, 즉 장면 전환 프레임이 입력 영상으로 들어오는 경우에, 이러한 프레임은 부호화 과정에서 적절한 참조 프레임(Reference Frame)이 존재하지 않다. 그 결과 부호기에서 발생되는 비트량뿐만 아니라 전송해야 하는 비트량도 이전 프레임에 비하여 상당히 많이 증가한다. 이와 같은 경우에, 종래의 영상 통신 시스템에 의할 경우에는 버퍼의 넘침 및/또는 버퍼링 지연 문제, 채널에서의 전송 지연 문제, 디스플레이의 재생 영상의 화질문제 등 여러 가지 문제를 초래한다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 입력 영상 중에서 장면의 전환이 있거나 또는 장면 전환이 아닐지라도 전 프레임과 상관성이 낮은 프레임(2가지 모두를 이하에서는 장면 전환 프레임이라고 한다)이 있을 경우에, 이러한 프레임에서 발생되는 비트량이 부호기 버퍼의 제한된 용량 및/또는 전송 채널의 제한된 용량의 범위를 벗어나지 않도록 할 뿐만 아니라 디스플레이에서 재생되는 영상의 화질을 일정한 수준 이상으로 보장할 수 있는 저지연 영상 통신을 위한 시스템 및 방법을 제공하는 것이다.
상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 통신 시스템은 송신측 장치와 수신측 장치를 포함하는데, 상기 송신측 장치는 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에, 상기 현재 프레임에 대한 부호화를 완료한 후에는 상기 현재 프레 임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 부호화하지 않고 스킵하고 그 다음 프레임부터 부호화하여 전송하며, 상기 수신측 장치는 상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임이 해당되는 시간과 상기 N개의 후속 프레임 중에서 상기 장면 전환 프레임에 이어지는 (N-1)개의 프레임이 해당되는 시간에는 상기 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생한다.
상기 실시예의 일 측면에 의하면, 상기 수신측 장치는 N번째 상기 후속 프레임이 해당되는 시간에는 상기 현재 프레임의 영상을 재생하거나 또는 상기 직전 프레임의 영상을 계속 재생할 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 송신측 장치는 장면 전환 프레임인지를 판단하기 위한 장면 전환 검출부 및 입력 영상 신호를 부호화하기 위한 부호기를 포함하고, 상기 부호화된 입력 영상 신호와 함께 장면 전환 프레임에 대한 정보도 포함시켜 상기 수신측 장치로 전송할 수 있다. 이 경우에, 상기 송신측 장치는 스킵한 상기 후속 프레임의 수(N)에 관한 정보도 함께 상기 수신측 장치로 전송할 수도 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 송신측 장치는 상기 현재 프레임의 영상과 상기 현재 프레임의 직전 프레임의 재구성 영상의 이미지 정보값의 차이가 소정의 임계치를 초과하는지를 기준으로 장면 전환 프레임인지를 판단할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 송신측 장치에서 부호화시에 스 킵할 프레임의 수는 상기 현재 프레임에서 발생한 비트수를 상기 송신측 장치의 프레임당 목적 비트수를 나누어서 구할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 송신측 장치는, 스킵되는 프레임을 제외하고 다른 프레임에 대해서는, 입력되는 프레임마다 필요한 비트량만큼 할당하여 가변 비트율로 부호화를 수행할 수도 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 영상 통신 시스템은 송신측 장치와 수신측 장치를 포함하고, 상기 송신측 장치는 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 장면 전환 프레임을 포함한 모든 프레임에서 발생하는 비트량이 프레임당 목적 비트량을 기준으로 소정의 변동 범위 이내로 들어가도록 부호화하여 전송하며, 상기 수신측 장치는 상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임에 해당되는 시간에는 상기 현재 프레임의 직전 프레임의 영상을 반복하여 재생할 수 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 영상 통신 시스템은 송신측 장치와 수신측 장치를 포함하고, 상기 송신측 장치는 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에, 상기 현재 프레임을 포함하여 상기 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 각각 영상 전체가 아닌 일부 영역만을 부호화하여 전송하고, 상기 수신측 장치는 상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임과 상기 N개의 후속 프레임이 해당되는 시간에는 상기 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생할 수 있다.
이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안된다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성과 동일성이 있다면 양자는 균등한 구성으로 볼 수 있다. 본 실시예에 대한 설명 및 도면에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.
도 2는 본 발명의 일 실시예에 따른 영상 통신 시스템의 구성을 보여주는 블록도이다. 도 2를 참조하면, 영상 통신 시스템(200)은 카메라(212), 장면 전환 검출부(213), 부호기(214), 부호기 버퍼(216), 비트율 제어부(218)를 포함하는 송신측 장치(210)와 복호기 버퍼(236), 복호기(234), 및 디스플레이(232)를 포함하는 수신측 장치(230)를 포함하며, 송신측 장치(210)와 수신측 장치(230) 사이의 데이터 전송은 전송 채널(220)을 통해 이루어진다.
카메라(212)는 영상을 획득하여 입력 신호를 생성하는 장치로서, 카메라의 종류에는 특별한 제한이 없다. 카메라(212)는 획득한 영상 신호를 장면 전환 검출 부(213)를 통해 부호기(214)로 전송한다. 카메라(212)는 또한 종래와 마찬가지로 영상 복잡도에 관한 정보를 비트율 제어부(218)로 전송할 수 있다. 이러한 카메라(212)의 동작은 종래 기술과 차이가 없으므로 이에 대한 상세한 설명은 생략한다.
장면 전환 검출부(213)는 현재 프레임의 영상(현재 영상)과 이전 프레임의 영상(이전 영상)을 이용하여 입력 프레임마다 장면 전환인지 여부를 판별하여 장면 전환에 해당되는 프레임을 검출하기 위한 수단이다. 장면 전환 검출부(213)에서는 장면 전환만을 판별하는 것이 아니라 비록 장면 전환은 아니지만 두 프레임 사이에 상관도가 낮은 경우도 판별할 수 있다(이하, 전술한 2가지 모두를 단순히 '장면 전환'이라고 칭하기로 한다). 장면 전환 검출부(213)에서 현재 프레임이 장면 전환 프레임인지를 판단하는데는 현재 영상과 복호화된 이전 프레임의 재구성 영상을 이용할 수 있는데, 이를 위하여 부호기(214)로부터 상기 재구성 영상의 데이터가 장면 전환 검출부(213)로 전송될 수 있다.
장면 전환 검출부(213)는 판단 결과, 즉 장면 전환에 해당되는지를 지시하는 정보, 예컨대 장면 전환 정보를 생성하며, 생성된 장면 전환 정보는 입력 영상 신호와 함께 부호기(214)로 출력된다. 장면 전환 정보는 예컨대 장면 전환으로 판단되는 프레임의 번호를 장면 전환 여부를 지시하는 필드에 삽입되는 형태를 가질 수 있지만, 여기에만 한정되는 것은 아니다. 실시예에 따라서는 장면 전환 검출부(213)는 생성된 장면 전환 정보를 비트율 제어부(218)로도 전송할 수도 있는데, 이 경우에 비트율 제어부(218)에서 비트율을 제어하는데 수신된 장면 전환 정보를 다른 제어 정보와 함께 이용할 수도 있다.
장면 전환 검출부(213)에서 장면 전환인지를 판단하는 방법으로서는 예컨대 현재 영상과 재구성 영상 사이의 통계적 특성을 비교하거나 또는 이미지 정보값의 차분치를 계산하는 기존의 공지된 방법이 이용될 수 있으며, 본 발명에서는 기존의 공지된 방법들 중에서 어떤 방법을 사용할지에 대한 특별한 제한은 없다. 기존의 공지된 방법으로서, 예컨대 Difference of Gray-level Sums, Sum of Gray-level Differences, Difference of Gray-level Histograms, Colored Template Matching, Difference of Color Histograms and Comparison of Color Histograms 방법이나 또는 Brightness Difference of Histograms and Pixels between Successive Frames 방법이나 또는 Variance of DC coefficients and Motion Vectors to Analyze Scene Changes 방법이나 또는 Count the Number of Valid Motion Vectors in Predictive-coded Pictures or P-pictures and Bidirectionally Predictive-coded Pictures or B-pictures 방법이나 또는 DC Image Sequences to Analyze Scene Changes 방법 등이 있으며, 여기에만 한정되는 것은 아니다.
부호기(214)는 카메라(212)에서 획득한 영상 신호를 압축 및 부호화하기 위한 수단이다. 부호기(214)에서 사용하는 코덱 방식에는 특별한 제한이 없다. 즉, H.261, H.263, H.264, 엠펙1, 엠펙2, 또는 엠펙4 등과 같은 현재까지 알려져 있는 모든 영상 압축 부호화와 관련된 국제 표준에 규정되어 있는 코덱 방식이 사용될 수 있다. 이러한 압축 부호화의 결과, 부호기(214)에서는 비트스트림을 생성한다. 그러나 본 발명에 따른 부호기(214)는 다음과 같은 특징을 갖는다.
본 실시예에 의하면, 부호기(214)는 입력된 영상 신호뿐만 아니라 장면 전환 검출부(213)로부터 입력되는 장면 전환 정보, 예컨대 장면 전환으로 검출된 프레임의 번호도 함께 부호화를 수행한다. 이것은 장면 전환 프레임에 대한 정보를 수신측 장치(230)의 복호기(234)로 알려줌으로써, 후술하는 바와 같이, 장면 전환이 있는 경우에 부호화 방식에 대응하여 적응적으로 복호화를 수행하도록 하기 위해서이다.
본 실시예에 따른 부호기(214)는 입력 영상을 부호화할 경우에, 후술하는 세 가지 부호화 방법 중에서 어느 한 가지 방법을 이용하거나 또는 적응적으로 두 가지 이상의 방법을 혼용하여 부호화를 수행할 수 있다. 후자의 경우에는 부호기(214)에서 어떤 부호화 방식으로 부호화가 수행되었는지를 지시하는 정보가 비트스트림에 포함되어 수신측 장치(230)로 전송될 수 있다.
제1 부호화 방법은 입력 영상에 대하여 우선 가변 비트율(VBR) 방식으로 부호화를 수행하되, 장면 전환 등으로 인하여 특정 프레임의 비트율이 급격하게 증가할 경우에는 그 후속 프레임은 부호화하지 않고 스킵하는 방식으로 부호화를 수행하는 방법이다. 이 방법에 의하면, 우선 입력되는 모든 프레임에 대하여 필요한 만큼의 비트수를 할당하여 부호화를 순차적으로 수행하고, 장면 전환이 있는 경우에는 장면 전환 프레임의 후속 프레임을 1장 이상 스킵한 다음, 스킵된 프레임 이후의 프레임에 대하여 부호화를 수행한다. 그 결과, 부호기(214)로부터 생성되는 비트스트림의 양은 평균적으로 일정한 양을 유지할 수 있다.
이와 같은 경우에, 비트율 제어부(218)에서 제공되는 양자화 매개 변수(QP) 는 종래와 마찬가지로 프레임에 따라서 변할 수도 있지만, 여기에만 한정되는 것은 아니다. 즉, 본 실시예에 의하면, 양자화 매개 변수는 프레임에 따라서 유동적으로 변동시키는 것이 아니라 고정된 하나의 값을 사용할 수도 있다.
현재 프레임이 장면 전환 프레임인지 여부는 장면 전환 검출부(213)로부터 입력되는 정보를 이용하면 쉽게 알 수 있다. 그리고 장면 전환 프레임으로부터 몇 개의 프레임을 스킵할 것인지 여부도 장면 전환 검출부(213)에서 장면 전환을 검출할 때 이용한 해당 프레임의 이미지 정보에 대한 통계 정보 등을 이용하면 쉽게 결정할 수가 있다. 예를 들어, 장면 전환 검출부(213)에서 장면 전환 여부를 판별할 때, 장면 전환 프레임에서 발생하는 비트량이 다른 프레임보다 약 3배 정도 많은 것으로 계산이 된 경우에는, 장면 전환 프레임 이후의 2장의 후속 프레임은 부호화하지 않고 스킵할 수 있다.
장면 전환 프레임 이후에 몇 개의 프레임을 스킵할 것인지를 결정하는 다른 방법은 장면 전환 프레임을 부호화할 경우에 발생하는 비트수를 이용할 수도 있다. 이와 같은 경우에는 통상적으로 프레임당 목적 비트수가 미리 결정되어 있을 수가 있으며, 이와 같은 경우에는 장면 전환 프레임의 발생 비트수를 상기 프레임당 목적 비트수로 나눈 다음, 올림 연산을 수행하거나 또는 반올림 연산을 수행함으로써, 스킵할 프레임의 수를 결정할 수 있다.
도 3은 부호기(214)에서 이와 같은 첫 번째 방법에 따라 부호화를 수행하는 방법의 일례 도식적으로 보여주기 위한 도면이다. 도 3을 참조하면, 사각형으로 도시된 것은 프레임을 나타내고, 그 위의 숫자는 프레임 번호를 나타낸다. 그리고 프 레임 부호화 순서는 1, 2, 3, …의 순이며, 5번 프레임이 발생 비트량이 다른 프레임(1, 2, 3, 및 4번 프레임)에 비하여 많은 프레임이다.
본 실시예에 의하면, 장면 전환 검출부(213)는 5번 프레임을 장면 전환 프레임으로 판별하며, 장면 전환 정보는 입력 영상 신호와 함께 부호기(214)로 입력된다. 그리고 부호기(214)는 1번 프레임부터 순차적으로 부호화를 수행하는데, 각 영상에 대하여 필요한 만큼의 모든 비트수를 할당하여 부호화를 수행한다. 예컨대, VBR 방식으로 부호화를 수행할 수 있다.
이것은 5번 프레임을 부호화할 경우에도 마찬가지이다. 하지만, 5번 프레임의 경우에 장면 전환 프레임이기 때문에 발생하는 비트량이 다른 프레임에 비하여 상당히 많다. 따라서, 본 실시예에 의하면 부호기(214)는 5번 프레임의 후속 프레임은 1장 이상 스킵하고, 스킵된 프레임에 대해서는 전혀 부호화를 수행하지 않는다. 도 3의 경우에 2장의 프레임을 스킵하는 경우로서, 6번 및 7번 프레임에 대해서는 부호기(214)는 부호화를 수행하지 않는다. 그리고 부호기(214)는 8번 프레임부터는 종전과 동일한 방식으로 부호화를 수행한다.
이와 같이, 도 3에 도시된 것과 같이 부호화를 수행할 경우에, 부호기(214)에서 발생되는 비트량은 도 4에 도시된 것과 같다. 도 4를 참조하면, 장면 전환 프레임인 5번 프레임에서 다른 프레임보다 2배 이상의 비트량이 발생하는 것을 알 수 있다. 그리고 본 실시예에서는 장면 전환 프레임의 후속 프레임은 부호화를 수행하지 않고 스킵하기 때문에, 6번과 7번 프레임에서는 부호화 된 데이터가 전혀 발생하지 않는다는 것을 알 수 있다. 이와 같이, 제1 부호화 방법을 이용하여 부호화를 할 경우에는, 장면 전환 프레임에 대한 정보와 함께 스킵한 프레임에 대한 정보도 비트스트림에 포함시켜 전송한다.
본 실시예에 따른 부호기(214)가 사용할 수 있는 다른 부호화 방법, 즉 제2 및 제3 부호화 방법은 각 프레임에서 발생하는 비트량을 제어하기는 하되, 상기 제어를 특정한 값을 기준으로 하는 것이 아니라, 도 5에 도시된 바와 같이 특정 범위를 기준으로 설정하는 방법이다. 즉, 특정한 값을 기준으로 하지 않기 때문에 CBR 방식과는 상이하지만, 특정 범위에서 발생 비트량을 제어한다는 점에서 VBR 방식과도 상이하다.
도 5는 부호기(214)에서 이러한 제2 및 제3 부호화 방법에 따라서 부호화할 경우에 발생되는 비트량의 일례를 보여주는 그래프로서, 도시된 시간 범위 내에서는 장면 전환 프레임이 없어서 입력 영상에 큰 변화가 없는 경우이다. 도 5에서 가운데 실선은 프레임당 할당된 평균 비트량이고 아래 위의 점선은 평균 비트량을 기준으로 변동할 수 있는 범위의 경계를 나타낸다.
도 5를 참조하면, 본 실시예에 의할 경우에 부호기(214)는 각 프레임당 발생 비트량이 상기 목적 비트량을 기준으로 아래 위로 델타(△)만큼의 변동 범위를 두어 그 범위를 벗어나지 않도록 부호화를 수행한다. 상기 델타값은 평균 비트량을 기준으로 한 상대적인 값으로 결정할 수가 있다. 그리고 상기 델타값은 전송 채널(220)이나 부호기 버퍼(216)의 특성을 고려하여 적절히 설정할 수 있다.
도 6은 부호기(214)에서 상기 제2 및 제3 부호화 방법에 따라서 부호화할 경우에 발생되는 비트량의 일례를 보여주는 그래프로서, 도시된 시간 범위 내에 장면 전환 프레임이 있는 경우이다. 도 6을 참조하면, 위쪽으로 변동 범위의 경계를 침범한 시간에서의 프레임이 장면 전환 프레임인 경우인데, 이와 같은 경우에 본 실시예에 의하면, 발생 비트량이 점선으로 도시된 것과 같이 변동 범위의 경계 내에 들어가도록 부호화를 수행한다. 이러한 제2 및 제3 부호화 방법은 입력 영상에 비록 장면 전환 프레임이 있는 경우에도 모든 프레임에 대하여 부호화를 수행한다는 점에서 전술한 제1 부호화 방법과 상이하다.
도 7은 부호기(214)에서 제2 부호화 방법을 이용하여 부호화를 수행하는 과정을 보여주는 블록도이다. 도 7을 참조하면, 5번 프레임이 장면 전환 프레임인데, 본 실시예에 의하면 비록 장면 전환 프레임이 존재하더라도 후속 프레임을 스킵하지 않고 부호화를 수행한다는 것을 알 수 있다.
부호기(214)에서 이러한 제2 부호화 방법에 따라 부호화를 함에 있어서는 장면 전환 검출부(213)에서 검출한 장면 전환 정보를 이용할 수 있다. 그리고 부호기(214)는, 도 6 및 도 7에 도시된 바와 같이, 장면 전환 프레임과 그 후속 프레임도 발생 비트량이 변동 범위의 경계 내에 들어가도록 부호화를 수행한다.
예를 들어, 부호기(214)는 장면 전환 검출부(213)에서 장면 전환 프레임이라고 판정한 프레임의 영상에 대해서는, 프레임 단위로 양자화 매개 변수 변수를 높여서 화면내 부호화를 수행할 수 있다. 또는, 상기 장면 전환 프레임이 실질적인 장면 전환에 의한 것이 아니라 이전 프레임의 영상과 상관도가 없는 부분의 증가로 인한 경우에는, 프레임보다 작은 단위로 양자화 매개 변수를 변화시켜서 발생 비트율을 제어하는 것도 가능하다. 후자의 경우에, 비트율 제어부(218)는 TM5 비트율 제어 알고리즘, TMN8 비트율 제어 알고리즘, 또는 TMN5 비트율 제어 알고리즘 중의 어느 하나를 사용하여 상기 부호기(214)에 매크로블록 당 하나의 양자화 매개 변수를 제공할 수도 있다.
상기 TM5 비트율 제어 알고리즘은 타깃 비트 할당(Target Bit Allocation) 단계, 레이트 제어(Rate Control) 단계, 및 적응적 양자화(Adaptive Quantization) 단계를 포함한다. 타깃 비트 할당 단계에서는 현재 부호화하게 되는 프레임에 허용된 비트수를 예측하는데, 이 단계는 프레임을 부호화하기 전에 진행된다. 예측에 필요한 데이터는 픽쳐 타입, 버퍼의 충만도(Buffer Fullness), 픽쳐의 복잡성(Picture Complexity)이다. 픽쳐 복잡도의 예측은 GOP안에 포함되며, 이미 부호화가 끝난 현재 픽쳐와 같은 타입의 픽쳐를 부호화할 때 사용된 비트량과 양자화 파라티머에 의해 결정된다. 레이트 제저 단계에서는 매크로블록 단위로 양자화 파라미터의 참조값을 구한다. 그리고 적응적 양자화 단계에서는 해당 매크로블록에 존재하는 공간적 액티브티(Activity)를 사용하여 위 단계에서 구한 양자화 파라미터의 참조값을 모듈화하여 얻어진 변수(mquant)로 해당 매크로블록을 양자화한다.
그리고 상기 TMN8 비트율 제어 알고리즘은 크게 프레임 레이어(Frame Layer)와 매크로블록 레이어(Macroblock Layer)로 구성된다. 프레임 레이어에서는 각각의 프레임에 허용된 목적 비트량을 구하고, 매크로블록 레이어에서는 목적 비트량을 얻기 위한 적합한 양자화 파라미터를 구한다. 또한, TMN5 비트율 제어 알고리즘은 먼저 버퍼 레귤레이션(Buffer Regulation)을 진행하고, 다음 첫 인트라 픽쳐를 제외한 다음 픽쳐부터는 개개의 매크로블록마다 양자화 파라미터가 한 번씩 업데이트 된다.
도 8은 부호기(214)에서 제3 부호화 방법을 이용하여 부호화를 수행하는 과정을 보여주는 블록도이다. 제3 부호화 방법은 제2 부호화 방법과 다소 차이가 있다. 제3 부호화 방법에 의하면, 장면 전환 프레임과 1장 이상의 후속 프레임을 세트로 묶어서 화면내 부호화를 수행하되, 세트에 포함되는 각 프레임에서 전체 영상이 아닌 일정 부분의 영상만을 부호화하여 전체 세트로 볼 때 하나의 프레임이 부호화되는 것처럼 부호화를 수행한다. 도 8을 참조하면, 장면 전환 프레임인 5번 프레임과 그 후속 프레임인 6번 및 7번 프레임을 세트로 묶어서 부호화를 수행하는데, 5번 프레임에 대해서는 상부의 1/3 영역에 대해서 부호화를 수행하고, 6번 프레임에 대해서는 5번 프레임에서 부호화하지 않은 다른 1/3 영역의 영상에 대해서 부호화를 수행하며, 7번 프레임에 대해서는 5번 및 6번 프레임에서 부호화되지 않은 나머지 영역의 영상에 대해서 부호화를 수행한다.
계속해서 도 2를 참조하면, 부호기(214)에서 생성된 비트스트림은 부호기 버퍼(216)를 통해 일시 저장되었다가 전송 채널(220)을 통해 소정의 전송율로 수신측 장치(230)로 전송된다. 상기 비트스트림은 예컨대, 패킷 단위로 전송될 수 있으며, 전송 채널(220)의 전송율도 일정하거나 또는 여러 가지 네트워크 상황에 따라서 가변적이 될 수도 있다.
계속해서, 수신측 장치(230)에 대해서 설명한다. 수신측 장치(230)의 안테나를 통해서 데이터가 수신되면, 수신된 데이터는 복호기 버퍼(236)에서 일시 저장되었다가 복호기(234)로 보내진다. 그리고 복호기(234)로 종전과 마찬가지로 부호화 된 데이터를 복호화하여 재구성 영상 프레임을 생성하며, 복호기(234)에서 생성된 재구성 영상 프레임은 디스플레이(232)로 보내져서 재생된다. 본 실시예에 의하면, 복호기(234)는 수신된 장면 전환 프레임에 대한 정보와 함께, 필요한 경우에는 부호화 방법에 관한 정보도 이용하여 복호화를 수행한다.
본 실시예에 의하면, 복호기(234)에서 생성된 재구성 영상은 모든 프레임의 영상을 포함하지 않는다. 예컨대, 부호기(214)에서 전술한 제1 부호화 방법을 이용하는 경우에, 스킵되는 프레임의 영상 신호는 수신측 장치(230)로 전송되지 않기 때문에, 복호기(234)는 이들 프레임에 대한 재구성 영상을 생성할 수 없다. 그리고 부호기(214)에서 전술한 제2 또는 제3 부호화 방법을 이용하여 부호화가 된 경우에는, 실시예에 따라서 장면 전환 프레임에 대한 재구성 영상의 화질은 다른 프레임에 비하여 떨어지거나 또는 세트로 묶인 2개 이상의 프레임 각각은 전체 영상이 아닌 그 일부분에 대한 데이터만 수신되기 때문에 전체 영상을 복원할 수도 없다.
따라서 본 실시예에 따른 디스플레이(232)는, 예를 들어, 장면 전환 프레임만을 스킵하거나 또는 장면 전환 프레임 및 1장 이상의 그 후속 프레임을 재생하지 않고 스킵하는 대신에, 직전 프레임의 영상을 스킵하는 프레임만큼 반복하여 재생하는 방식으로 영상을 재생한다.
예를 들어, 재구성 영상이 부호기(214)에서 제1 부호화 방법을 이용하여 부호화된 경우에는 디스플레이(232)는 장면 전환 프레임과 그 후속 프레임에 대해서 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생하며, 특히 스킵되는 프레임들 중에서 마지막에 위치하는 프레임에서는 장면 전환 프레임의 영상을 재생할 수 있다. 도 9는, 도 3에 도시된 예와 같이 부호화된 경우에, 이러한 실시예에 따라서 재생되는 영상을 보여주는 것이다. 도 9를 참조하면, 5번째와 6번째 프레임에 대해서는 4번 프레임의 영상을 반복하여 재생하고, 7번째 프레임에 대해서는 장면 전환 프레임의 영상인 5번 프레임의 영상을 반복하여 재생한다.
다른 예에 의하면, 디스플레이(232)는 장면 전환 프레임과 그 후속 프레임 전체에 대해서 직전 프레임의 영상을 반복하여 재생할 수도 있다. 이와 같은 실시예는 부호기(214)에서 전술한 제3 부호화 방법을 이용하여 부호화를 수행하는 경우(도 8 참조)에 적용될 수 있다. 도 10은, 도 8에 도시된 예와 같이 부호화된 경우에, 이러한 실시예에 따라서 재생되는 영상을 보여주는 것이다. 도 10을 참조하면, 5번재 내지 7번째 프레임 모두에 대해서 4번 프레임의 영상을 반복하여 재생한다.
또 다른 예에 의하면, 도 11에 도시된 바와 같이, 디스플레이(232)는 장면 전환 프레임에만 대해서 직전 프레임의 영상을 반복하여 재생할 수도 있다. 이와 같은 실시예는 부호기(214)에서 전술한 제2 부호화 방법을 사용하여 부호화를 수행한 경우(도 6 참조)에 적용될 수 있다. 도 11을 참조하면, 장면 전환 프레임인 5번째 프레임에만 4번 프레임의 영상을 반복하여 재생한다.
이와 같이, 본 발명의 실시예에 의하면 현재 프레임에서 장면 전환이 있거나 또는 이전 프레임과의 상관성이 낮은 경우에, 송신측 장치에서는 1장 이상의 그 후속 프레임을 부호화하지 않고 스킵하거나 또는 현재 프레임과 1장 이상의 그 후속 프레임에서 발생 비트량이 일정한 범위 내에 들어가도록 부호화를 수행한다. 그리고 수신측 장치에서는 상기 부호화 방식에 따라 적응적으로 이전 프레임의 영상 등을 이용하여 디스플레이한다.
이상에서 상세하게 설명한 바와 같이, 본 발명에 의하면, 장면의 전환이 일어난 프레임이나 또는 장면 전환은 아니지만 이전 프레임과의 상관성이 없는 부분이 많음으로 인하여 이전 프레임에 비하여 비트량이 많이 발생하는 프레임이 입력 영상으로 들어올지라도 종래와 같은 문제점, 즉 버퍼 넘침 현상이나 전송 지연 등의 문제가 생기는 것을 방지할 수가 있다. 보다 구체적으로, 부호기에서는 장면 전환 프레임이 검출되면 1개 이상의 후속 프레임에 대해서는 부호화를 수행하지 않고 스킵하거나 또는 프레임당 발생되는 데이터양을 일정한 비트율 이하로 감소시키기 때문에, 부호기 버퍼에서 버퍼 넘침 현상이 생기는 것을 미연에 방지할 수가 있다. 그리고 부호기로부터 부호기 버퍼로 일정한 범위 내의 데이터가 입력되기 때문에 전송 채널에서 전송 지연이 초래되는 것도 최소화할 수 있다. 또한, 디스플레이에서는 장면 전환 프레임이 있는 경우에는 해당 프레임이나 그 후속 프레임에 대해서는 직전 프레임의 영상을 반복하여 재생하기 때문에, 디스플레이에서 재생되는 영상의 화질도 항상 일정 수준 이상을 보증할 수가 있다.

Claims (17)

  1. 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에, 상기 현재 프레임에 대한 부호화를 완료한 후에는 상기 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 부호화하지 않고 스킵하고 그 다음 프레임부터 부호화하여 전송하기 위한 송신측 장치; 및
    상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임이 해당되는 시간과 상기 N개의 후속 프레임 중에서 상기 장면 전환 프레임에 연속되는 (N-1)개의 프레임이 해당되는 시간에는 상기 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생하기 위한 수신측 장치를 포함하는 영상 통신 시스템.
  2. 제1항에 있어서, 상기 수신측 장치는 N번째 상기 후속 프레임이 해당되는 시간에는 상기 현재 프레임의 영상을 재생하거나 또는 상기 직전 프레임의 영상을 계속 재생하는 것을 특징으로 하는 영상 통신 시스템.
  3. 제1항에 있어서, 상기 송신측 장치는
    장면 전환 프레임인지를 판단하기 위한 장면 전환 검출부; 및
    입력 영상 신호를 부호화하기 위한 부호기를 포함하고,
    상기 송신측 장치는 상기 부호화 된 입력 영상 신호와 함께 장면 전환 프레임에 대한 정보도 포함시켜 상기 수신측 장치로 전송하는 것을 특징으로 하는 영상 통신 시스템.
  4. 제3항에 있어서, 상기 송신측 장치는 스킵한 상기 후속 프레임의 수(N)에 관한 정보도 함께 상기 수신측 장치로 전송하는 것을 특징으로 하는 영상 통신 시스템.
  5. 제1항에 있어서, 상기 송신측 장치에서 부호화시에 스킵할 프레임의 수는 상기 현재 프레임에서 발생한 비트수를 상기 송신측 장치의 프레임당 목적 비트수를 나누어서 구하는 것을 특징으로 하는 영상 통신 시스템.
  6. 제1항에 있어서, 상기 송신측 장치는, 스킵되는 프레임을 제외하고 다른 프레임에 대해서는, 입력되는 프레임마다 필요한 비트량만큼 할당하여 가변 비트율로 부호화를 수행하는 것을 특징으로 하는 영상 통신 시스템.
  7. 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 장면 전환 프레임을 포함한 모든 프레임에서 발생하는 비트량이 프레임당 목적 비트량을 기준으로 소정의 변동 범위 이내로 들어가도록 부호화하여 전송하기 위한 송신측 장치; 및
    상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임에 해당되는 시간에는 상기 현재 프레임의 직전 프레임의 영상을 반복하여 재생하기 위한 수신측 장치를 포함하는 영상 통신 시스템.
  8. 제7항에 있어서, 상기 현재 프레임이 장면 전환 프레임인 경우에, 상기 송신측 장치는 다른 프레임에 비하여 큰 양자화 매개 변수를 사용하여 부호화를 수행하는 것을 특징으로 하는 영상 통신 시스템.
  9. 제7항에 있어서, 상기 송신측 장치에서는 양자화 매개 변수를 프레임 단위로 변동하거나 또는 소정 크기의 블록 단위로 변동하여 부호화를 수행하는 것을 특징으로 하는 영상 통신 시스템.
  10. 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에, 상기 현재 프레임을 포함하여 상기 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 각각 영상 전체가 아닌 일부 영역만을 부호화하여 전송하기 위한 송신측 장치; 및
    상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임이 해당되는 시간과 상기 N개의 후속 프레임이 해당되는 시간에는 상기 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생하기 위한 수신측 장치를 포함하는 영상 통신 시스템.
  11. 제10항에 있어서, 상기 현재 프레임과 상기 N개의 후속 프레임은 서로 겹치지 않는 영역을 부호화하되, 상기 현재 프레임과 상기 N개의 후속 프레임에서 부호 화되는 영역을 모두 합치면 프레임 전체 영상과 크기가 같도록하는 것을 특징으로 하는 영상 통신 시스템.
  12. 송신측 장치와 수신측 장치를 포함하는 영상 통신 시스템을 이용한 영상 통신 방법으로서,
    상기 송신측 장치에서는 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에, 상기 현재 프레임에 대한 부호화를 완료한 후에는 상기 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 부호화하지 않고 스킵하고 그 다음 프레임부터 부호화하여 전송하며,
    상기 수신측 장치에서는 상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임과 상기 N개의 후속 프레임 중에서 (N-1)개의 프레임이 해당되는 시간에는 상기 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생하는 것을 특징으로 하는 영상 통신 방법.
  13. 송신측 장치와 수신측 장치를 포함하는 영상 통신 시스템을 이용한 영상 통신 방법으로서,
    상기 송신측 장치에서는 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 장면 전환 프레임을 포함한 모든 프레임에서 발생하는 비트량이 프레임당 목적 비트량을 기준으로 소정의 변동 범위 이내로 들어가도록 부호화하여 전송하며,
    상기 수신측 장치는 상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임에 해당되는 시간에는 상기 현재 프레임의 직전 프레임의 영상을 반복하여 재생하는 것을 특징으로 하는 영상 통신 방법.
  14. 송신측 장치와 수신측 장치를 포함하는 영상 통신 시스템을 이용한 영상 통신 방법으로서,
    상기 송신측 장치에서는 현재 프레임이 장면 전환 프레임인지를 판단하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에, 상기 현재 프레임을 포함하여 상기 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 각각 영상 전체가 아닌 일부 영역만을 부호화하여 전송하고,
    상기 수신측 장치에서는 상기 송신측 장치로부터 수신된 데이터를 복호화하고, 상기 장면 전환 프레임이 해당되는 시간과 상기 장면 전환 프레임에 연속되는 상기 N개의 후속 프레임이 해당되는 시간에는 상기 장면 전환 프레임의 직전 프레임의 영상을 반복하여 재생하는 것을 특징으로 하는 영상 통신 방법.
  15. 영상 통신 시스템을 구성하는 송신측 장치에서의 부호화 방법으로서,
    현재 프레임이 장면 전환 프레임인지를 판단하는 단계;
    상기 현재 프레임을 압축 및 부호화하는 제1 부호화 단계; 및
    상기 현재 프레임이 장면 전환 프레임이 아닌 것으로 판단된 경우에는, 상기 제1 부호화 단계 이후에 상기 현재 프레임의 다음 프레임을 부호화하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에는 상기 제1 부호화 단계 이후에 상 기 현재 프레임에 뒤따르는 N(N은 자연수)개의 후속 프레임은 부호화하지 않은 채 스킵하고 그 다음 프레임부터 부호화를 수행하는 제2 부호화 단계를 포함하는 영상 통신 시스템에서의 부호화 방법.
  16. 영상 통신 시스템을 구성하는 송신측 장치에서의 부호화 방법으로서,
    현재 프레임이 장면 전환 프레임인지를 판단하는 단계;
    상기 현재 프레임이 장면 전환 프레임에 해당되는지 여부에 상관없이, 장면 전환 프레임을 포함한 모든 프레임에서 발생하는 비트량이 프레임 당 목적 비트량을 기준으로 소정의 변동 범위 이내로 들어가도록 부호화를 수행하는 단계를 포함하는 영상 통신 시스템에서의 부호화 방법.
  17. 영상 통신 시스템을 구성하는 송신측 장치에서의 부호화 방법으로서,
    현재 프레임이 장면 전환 프레임인지를 판단하는 단계; 및
    상기 현재 프레임이 장면 전환 프레임이 아닌 것으로 판단된 경우에는 상기 현재 프레임의 영상 전부를 부호화하고, 상기 현재 프레임이 장면 전환 프레임으로 판단된 경우에는 상기 현재 프레임의 영상 일부만을 부호화하는 부호화 단계를 포함하는 영상 통신 시스템에서의 부호화 방법.
KR1020070046854A 2007-02-20 2007-05-15 저지연 영상 통신 시스템 및 방법 KR101371507B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070016922 2007-02-20
KR20070016922 2007-02-20

Publications (2)

Publication Number Publication Date
KR20080077537A true KR20080077537A (ko) 2008-08-25
KR101371507B1 KR101371507B1 (ko) 2014-03-12

Family

ID=39880113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070046854A KR101371507B1 (ko) 2007-02-20 2007-05-15 저지연 영상 통신 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101371507B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112224A1 (ko) * 2017-12-04 2019-06-13 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 데이터 전송 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281217B1 (ko) * 2015-10-30 2021-07-23 에스케이텔레콤 주식회사 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030082794A (ko) * 2002-04-18 2003-10-23 엘지전자 주식회사 비디오 부호화기의 장면전환 검출 방법 및 장치
KR20040046320A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 동영상 부호화 방법
US8514938B2 (en) * 2004-10-07 2013-08-20 Hewlett-Packard Development Company L.P. Picture coding apparatus for a still picture sequence and picture decoding apparatus for a still picture sequence
JP4073444B2 (ja) * 2005-06-08 2008-04-09 三菱電機株式会社 動画像符号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112224A1 (ko) * 2017-12-04 2019-06-13 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 데이터 전송 방법
US11184654B2 (en) 2017-12-04 2021-11-23 Samsung Electronics Co., Ltd. Electronic device and method for transmitting image data of electronic device

Also Published As

Publication number Publication date
KR101371507B1 (ko) 2014-03-12

Similar Documents

Publication Publication Date Title
US8374236B2 (en) Method and apparatus for improving the average image refresh rate in a compressed video bitstream
Chen et al. Recent advances in rate control for video coding
Lee et al. Scalable rate control for MPEG-4 video
KR100329892B1 (ko) 다수의 비디오 프레임 스트림 처리 방법 및 그 장치
US6324217B1 (en) Method and apparatus for producing an information stream having still images
US8311094B2 (en) Buffer underflow prevention
EP2123040B1 (en) An improved video rate control for video coding standards
US7477689B2 (en) Video decoder architecture and method for using same
US6920175B2 (en) Video coding architecture and methods for using same
KR101518358B1 (ko) 비디오 코딩에서 프레임 복잡성, 버퍼 레벨 및 인트라 프레임들의 위치를 이용하는 버퍼 기반의 비율 제어
US20050169370A1 (en) Scalable MPEG video/macro block rate control
US20020122491A1 (en) Video decoder architecture and method for using same
US20080137735A1 (en) Processing Video Signals
EP1867173A2 (en) Content adaptive multimedia processing
US20130251031A1 (en) Method for bit rate control within a scalable video coding system and system therefor
Sun et al. A robust and adaptive rate control algorithm for object-based video coding
WO2006067375A1 (en) Rate control with decoding buffer overflow prevention
KR101371507B1 (ko) 저지연 영상 통신 시스템 및 방법
Shu et al. Frame-skipping transcoding with motion change consideration
KR100923961B1 (ko) 저지연 영상 통신 시스템 및 방법
EP1739970A1 (en) Method for encoding and transmission of real-time video conference data
Overmeire et al. Constant quality video coding using video content analysis
Aliabad et al. No-reference H. 264/AVC statistical multiplexing for DVB-RCS
Heng et al. Multiple-description video coding through adaptive segmentation
KR20070061247A (ko) 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170209

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee