KR101772472B1 - 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법 - Google Patents

적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR101772472B1
KR101772472B1 KR1020170051062A KR20170051062A KR101772472B1 KR 101772472 B1 KR101772472 B1 KR 101772472B1 KR 1020170051062 A KR1020170051062 A KR 1020170051062A KR 20170051062 A KR20170051062 A KR 20170051062A KR 101772472 B1 KR101772472 B1 KR 101772472B1
Authority
KR
South Korea
Prior art keywords
frame
mode
current
compression
compressed
Prior art date
Application number
KR1020170051062A
Other languages
English (en)
Inventor
고성윤
김형준
신상헌
김규형
김준원
곽재섭
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020170051062A priority Critical patent/KR101772472B1/ko
Application granted granted Critical
Publication of KR101772472B1 publication Critical patent/KR101772472B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법이 제공된다. 동영상 압축 방법은 (A) 압축할 동영상의 GOP(Group Of Picture)를 확인하여 현재 슈퍼 프레임의 압축 시 사용할 최종 참조 프레임을 선택하고, 상기 현재 슈퍼 프레임의 압축 모드를 인터 모드 및 인트라 모드 중 하나로 정하는 단계; (B) 상기 GOP를 이루는 R 프레임 및 P 프레임의 압축 모드를 인터 모드로 정하는 단계; (C) 상기 (A) 단계에서 상기 현재 슈퍼 프레임의 압축 모드가 인터 모드로 정해진 경우, 상기 선택된 최종 참조 프레임을 이용하여 상기 현재 슈퍼 프레임을 압축하는 단계; (D) 상기 R 프레임 및 P 프레임을 각각 슈퍼 프레임, 상기 압축된 현재 슈퍼 프레임, 상기 R 프레임 및 상기 R 프레임 이전의 R 프레임 중 적어도 하나를 이용하여 압축하는 단계; 및 (E) 상기 압축된 현재 슈퍼 프레임, R 프레임 및 P 프레임을 동영상 복원 장치로 전송하는 단계;를 포함하며, 상기 GOP는 인터 모드 및 인트라 모드 중 하나로 압축되는 슈퍼 프레임과 인터 모드로 압축되는 R 프레임 및 P 프레임을 포함하되, 상기 동영상의 최초 프레임은 인트라 모드로 압축되는 슈퍼 프레임이다.

Description

적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법{Method and apparatus of compressing and decompressing video using adaptive frame generation scheme}
본 발명은 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법에 관한 것으로서, 보다 상세하게는, 참조 프레임으로 사용되는 프레임의 압축모드를 적응적으로 조정하여 압축 효율을 높일 수 있는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법에 관한 것이다.
압축되지 않은 동영상은 데이터량이 방대하므로 동영상의 효율적인 전송 및 저장을 위한 압축기술 연구가 활발히 진행되고 있다. 특히 압축기술은 대역폭이 제한된 무선통신을 이용한 실시간 영상전송을 위해서 영상화질을 최대한 유지하면서 압축률을 높이는 고효율 압축 기능과, 프레임 별 압축데이터의 비트량을 일정하게 유지하는 기능이 필수적이다.
현재 압축방식은 이산 코사인 변환(DCT: Discrete Cosine Transform)을 채용하는 H.264/MPEG4-part10 AVC, H.265/HEVC 계열과 Wavelet Transform 기반의 JPEG2000 계열, VQ(Vector Quantization)을 이용하는 계열 등으로 분류된다. 이 중 H.264 계열의 압축 방식은 우수한 압축 효율과 기술 성숙도에 의해 널리 적용되고 있다.
H.264 압축 방식은 영상을 인트라 프레임(Intra frame)과 인터 프레임(Inter frame)으로 구분하여 압축한다. 영상을 인트라 프레임과 인터 프레임으로 구분하여 압축할 경우, 시간적 중복성(Temporal Redundancy)을 최대한 이용하여 고효율 압축을 달성할 수 있으나, 무선 전송 시 패킷 손실이 발생하는 상황에서는 다음과 같은 문제점이 발생한다.
먼저, 다른 프레임의 압축 시 사용되는 참조 프레임(즉, 인트라 프레임)의 압축데이터로 구성된 패킷이 전송 경로상에서 손실되어 영상 디코더로 전달이 되지 않을 경우, 참조 프레임뿐만 아니라, 이 참조 프레임을 참조하여 압축된 인터 프레임의 정상적인 복원이 불가능하다. 즉, 참조 프레임에서 발생한 오류가 해당 프레임의 오류 유발에 그치지 않고, 다른 프레임의 오류까지 유발하는 현상을 오류 전파(Error Propagation)라고 하며, 이러한 오류 전파는 새로운 인트라 프레임의 압축이 개시되어야 멈춘다.
또한, 영상 인코더의 압축부의 출력 데이터량이 시간에 따라 고르지 않다. 이는 인트라 프레임의 압축 데이터량과 인터 프레임의 압축 데이터량이 다르기 때문인데, 인트라 프레임의 압축 데이터량이 인터 프레임 대비 10배 ~ 20배 정도 더 많다. 결국 시간적으로 보았을 때, 인트라 프레임이 발생하는 시점마다 다량의 데이터가 전송 대기 상태가 되며, 이는 대역폭이 한정적인 무선 전송 시 인트라 프레임의 전송지연을 야기하고, 시스템의 실시간성을 저하시키는 주요 요인으로 작용한다.
국내 등록특허 제10-0681920호(2007.02.06. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 동영상의 최초 프레임으로 사용되면서 GOP 내에서 첫 프레임으로 사용되는 슈퍼 프레임(또는 기존의 I 프레임)을 인트라 프레임으로 제한하여 압축함으로써 압축 효율과 성능이 저하되는 문제를 해결할 수 있는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 동영상 압축 방법은, (A) 압축할 동영상의 GOP(Group Of Picture)를 확인하여 현재 슈퍼 프레임의 압축 시 사용할 최종 참조 프레임을 선택하고, 상기 현재 슈퍼 프레임의 압축 모드를 인터 모드 및 인트라 모드 중 하나로 정하는 단계; (B) 상기 GOP를 이루는 R 프레임 및 P 프레임의 압축 모드를 인터 모드로 정하는 단계; (C) 상기 (A) 단계에서 상기 현재 슈퍼 프레임의 압축 모드가 인터 모드로 정해진 경우, 상기 선택된 최종 참조 프레임을 이용하여 상기 현재 슈퍼 프레임을 압축하는 단계; (D) 상기 R 프레임 및 P 프레임을 각각 슈퍼 프레임, 상기 R 프레임 및 상기 R 프레임 이전의 R 프레임 중 적어도 하나를 이용하여 압축하는 단계; 및 (E) 상기 압축된 현재 슈퍼 프레임, R 프레임 및 P 프레임을 동영상 복원 장치로 전송하는 단계;를 포함하며, 상기 GOP는 인터 모드 및 인트라 모드 중 하나로 압축되는 슈퍼 프레임과 인터 모드로 압축되는 R 프레임 및 P 프레임을 포함하되, 상기 동영상의 최초 프레임은 인트라 모드로 압축되는 슈퍼 프레임이다.
상기 (E) 단계 이후, (F) 상기 동영상 복원 장치로부터 정상 복원된 프레임의 인덱스 정보를 정해진 시간 간격마다 수신하여 참조 정보 테이블을 갱신하는 단계;를 더 포함하며, 상기 (A) 단계는, (A1) 상기 갱신된 참조 정보 테이블에서 상기 현재 슈퍼 프레임 바로 이전의 슈퍼 프레임, 바로 이전의 R 프레임 및 바로 이전의 P 프레임을 확인하여 후보 참조 프레임들로서 선택하는 단계; (A2) 상기 선택된 후보 참조 프레임들과 상기 현재 슈퍼 프레임을 비교하여 상기 최종 참조 프레임을 선택하는 단계; 및 (A3) 상기 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정하는 단계;를 포함한다.
상기 (A3) 단계는, 상기 동영상 복원 장치로부터 상기 정해진 시간 간격이 초과한 이후에도 상기 복원된 프레임 인덱스 정보가 수신되지 않으면, 상기 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정한다.
상기 (A3) 단계는, 상기 현재 슈퍼 프레임을 인터 모드로 압축할 경우의 효용성이 인트라 모드로 압축할 경우의 효용성보다 적을 경우, 상기 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정하며, 상기 효용성은 상기 현재 슈퍼 프레임을 상기 참조 프레임으로 압축할 경우 예상되는 품질값(PSNR: Peak Signal-to-Noise Ratio) 및 상기 현재 슈퍼 프레임을 상기 참조 프레임으로 압축할 경우 발생할 압축 데이터의 크기 추정값 중 하나를 이용하여 산출된다.
상기 (A3) 단계는, 상기 현재 슈퍼 프레임과 상기 현재 슈퍼 프레임 이전 프레임 간의 화면 전환율이 상기 현재 슈퍼 프레임 이전의 n(n은 2이상의 정수)개 프레임들 간의 화면 전환율 평균보다 클 경우, 상기 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정한다.
상기 (A) 단계는, (A4) 상기 슈퍼 프레임의 바로 이전 슈퍼 프레임 및 바로 이전 R 프레임을 후보 참조 프레임들로서 선택하는 단계; (A5) 상기 선택된 후보 참조 프레임들과 상기 현재 슈퍼 프레임을 비교하여 상기 최종 참조 프레임을 선택하는 단계; 및 (A6) 상기 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정하는 단계;를 포함한다.
상기 (E) 단계는, 상기 현재 슈퍼 프레임 전송 시 전송 에러에 강인하도록 상기 현재 슈퍼 프레임이 상기 P 프레임 대비 낮은 FEC 코드율(Forward Error Correction Coding Rate)을 갖도록 조절하여 상기 현재 슈퍼 프레임의 전송 QoS를 높여 전송하거나, 상기 현재 슈퍼 프레임을 반복 전송하여 Redundancy를 추가한다.
(G) 상기 (A) 단계에서 상기 현재 슈퍼 프레임의 압축 모드가 인트라 모드로 정해진 경우, 상기 현재 슈퍼 프레임 내의 블록을 이용하여 상기 현재 슈퍼 프레임을 인트라 모드로 압축하는 단계;를 더 포함하며, 상기 (D) 단계에서, 상기 압축된 현재 슈퍼 프레임은 인터 모드 및 인트라 모드 중 하나로 압축된 프레임이다.
한편, 본 발명의 다른 실시 예에 따르면, (A) 동영상 압축 장치로부터 수신된 압축 데이터를 파싱하여 프레임 단위로 출력하는 단계; (B) 상기 (A) 단계에서 출력되는 프레임이 슈퍼 프레임이면, 상기 슈퍼 프레임의 압축 모드를 확인하는 단계; (C) 상기 슈퍼 프레임의 압축 모드가 인터 모드인 경우, 상기 동영상 압축 장치에서 인터 모드로 압축 시 사용한 최종 참조 프레임을 이용하여 상기 슈퍼 프레임을 복원하는 단계; (D) 상기 슈퍼 프레임의 압축 모드가 인트라 모드인 경우, 상기 슈퍼 프레임 내의 블록을 이용하여 상기 슈퍼 프레임을 복원하는 단계; (E) 상기 (A) 단계에서 출력되는 프레임이 R 프레임 및 P 프레임이면, 상기 R 프레임 및 P 프레임 압축 시 사용한 참조 프레임을 이용하여 상기 R 프레임 및 P 프레임을 복원하는 단계; (F) 상기 (C) 단계 내지 (E) 단계에서 정상 복원된 프레임의 인덱스 정보를 참조 정보로서 상기 동영상 압축 장치로 정해진 시간 간격마다 전송하는 단계;를 포함하며, 상기 동영상 압축 장치는 상기 (F) 단계에 의해 수신되는 참조 정보를 이용하여 참조 정보 테이블을 갱신하고, 상기 갱신된 참조 정보 테이블 내에서 상기 슈퍼 프레임이 참조할 상기 최종 참조 프레임을 선택한다.
한편, 본 발명의 다른 실시 예에 따르면, 압축할 동영상의 GOP(Group Of Picture)를 확인하여 현재 슈퍼 프레임의 압축 시 사용할 최종 참조 프레임을 선택하고, 상기 현재 슈퍼 프레임의 압축 모드를 인터 모드 및 인트라 모드 중 하나로 정하며, 상기 GOP를 이루는 R 프레임 및 P 프레임의 압축 모드를 인터 모드로 정하는 적응적 압축 모드 제어부; 상기 적응적 압축 모드 제어부에서 상기 현재 슈퍼 프레임의 압축 모드가 인터 모드로 정해진 경우, 상기 선택된 최종 참조 프레임을 이용하여 상기 현재 슈퍼 프레임을 압축하는 슈퍼 프레임 인코딩부; 상기 R 프레임 및 P 프레임을 각각 슈퍼 프레임, 상기 압축된 현재 슈퍼 프레임, 상기 R 프레임 및 상기 R 프레임 이전의 R 프레임 중 적어도 하나를 이용하여 압축하는 R/P 프레임 인코딩부; 및 상기 압축된 현재 슈퍼 프레임, R 프레임 및 P 프레임을 동영상 복원 장치로 전송하는 압축 통신부;를 포함하며, 상기 GOP는 인터 모드 및 인트라 모드 중 하나로 압축되는 슈퍼 프레임과 인터 모드로 압축되는 R 프레임 및 P 프레임을 포함하되, 상기 동영상의 최초 프레임은 인트라 모드로 압축되는 슈퍼 프레임이다.
상기 적응적 압축 모드 제어부는, 상기 동영상 복원 장치로부터 정상 복원된 프레임 인덱스 정보가 정해진 시간 간격마다 수신되면, 상기 수신된 정상 복원된 프레임 인덱스 정보로 참조 정보 테이블을 갱신하여 저장하는 테이블 갱신부; 상기 갱신된 참조 정보 테이블에서 상기 현재 슈퍼 프레임 바로 이전의 슈퍼 프레임, 바로 이전의 R 프레임 및 바로 이전의 P 프레임을 확인하여 후보 참조 프레임들로서 선택하는 후보 참조 프레임 선택부; 상기 선택된 후보 참조 프레임들과 상기 현재 슈퍼 프레임을 비교하여 상기 최종 참조 프레임을 선택하는 최종 참조 프레임 선택부; 및 상기 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정하는 적응적 압축 모드 결정부;를 포함한다.
상기 적응적 압축 모드 제어부는, 상기 슈퍼 프레임의 바로 이전 슈퍼 프레임 및 바로 이전 R 프레임을 후보 참조 프레임들로서 선택하는 후보 참조 프레임 선택부; 상기 선택된 후보 참조 프레임들과 상기 현재 슈퍼 프레임을 비교하여 상기 최종 참조 프레임을 선택하는 최종 참조 프레임 선택부; 및 상기 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정하는 적응적 압축 모드 결정부;를 포함한다.
상기 현재 슈퍼 프레임이 상기 P 프레임 대비 낮은 FEC 코드율(Forward Error Correction Coding Rate)을 갖도록 조절하여 상기 현재 슈퍼 프레임의 전송 QoS를 높이는 FEC 인코더;를 더 포함하며, 상기 압축 통신부는, 상기 현재 슈퍼 프레임 전송 시 전송 에러에 강인하도록 상기 현재 슈퍼 프레임을 반복 전송하여 Redundancy를 추가하거나 선택적으로 상기 FEC 코드율이 조절된 현재 슈퍼 프레임을 전송한다.
한편, 본 발명의 다른 실시 예에 따르면, 동영상 압축 장치로부터 수신된 압축 데이터를 파싱하여 프레임 단위로 출력하는 파싱부; 상기 파싱부에서 출력되는 프레임이 슈퍼 프레임인 경우, 상기 슈퍼 프레임의 압축 모드가 인터 모드이면, 상기 동영상 압축 장치에서 인터 모드로 압축 시 사용한 최종 참조 프레임을 이용하여 상기 슈퍼 프레임을 복원하고, 상기 슈퍼 프레임의 압축 모드가 인트라 모드이면, 상기 슈퍼 프레임 내의 블록을 이용하여 상기 슈퍼 프레임을 복원하는 슈퍼 프레임 디코딩부; 상기 파싱부에서 출력되는 프레임 R 프레임 및 P 프레임이면, 상기 R 프레임 및 P 프레임 압축 시 사용한 참조 프레임을 이용하여 상기 R 프레임 및 P 프레임을 복원하는 R/P 프레임 디코딩부; 및 상기 슈퍼 프레임 디코딩부 및 상기 R/P 프레임 디코딩부에서 정상 복원된 프레임의 인덱스 정보를 참조 정보로서 상기 동영상 압축 장치로 정해진 시간 간격마다 전송하는 복원 통신부;를 포함하며, 상기 동영상 압축 장치는 상기 복원 통신부로부터 수신되는 참조 정보를 이용하여 참조 정보 테이블을 갱신하고, 상기 갱신된 참조 정보 테이블 내에서 상기 슈퍼 프레임이 참조할 상기 최종 참조 프레임을 선택한다.
본 발명에 따르면, 동영상의 최초 프레임으로 사용되면서 GOP 내에서 첫 프레임으로 사용되며, 다른 프레임들의 참조 프레임으로서 사용되는 슈퍼 프레임을 인터 모드 및 인트라 모드 중 하나로 적응적으로 압축함으로써 압축 효율과 성능을 향상시킬 수 있다.
또한, 본 발명에 따르면, 참조 프레임으로 사용가능한 슈퍼 프레임을 인트라 모드에 한정하지 않고 인터 모드로도 압축함으로써 압축 데이터량을 감소시키고 이로써 시스템의 실시간성을 향상시킬 수 있다.
또한, 본 발명에 따르면, 정상적으로 복원된 프레임을 참조하여 프레임을 압축함으로써 전송 오류의 문제점, 오류 전파 등과 관련된 압축 성능을 높일 수 있다.
또한, 본 발명에 따르면 슈퍼 프레임의 FEC 코드율을 다른 프레임 대비 낮게 설정하거나, 모든 프레임의 참조 프레임으로 사용가능한 슈퍼 프레임을 중복 전송함으로써 전송 에러에 강인하도록 하여, 참조 프레임의 정상적인 복원 및 이에 따른 다른 프레임의 정상 복원 효율도 높일 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치를 도시한 블록도,
도 2는 본 발명의 실시 예에 따른 적응적 압축 모드 제어부를 구체적으로 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 참조 정보 테이블의 일 예를 도시한 도면,
도 4는 적응적 압축 모드 제어부에 의해 각 프레임의 압축 모드와 참조 프레임이 생성된 일 예를 보여주는 도면,
도 5는 FEC 인코더에서 슈퍼 프레임 전송 시 전송 에러에 강인하도록 FEC 코드율을 조절한 일 예를 보여주는 도면,
도 6은 압축 통신부에서 슈퍼 프레임을 반복 전송하는 일 예를 보여주는 도면,
도 7은 본 발명의 실시 예에 따른 적응적으로 적용된 프레임 압축 모드를 이용한 동영상 복원 장치를 도시한 블록도,
도 8은 본 발명의 실시 예에 의한 동영상 압축 장치의 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법을 도시한 흐름도,
도 9는 S820단계를 보다 자세히 도시한 흐름도, 그리고,
도 10은 본 발명의 실시 예에 따른 동영상 복원 장치의 적응적으로 적용된 프레임 압축 모드를 이용한 동영상 복원 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리 CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 두라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1, 도 2 및 도 7에 도시된 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치(100) 및 동영상 복원 장치(700)의 각각의 구성은 기능 및 논리적으로 분리될 수 있으며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치(100) 및 동영상 복원 장치(700)는 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.
한편, 본 발명의 실시 예에서는 현재 압축할 프레임 즉, 현재 프레임을 압축하는 모드로서 인터 모드와 인트라 모드를 사용할 수 있다.
인터 모드는 현재 프레임 이전의 프레임을 참조하여, 현재 프레임 중 추정 블록과 유사도가 가장 큰 최근접 블록을 이전 프레임에서 찾고(Motion Estimation), 추정 블록과 최근접 블록 간의 차이값을 인코딩하여 압축하는 방식이다. 인터 모드의 구체적인 인코딩 방법은 기존의 인터 프레임을 인코딩하는 방식을 사용할 수 있다.
인트라 모드는 현재 프레임의 추정 블록의 최근접 블록을 현재 프레임에서 찾고, 추정 블록과 최근접 블록의 차이값을 인코딩하여 압축하는 방식이다. 인트라 모드의 구체적인 인코딩 방법은 기존의 인트라 프레임을 인코딩하는 방식을 사용할 수 있다.
또한, 본 발명의 실시 예에 따르면, 압축할 동영상의 GOP(Group Of Picture)는 인터 모드 및 인트라 모드 중 하나로 적응적으로 압축되는 슈퍼 프레임과, 인터 모드로 압축되는 R 프레임 및 P 프레임을 포함하며, 동영상의 최초 프레임은 인트라 모드로 압축되는 슈퍼 프레임인 것을 특징으로 한다. 즉, 동영상의 최초 슈퍼 프레임은 인트라 모드로 압축된다.
또한, 슈퍼 프레임은 자신의 프레임, 이전 및 이후의 R 프레임 및 이전 및 이후의 P 프레임의 참조 프레임으로도 사용가능하며, R 프레임은 이전 및 이후 R 프레임, 이전 및 이후 P 프레임 및 이전 및 이후 슈퍼 프레임의 참조 프레임으로도 사용가능하다. 즉, 슈퍼 프레임은 자신의 프레임 또는 R프레임을 참조 프레임으로 사용하여 압축가능하며, R 프레임과 P 프레임은 이전/이후 슈퍼 프레임 또는 이전/이후 R 프레임을 참조하여 압축가능한 프레임이다. '이전' 또는 '이후'는 압축할 현재 프레임을 기준으로 한다.
슈퍼 프레임, R 프레임 및 P 프레임은 기존의 I 프레임, P 프레임 및 B 프레임과 유사한 점도 있으나, 슈퍼 프레임이 본 발명에서 제안하는 규칙에 따라 인터 모드 및 인트라 모드 중 하나로 압축된다는 점에서 가장 큰 차이가 있다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명의 실시 예에 의한 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치(100)를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 의한 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치(100)는 적응적 압축 모드 제어부(110), 슈퍼 프레임 인코딩부(120), R/P 프레임 인코딩부(130), 엔트로피 코딩부(140), NAL 생성부(150), 패킷 생성부(160), FEC 인코더(170), 압축 통신부(180) 및 테이블 저장부(190)를 포함한다.
적응적 압축 모드 제어부(110)는 압축할 동영상의 GOP를 확인하여 현재 압축할 슈퍼 프레임(이하, '현재 슈퍼 프레임'이라 함)의 압축 시 사용할 최종 참조 프레임을 선택할 수 있다. 그리고, 적응적 압축 모드 제어부(110)는 현재 슈퍼 프레임의 압축 모드를 인터 모드 및 인트라 모드 중 하나로 정하며, R 프레임 및 P 프레임의 압축 모드를 인터 모드로 정할 수 있다.
적응적 압축 모드 제어부(110)의 구체적인 동작은 도 2를 참조하여 설명한다.
도 2는 본 발명의 실시 예에 따른 적응적 압축 모드 제어부(110)를 구체적으로 도시한 블록도이다.
도 2를 참조하면, 적응적 압축 모드 제어부(110)는 테이블 갱신부(111), GOP 확인부(112), 후보 참조 프레임 선택부(113), 최종 참조 프레임 선택부(114), 적응적 압축 모드 결정부(115) 및 압축 제어부(116)를 포함할 수 있다.
테이블 갱신부(111)는 동영상 복원 장치(700)로부터 정상 복원된 프레임의 인덱스 정보가 정해진 시간 간격마다 수신되면, 수신된 정상 복원된 프레임의 인덱스 정보로 참조 정보 테이블을 갱신하여 테이블 저장부(190)에 저장할 수 있다.
자세히 설명하면, 후술할 압축 통신부(180)가 압축된 영상 데이터를 동영상 복원 장치(700)로 전송하면, 동영상 복원 장치(700)는 수신된 영상 데이터를 복원한다. 그리고, 동영상 복원 장치(700)는 정상적으로 복원된 프레임의 인덱스 정보를 참조 정보로서 동영상 압축 장치(100)로 피드백할 수 있다. 정상 복원된 프레임은 슈퍼 프레임, R 프레임 및 P 프레임 중 적어도 하나를 포함한다.
도 3은 본 발명의 실시 예에 따른 참조 정보 테이블의 일 예를 도시한 도면이다.
도 3을 참조하면, 참조 정보 테이블은 정상 복원된 프레임의 인덱스, 정상 복원된 프레임의 종류, SAD 계산값 및 프레임의 메모리 시작 주소에 대한 정보를 포함한다.
정상 복원된 프레임의 인덱스와 종류는 동영상 복원 장치(700)로부터 전송된 정보로서, 현 시점 기준 정해진 시간 이내에 복원된 프레임의 정보이다.
SAD 계산값은 후술할 최종 참조 프레임 선택부(114)에서 현재 슈퍼 프레임과 후보 참조 프레임들에 대해 산출된 SAD값이다.
프레임의 메모리 시작 주소는 동영상 압축 장치(100)에서 생성되어 관리되는 '복원된 영상 버퍼(DPB: Decoded Picture Buffer)(미도시)' 내에서 해당 프레임에 해당하는 복원 영상 정보가 저장되어 있는 메모리의 시작 주소이다. 프레임의 메모리 시작 주소는 테이블 갱신부(111)가 DPB를 확인하여 참조 정보 테이블에 기록할 수 있다.
GOP 확인부(112)는 압축할 동영상의 GOP를 확인하여 슈퍼 프레임, R 프레임 및 P 프레임의 패턴을 확인한다.
GOP 확인부(112)의 확인 결과 현재 압축해야 할 프레임이 슈퍼 프레임인 경우, 후보 참조 프레임 선택부(113)는 가장 최근에 갱신된 참조 정보 테이블 내에서 현재 슈퍼 프레임을 인터 모드로 압축 시 사용할 후보 참조 프레임들을 선택할 수 있다.
후보 참조 프레임 선택부(113)는 참조 정보 테이블 내에서 현재 슈퍼 프레임 바로 이전의 슈퍼 프레임, 바로 이전의 R 프레임 및 바로 이전의 P 프레임을 후보 참조 프레임들로서 선택할 수 있다.
최종 참조 프레임 선택부(114)는 선택된 후보 참조 프레임들과 현재 슈퍼 프레임을 비교하여 유사도가 가장 큰 후보 참조 프레임을 최종 참조 프레임으로서 선택할 수 있다. 예를 들어, 최종 참조 프레임 선택부(114)는 각 후보 참조 프레임에 대해서, 현재 압축하고자 하는 현재 슈퍼 프레임과 Pixel-by-Pixel로 SAD(Sum of Absolute Difference)를 산출하고, 산출된 SAD를 참조 정보 테이블에 저장한다.
모든 후보 참조 프레임들에 대해 SAD가 산출되면, 최종 참조 프레임 선택부(114)는 가장 작은 SAD를 갖는 후보 참조 프레임을 최종 참조 프레임으로 선택한다. 다만, 여기서 최종 참조 프레임이 선택되어도, 현재 슈퍼 프레임을 인터 모드로 압축하는 것을 의미하지는 않는다. 즉, 적응적 압축 모드 결정부(115)에서 인터 모드 또는 인트라 모드 결정 규칙에 따라 압축 모드가 결정되면, 최종 참조 프레임의 사용 여부도 정해진다.
최종 참조 프레임 선택부(114)는 압축하기 위한 프레임과 픽셀값이 가장 가까운 프레임을 참조 프레임으로 선택하여 압축 효율을 높이기 위해 SAD를 이용하며, SAD 뿐만 아니라 영상 압축에서 일반적으로 사용되는 RDO(Rate-Distortion Optimization) 방식을 사용할 수도 있다.
최종 참조 프레임이 선택되면, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정한다.
첫째 규칙으로, 적응적 압축 모드 결정부(115)는 압축할 동영상의 최초 슈퍼 프레임은 인트라 모드로 압축하도록 결정한다. 따라서, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임 내의 추정 블록과 현재 슈퍼 프레임 내의 최근접 블록을 이용하여 현재 슈퍼 프레임을 인트라 모드로 압축하도록 슈퍼 프레임 인코딩부(120)를 제어한다.
둘째 규칙으로, 적응적 압축 모드 결정부(115)는, 정해진 시간 간격이 초과한 이후에도 동영상 복원 장치(700)로부터 복원된 프레임 인덱스 정보가 수신되지 않으면, 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정할 수 있다. 예를 들어, 적응적 압축 모드 결정부(115)는 참조 정보 테이블의 갱신 시점이 기준시간 이상 이전일 경우, 현재 슈퍼 프레임이 인트라 모드로 압축되도록 한다. 기준시간은 예를 들어 설정된 GOP에 해당하는 시간 또는 0.5GOP에 해당하는 시간 구간일 수 있다.
셋째 규칙으로, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임을 인터 모드로 압축할 경우의 효용성이 인트라 모드로 압축할 경우의 효용성보다 적을 경우, 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정할 수 있다. 이 때, 효용성의 기준은 현재 슈퍼 프레임을 참조 프레임으로 압축할 경우 예상되는 품질값(PSNR: Peak Signal-to-Noise Ratio) 및 현재 슈퍼 프레임을 참조 프레임으로 압축할 경우 발생할 압축 데이터의 크기 추정값 중 하나를 이용하여 정해질 수 있다.
먼저, 품질값을 이용하는 경우, 적응적 압축 모드 결정부(115)는 [수학식 1]을 참조하여 압축 모드를 정한다.
Figure 112017038863550-pat00001
[수학식 1]에서, 압축할 현재 슈퍼 프레임을 최종 참조 프레임으로 압축할 경우 예상되는 품질값이, 이전 5개의 슈퍼 프레임들의 평균 품질값보다 20% 이하로 낮을 경우, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정할 수 있다. [수학식 1]에서 0.8, 20, 5라는 수는 일 예로서 이에 한정되지 않는다.
다음, 압축 데이터의 크기 추정값을 이용하는 경우, 적응적 압축 모드 결정부(115)는 [수학식 2]를 참조하여 압축 모드를 정할 수 있다.
Figure 112017038863550-pat00002
[수학식 2]에서, 현재 슈퍼 프레임을 최종 참조 프레임을 이용하여 압축할 경우 발생할 압축 데이터의 크기(Byte Length) 추정값이, 현재 슈퍼 프레임을 인트라 모드로 압축할 경우 발생할 압축 데이터의 크기 추정값의 절반 이상일 경우, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정할 수 있다. [수학식 2]에서 0.5는 일 예로서 이에 한정되지 않는다.
넷째 규칙으로, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임과 현재 슈퍼 프레임 이전 프레임 간의 화면 전환율이, 현재 슈퍼 프레임 이전의 n(n은 2이상의 정수)개 프레임들 간의 화면 전환율 평균보다 정해진 기준 이상 클 경우, 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정할 수 있다. 정해진 기준은 예를 들어, 15%를 들 수 있으나, 이 역시 이에 한정되지 않음은 물론이다.
적응적 압축 모드 결정부(115)는 상술한 네 가지 규칙을 참조하여 현재 슈퍼 프레임을 인터 모드로 압축할지 또는 인트라 모드로 압축할지 정하고, 인터 모드로 정해진 경우, 최종 참조 프레임을 사용하도록 슈퍼 프레임 인코딩부(120)를 제어한다.
또한, 적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임의 압축 모드가 인트라 모드로 정해지면 현재 슈퍼 프레임을 이용하여 압축하도록 슈퍼 프레임 인코딩부(120)를 제어할 수 있다.
한편, 압축 제어부(116)는 R 프레임 및 P 프레임이 인터 모드로 압축할 때 참조할 참조 프레임을 결정한다. R 프레임 및 P 프레임이 참조할 참조 프레임은 이전 슈퍼 프레임, 이전 R 프레임, 이후 슈퍼 프레임 또는 이후 R 프레임에서 정해질 수 있다. 따라서, 본 발명의 실시 예에서는 이전 슈퍼 프레임과 이전 R 프레임 중 참조 프레임을 선택하는 경우를 예로 들어 설명하고 있으나, 이후 프레임에서도 참조 프레임을 선택할 수 있다.
또한, 압축 제어부(116)는 슈퍼 프레임 인코딩부(120)와 R/P 프레임 인코딩부(130)에 적용될 양자화 레벨, 압축 시 율제어(Rate Control) 등 기존의 압축을 위한 처리를 담당할 수 있다.
도 4는 적응적 압축 모드 제어부(110)에 의해 각 프레임의 압축 모드와 참조 프레임이 생성된 일 예를 보여주는 도면이다.
도 4를 참조하면, 하나의 GOP는 SPPRPPS의 패턴으로 프레임이 배열되어 있으며, 최초 프레임은 슈퍼 프레임(S)임을 알 수 있다. 또한, 도 4에서 화살표 방향은 각 프레임이 참조하는 참조 프레임을 나타낸다. 따라서, 최초 슈퍼 프레임은 인트라 모드로 압축되고, 이후의 슈퍼 프레임, R 프레임 및 P 프레임은 상술한 규칙들에 의해 인터 모드로 압축된다. 예를 들어, 첫 번째와 두 번째 P 프레임은 최초 슈퍼 프레임을 참조 프레임으로 이용하여 압축되고, 첫 번째 R 프레임도 최초 슈퍼 프레임을 참조 프레임으로 이용하여 압축된다.
다시 도 1을 참조하면, 슈퍼 프레임 인코딩부(120)는 적응적 압축 모드 제어부(110)에서 현재 슈퍼 프레임의 압축 모드가 인터 모드로 정해진 경우, 선택된 최종 참조 프레임을 이용하여 현재 슈퍼 프레임을 인터 모드로 압축할 수 있다.
또한, 슈퍼 프레임 인코딩부(120)는 적응적 압축 모드 제어부(110)에서 현재 슈퍼 프레임의 압축 모드가 인트라 모드로 정해진 경우, 현재 슈퍼 프레임 내의 추정 블록과 현재 슈퍼 프레임 내의 최근접 블록을 이용하여 현재 슈퍼 프레임을 인트라 모드로 압축할 수 있다.
슈퍼 프레임 인코딩부(120)는 입력되는 현재 슈퍼 프레임에 대해 DCT 변환 및 양자화, 역변환 및 역양자화, 디블록킹 필터링, 움직임 추정 및 보상 등 기존의 인코딩 과정을 포함하여 현재 슈퍼 프레임을 인코딩할 수 있다.
R/P 프레임 인코딩부(130)는 R 프레임 및 P 프레임을 인터 모드로 압축하되, 각각 압축된 이전 슈퍼 프레임, R 프레임 및 R 프레임 이전의 R 프레임 중 적어도 하나를 이용하여 압축할 수 있다.
예를 들어, R/P 프레임 인코딩부(130)는 현재 R 프레임 이전의 R 프레임 및 이전의 슈퍼 프레임 중 적어도 하나를 이용하여 현재 R 프레임을 압축하고, 현재 P 프레임 이전의 R 프레임 및 이전의 슈퍼 프레임 중 하나를 이용하여 현재 P 프레임을 압축할 수 있다. 이는 일 예로서, 순방향 예측 또는 역방향 예측에 따라 현재 프레임 이후의 슈퍼 프레임이나 R 프레임을 적응적으로 이용할 수도 있음은 물론이며, 압축에 사용되는 참조 프레임은 적응적 압축 모드 제어부(110)에서 결정될 수 있다.
R/P 프레임 인코딩부(130)는 입력되는 R 프레임 및 P 프레임에 대해 DCT 변환 및 양자화, 역변환 및 역양자화, 디블록킹 필터링, 움직임 추정 및 보상 둥 기존의 인코딩 과정을 포함하여 현재 슈퍼 프레임을 인코딩할 수 있다.
엔트로피 코딩부(140)는 슈퍼 프레임 인코딩부(120) 및 R/P 프레임 인코딩부(130)에서 양자화된 값을 직렬화한 후, CAVLC(Context-Adaptive Variable Length Coding) 기술 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기술을 이용하여 bit율을 낮춘다. 상기 '양자화된 값'은 예를 들어 현재 슈퍼 프레임 중 현재 압축하고자 하는 추정 블록과, 추정 블록의 데이터와 가장 유사한 최근접 블록 간의 차이값을 DCT 변환 및 양자화한 값이다.
NAL(Network Abstraction Layer) 생성부(150)는 비트율이 조절된 압축 영상 데이터를 통신망의 특성에 따라 전송가능하도록 헤더 정보를 제공하거나 데이터를 포맷할 수 있다.
패킷 생성부(160)는 NAL 생성부(150)에 의해 통신망 규격에 맞춰 포맷된 압축 영상 데이터를 일련의 패킷으로 생성한다.
FEC 인코더(170)는 패킷 생성부(160)에서 생성된 패킷 중 현재 슈퍼 프레임에 해당하는 패킷들, 즉, 현재 슈퍼 프레임이 P 프레임 대비 낮은 FEC 코드율(Forward Error Correction Coding Rate)을 갖도록 조절할 수 있다. 이는 현재 슈퍼 프레임의 전송 QoS를 높임으로써 현재 슈퍼 프레임을 전송할 때 전송 에러에 강인하도록 하기 위함이다.
도 5는 FEC 인코더(170)에서 슈퍼 프레임 전송 시 전송 에러에 강인하도록 FEC 코드율을 조절한 일 예를 보여주는 도면이다.
도 5를 참조하면, 슈퍼 프레임(SN, SN + 1)은 무선 전송 시 순방향 에러 정정 코딩(FEC)을 사용하여 오류 복구가 가능하도록 전송될 수 있다. 이 때, FEC 인코더(170)는 슈퍼 프레임과 R 프레임의 FEC 코드율 1/2을 사용하여 P 프레임 대비 강인한 오류 정정 기능을 갖도록 설정할 수 있다. 여기서, 1/2은 P 프레임의 코드율 3/4보다 낮은 수치를 보여주기 위해 사용된 예로서, 이에 한정되지 않는다.
한편, 도 1의 압축 통신부(180)는 압축되어 FEC 코드율이 조절된 현재 슈퍼 프레임, 압축된 R 프레임 및 압축된 P 프레임을 동영상 복원 장치(700)로 전송한다.
또한, 압축 통신부(180)는 슈퍼 프레임 전송 시 전송 에러에 강인하도록 도 6에 도시된 바와 같이 슈퍼 프레임(S2)을 2회 반복 전송하여 Redundancy를 추가할 수 있다. 슈퍼 프레임은 모든 종류의 프레임에 대해 참조 프레임의 역할을 할 수 있으므로, 2회 이상 반복 전송하는 경우, 동영상 복원 장치(700)는 슈퍼 프레임을 이용하여 영상 복원 시 오류 전파 등 전송 에러에 강인하게 동작할 수 있다.
또한, 압축 통신부(180)는 동영상 복원 장치(700)로부터 정상 복원된 프레임의 인덱스와 프레임 종류 정보를 참조 정보로서 정해진 시간 간격마다 수신할 수 있다.
테이블 갱신부(111)는 수신된 참조 정보를 이용하여 참조 정보 테이블을 갱신한다.
도 7은 본 발명의 실시 예에 따른 적응적으로 적용된 프레임 압축 모드를 이용한 동영상 복원 장치(700)를 도시한 블록도이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 동영상 복원 장치(700)는 복원 통신부(710), FEC 디코더(720), 패킷 파싱부(730), NAL 처리부(740), 엔트로피 디코딩부(750), R/P 프레임 디코딩부(760), 슈퍼 프레임 디코딩부(770) 및 프레임 디코딩 분석부(780)를 포함한다.
복원 통신부(710)는 동영상 압축 장치(100)로부터 압축 영상을 수신한다.
FEC 디코더(720)는 수신된 압축 영상을 FEC 디코딩하여 FEC 코드율을 확인한다.
패킷 파싱부(730)는 FEC 디코딩된 압축 영상을 파싱하여 파싱된 프레임의 종류를 확인하고, 프레임 단위로 출력할 수 있다. 즉, 패킷 파싱부(730)는 현재 파싱된 프레임이 슈퍼 프레임인지 R 프레임인지 P 프레임인지 확인한다.
NAL 처리부(740)는 파싱된 압축 영상의 포맷 또는 헤더 정보를 확인하여 처리할 수 있다.
엔트로피 디코딩부(750)는 NAL 처리부(740)에서 처리된 압축 영상에 대해 엔트로피 디코딩을 수행하고, R 프레임과 P 프레임은 R/P 프레임 디코딩부(760)로 전달하고, 슈퍼 프레임은 슈퍼 프레임 디코딩부(770)로 전달한다.
R/P 프레임 디코딩부(760)는 입력되는 프레임이 R 프레임 또는 P 프레임이면, 동영상 압축 장치(100)에서 R 프레임 또는 P 프레임 압축 시 사용한 참조 프레임을 이용하여 R 프레임 또는 P 프레임을 복원할 수 있다.
슈퍼 프레임 디코딩부(770)는 입력되는 프레임이 슈퍼 프레임인 경우, 슈퍼 프레임이 인터 모드로 압축되었으면, 동영상 압축 장치(100)에서 인터 모드로 압축 시 사용한 최종 참조 프레임을 이용하여 슈퍼 프레임을 복원할 수 있다. 또한, 슈퍼 프레임의 압축 모드가 인트라 모드이면, 슈퍼 프레임 디코딩부(770)는 슈퍼 프레임 내의 블록을 이용하여 슈퍼 프레임을 복원할 수 있다.
R/P 프레임 디코딩부(760)와 슈퍼 프레임 디코딩부(770)의 디코딩 결과, 즉, 정상 복원된 프레임의 인텍스 정보와 프레임 종류는 메모리(미도시)에 저장된다.
프레임 디코딩 분석부(780)는 수신한 압축 영상의 디코딩 시 각 프레임이 오류없이 정상복원되었는지 분석하고, 메모리를 확인하여 정상 복원된 프레임의 인덱스 정보와 프레임 종류를 참조 정보로서 동영상 압축 장치(100)로 통보하도록 한다.
따라서, 복원 통신부(710)는 정상 복원된 프레임의 인덱스 정보와 프레임 종류를 참조 정보로서 동영상 압축 장치(100)로 정해진 시간 간격마다 전송한다.
동영상 압축 장치(100)는 복원 통신부(710)로부터 수신되는 참조 정보를 이용하여 참조 정보 테이블을 갱신하고, 갱신된 참조 정보 테이블 내에서 현재 슈퍼 프레임이 참조할 최종 참조 프레임을 선택할 수 있다.
한편, 상술한 실시 예에서는, 동영상 복원 장치(700)로부터 참조 정보를 수신하여 갱신하고, 참조 정보를 참조하여 슈퍼 프레임과 R/P 프레임의 참조 프레임을 선택하는 실시 예에 대해 설명하였다.
이와는 달리, 본 발명의 다른 실시 예에서는, 동영상 복원 장치(700)로부터 참조 정보를 수신하지 않을 경우에도 슈퍼 프레임이 참조할 최종 참조 프레임과 R 프레임 및 P 프레임이 참조할 참조 프레임을 선택할 수 있다.
즉, 동영상 복원 장치(700)로부터 참조 정보를 수신하지 않을 경우, 도 2의 후보 참조 프레임 선택부(113)는 현재 슈퍼 프레임의 바로 이전 슈퍼 프레임 및 바로 이전 R 프레임을 후보 참조 프레임들로서 선택할 수 있다.
최종 참조 프레임 선택부(114)는 선택된 후보 참조 프레임들과 현재 슈퍼 프레임을 비교(SAD 또는 RDO)하여 최종 참조 프레임을 선택할 수 있다.
적응적 압축 모드 결정부(115)는 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정할 수 있다. 이 때, 적응적 압축 모드 결정부(115)가 참조하는 규칙은 도 2를 참조하여 상술한 4가지 규칙 중 둘째 규칙을 제외한 나머지 규칙이 다.
도 8은 본 발명의 실시 예에 의한 동영상 압축 장치의 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법을 도시한 흐름도이다.
도 8의 동영상 압축 방법을 위한 동영상 압축 장치는 도 1 내지 도 6을 참조하여 설명한 동영상 압축 장치(100)일 수 있다. 따라서, 동영상 압축 방법의 구체적인 설명은 생략한다.
도 8을 참조하면, 동영상 압축 장치는 압축할 동영상의 GOP를 확인하여 현재 압축할 슈퍼 프레임(이하, '현재 슈퍼 프레임'이라 함)이 압축 시 사용할 최종 참조 프레임을 선택하고, 현재 슈퍼 프레임의 압축 모드를 인터 모드 및 인트라 모드 중 하나로 적응적으로 정할 수 있다(S810, S820). S820단계는 도 9를 참조하여 후술한다.
현재 슈퍼 프레임의 압축 모드가 결정되면, 동영상 압축 장치는 GOP를 이루는 R 프레임 및 P 프레임의 압축 모드를 인터 모드로 정하고, R 프레임 및 P 프레임이 사용할 참조 프레임을 결정할 수 있다(S830). S830단계에서, 동영상 압축 장치는 이전/이후 슈퍼 프레임 및 이전/이후 R 프레임 중 적어도 하나를 R 프레임 및 P 프레임이 사용할 참조 프레임으로 정할 수 있다.
동영상 압축 장치는 현재 슈퍼 프레임의 압축 모드에 따라 현재 슈퍼 프레임을 적응적으로 압축하고 비트율을 조절할 수 있다(S840). 자세히 설명하면, 현재 슈퍼 프레임의 압축 모드가 인터 모드로 정해진 경우, 동영상 압축 장치는 S820단계에서 정해진 최종 참조 프레임을 이용하여 현재 슈퍼 프레임을 압축하고, 인트라 모드로 정해진 경우, 현재 슈퍼 프레임 내의 최근접 블록을 이용하여 현재 슈퍼 프레임을 압축한다.
또한, 동영상 압축 장치는 R 프레임을 S830단계에서 정해진 참조 프레임을 이용하여 인터 모드로 압축하고 비트율을 조절한다(S850).
또한, 동영상 압축 장치는 P 프레임을 S830단계에서 정해진 참조 프레임을 이용하여 인터 모드로 압축하고 비트율을 조절한다(S860).
동영상 압축 장치는 압축된 프레임, 즉, 비트율이 조절된 압축 영상 데이터를 통신망의 특성에 따라 전송가능하도록 포맷하여 NAL을 생성하고, 패킷을 생성할 수 있다(S870).
그리고, 동영상 압축 장치는 현재 슈퍼 프레임 전송 시 전송 에러에 강인하도록 현재 슈퍼 프레임이 P 프레임 대비 낮은 FEC 코드율을 갖도록 조절하여 현재 슈퍼 프레임의 전송 QoS를 높이거나, 현재 슈퍼 프레임을 2회 이상 연속 반복 전송할 수 있다(S880).
도 9는 S820단계를 보다 자세히 도시한 흐름도이다.
도 9를 참조하면, 동영상 압축 장치는 동영상 복원 장치로부터 참조 정보가 정해진 시간 간격마다 수신되면, 수신된 참조 정보로 참조 정보 테이블을 갱신하여 저장할 수 있다(S821). 참조 정보는 동영상 복원 장치에서 정상 복원된 프레임의 인덱스 정보와 프레임 종류를 포함하며, 참조 정보 테이블은 도 3에 도시되어 있다.
동영상 압축 장치는 GOP 확인 결과 현재 압축해야 할 프레임이 슈퍼 프레임인 경우, 가장 최근에 갱신된 참조 정보 테이블 내에서 현재 슈퍼 프레임을 인터 모드로 압축 시 사용할 후보 참조 프레임들을 선택할 수 있다(S822). S822단계에서, 참조 정보 테이블 중 현재 슈퍼 프레임 바로 이전의 슈퍼 프레임, 바로 이전의 R 프레임 및 바로 이전의 P 프레임이 후보 참조 프레임들로서 선택될 수 있다.
동영상 압축 장치는 선택된 후보 참조 프레임들과 현재 슈퍼 프레임을 비교하여 SAD 또는 RDO를 산출하고, SAD 또는 RDO가 가장 작은 후보 참조 프레임을 최종 참조 프레임으로 선택할 수 있다(S823).
최종 참조 프레임이 선택되면, 동영상 압축 장치는 현재 슈퍼 프레임의 압축 방식, 즉, 인터 모드로 압축할지 인트라 모드로 압축할지 정해진 규칙을 참조하여 결정한다(S824). S824단계에서 참조하는 규칙은 도 2의 적응적 압축 모드 결정부(115)를 참조하여 자세히 설명하였으며, 4가지의 규칙 중 하나라도 해당하는 경우, 동영상 압축 장치는 현재 슈퍼 프레임의 압축 방식을 인트라 모드로 정한다.
현재 슈퍼 프레임의 압축 방식이 인트라 모드로 정해지면(S825-Yes), 동영상 압축 장치는 현재 슈퍼 프레임 내의 최근접 블록을 이용하여 현재 슈퍼 프레임을 압축할 수 있다(S826).
또한, 현재 슈퍼 프레임의 압축 방식이 인터 모드로 정해지면(S827), 동영상 압축 장치는 S823 단계에서 선택된 최종 참조 프레임을 이용하여 현재 슈퍼 프레임을 압축할 수 있다(S828).
도 10은 본 발명의 실시 예에 따른 동영상 복원 장치의 적응적으로 적용된 프레임 압축 모드를 이용한 동영상 복원 방법을 설명하기 위한 흐름도이다.
도 10의 동영상 복원 장치는 도 7을 참조하여 설명한 동영상 복원 장치(700)일 수 있다. 따라서, 동영상 복원 방법의 구체적인 설명은 생략한다.
도 10을 참조하면, 본 발명의 실시 예에 따른 동영상 복원 장치는 S880단계에 의해 동영상 압축 장치로부터 압축 영상을 수신하여 FEC 디코딩 및 파싱한다(S1010). 파싱에 의해 동영상 복원 장치는 각 프레임의 종류와, 압축 방식과, 인터 모드로 압축 시 사용한 참조 프레임을 알 수 있다.
동영상 복원 장치는 파싱된 프레임의 종류와 인터 모드로 압축 시 사용한 참조 프레임을 확인하고, NAL 처리된 영상에 대해 엔트로피 디코딩을 수행할 수 있다(S1020).
동영상 복원 장치는 엔트로피 디코딩된 프레임들 중 슈퍼 프레임에 대해서는 적용된 압축 모드를 확인한다(S1030, S1040).
슈퍼 프레임이 인터 모드로 압축된 경우(S1040-Yes), 동영상 복원 장치는 슈퍼 프레임의 압축 시 사용한 최종 참조 프레임을 이용하여 슈퍼 프레임을 디코딩 한다(S1050).
반면, 슈퍼 프레임이 인트라 모드로 압축된 경우(S1060), 동영상 복원 장치는 자기 자신, 즉, 슈퍼 프레임을 이용하여 슈퍼 프레임을 디코딩한다(S1070).
또한, 동영상 복원 장치는 엔트로피 디코딩된 프레임들 중 R 프레임 또는 P 프레임에 대해서는 인터 모드로 압축되었음을 알고 있으므로, 인터 모드로 압축 시 사용한 참조 프레임을 이용하여 디코딩할 수 있다(S1080, S1090). S1050단계, S1070단계 및 S1090단계는 주지된 다양한 기술을 이용할 수 있으므로 상세한 설명은 생략한다.
동영상 복원 장치는 S1050단계, S1070단계 및 S1090단계의 디코딩 결과를 저장한다(S1100). 디코딩 결과는, 각 프레임이 정상적으로 복원된 경우, 정상 복원된 프레임의 인덱스 정보와 프레임 종류 정보를 포함하며, 이는 참조 정보로서 사용될 수 있다.
동영상 복원 장치는 S1100 단계에서 저장된 참조 정보를 정해진 시간 간격마다 동영상 압축 장치로 전송할 수 있다(S1110).
상술한 본 발명의 실시 예에 따른 동영상 압축 장치(100) 및 동영상 압축 방법은 동영상의 최초 프레임으로 사용되면서 다른 프레임들의 참조 프레임으로 사용되는 슈퍼 프레임을 인터 모드 및 인트라 모드 중 하나로 적응적으로 정함으로써 압축 효율과 성능을 향상시킬 수 있다. 특히, 본 발명은 무인수색차량을 이용하여 적의 상황을 촬영한 후, 촬영된 영상을 압축하여 군 기지내 서버로 전송할 때 적용함으로써, 전송 에러는 최소화하면서 압축 효율을 높이도록 할 수 있다.
한편 본 발명에 따른 동영상 압축 장치의 동영상 압축 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다. 따라서, 본 발명은 동영상 압축 장치의 동영상 압축 방법을 구현하기 위하여 상기 동영상 압축 장치를 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
100: 동영상 압축 장치 110: 적응적 압축 모드 제어부
111: 테이블 갱신부 112: GOP 확인부
113: 후보 참조 프레임 선택부 114: 최종 참조 프레임 선택부
115: 적응적 압축 모드 결정부 116: 압축 제어부
120: 슈퍼 프레임 인코딩부 130: R/P 프레임 인코딩부
141: 엔트로피 코딩부 150: NAL 생성부
160: 패킷 생성부 170: FEC 인코더
180: 압축 통신부 190: 테이블 저장부

Claims (10)

  1. (A) 압축할 동영상의 GOP(Group Of Picture)를 확인하여 현재 슈퍼 프레임의 압축 시 사용할 최종 참조 프레임을 선택하고, 상기 현재 슈퍼 프레임의 압축 모드를 인터 모드 및 인트라 모드 중 하나로 정하는 단계;
    (B) 상기 GOP를 이루는 R 프레임 및 P 프레임의 압축 모드를 인터 모드로 정하는 단계;
    (C) 상기 (A) 단계에서 상기 현재 슈퍼 프레임의 압축 모드가 인터 모드로 정해진 경우, 상기 선택된 최종 참조 프레임을 이용하여 상기 현재 슈퍼 프레임을 압축하는 단계;
    (D) 상기 R 프레임 및 P 프레임을 각각 슈퍼 프레임, 상기 R 프레임 및 상기 R 프레임 이전의 R 프레임 중 적어도 하나를 이용하여 압축하는 단계;
    (E) 상기 압축된 현재 슈퍼 프레임, R 프레임 및 P 프레임을 동영상 복원 장치로 전송하는 단계; 및
    (F) 상기 동영상 복원 장치로부터 정상 복원된 프레임의 인덱스 정보를 정해진 시간 간격마다 수신하여 참조 정보 테이블을 갱신하는 단계;를 포함하며,
    상기 GOP는 인터 모드 및 인트라 모드 중 하나로 압축되는 슈퍼 프레임과 인터 모드로 압축되는 R 프레임 및 P 프레임을 포함하되, 상기 동영상의 최초 프레임은 인트라 모드로 압축되는 슈퍼 프레임이고,
    상기 (A) 단계는,
    (A1) 상기 갱신된 참조 정보 테이블에서 상기 현재 슈퍼 프레임 바로 이전의 슈퍼 프레임, 바로 이전의 R 프레임 및 바로 이전의 P 프레임을 확인하여 후보 참조 프레임들로서 선택하는 단계;
    (A2) 상기 선택된 후보 참조 프레임들과 상기 현재 슈퍼 프레임을 비교하여 상기 최종 참조 프레임을 선택하는 단계; 및
    (A3) 상기 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정하는 단계;를 포함하며,
    상기 (A3) 단계는,
    상기 동영상 복원 장치로부터 상기 정해진 시간 간격이 초과한 이후에도 상기 복원된 프레임 인덱스 정보가 수신되지 않으면, 상기 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정하는 것을 특징으로 하는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 (A3) 단계는,
    상기 현재 슈퍼 프레임을 인터 모드로 압축할 경우의 효용성이 인트라 모드로 압축할 경우의 효용성보다 적을 경우, 상기 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정하며,
    상기 효용성은 상기 현재 슈퍼 프레임을 상기 참조 프레임으로 압축할 경우 예상되는 품질값(PSNR: Peak Signal-to-Noise Ratio) 및 상기 현재 슈퍼 프레임을 상기 참조 프레임으로 압축할 경우 발생할 압축 데이터의 크기 추정값 중 하나를 이용하여 산출되는 것을 특징으로 하는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법.
  5. 제1항에 있어서,
    상기 (A3) 단계는,
    상기 현재 슈퍼 프레임과 상기 현재 슈퍼 프레임 이전 프레임 간의 화면 전환율이 상기 현재 슈퍼 프레임 이전의 n(n은 2이상의 정수)개 프레임들 간의 화면 전환율 평균보다 클 경우, 상기 현재 슈퍼 프레임의 압축 모드를 인트라 모드로 정하는 것을 특징으로 하는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법.
  6. 제1항에 있어서,
    상기 (A) 단계는,
    (A4) 상기 슈퍼 프레임의 바로 이전 슈퍼 프레임 및 바로 이전 R 프레임을 후보 참조 프레임들로서 선택하는 단계;
    (A5) 상기 선택된 후보 참조 프레임들과 상기 현재 슈퍼 프레임을 비교하여 상기 최종 참조 프레임을 선택하는 단계; 및
    (A6) 상기 현재 슈퍼 프레임의 압축 모드를 정해진 규칙을 참조하여 정하는 단계;를 포함하는 것을 특징으로 하는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법.
  7. 제1항에 있어서,
    상기 (E) 단계는,
    상기 현재 슈퍼 프레임 전송 시 전송 에러에 강인하도록 상기 현재 슈퍼 프레임이 상기 P 프레임 대비 낮은 FEC 코드율(Forward Error Correction Coding Rate)을 갖도록 조절하여 상기 현재 슈퍼 프레임의 전송 QoS를 높여 전송하거나, 상기 현재 슈퍼 프레임을 반복 전송하여 Redundancy를 추가하는 것을 특징으로 하는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법.
  8. 제1항에 있어서,
    (G) 상기 (A) 단계에서 상기 현재 슈퍼 프레임의 압축 모드가 인트라 모드로 정해진 경우, 상기 현재 슈퍼 프레임 내의 블록을 이용하여 상기 현재 슈퍼 프레임을 인트라 모드로 압축하는 단계;를 더 포함하며,
    상기 (D) 단계에서, 상기 압축된 현재 슈퍼 프레임은 인터 모드 및 인트라 모드 중 하나로 압축된 프레임인 것을 특징으로 하는 적응적으로 프레임 압축 모드를 적용한 동영상 압축 방법.
  9. 삭제
  10. 삭제
KR1020170051062A 2017-04-20 2017-04-20 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법 KR101772472B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170051062A KR101772472B1 (ko) 2017-04-20 2017-04-20 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170051062A KR101772472B1 (ko) 2017-04-20 2017-04-20 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101772472B1 true KR101772472B1 (ko) 2017-08-30

Family

ID=59760424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170051062A KR101772472B1 (ko) 2017-04-20 2017-04-20 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101772472B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097950A (ko) 2019-02-11 2020-08-20 한화테크윈 주식회사 요청된 영상 재생시점에 따라 영상을 재생하는 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374245B1 (ko) * 1996-04-19 2003-05-09 오끼 덴끼 고오교 가부시끼가이샤 화상부호화장치,화상복호화장치및화상전송시스템
JP4285431B2 (ja) * 2005-03-31 2009-06-24 Ｋｄｄｉ株式会社 ビデオ情報編集装置、方法及びプログラム
KR101125846B1 (ko) * 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374245B1 (ko) * 1996-04-19 2003-05-09 오끼 덴끼 고오교 가부시끼가이샤 화상부호화장치,화상복호화장치및화상전송시스템
JP4285431B2 (ja) * 2005-03-31 2009-06-24 Ｋｄｄｉ株式会社 ビデオ情報編集装置、方法及びプログラム
KR101125846B1 (ko) * 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097950A (ko) 2019-02-11 2020-08-20 한화테크윈 주식회사 요청된 영상 재생시점에 따라 영상을 재생하는 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US9445114B2 (en) Method and device for determining slice boundaries based on multiple video encoding processes
EP1677547B1 (en) Use of frame caching to improve packet loss recovery
US10425661B2 (en) Method for protecting a video frame sequence against packet loss
US10178391B2 (en) Methods and devices for data compression using a non-uniform reconstruction space
EP1755346A1 (en) Videao encoding and decoding methods and apparatus
US8611687B2 (en) Method and apparatus for encoding and decoding image using flexible orthogonal transform
JP6875821B2 (ja) 画像符号化装置、撮像装置、画像符号化方法およびプログラム
JP2006507745A (ja) 可変長コード化されたデータ・ストリーム用のトランスコーダ
Campana et al. An H. 264/AVC video coder based on multiple description scalar quantizer
WO2005029868A1 (en) Rate-distortion video data partitioning using convex hull search
US20080199094A1 (en) Method of Redundant Picture Coding Using Polyphase Downsampling and the Codes Using the Method
JP2010538575A (ja) 代替え的エントロピー符号化方法
KR101772472B1 (ko) 적응적으로 프레임 압축 모드를 적용한 동영상 압축 장치 및 방법, 그리고, 동영상 복원 장치 및 방법
KR100813001B1 (ko) 차분신호의 크기와 부호의 분리를 이용한 동영상부호화/복호화 장치 및 그 방법
US8582639B2 (en) Methods and devices for data compression using adaptive reconstruction levels
JP4280927B2 (ja) 動画像伝送システム、動画像符号化装置、動画像復号化装置、動画像伝送プログラム及び動画像伝送方法
WO2021004420A1 (zh) 编码、解码方法、传输方法、编码、解码装置及系统
KR101103974B1 (ko) 분산 비디오 부호화/복호화 방법 및 분산 비디오 부호화/복호화 장치
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
KR101072626B1 (ko) 비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치
EP2405656B1 (en) Methods and devices for data compression using adaptive reconstruction levels
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
KR20060043120A (ko) 영상 신호의 인코딩 및 디코딩 방법
Taheri et al. A study on compression rate bounds in distributed video coding based on correlation noise models
KR101334269B1 (ko) 전송 비트플레인 수에 의존적인 분산 비디오 부호화 및 복호화 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant