KR100944540B1 - 프레임 스키핑을 이용한 부호화 방법 및 장치 - Google Patents

프레임 스키핑을 이용한 부호화 방법 및 장치 Download PDF

Info

Publication number
KR100944540B1
KR100944540B1 KR1020070133471A KR20070133471A KR100944540B1 KR 100944540 B1 KR100944540 B1 KR 100944540B1 KR 1020070133471 A KR1020070133471 A KR 1020070133471A KR 20070133471 A KR20070133471 A KR 20070133471A KR 100944540 B1 KR100944540 B1 KR 100944540B1
Authority
KR
South Korea
Prior art keywords
cluster
frame
encoding
keyframe
setting
Prior art date
Application number
KR1020070133471A
Other languages
English (en)
Other versions
KR20090065923A (ko
Inventor
이충구
장의선
전재범
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to KR1020070133471A priority Critical patent/KR100944540B1/ko
Priority to PCT/KR2008/007532 priority patent/WO2009078686A2/en
Priority to US12/809,025 priority patent/US8848794B2/en
Publication of KR20090065923A publication Critical patent/KR20090065923A/ko
Application granted granted Critical
Publication of KR100944540B1 publication Critical patent/KR100944540B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

프레임 스키핑을 이용한 부호화 방법 및 장치가 개시된다. 프레임 스키핑을 이용하는 부호화 방법은 입력 받은 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 단계, 상기 클러스터로 구성하는 프레임 중 하나 이상을 키프레임으로 설정하는 단계 및 상기 키프레임을 부호화 하고, 부호화 생략 정보를 생성하는 단계를 포함한다. 본 발명은 복잡도가 낮은 프레임 스키핑 방식을 이용한 부호화 방법 및 장치를 제공하는 효과가 있다.
프레임 스키핑, 인코딩, 부호화, 클러스터

Description

프레임 스키핑을 이용한 부호화 방법 및 장치{Method and Apparatus for Encoding using Frame Skipping}
본 발명은 부호화 방법 및 장치에 관한 것으로, 보다 상세하게는 프레임 스키핑을 이용한 부호화 방법 및 장치에 관한 것이다.
인터넷을 통한 초당 데이터 전송량이 늘어나면서 단순 텍스트 데이터를 전송하던 과거에 비해 동영상, 사진 등 멀티미디어 데이터의 전송량이 늘어나고 있다. 이에 따른 영상 압축 기술에 대한 요구도 늘어나고 있다.
동영상 압축 방법은 정지 영상(예를 들어, 사진) 압축과는 달리 다수의 프레임을 압축하기 때문에 시간적으로 연속한 프레임간의 특정 관계를 이용하여 영상을 압축할 수 있다. 예를 들어, 동영상 압축 방식은 다수의 프레임간의 상응하는 픽셀간의 관계를 이용하여 한 개의 프레임을 독립적으로 압축하는 것에 비해 높은 압축률과 화질을 얻을 수 있다.
동영상 압축 방법은 이러한 특징을 이용해 특정 프레임을 제외하여 압축하는 프레임 스키핑(Frame Skipping) 기술을 이용하여 압축 효율을 더 높일 수 있다. 프레임 스키핑 기술은 고정적 프레임 스키핑과 가변적 프레임 스키핑 방식으로 분류된다. 고정적 프레임 스키핑 방식은 복잡한 전처리가 필요하지 않지만, 중요한 정보가 담긴 프레임이나 보간하기 힘든 프레임을 제외하여 압축하는 문제점이 있다. 이러한 문제점을 해결하기 위해 가변적 프레임 스키핑 방식이 개발되었다. 그러나 기존의 가변적 프레임 스키핑 방식은 전체 영상 시퀀스를 분석하는 방식이기 때문에 복잡도가 높아 실시간 비디오 처리를 하기 힘든 문제점이 존재한다. 또한 기존의 가변적 프레임 스키핑 방식은 부호화 기술에 의존적인 문제점이 있다.
본 발명은 복잡도가 낮은 프레임 스키핑 방식을 이용한 부호화 방법 및 장치를 제공한다.
본 발명은 영상 및 부호화 기술에 독립적인 프레임 스키핑 방식을 이용한 부호화 방법 및 장치를 제공한다.
본 발명의 일 측면에 따르면, 프레임 스키핑을 이용하는 부호화 방법에 있어서, 입력 받은 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 단계; 상기 클러스터로 구성하는 프레임 중 하나 이상을 키프레임으로 설정하는 단계; 및 상기 키프레임을 부호화 하고, 부호화 생략 정보를 생성하는 단 계를 포함하는 부호화 방법이 제공된다.
상기 부호화 생략 정보는 상기 키프레임에 대한 위치 정보 일 수 있다.
상기 부호화 생략 정보는 MPEG-4 SP의 vop_time_increment 신택스의 값을 이용하여 표현될 수 있다.
상기 클러스터 설정 단계는 최대 클러스터 사이즈를 설정하는 단계를 더 포함할 수 있다.
상기 클러스터 설정 단계는 하기의 수학식을 이용하여 상기 클러스터를 설정하는 것일 수 있다.
[수학식]
Figure 112007091103218-pat00001
여기서, i는 임의의 자연수이고, PSNR(i, i+1)는 i번째 프레임과 i+1번째 프레임의 각 픽셀값을 비교하여 산출한 PSNR(Peak Signal to Noise Ratio)값이고, T는 사용자에 의해 설정되거나 디폴트로 정해진 임계값일 수 있다.
상기 키프레임 설정 단계는 상기 클러스터로 설정된 프레임 중 첫 프레임과 마지막 프레임을 키프레임으로 설정하는 것일 수 있다.
상기 클러스터는 다른 클러스터에 포함된 키프레임을 포함할 수 있다.
상기 키프레임 설정 단계는 이전 클러스터의 마지막 키프레임과 대상 클러스터의 두번째 프레임의 각 필셀값을 비교하여 산출한 PSNR값이 상기 임계값 T이상일 경우, 이전 클러스터의 마지막 키프레임을 대상 클러스터의 첫 키프레임으로 지정 하고 대상 클러스터의 범위를 이전 클러스터의 마지막 키프레임을 포함하도록 확장하는 것일 수 있다.
여기서, S는 이전 클러스터의 마지막 키프레임과 대상 클러스터의 두번째 프레임의 각 필셀값을 비교하여 산출한 PSNR값이며, T는 사용자에 의해 설정되거나 디폴트로 정해진 임계값일 수 있다.
본 발명의 다른 측면에 따르면, 프레임 스키핑을 이용한 부호화 장치에 있어서, 입력 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 클러스터 설정부; 상기 클러스터를 구성하는 프레임 중 하나 이상을 키프레임으로 설정하는 키프레임 설정부; 및 상기 키프레임을 부호화하고, 부호화 생략정보를 생성하는 인코딩부를 포함하는 부호화 장치가 제공된다.
상기 부호화 생략 정보는 상기 키프레임에 대한 위치 정보를 포함할 수 있다.
상기 부호화 생략 정보는 MPEG-4 SP의 vop_time_increment 신택스의 값을 이용하여 표현될 수 있다.
상기 클러스터 설정부는 최대 클러스터 사이즈를 설정하고, 상기 최대 클러스터 사이즈에 기반하여 클러스터를 설정할 수 잇다.
상기 클러스터 설정부는 하기의 수학식을 이용하여 클러스터를 설정할 수 있다.
[수학식]
Figure 112007091103218-pat00002
여기서, i는 임의의 자연수이고, PSNR(i, i+1)는 i번째 프레임과 i+1번째 프레임의 각 픽셀값을 비교하여 산출한 PSNR(Peak Signal to Noise Ratio)값이고, T는 사용자에 의해 설정되거나 디폴트로 정해진 임계값일 수 있다.
상기 키프레임 설정부는 상기 클러스터로 설정된 프레임 중 첫 프레임과 마지막 프레임을 키프레임으로 설정할 수 있다.
상기 클러스터는 다른 클러스터에 포함된 프레임을 포함할 수 있다.
상기 키프레임 설정부는 이전 클러스터의 마지막 키프레임과 대상 클러스터의 두번째 프레임의 각 필셀값을 비교하여 산출한 PSNR값이 상기 임계값 T이상일 경우, 이전 클러스터의 마지막 키프레임을 대상 클러스터의 첫 키프레임으로 지정하고 대상 클러스터의 범위를 이전 클러스터의 마지막 키프레임을 포함하도록 확장할 수 있다.
본 발명의 또 다른 측면에 따르면, 부호화 장치의 프레임 스키핑을 이용하는 부호화 방법을 수행하기 위해 부호화 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 부호화 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서, 입력 받은 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 단계; 상기 클러스터로 구성하는 프 레임 중 하나 이상을 키프레임으로 설정하는 단계; 및 상기 키프레임을 부호화 하고, 부호화 생략 정보를 생성하는 단계를 수행하는 프로그램이 기록된 기록매체가 제공된다.
본 발명은 복잡도가 낮은 프레임 스키핑 방식을 이용한 부호화 방법 및 장치를 제공하는 효과가 있다.
본 발명은 영상 및 부호화 기술에 독립적인 프레임 스키핑 방식을 이용한 부호화 방법 및 장치를 제공하는 효과가 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서 도 1을 참조하여 프레임 스키핑을 이용한 부호화 장치의 기능부를 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 예시한 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치는 입력부(110), 클러스터 설정부(120), 키프레임 설정부(130) 및 인코딩부(140)을 포함한다.
입력부(110)는 외부 장치로부터 영상을 입력 받는다. 예를 들어, 입력부(110)는 카메라부(미도시)가 촬상하여 생성한 이미지를 입력 받는다. 또한 입력부(110)는 카메라부(미도시) 이외에 저장 장치 기저장된 영상을 입력 받거나 네트워크를 통해 영상을 입력 받을 수 있다. 입력부(110)는 클러스터 설정부(120), 키프레임 설정부(130) 및 인코딩부(140)로 영상의 프레임 정보를 입력한다.
클러스터 설정부(120)는 입력부(110)로부터 입력 받은 영상에 포함된 연속하는 유사한 프레임들을 하나의 클러스터로 설정한다. 이 때, 클러스터 설정부(120)는 클러스터 설정을 위해 우선 최대 클러스터 사이즈를 설정한다. 본 발명의 일 실시예에 따른 부호화 장치는 클러스터 사이즈를 설정함으로써 영상의 프레임 생략 비율 및 일정 시간 당 재생되는 최소 키 프레임 수를 조절할 수 있다. 예를 들어, 프레임 레이트(frame rate)가 30frame/sec인 영상의 최대 클러스터 사이즈가 30이라면 1초에 최소한 1개의 클러스터가 존재하게 된다. 각 클러스터에는 하나 이상의 키 프레임이 존재하기 때문에, 클러스터에 존재하는 키 프레임은 적어도 1초에 1번 이상 재생된다. 이 때, 최대 클러스터 사이즈는 사용자에 의해 설정될 수 있다.
이어서 클러스터 설정부(120)는 프레임간의 유사도를 기준으로 클러스터를 설정한다. 클러스터 설정부(120)는 PSNR(Peak Signal to Noise Ratio)을 기준으로 클러스터를 설정할 수 있다. PSNR은 두 프레임 사이의 연관성을 나타내는 지표 중 하나이며, 그 외 SAD, MSE 등과 같은 다른 지표를 통해 프레임간의 상관관계 분석이 가능하다. PSNR은 하기 수학식 1을 통해 산출할 수 있다.
[수학식 1]
Figure 112007091103218-pat00003
여기서, x는 현재 클러스터를 설정하고 있는 프레임(편의상, '대상 프레임'이라 지칭)이고, y는 대상 프레임의 클러스터 설정을 위해 참조하는 프레임(편의 상, '참조 프레임'이라 지칭)이고, xi는 대상 프레임의 i번째 픽셀값이고, yi는 참조 프레임의 i번째 픽셀값이며, M은 한 프레임의 픽셀수이다.
이하에서 참조 프레임은 대상 프레임의 이전 프레임으로 가정하여 설명할 것이나, 경우에 따라 참조 프레임은 달리 설정될 수 있음은 당업자에게 자명하다.
클러스터 설정부(120)는 각 프레임에 대한 상술한 PSNR을 산출하여 하기 수학식 2를 만족하는 대상 프레임을 참조 프레임과 같은 클러스터로 설정한다.
[수학식 2]
Figure 112007091103218-pat00004
여기서, i는 프레임 번호이고, T는 사용자에 의해 설정되거나 디폴트로 정해진 임계값이다.
예를 들어, 클러스터 설정부(120)는 3개의 프레임의 클러스터 설정을 하기 위해 우선 첫번째 프레임을 하나의 클러스터로 우선 설정한다. 이 때, 두번째 프레임의 PSNR은 T이상이고, 세번째 프레임의 PSNR은 T미만이라고 가정한다. 이어서 클러스터 설정부(120)는 첫번째 프레임을 참조하여 두번재 프레임의 PSNR을 산출한다. PSNR이 T이상의 값이기 때문에 첫번째 프레임이 속한 클러스터에 두번째 프레임을 추가한다. 이어서 클러스터 설정부(120)는 세번째 프레임의 PSNR을 산출한다. 이 때, PSNR이 T미만의 값이기 때문에 클러스터 설정부(120)는 세번째 프레임을 새로운 클러스터로 설정한다. 즉, 첫번째 프레임과 두번째 프레임은 하나의 클러스터로 설정이 되고, 세번째 프레임은 다른 하나의 클러스터로 설정된다. 키프레임 설 정부(130)는 상술한 과정을 각 프레임마다 반복하여 전체 영상의 클러스터 설정 정보를 생성하고 키프레임 설정부(130)로 전송한다.
키프레임 설정부(130)는 클러스터에 포함된 프레임들 중 하나 이상을 키프레임으로 설정한다. 이 때, 키프레임 설정부(130)는 사용자의 설정 또는 디폴트 설정에 따라 키프레임을 설정하는 방식을 달리 할 수 있다. 예를 들어, 키프레임 설정부(130)는 클러스터의 첫 프레임과 마지막 프레임을 키프레임으로 설정하는 방법, 미리 정해진 수의 배수 간격으로 키 프레임을 설정하는 방법, 클러스터의 첫 프레임, 가운데 프레임, 마지막 프레임을 키프레임으로 설정하는 방법, 클러스터에 포함된 프레임 중 PSNR 수치가 낮은 순서로 미리 정해진 개수의 프레임을 선택하는 방법 중 어느 하나를 이용하여 키 프레임을 설정할 수 있다. 이 때, 발명의 요지를 명확하게 하기 위해 키프레임 설정부(130)는 클러스터의 첫 프레임과 마지막 프레임을 키프레임으로 설정하는 것으로 가정한다.
키프레임 설정부(130)는 클러스터 및 키프레임이 설정된 후 임의의 클러스터가 다른 클러스터와 키프레임을 공유할 수 있도록 설정할 수 있다. 이하에서 도 2a 및 도 2b을 참조하여 키프레임을 공유하는 과정을 상세히 설명하도록 한다.
도 2a는 본 발명의 일 실시예에 따른 키프레임 공유 설정을 하지 않았을 때의 클러스터 구성을 예시한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 키프레임 공유가 된 클러스터 구성을 예시한 도면이다.
도 2a 및 도 2b를 참조하면, 키프레임 공유를 위해 키프레임 설정부(130)는 도 2a의 이전 클러스터(즈, 클러스터 A)의 마지막 키프레임(프레임 4)과 대상 클러 스터(즉, 클러스터 B)의 두번째 프레임(즉, 첫 키프레임 다음에 위치한 프레임, 프레임 6)사이의 PSNR을 측정한다. 만약 PSNR이 상술한 임계값 T이상이면 대상 클러스터의 첫 프레임(키프레임 5)의 키프레임 설정을 해제한다. 즉 대상 클러스터는 첫 프레임(키프레임 5) 대신 이전 클러스터의 마지막 키프레임(프레임 4)을 키프레임으로 사용한다. 결과적으로 도 2b에 예시한 것과 같이 키프레임 설정부(130)는 대상 클러스터를 프레임 4를 더 포함하도록 확장하고, 프레임 4와 프레임 8을 대상 클러스터의 키프레임으로 설정한다. 이 때, 키프레임 설정부(130)는 상술한 과정을 통해 설정한 키프레임 및 생략된 프레임에 대한 위치 정보인 키프레임 설정 정보를 생성하고 이를 인코딩부(130)로 출력한다. 또한 키프레임 설정부(120)는 상기의 과정을 각 클러스터마다 반복 수행한다.
다시 도 1을 참조하면, 인코딩부(130)는 키프레임 설정 정보를 이용하여 영상 중 키프레임만을 추출하여 부호화한다. 이 때, 인코딩부(130)는 키프레임 정보인 부호화 생략 정보를 생성한다. 예를 들어, MPEG-4 SP를 사용하여 키프레임을 부호화할 경우, 인코딩부(130)는 MPEG-4 SP 스팩의 vop_time_increment 신택스의 값을 키프레임의 위치 정보로 지정함으로써, 부호화 생략 정보를 기록할 수 있다. 이 때, 부호화 생략 정보는 키프레임의 위치 정보 대신 부호화가 생략된 프레임에 대한 정보일 수 있다. 디코더는 이 신택스 정보를 참조하여 부호화가 생략된 프레임에 대한 정보 및 키프레임의 위치를 파악하여 디코딩을 수행할 수 있다. 또한 인코딩부(130)는 상술한 방법 이외에 부호화 생략 정보를 비트스트림에 포함시키거나 별도의 파일을 생성할 수 있다.
이하에서 도3을 참조하여 본 발명의 일 실시예에 따른 프레임 스키핑을 이용한 부호화 과정을 설명하도록 한다. 이하에서 설명되는 각각의 단계는 부호화 장치의 각각의 내부 구성 요소에 의해 수행되어지나 이해와 설명의 편의를 도모하기 위해 부호화 장치로 통칭하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 프레임 스키핑을 이용한 부호화 과정을 예시한 순서도이다.
도 3을 참조하면, 단계 310에서 부호화 장치는 클러스터의 최대 사이즈를 지정한다.
단계 320에서 부호화 장치는 새로운 클러스터 설정 및 첫 번째 프레임을 클러스터에 추가한다.
단계 330에서 부호화 장치는 현재 프레임과 전 프레임을 비교하여 PSNR을 산출한다.
단계 340에서 부호화 장치는 단계 330에서 산출한 PSNR이 미리 정해진 임계값 T미만인지 판단한다.
만약 단계 340에서 T이상으로 판단되면, 단계 350에서 부호화 장치는 대상 프레임을 이전 프레임이 속한 클러스터(즉, 대상 클러스터)에 추가되도록 설정한다.
단계 360에서 부호화 장치는 단계 350에서 클러스터에 추가된 프레임이 해당 클러스터에서 두번째 프레임이고 이전 클러스터의 마지막 프레임과의 PSNR이 임계값 T미만인지 판단한다.
만약 단계 360에서 T미만으로 판단되면, 부호화 장치는 단계 320이후의 과정을 다시 수행한다.
만약 단계 360에서 T이상으로 판단되면, 단계 370에서 부호화 장치는 대상 클러스터의 첫번째 키프레임을 전 클러스터의 마지막 키프레임으로 변경한다. 이어서 부호화 장치는 단계 320 이후의 과정을 다시 수행한다.
만약 단계 340에서 T미만으로 판단되면, 단계 380에서 부호화 장치는 대상 클러스터 설정 완료 및 키프레임 설정을 한다. 이 때, 키프레임 설정 방식은 도 1을 참조하여 상술한 바와 같이 사용자의 설정에 따라 달라질 수 있다. 또한, 부호화 장치는 키프레임 설정 정보를 생성한다.
단계 390에서 부호화 장치는 대상 프레임을 포함하는 새로운 클러스터를 생성한다.
단계 395에서 부호화 장치는 대상 프레임이 영상의 마지막 프레임인지 확인한다.
만약 단계 395에서 마지막 프레임이 아니라고 판단되면, 부호화 장치는 단계 320이후의 과정을 다시 수행한다.
만약 단계 395에서 마지막 프레임이라고 판단되면, 단계 397에서 부호화 장치는 키프레임으로 설정된 프레임만을 인코딩하고, 디코더에서 키프레임 및 부호화 생략된 프레임을 판단할 수 있도록 부호화 생략 정보를 생성한다. 이 때, 부호화 장치는 인코딩된 비트스트림에 부호화 생략 정보를 포함시키거나 별도의 파일을 생성할 수 있다.
이하에서 도 4 내지 6을 참조하여, 본 발명의 일 실시예에 따른 부호화 방법을 수행한 후 그 실험결과에 대해 설명하도록 한다.
도 4는 입력 영상에 대해 최대 클러스터 사이즈를 변경했을 경우 선택되는 키프레임을 표현한 그래프이고, 도 5a는 MPEG-4 SP(simple profile) 환경에서 Qp값을 16으로 설정하여 부호화 및 복호화를 수행하였을 때의 영상이고, 도 5b는 본 발명의 일 실시예에 따른 부호화를 Qp값을 9로 조정하여 수행한 비트스트림을 복호화한 영상이고, 도 6은 도 5a와 도 5b에 나타낸 영상의 PSNR을 비교하여 나타낸 그래프이다.
하기 표 1은 본 발명의 일 실시예에 따른 부호화 실험에 사용한 영상이다. 부호화 장치는 3가지 영상을 사용하여 실험되었다. 이하 명확한 설명을 위해 Akiyo 영상을 입력 영상으로 실험한 결과에 초점을 두어 설명하도록 한다.
[표 1]
테스트 영상 해상도 프레임 수 FPS
Akiyo CIF (352x288) 300 30
Container CIF (352x288) 300 30
Stefan SIF (352x240) 300 30
표 2는 본 발명의 일 실시예에 따른 부호화 실험 결과를 나타낸 표이다. 부호화 실험을 함에 있어서 임계값 T는 각 영상에 적합하도록 달리 설정되었다.
[표 2]
테스트 영상 최대 클러스터 사이즈 (frames) T (dB) 클러스터 수 키프레임 수 (평균 fps)
Akiyo 3 38 85 215 (21.5)
7 38 36 141 (14.1)
12 38 24 124 (12.4)
Container 3 38.2 75 225 (22.5)
7 38.2 40 150 (15.0)
12 38.2 30 124 (12.4)
Stefan 3 23 11 289 (28.0)
7 23 6 282 (28.2)
12 23 5 280 (28.9)
도 4는 부호화 장치가 최대 클러스터 사이즈를 변경했을 경우 설정되는 키프레임의 위치를 보여 준다. 도 4의 그래프를 보면 최대 클러스터 사이즈에 따라 변경되는 키프레임의 배분과 PSNR을 통해 구분되는 클러스터 사이즈의 다양하다는 것을 알 수 있다.
표 3은 본 발명의 일 실시예에 따른 부호화시 부호화 시간을 나타낸 표이다. 표3은 MPEG-4 Simple Profile을 이용하여 본 발명의 일 실시예에 따른 부호화를 거쳤을 경우에 생략되는 프레임 수만큼의 부호화 복잡도 감소로 인해 부호화 시간이 전체적으로 단축되는 것을 나타내고 있다.
[표 3]
테스트 영상 MPEG -4 SP 최대 클러스터 사이즈
3 7 12
Encoding Time Akiyo 14.64 11.90 8.42 7.78
Container 19.56 18.87 14.78 13.04
Stefan 33.08 31.81 31.63 32.22
표 4는 본 발명의 일 실시예에 따른 부호화 장치가 MPEG-4의 화질 관련 파라 메터인 Qp값을 변경시켜 작동했을 경우, 그 부호화 결과를 나타낸 표이다. 표 4를 보면 Qp값과 최대 클러스터 사이즈를 변경하여 압축된 비트스트림 사이즈가 줄어드는 것을 알 수 있다. 도 5b는 최대 클러스터 사이즈와 Qp값을 9, 최대 클러스터 사이즈를 7로 변경하였을 때의 영상으로, 일반적인 MPEG-4 Simple Profile을 이용하여 Qp값을 16 설정하여 부호화한 영상인 도 5a에 비해 더 나은 화질을 보이는 것을 볼 수 있다. 결론적으로 본 발명에 따른 부호화 장치는 Qp값과 최대 클러스터 수의 변경을 통해 압축 효율과 높은 화질을 보장할 수 있다. 도 6에 나타난 일반적인 MPEG-4 Simple Profile을 이용하여 부호화한 영상과 부호화 장치에 의해 부호화된 영상의 PSNR 수치를 보면 상대적으로 부호화 장치에 의해 부호화된 영상의 화질이 더 우수하다.
[표 4]
Test sequence Method Qp Coding frames Bitstream size (byte)
Akiyo MPEG-4 SP 16 300 138,323
최대 클러스터 사이즈 3 12 215 134,330
7 9 141 127,858
12 8 124 125,174
Container MPEG-4 SP 16 300 228,041
최대 클러스터 사이즈 3 14 225 210,438
7 10 150 216,991
12 9 124 218,381
Stefan MPEG-4 SP 16 300 1,094,888
최대 클러스터 사이즈 3 16 289 1,074,832
7 16 282 1,060,963
12 16 280 1,049,128
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발 명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 예시한 구성도.
도 2a는 본 발명의 일 실시예에 따른 키프레임 공유 설정을 하지 않았을 때의 클러스터 구성을 예시한 도면.
도 2b는 본 발명의 일 실시예에 따른 키프레임 공유가 된 클러스터 구성을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 프레임 스키핑을 이용한 부호화 과정을 예시한 순서도.
도 4는 입력 영상에 대해 최대 클러스터 사이즈를 변경했을 경우 선택되는 키프레임을 표현한 그래프.
도 5a는 MPEG-4 SP(simple profile) 환경에서 Qp값을 16으로 설정하여 부호화 및 복호화를 수행하였을 때의 영상.
도 5b는 본 발명의 일 실시예에 따른 부호화를 Qp값을 9로 조정하여 수행한 비트스트림을 복호화한 영상.
도 6은 도 5a와 도 5b에 나타낸 영상의 PSNR을 비교하여 나타낸 그래프.

Claims (17)

  1. 프레임 스키핑을 이용하는 부호화 방법에 있어서,
    입력 받은 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 단계;
    상기 클러스터를 구성하는 프레임 중 하나 이상을 키프레임으로 설정하는 단계; 및
    상기 키프레임을 부호화 하고, 부호화 생략 정보를 생성하는 단계를 포함하되,
    상기 클러스터 설정 단계는 최대 클러스터 사이즈를 설정하는 단계를 더 포함하는 것을 특징으로 하는 부호화 방법.
  2. 제1 항에 있어서,
    상기 부호화 생략 정보는 상기 키프레임에 대한 위치 정보인 것을 특징으로 하는 부호화 방법.
  3. 제2 항에 있어서,
    상기 부호화 생략 정보는 MPEG-4 SP의 vop_time_increment 신택스의 값을 이용하여 표현되는 것을 특징으로 하는 부호화 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 클러스터 설정 단계는,
    하기의 수학식을 이용하여 상기 클러스터를 설정하는 것을 특징으로 하는 부호화 방법.
    [수학식]
    Figure 112009071376401-pat00015
    여기서, i는 임의의 자연수이고, PSNR(i, i+1)는 i번째 프레임과 i+1번째 프레임의 각 픽셀값을 비교하여 산출한 PSNR(Peak Signal to Noise Ratio)값이고, T는 사용자에 의해 설정되거나 디폴트로 정해진 임계값임.
  6. 제5 항에 있어서,
    상기 키프레임 설정 단계는,
    상기 클러스터로 설정된 프레임 중 첫 프레임과 마지막 프레임을 키프레임으로 설정하는 것을 특징으로 하는 부호화 방법.
  7. 제6 항에 있어서,
    상기 클러스터는 다른 클러스터에 포함된 프레임을 포함하는 것을 특징으로 하는 부호화 방법.
  8. 제7 항에 있어서,
    상기 키프레임 설정 단계는,
    이전 클러스터의 마지막 키프레임과 대상 클러스터의 두번째 프레임의 각 필셀값을 비교하여 산출한 PSNR값이 상기 임계값 T이상일 경우, 이전 클러스터의 마지막 키프레임을 대상 클러스터의 첫 키프레임으로 지정하고 대상 클러스터의 범위를 이전 클러스터의 마지막 키프레임을 포함하도록 확장하는 것을 특징으로 하는 부호화 방법.
  9. 프레임 스키핑을 이용한 부호화 장치에 있어서,
    입력 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 클러스터 설정부;
    상기 클러스터를 구성하는 프레임 중 하나 이상을 키프레임으로 설정하는 키프레임 설정부; 및
    상기 키프레임을 부호화하고, 부호화 생략정보를 생성하는 인코딩부를 포함하되,
    상기 클러스터 설정부는 최대 클러스터 사이즈를 설정하고, 상기 최대 클러스터 사이즈에 기반하여 클러스터를 설정하는 것을 특징으로 하는 부호화 장치.
  10. 제9 항에 있어서,
    상기 부호화 생략 정보는 상기 키프레임에 대한 위치 정보를 포함하는 것을 특징으로 하는 부호화 장치.
  11. 제10 항에 있어서,
    상기 부호화 생략 정보는 MPEG-4 SP의 vop_time_increment 신택스의 값을 이용하여 표현되는 것을 특징으로 하는 부호화 장치.
  12. 삭제
  13. 제9 항에 있어서,
    상기 클러스터 설정부는,
    하기의 수학식을 이용하여 클러스터를 설정하는 것을 특징으로 하는 부호화 장치.
    [수학식]
    Figure 112009071376401-pat00016
    여기서, i는 임의의 자연수이고, PSNR(i, i+1)는 i번째 프레임과 i+1번째 프레임의 각 픽셀값을 비교하여 산출한 PSNR(Peak Signal to Noise Ratio)값이고, T는 사용자에 의해 설정되거나 디폴트로 정해진 임계값임.
  14. 제13 항에 있어서,
    상기 키프레임 설정부는,
    상기 클러스터로 설정된 프레임 중 첫 프레임과 마지막 프레임을 키프레임으로 설정하는 것을 특징으로 하는 부호화 장치.
  15. 제14 항에 있어서,
    상기 클러스터는 다른 클러스터에 포함된 프레임을 포함하는 것을 특징으로 하는 부호화 장치.
  16. 제15 항에 있어서,
    상기 키프레임 설정부는 이전 클러스터의 마지막 키프레임과 대상 클러스터의 두번째 프레임의 각 필셀값을 비교하여 산출한 PSNR값이 상기 임계값 T이상일 경우, 이전 클러스터의 마지막 키프레임을 대상 클러스터의 첫 키프레임으로 지정하고 대상 클러스터의 범위를 이전 클러스터의 마지막 키프레임을 포함하도록 확장하는 것을 특징으로 하는 부호화 장치.
  17. 부호화 장치의 프레임 스키핑을 이용하는 부호화 방법을 수행하기 위해 부호화 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 부호화 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서,
    입력 받은 영상의 프레임간 유사도를 이용하여 하나 이상의 프레임을 클러스터로 설정하는 단계;
    상기 클러스터로 구성하는 프레임 중 하나 이상을 키프레임으로 설정하는 단계; 및
    상기 키프레임을 부호화 하고, 부호화 생략 정보를 생성하는 단계를 수행하는 프로그램이 기록된 기록매체.
KR1020070133471A 2007-12-18 2007-12-18 프레임 스키핑을 이용한 부호화 방법 및 장치 KR100944540B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070133471A KR100944540B1 (ko) 2007-12-18 2007-12-18 프레임 스키핑을 이용한 부호화 방법 및 장치
PCT/KR2008/007532 WO2009078686A2 (en) 2007-12-18 2008-12-18 Method and device for video coding and decoding
US12/809,025 US8848794B2 (en) 2007-12-18 2008-12-18 Method and device for video coding and decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070133471A KR100944540B1 (ko) 2007-12-18 2007-12-18 프레임 스키핑을 이용한 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090065923A KR20090065923A (ko) 2009-06-23
KR100944540B1 true KR100944540B1 (ko) 2010-03-03

Family

ID=40994110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070133471A KR100944540B1 (ko) 2007-12-18 2007-12-18 프레임 스키핑을 이용한 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100944540B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020074328A (ko) * 2001-03-20 2002-09-30 서치캐스트 주식회사 키프레임을 이용한 동영상 재생방법 및 그 장치
KR20040011100A (ko) * 2002-07-27 2004-02-05 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
KR20040093516A (ko) * 2003-04-30 2004-11-06 주식회사 이콜플러스 유무선통신망의 멀티미디어 서비스를 위한 동영상송수신방법
KR20060012071A (ko) * 2004-08-02 2006-02-07 이원석 유사 비디오 데이터의 공통 정보 마이닝 기법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020074328A (ko) * 2001-03-20 2002-09-30 서치캐스트 주식회사 키프레임을 이용한 동영상 재생방법 및 그 장치
KR20040011100A (ko) * 2002-07-27 2004-02-05 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
KR20040093516A (ko) * 2003-04-30 2004-11-06 주식회사 이콜플러스 유무선통신망의 멀티미디어 서비스를 위한 동영상송수신방법
KR20060012071A (ko) * 2004-08-02 2006-02-07 이원석 유사 비디오 데이터의 공통 정보 마이닝 기법

Also Published As

Publication number Publication date
KR20090065923A (ko) 2009-06-23

Similar Documents

Publication Publication Date Title
US9781429B2 (en) Image coding and decoding method and apparatus considering human visual characteristics
Zhang et al. Enhancing VVC through CNN-based post-processing
US10511861B2 (en) Region-of-interest encoding enhancements for variable-bitrate mezzanine compression
WO2008019525A1 (en) Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
JP4023324B2 (ja) 透かし埋め込み及び画像圧縮部
JP2006311079A (ja) 画像ビットストリーム変換装置
KR100944540B1 (ko) 프레임 스키핑을 이용한 부호화 방법 및 장치
KR100747664B1 (ko) 대역폭에 적응적인 멀티미디어 데이터 처리방법 및 이를적용한 호스트장치
TWI439137B (zh) 重建一圖像群以在該圖像群中隨機存取之方法及裝置
JP4747109B2 (ja) 演算量調整装置
Ozcelebi et al. Optimal rate and input format control for content and context adaptive video streaming
JP2006311078A (ja) 高能率符号化記録装置
Gries Analysing the quantization parameters for quality assessment of digital video
Thaker Pre-Transform Scanning for Video Compression
Ozcelebi et al. Optimal rate and input format control for content and context adaptive streaming of sports videos

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071218

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090819

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20091118

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100106

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20100203

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100219

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100222

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130208

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130208

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140204

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150205

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150205

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170109