KR20140013148A - 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법 - Google Patents

모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법 Download PDF

Info

Publication number
KR20140013148A
KR20140013148A KR1020120078574A KR20120078574A KR20140013148A KR 20140013148 A KR20140013148 A KR 20140013148A KR 1020120078574 A KR1020120078574 A KR 1020120078574A KR 20120078574 A KR20120078574 A KR 20120078574A KR 20140013148 A KR20140013148 A KR 20140013148A
Authority
KR
South Korea
Prior art keywords
video frame
compressed data
encoding
scene change
frame
Prior art date
Application number
KR1020120078574A
Other languages
English (en)
Other versions
KR101942371B1 (ko
Inventor
김선태
곽지영
유미선
송준근
마평수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120078574A priority Critical patent/KR101942371B1/ko
Publication of KR20140013148A publication Critical patent/KR20140013148A/ko
Application granted granted Critical
Publication of KR101942371B1 publication Critical patent/KR101942371B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성하는 제1 압축 데이터 생성부; 상기 현재 비디오 프레임을 인코딩하는 제1 인코딩부; 상기 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성하는 제2 압축 데이터 생성부; 및 상기 제1 압축 데이터와 상기 제2 압축 데이터를 비교하여 비디오 프레임의 장면 전환을 감지하는 장면 전환 감지부;를 포함하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 그 방법을 제공한다.

Description

모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법{APPARATUS AND METHOD FOR VIDEO FRAME SCENE CHANGE DETECTION AND ENCODING IN MOBILE WIRELESS ENVIRONMENT}
본 발명은 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩 장치 및 그 방법에 관한 것으로, 보다 자세하게는 모바일 환경에서의 비디오 인코딩 장면 전환 이외의 유용하지 않은 정보를 제거하여 효율적으로 네트워크 대역폭을 사용하기 위한 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩 장치 및 그 방법에 관한 것이다.
종래에는 멀티미디어와 같은 고급응용들은 프로세서의 사양이 높은 PC급 유선 환경에서 낮은 해상도의 영상 콘텐츠를 실시간 인코딩 후 전송하는 것으로 구현되어 왔다. 그러나 점차, 비디오 인코딩/디코딩에 대한 응용이 널리 퍼짐에 따라 비디오 코덱의 ASIC화가 진행되어 보다 해상도가 높은 응용이 가능하게 되었다.
이러한 현상은 PC급의 유선 환경뿐만 아니라 사용자의 이동성을 제공하는 모바일 기기 환경에서도 그대로 진행되었다. 그 결과 스마트 폰이나 모바일 패드(iPad, 삼성 Tab)등의 기기에서도 고해상도의 영상 콘텐츠를 인코딩하거나 재생할 수 있게 되었다.
하지만, 모바일 기기 환경은 이동성을 기반으로 하고 있어 무선환경하에서 멀티미디어 응용을 위한 압축데이터를 전송해야 한다. 그러나, 무선환경은 유선환경에 비해 현저히 떨어지는 패킷 전달율을 보이며, 제공하는 네트워크의 대역폭에 비해 패킷 수가 늘어남에 따라 패킷 전달율이 떨어지는 문제점이 있다.
이러한, 비디오의 장면 전환을 감지하여 비디오 압축 스트림을 전송하는 기술은 일반적으로 장면 전환 감지 후 비디오 인코딩이 진행된다.
즉, 카메라나 화면 캡쳐 등의 원시 데이터를 입력 받아, 장면 전환을 감지하기 위해서 비디오 전처리를 수행하게 된다. 비디오 전처리 후 나오는 입력 영상들의 상호 비교로 장면 전환을 감지하게 된다. 화면 전환된 영상 정보를 바탕으로 구현 응용에 맞게 비디오 인코딩을 수행한 후 압축 비트스트림이 생성되면, 이를 전송하게 된다. 마지막으로 비디오 영상통화 중 종료 명령이 떨어지면 모든 프로그램 수행을 종료하는 단계를 거치게 된다.
상기에 서술한 장면 전환 감지기술은 비디오 인코딩 전 단계에서 수행하게 되며 이 기술은 비디오 프레임을 드랍하거나 비트율을 낮게 하려는 것이 아니고 비디오 화면의 흐름을 예측하여 장면 전환 프레임에 많은 비트율을 제공하여 더욱 좋은 화질을 전송하기 위해서 사용된다.
하지만, 모바일 기기 환경에서의 멀티미디어 응용은 대부분 비디오를 찍어서 로컬에 저장하거나 영상을 재생하여 감상하는 것이 대부분이며, 대한민국 특허 출원 번호 제10-2008-000075308호(2008년 07월 31일 출원)에 개시된 '동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방법, 이를 이용한 영상통화 품질 향상 방법 및 영상통화 시스템'과 같이 무선 네트워크를 사용하여 전송하는 응용은 영상통화에 국한되어 있음을 고려해야 한다. 이런 경우, 영상 통화 중 불필요한 중복적인 정보 즉, 변화없는 화면에 대해서는 전송하지 않는 것이 바람직하다. 뿐만 아니라, 모바일 기기 환경에서의 비디오 인코딩은 아무리 모바일 기기의 프로세서 성능이 뛰어나다 할지라도 반드시 하드웨어 가속기를 사용해야 하는 상황이다. 이는 모바일 기기 환경에서 비디오를 전처리하고 장면 전환 감지 기능을 추가하는 것은 비디오 인코딩에 대한 성능을 저하시키는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 모바일 환경에서의 비디오 인코딩 장면 전환 이외의 유용하지 않은 정보를 제거하여 효율적으로 네트워크 대역폭 사용이 가능함으로써, 패킷 전달률을 향상시킬 수 있는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 효율적으로 장면 전환 정보를 무선 라우터에 제공함으로써, 네트워크가 혼잡할 경우 우선순위에 따른 패킷 드랍을 지원할 수 있는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 비디오 프레임 장면 전환 검출 및 인코딩 장치는 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성하는 제1 압축 데이터 생성부; 상기 현재 비디오 프레임을 인코딩하는 제1 인코딩부; 상기 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성하는 제2 압축 데이터 생성부; 및 상기 제1 압축 데이터와 상기 제2 압축 데이터를 비교하여 비디오 프레임의 장면 전환을 감지하는 장면 전환 감지부;를 포함한다.
상기 제2 압축 데이터 생성부는, 상기 인코딩된 현재 비디오 프레임을 P프레임 타입으로 압축하는 것을 특징으로 한다.
상기 장면 전환 감지부는, 상기 제1 압축 데이터와 상기 제2 압축 데이터로부터 비트 양을 각각 산출하는 비트 산출부; 상기 산출된 비트 양의 합과 기 설정된 기준비트 양을 비교하는 비교부; 및 상기 비교 결과에 따라 상기 비트 양의 합이 상기 기준비트 양 이상이면 장면 전환이 발생했음을 감지하는 감지부;를 포함하는 것을 특징으로 한다.
상기 비교부는 하기의 수식 1에 기초하여 상기 산출된 비트 양의 합과 기 설정된 기준비트 양을 비교하는 것을 특징으로 한다.
[수식 1]
If i=1 ,
|Rprev(i) - Rcurr| > α *Rth
Else
(1/(N-1))∑δ(i)*| Rprev(i) - Rcurr| > Rth , i=2~N
여기서, Rprev는 제1 압축 데이터로부터 생성된 비트량, Rcurr는 제2 압축 데이터로부터 생성된 비트량, δ는 영상프레임의 가중계수, α *Rth는 기 설정된 기준비트 량에 통상 P프레임에서 생성된 비트량이 α 배임을 의미한다.
상기 수식 1에 기초하며, 상기 제1 압축데이터 및 제2 압축데이터의 Intra 모드의 수를 이용하여 장면 전환을 감지하는 하기의 수식 2를 통해 장면전환을 감지하는 것을 특징으로 한다.
[수식 2]
Ith < I(N)
여기서, I(N)은 현재 프레임에서 Intra Mode 개수이며, Ith < I(N)는 장면 전환 감지를 의미한다.
상기 수식 1에 기초하며, 인코딩된 제2 압축 데이터의 MV (움직임 벡터)을 이용하여 장면 전환을 감지하는 하기의 수식 3을 통해 장면전환을 감지하는 것을 특징으로 한다.
[수식 3]
D > Dth
여기서, D는 현재 프레임의 MV 값의 표준편차 값으로 ∑(MV(xi)^2+ MV(yi)^2)으로 구할 수 있으며, D > Dth는 장면 전환 감지를 의미한다.
상기 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩하는 제2 인코딩부;를 더 포함하는 것을 특징으로 한다.
이때, 상기 제2 인코딩부는, 상기 장면 전환이 감지된 현재 비디오 프레임을 I프레임 타입으로 설정하는 설정부; 상기 I프레임 타입으로 설정된 현재 비디오 프레임을 재 인코딩하는 재 인코딩부; 및 상기 제2 압축 데이터로부터 산출된 비트량을 초기화하고, 상기 재 인코딩된 현재 비디오 프레임으로부터 비트량을 재산출하는 비트 재산출부;를 포함하는 것을 특징으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 비디오 프레임 장면 전환 검출 및 인코딩 방법은 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성하는 단계; 상기 현재 비디오 프레임을 인코딩하는 단계;상기 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성하는 단계; 및 상기 제1 압축 데이터와 상기 제2 압축 데이터를 비교하여 비디오 프레임 장면 전환을 감지하는 단계;를 포함한다.
상기 비디오 프레임 장면 전환을 감지하는 단계는, 상기 제1 압축 데이터와 상기 제2 압축 데이터로부터 산출된 비트 양의 합과 기 설정된 기준비트 양과 비교한 결과, 상기 비트 양의 합이 상기 기준비트 양 이상이면 장면 전환이 발생했음을 감지하는 것을 특징으로 한다.
상기 비디오 프레임 장면 전환을 감지하는 단계 이후에, 상기 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩하는 단계;가 더 포함되는 것을 특징으로 한다.
상기 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩하는 단계에서, 상기 재 인코딩된 현재 비디오 프레임으로부터 비트량을 재산출하는 것을 특징으로 한다.
상기와 같은 구성을 갖는 본 발명에 의한 비디오 프레임 장면 전환 검출 및 인코딩 장치 및 그 방법은 모바일 환경에서의 비디오 인코딩 장면 전환 이외의 유용하지 않은 정보를 제거하여 비디오 프레임 압축시에 생성되는 압축 비트스트림을 최소화함으로써. 효율적으로 네트워크 대역폭을 이용하여 패킷 전달률을 향상시킬 수 있는 효과가 있다.
또한, 상기와 같이 장면 전환 정보를 무선 라우터에 제공함으로써, 네트워크가 혼잡할 경우 우선순위에 따른 패킷 드랍을 지원할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 비디오 프레임 장면 전환을 감지하여 비디오 압축 스트림을 전송하는 기술을 설명하기 위한 도면이고,
도 2는 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치의 구성을 나타내는 도면이고,
도 3은 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치에 채용되는 장면 전환 감지부의 세부 구성을 나타내는 도면이고,
도 4는 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치에 채용되는 제2 인코딩부의 세부 구성을 나타내는 도면이고,
도 5는 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 방법을 나타내는 도면이고,
도 6은 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 방법에서 장면 전환이 감지된 현재 프레임을 재 인코딩하는 하나의 예를 나타내는 도면이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선, 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서는, 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치 및 그 방법에 대하여 첨부된 도면을 참고로 하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 비디오 프레임 장면 전환을 감지하여 비디오 압축 스트림을 전송하는 기술을 나타내는 도면이다.
도 1을 참조하여 설명하면, 본 발명의 실시예에 따른 비디오 프레임 장면 전환을 감지하여 비디오 압축 스트림을 전송하는 기술은 비디오 인코딩 후 장면 전환을 감지하여 모바일 단말에서 영상통화를 구현할 수 있다. 보다 자세히 설명하면, 모바일 단말의 카메라 또는 화면 캡쳐 어플리케이션 등으로부터 비디오 원시 데이터를 입력(S100) 받아 전 처리를 수행(S200)한다. 전 처리가 수행된 영상 정보를 바탕으로 구현 응용에 맞게 비디오 인코딩을 수행(S300)한다. 그 다음 모바일 프로세서에서 제공하는 하드웨어 가속기를 이용하여 인코딩이 수행된 영상 정보를 바탕으로 장면 전환을 감지(S400)한다.
이를 위해 본 발명은 장면 전환을 감지하기 위한 비디오 프레임 장면 전환 인코딩 장치(100)와 그 방법을 제시하고 있으며 이에 대해서는 이후 첨부되는 도면을 참조하여 자세하게 설명하기로 한다. 다음으로 장면 전환이 감지된 후 압축 비트 스트림이 생성되면 이를 전송(S500)한다. 영상통화 중 종료 명령(S600)이 떨어지면 모든 응용 프로그램 수행을 종료한다.
도 2는 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치의 구성을 나타내는 도면이고, 도 3은 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치에 채용되는 장면 전환 감지부의 세부 구성을 나타내는 도면이고, 도 4는 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치에 채용되는 제2 인코딩부의 세부 구성을 나타내는 도면이다.
도 2를 참조하여 설명하면, 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 장치(100)는 크게 제1 압축 데이터 생성부(110), 제1 인코딩부(120). 제2 압축 데이터 생성부(130), 장면 전환 감지부(140), 제2 인코딩부(150)를 포함한다.
제1 압축 데이터 생성부(110)는 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성한다.
제1 인코딩부(120)는 현재 비디오 프레임을 인코딩한다.
제2 압축 데이터 생성부(130)는 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성한다. 이때, 제2 압축 데이터 생성부(130)는 인코딩된 현재 비디오 프레임을 P프레임 타입으로 압축을 수행한다.
여기서 P프레임 타입은 GOP(Group of Pictures) 즉, 키 프레임부터 다음 키 프레임까지의 프레임 모음의 프레임 타입 중 하나로, Previous 또는 Predicted Frame 이라 불리며, 이전에 나온 키 프레임의 정보를 바탕으로 구성된 프레임으로 화질 및 용량이 중간급이다. GOP의 프레임 타입에 대해 보다 자세히 설명하면, GOP의 프레임 타입에는 I, P, B의 세 가지가 있으며 I프레임 타입과 B프레임 타입의 특징은 아래와 같다. I프레임 타입은 Infra Frame의 약자로, 쉽게 말해 키 프레임으로 화질 및 용량도 최상급이다. B프레임 타입은 Bidirectional Frame의 약자로, 전후의 I/P 프레임의 정보를 바탕으로 구성된 프레임으로, 본 발명에서는 화질 및 용량이 최하급인 B프레임 타입은 적용되지 않는다.
장면 전환 감지부(140)는 제1 압축 데이터와 제2 압축 데이터를 비교하여 비디오 프레임의 장면 전환을 감지한다.
이를 위해, 장면 전환 감지부(140)는 도 3에 도시된 바와 같이 비트 산출부(141), 비교부(143), 감지부(145)를 구비할 수 있다.
비트 산출부(141)는 제1 압축 데이터와 제2 압축 데이터로부터 비트 양을 각각 산출한다.
비교부(143)는 산출된 비트 양의 합과 기 설정된 기준비트 양과 비교한다. 비교부(143)는 하기의 수식 1에 기초하여 산출된 비트 양의 합과 기 설정된 기준비트 양과 비교한다.
[수식 1]
If i=1 ,
|Rprev(i) - Rcurr| > α *Rth
Else
(1/(N-1))∑δ(i)*| Rprev(i) - Rcurr| > Rth * i, i=2~N,
여기서, Rprev는 제1 압축 데이터로부터 생성된 비트량이고, Rcurr는 제2 압축 데이터로부터 생성된 비트량이고, α *Rth는 기 설정된 기준비트 량에 통상 P프레임에서 생성된 비트량이 α 배임을 감안한 수식이다. 즉, |Rprev(i) - Rcurr| > α *Rth 는 장면 전환 감지를 의미한다. 또한, δ는 영상프레임의 가중계수를 의미하며, δ(i)에서 i가 증가함에 따라 δ(i) 값은 감소한다. 따라서 최근 프레임에 많은 비중을 두게 된다.
또한, 본 발명은 장면 전환 감지에 있어서, 상기와 같은 비트량뿐만 아니라 제1 압축데이터 및 제2 압축데이터의 헤더데이터를 통해 Intra 모드로 인코딩된 매크로 블록 수를 알 수 있게 됨으로써, Intra 모드의 수를 이용하여 장면 전환을 감지할 수 있다. 이는 하기의 수식 2에 기초한다.
[수식 2]
Ith < I(N)
여기서, I(N)은 현재 프레임에서 Intra Mode 개수이며, Ith < I(N)는 장면 전환 감지를 의미한다.
한편, 본 발명은 장면 전환 감지에 있어서, 인코딩된 제2 압축 데이터의 MV (움직임 벡터)을 이용하여 장면 전환 감지를 할 수 있다. MV의 값을 뽑아내어 각각의 절대값을 취한 후에 표준편차를 구해 일정 값(Dth)을 넘게 되면 역시 비트량과 Intra 모드의 수에 의한 방법과 마찬가지로 현재 비디오 프레임에 대해서 I프레임으로 재 인코딩을 수행하는데 이는 하기의 수식 3에 기초한다.
[수식 3]
D > Dth
여기서, D는 현재 프레임의 MV 값의 표준편차 값으로 ∑(MV(xi)^2+ MV(yi)^2)으로 구할 수 있으며, D > Dth는 장면 전환 감지를 의미한다.
감지부(145)는 비교 결과, 비트 양의 합이 기준비트 양 이상이면 장면 전환이 발생했음을 감지한다.
제2 인코딩부(150)는 장면 전환이 감지된 현재 프레임을 재 인코딩한다.
이를 위해, 제2 인코딩부(150)는 도 4에 도시된 바와 같이 설정부(151), 재 인코딩부(153), 비트 재산출부(155)를 구비할 수 있다.
설정부(151)는 장면 전환이 감지된 현재 비디오 프레임을 I프레임 타입으로 설정한다.
재 인코딩부(153)는 I프레임 타입으로 설정된 현재 비디오 프레임을 재 인코딩한다.
비트 재산출부(155)는 제2 압축 데이터로부터 산출된 비트량을 초기화하고, 재 인코딩된 현재 비디오 프레임으로부터 비트량을 재산출한다.
도 5는 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 방법을 나타내는 도면이고, 도 6은 본 발명의 실시예에 따른 비디오 프레임 장면 전환 인코딩 방법에서 장면 전환이 감지된 현재 프레임을 재 인코딩하는 하나의 예를 나타내는 도면이다.
도 5를 참조하여 설명하면, 본 발명에 따른 비디오 프레임 장면 전환 감지 방법(S400)은 앞서 설명한 비디오 프레임 장면 전환 인코딩 장치(100)를 이용한다.
먼저, 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성한다.(S410)
다음으로, 현재 비디오 프레임을 인코딩한다.(S420)
다음으로, 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성한다.(S430) 이는 제2 압축 데이터 생성부(130)에 의해서, 인코딩된 현재 비디오 프레임을 P프레임 타입으로 압축이 수행된다.
다음으로, 제1 압축 데이터와 제2 압축 데이터를 비교하여 비디오 프레임 장면 전환을 감지한다.(S440) 이는 장면 전환 감지부(140)에 의해서, 제1 압축 데이터와 제2 압축 데이터로부터 산출된 비트 양의 합과 기 설정된 기준비트 양을 비교 결과비트 양의 합이 기준비트 양 이상이면 장면 전환이 발생했음을 감지한다.
마지막으로, 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩한다.(S445) 이는 제2 인코딩부(150)에 의해서, 재 인코딩된 현재 비디오 프레임으로부터 비트량을 재산출이 수행된다.
이는, 도 6을 참조하여 설명하면, 시작 I프레임 타입이 먼저 인코딩된 후 7번째 P프레임 타입에서 장면 전환이 감지되는 예이다.
먼저 시작 I프레임 타입이 인코딩되고 여기서 생성되는 비트량이 저장된다. 그 후 P프레임 타입에 대해서 인코딩이 수행되며, 바로 이전 I프레임 타입과의 비트량과 비교된다. 비교 후 일정 값을 넘지 않아 다음 P프레임 타입이 인코딩되며, 이 후에는 이전에 수행되었던 I, P1의 비트량과 비교하게 된다. 이때, 고려해야 할 사항은 I프레임 타입에서 생성되는 비트량은 통상 P프레임 타입에서 생성되는 비트량의 α 배이므로 이를 감안하여 문턱 값을 정하게 된다. P6까지는 인코딩이 진행되는 동안 설정해 놓은 Rth값 보다 작아 장면 전환이 감지되지 않았다. 하지만 P7프레임 즉, A는 생성되는 비트량이 설정값 Rth값 보다 커져서 장면 전환을 감지한 경우로, 이 P7프레임 타입은 다시 I프레임타입으로 재 인코딩되며, 이전에 저장된 비트량 정보는 리셋이 된다. 즉, 새로운 I프레임 타입이 설정되면 시작 I프레임 타입처럼 다시 똑같은 과정을 수행하게 된다.
또한, 도 4에 제시된 예를 바탕으로 비트량의 감소를 계산한 결과는 다음과 같다. RI= 3A, RP= A라고 하면, 장면 전환을 하지 않을 경우에는 RWSC = RI + 13RP = 16A, 장면 전환을 이용해서 I프레임 타입만 전송하는 경우에는 RSC = 2RI= 6A 가 된다. 즉 16/6 = 2.7배의 비트량 절감효과를 보이게 된다.
한편, 본 발명은 상기와 같은 비트량 절감 효과와 더불어 이 기법의 다른 효과가 있다. 즉, 기존에는 비디오 시퀀스를 B처럼 압축해서 전송을 하여 시퀀스 중간의 중요 프레임(여기서는 P7장면전환 프레임) 이전 프레임(P7)의 압축 패킷이 손실될 경우 그 뒤의 영상 데이터는 많은 화질 열화가 된다. 하지만 장면 전환에 대한 정보를 포함하고 있는 C의 경우에는 화면 전환에서 독립적인 영상을 생성하였으므로 화질열화에 영향이 미치지 아니한다. 이때, 패킷 전달을 하게 되는 라우터를 거치게 되는 경우에, 패킷의 발생량이 과도하게 라우터의 전송능력을 넘어서게 될 경우 장면전환에 대한 정보를 가진 시퀀스 즉, C에서는 패킷의 중요도에 따라 I프레임 타입 외에 다른 데이터를 제거함으로써 화질의 열화나 중요 데이터의 손실없이 전송이 가능한 효과를 보이게 된다.
이상에서, 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100 : 비디오 프레임 장면전환 검출 및 인코딩 장치
110 : 제1 압축 데이터 생성부
120 : 제1 인코딩부
130 : 제2 압축 데이터 생성부
140 : 장면 전환 감지부
150 : 제2 인코딩부

Claims (12)

  1. 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성하는 제1 압축 데이터 생성부;
    상기 현재 비디오 프레임을 인코딩하는 제1 인코딩부;
    상기 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성하는 제2 압축 데이터 생성부; 및
    상기 제1 압축 데이터와 상기 제2 압축 데이터를 비교하여 비디오 프레임의 장면 전환을 감지하는 장면 전환 감지부;
    를 포함하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
  2. 제 1항에 있어서,
    상기 제2 압축 데이터 생성부는,
    상기 인코딩된 현재 비디오 프레임을 P프레임 타입으로 압축하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
  3. 제 1항에 있어서,
    상기 장면 전환 감지부는,
    상기 제1 압축 데이터와 상기 제2 압축 데이터로부터 비트 양을 각각 산출하는 비트 산출부;
    상기 산출된 비트 양의 합과 기 설정된 기준비트 양을 비교하는 비교부; 및
    상기 비교 결과에 따라 상기 비트 양의 합이 상기 기준비트 양 이상이면 장면 전환이 발생했음을 감지하는 감지부;
    를 포함하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
  4. 제 3항에 있어서,
    상기 비교부는 하기의 수식 1에 기초하여 상기 산출된 비트 양의 합과 기 설정된 기준비트 양을 비교하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
    [수식 1]
    If i=1 ,
    |Rprev(i) - Rcurr| > α *Rth
    Else
    (1/(N-1))∑δ(i)*| Rprev(i) - Rcurr| > Rth , i=2~N
    여기서, Rprev는 제1 압축 데이터로부터 생성된 비트량, Rcurr는 제2 압축 데이터로부터 생성된 비트량, δ는 영상프레임의 가중계수, α *Rth는 기 설정된 기준비트 량에 통상 P프레임에서 생성된 비트량이 α 배임을 의미한다.
  5. 제 4항에 있어서,
    상기 수식 1에 기초하며, 상기 제1 압축데이터 및 제2 압축데이터의 Intra 모드의 수를 이용하는 장면 전환을 감지하는 하기의 수식 2를 통해 장면전환을 감지하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
    [수식 2]
    Ith < I(N)
    여기서, I(N)은 현재 프레임에서 Intra Mode 개수이며, Ith < I(N)는 장면 전환 감지를 의미한다.
  6. 제 5항에 있어서,
    상기 수식 1에 기초하며, 인코딩된 상기 제2 압축 데이터의 MV(움직임 벡터)을 이용하여 장면 전환을 감지하는 하기의 수식 3을 통해 장면전환을 감지하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
    [수식 3]
    D > Dth
    여기서, D는 현재 프레임의 MV 값의 표준편차 값으로 ∑(MV(xi)^2+ MV(yi)^2)으로 구할 수 있으며, D > Dth는 장면 전환 감지를 의미한다.
  7. 제 1항에 있어서,
    상기 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩하는 제2 인코딩부;를 더 포함하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
  8. 제 7항에 있어서,
    상기 제2 인코딩부는,
    상기 장면 전환이 감지된 현재 비디오 프레임을 I프레임 타입으로 설정하는 설정부;
    상기 I프레임 타입으로 설정된 현재 비디오 프레임을 재 인코딩하는 재 인코딩부; 및
    상기 제2 압축 데이터로부터 산출된 비트량을 초기화하고, 상기 재 인코딩된 현재 비디오 프레임으로부터 비트량을 재산출하는 비트 재산출부;
    를 포함하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치.
  9. 현재 비디오 프레임 전의 이전 비디오 프레임을 압축하여 제1 압축 데이터를 생성하는 단계;
    상기 현재 비디오 프레임을 인코딩하는 단계;
    상기 인코딩된 현재 비디오 프레임을 압축하여 제2 압축 데이터를 생성하는 단계; 및
    상기 제1 압축 데이터와 상기 제2 압축 데이터를 비교하여 비디오 프레임 장면 전환을 감지하는 단계;
    를 포함하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩방법.
  10. 제 9항에 있어서,
    상기 비디오 프레임 장면 전환을 감지하는 단계는,
    상기 제1 압축 데이터와 상기 제2 압축 데이터로부터 산출된 비트 양의 합과 기 설정된 기준비트 양을 비교한 결과, 상기 비트 양의 합이 상기 기준비트 양 이상이면 장면 전환이 발생했음을 감지하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩방법.
  11. 제 9항에 있어서,
    상기 비디오 프레임 장면 전환을 감지하는 단계 이후에,
    상기 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩하는 단계;가 더 포함되는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩방법.
  12. 제 11항에 있어서,
    상기 장면 전환이 감지된 현재 비디오 프레임을 재 인코딩하는 단계에서,
    상기 재 인코딩된 현재 비디오 프레임으로부터 비트량을 재산출하는 것을 특징으로 하는 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩방법.
KR1020120078574A 2012-07-19 2012-07-19 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법 KR101942371B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120078574A KR101942371B1 (ko) 2012-07-19 2012-07-19 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120078574A KR101942371B1 (ko) 2012-07-19 2012-07-19 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20140013148A true KR20140013148A (ko) 2014-02-05
KR101942371B1 KR101942371B1 (ko) 2019-04-18

Family

ID=50263626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078574A KR101942371B1 (ko) 2012-07-19 2012-07-19 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR101942371B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034725A1 (en) * 2015-08-27 2017-03-02 Intel Corporation Reliable large group of pictures (gop) file streaming to wireless displays

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340510B1 (ko) 2021-05-28 2021-12-17 주식회사 쿠오핀 초저지연 영상 인코딩 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3609965B2 (ja) * 1999-01-14 2005-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 圧縮形式でのデジタルビデオデータの処理方法
KR20080010610A (ko) * 2006-07-27 2008-01-31 삼성전자주식회사 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3609965B2 (ja) * 1999-01-14 2005-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 圧縮形式でのデジタルビデオデータの処理方法
KR20080010610A (ko) * 2006-07-27 2008-01-31 삼성전자주식회사 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034725A1 (en) * 2015-08-27 2017-03-02 Intel Corporation Reliable large group of pictures (gop) file streaming to wireless displays

Also Published As

Publication number Publication date
KR101942371B1 (ko) 2019-04-18

Similar Documents

Publication Publication Date Title
US10321138B2 (en) Adaptive video processing of an interactive environment
RU2377737C2 (ru) Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения
JP3636677B2 (ja) ディジタル映像安定化機能を有するデコーダ及びディジタル映像安定化方法
US9197912B2 (en) Content classification for multimedia processing
US9071841B2 (en) Video transcoding with dynamically modifiable spatial resolution
TWI586177B (zh) 基於場景之適應性位元率控制
US9253063B2 (en) Bi-directional video compression for real-time video streams during transport in a packet switched network
JP5227875B2 (ja) 動画像符号化装置
US8243117B2 (en) Processing aspects of a video scene
CN107770538B (zh) 一种检测场景切换帧的方法、装置和系统
RU2009116472A (ru) Динамическая модификация свойств видео
JP2015501568A (ja) ビデオシーケンスにおける知覚品質評価のためのシーン変化検出
CN106162199B (zh) 带反向信道消息管理的视频处理的方法和系统
US20080025387A1 (en) Intelligent moving robot based network communication capable of outputting/transmitting images selectively according to moving of photographed object
JP2009005315A (ja) データ通信装置及びデータ通信方法
KR101942371B1 (ko) 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법
CN112040232B (zh) 实时通信的传输方法和装置、实时通信的处理方法和装置
JP5756154B2 (ja) 映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラム
KR20110024574A (ko) 통합 영상 부호화 방법 및 장치
Kang et al. The decision scheme of frame importance factor for video streaming system
JP5141656B2 (ja) 通信制御装置、通信制御方法、および通信制御プログラム
JPH07193821A (ja) 動画像符号化装置および方法
EP4072133A1 (en) Transmission device and transmission method
JP2018139349A (ja) 映像処理装置及び映像処理プログラム
JP6708882B2 (ja) 符号化装置、及び、符号化方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant