KR20180121340A - 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 - Google Patents

압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 Download PDF

Info

Publication number
KR20180121340A
KR20180121340A KR1020180025837A KR20180025837A KR20180121340A KR 20180121340 A KR20180121340 A KR 20180121340A KR 1020180025837 A KR1020180025837 A KR 1020180025837A KR 20180025837 A KR20180025837 A KR 20180025837A KR 20180121340 A KR20180121340 A KR 20180121340A
Authority
KR
South Korea
Prior art keywords
mode
encoded
intra
predictive encoding
scene change
Prior art date
Application number
KR1020180025837A
Other languages
English (en)
Other versions
KR102163556B1 (ko
Inventor
최윤식
홍은기
황현수
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20180121340A publication Critical patent/KR20180121340A/ko
Application granted granted Critical
Publication of KR102163556B1 publication Critical patent/KR102163556B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 실시예들은 프레임 별로 전체 예측 부호화 단위 중 인트라 예측 부호화 단위의 비율을 산출하고, 상기 인트라 예측 부호화 단위의 비율에 기반하여 장면 전환 후보를 선출하며, 스킵 모드로 부호화되는 예측 부호화 단위의 개수를 전체 예측 부호화 단위의 개수에서 배제하고, 인트라 예측 부호화 단위에 기반하여 산출된 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출함으로써, 압축 영역에서 영상의 밝기에 강인한 장면 전환 평가 기준을 통해 최종적으로 실제 장면 전환에 근접한 프레임을 검출할 수 있는 야간 영상의 장면 전환 검출 방법 및 장치를 제공한다.

Description

압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 {Method and Apparatus for Detecting Scene Change of Nighttime Image in Compression Domain}
본 발명이 속하는 기술 분야는 압축 영상에서 장면 전환을 검출하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
네트워크 전송 기술의 발달과 동영상 부호화 기술의 발달로 실시간 고화질 대용량 동영상 콘텐츠의 수요가 폭발적으로 증가하고 있다. 동영상은 재생 시간과 파일 용량이 비교적 크기 때문에 시청자가 주어진 시간 동안 동영상의 내용을 전체적으로 빠르게 파악하기가 곤란하다. 동영상의 핵심 정보를 담은 키 프레임을 동영상 내에서 검출할 경우, 시청자가 검출된 키 프레임만을 가지고도 동영상의 전체적인 내용을 비교적 빠르게 대략적으로 파악할 수 있다.
일반적으로, 시간상에서 동영상의 장면간 급격한 전환이 이루어지는 프레임을 키 프레임으로 판단한다. 새로운 장면 정보는 장면 전환이 발생한 프레임과 인접한 이전 프레임간의 상관성이 없는 것을 기초하여 판단한다. 기존의 장면 전환 검출 기법은 크게 공간 영역에서의 장면 전환 검출 방식과 압축 영역에서의 장면 전환 검출 방식이 있다.
공간 영역에서 에지 히스토그램을 이용하는 방식은 프레임 별로 히스토그램 빈의 개수를 총 (부영상의 개수*에지 방향의 개수)만큼 갖고, 에지 분포를 빈으로 하는 히스토그램을 만든 다음, 인접한 프레임들의 에지 히스토그램 차이를 이용하여 장면 전환 여부를 판단한다. 이러한 방식은 공간 영역에서 에지 히스토그램을 구성하기 위해 실제 프레임별 픽셀의 그레이 레벨 값이 필요하므로, 압축된 영상에 대하여 복호화 과정을 거쳐야 한다. 또한 에지 분포를 검출하기 위해서는 다시 부영상을 k개의 영상 블록으로 나누고, 영상 블록을 또 다시 n개의 부블록으로 나누어 부블록의 평균 그레이 레벨값에 필터 계수를 적용하여 필터링 과정을 거쳐야 하는 문제가 있다.
압축 영역에서 화면 내 예측을 이용한 장면 전환 검출하는 방식은 영상에서 세밀하게 묘사된 부분은 비교적 작은 크기의 화면 내 예측 블록으로 부호화되는 경향에 근거하여 프레임별 화면 내 예측 블록의 예측 크기가 작을수록 복잡도가 높다고 판단한다. 프레임 별로 화면 내 예측 모드로 부호화된 블록의 분포 변화를 가지고 장면 전환 여부를 판단한다. 이러한 방식은 화면 내 예측 모드로 부호화된 블록만이 존재하는 프레임을 고려하기 때문에, 화면 내 예측 모드로 부호화된 프레임이 존재하지 않거나, 화면 간 예측 모드로 부호화 된 블록이 같이 분포할 경우 해당 검출 방법을 사용할 수 없는 문제가 있다.
한국등록특허공보 제10-0816013호 (2008.03.17.)
본 발명의 실시예들은 야간 영상 또는 야간 저조도 영상에 대하여 스킵 모드로 부호화되는 블록의 개수를 전체 블록의 개수에서 배제하여 인트라 모드 부호화 블록의 비율을 산출하므로, 프레임이 충분히 장면 전환 후보의 자격을 갖춤에도 낮은 밝기로 인한 스킵 모드 블록들에 의해 검출되지 못하는 문제를 해결하는 데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 야간 영상의 장면 전환 검출 방법에 있어서, 야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출하는 단계, 및 상기 압축 영역에서, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출하는 단계를 포함하는 야간 영상의 장면 전환 검출 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출하는 후보 선출부, 및 상기 압축 영역에서, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출하는 장면 판단부를 포함하는 야간 영상의 장면 전환 검출 장치를 제공한다.
본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 야간 영상의 장면 전환 검출을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에, 야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출하는 단계, 및 상기 압축 영역에서, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 프레임 별로 전체 예측 부호화 단위 중 인트라 예측 부호화 단위의 비율을 산출하고, 상기 인트라 예측 부호화 단위의 비율에 기반하여 장면 전환 후보를 선출하며, 스킵 모드로 부호화되는 예측 부호화 단위의 개수를 전체 예측 부호화 단위의 개수에서 배제하고, 압축 영역에서 인트라 예측 모드를 기반으로 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출함으로써, 고화질 동영상 압축 표준인 H.264 또는 HEVC 표준안의 구문에 크게 의존적이지 않고, 비교적 구문 독립적으로 간편하게 기존 표준안 내에서 유연하게 구현할 수 있고, 압축 영역에서 영상의 완전한 복호화 없이 영상의 밝기에 강인한 장면 전환 평가 기준을 통해 최종적으로 실제 장면 전환에 근접한 프레임을 검출할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 영상 부호화 장치를 예시한 도면이다.
도 2는 영상 복호화 장치를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 장면 전환 검출 장치를 예시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 장면 전환 검출 장치가 HEVC 예측 모드에 따라 PU 단위로 분할하는 것을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 장면 전환 검출 장치가 참조하는 화면 내 예측 모드에 따른 에지 방향을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 장면 전환 검출 장치가 한 프레임으로부터 복잡도 및 에지 히스토그램을 구성하는 것을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 장면 전환 검출 장치가 율-왜곡 최적화에 의해 예측 모드를 결정하는 것을 예시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 장면 전환 검출 방법을 예시한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 장면 전환 검출 장치가 처리하는 야간 블랙박스 촬영 영상 중 한 장면의 매크로블록 모드 분포를 나타낸 것이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 영상 부호화 장치를 예시한 도면이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(Intra) 모드 또는 인터(Inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 이하 본 발명의 실시예에서는 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측과 동일한 의미로 사용될 수 있다. 예측 단위에 대한 최적의 예측 방법을 결정하기 위해 예측 단위에 대해 화면 내 예측 방법 및 화면 간 예측 방법이 선택적으로 사용될 수 있다. 영상 부호화 장치(100)는 입력 영상의 원본 블록에 대한 예측 블록을 생성한 후, 원본 블록과 예측 블록의 차분을 부호화한다.
화면 내 예측 모드인 경우, 인트라 예측부(120)(또는 화면 내 예측부도 동일한 의미를 가지는 용어로 사용될 수 있음)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.
화면 간 예측 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(Residual Block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(Transform)을 수행하여 변환 계수(Transform Coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(Quantized Coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(Bit Stream)을 출력한다.
HEVC 역시 인트라 예측 부호화(화면 내 예측 부호화) 또는 인터 예측 부호화(화면 간 예측 부호화)를 수행한다. 인터 예측 부호화시 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(Deblocking Filter) 및 SAO(Sample Adaptive Offset) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.
도 2는 영상 복호화 장치를 예시한 도면이다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 화면 내 예측 모드를 사용하여 예측 블록을 생성하고 인터 모드인 경우 화면 간 예측 방법을 사용하여 예측 블록을 생성한다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(Residual Block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.
엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(Quantized Coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 잔여 블록(Residual Block)이 생성된다.
화면 내 예측 모드인 경우, 인트라 예측부(240)(또는 화면 간 예측부)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.
화면 간 예측 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터 및 SAO 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(Interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다.
본 발명에서 '차신호'는 문맥에 따라 '차분 신호', '잔여 블록' 또는 '차분 블록'으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.
본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit, CU)을 부호화 단위라는 용어로 사용하지만, 부호화뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 이하, 본 발명의 실시예에서 설명하는 영상 부호화 방법은, 각 모듈의 기능에서 맞게 구현될 수 있고 이러한 부호화기 및 복호화기는 본 발명의 권리범위에 포함된다. 즉, 본 발명의 실시예에서 후술할 영상 부호화/복호화 방법은 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.
도 1, 도 2의 실시예에 따른 영상 부호화/복호화에서는, 영상의 효율적인 부호화를 위해, 표준에 따른 압축의 기본 단위를 기준으로 부호화를 진행한다. 예컨대, H.264의 부호화 단위는 매크로블록이고, HEVC에서는 단일 크기의 부호화 단위가 다양한 크기로 확장된 CU 구조가 정의될 수 있다.
본 명세서에서 블록 또는 예측 부호화 단위는 부호화/복호화의 단위를 의미한다. 부호화/복호화 과정에서, 영상은 소정의 크기로 분할되어 부호화/복호화된다. H.264에서 블록(예측 부호화 단위)은 매크로블록으로 불릴 수 있고, HEVC에서 블록(예측 부호화 단위)은 CU, PU, TU 등으로도 불릴 수도 있으며, 하나의 블록은 더 작은 크기의 하위 블록으로 분할될 수도 있다.
압축의 기본 단위인 기존의 H.264에서의 매크로 블록(Macro Block, MB)이 HEVC(High-Efficiency Video Coding)에서 코딩 트리 유닛(Coding Tree Unit, CTU)으로 대체되었다. 이때, MB의 크기는 16x16크기를 가지는 것에 반해, CTU의 크기는 16x16, 32x32, 64x64 중 하나를 선택할 수 있다. 그리고 하나의 CTU는 다시 하위 코딩 유닛(Coding Unit, CU)들로 나누어질 수 있고, 이러한 CU는 다시 예측 유닛(Prediction Unit, PU)와 변환 유닛(Transform Unit, TU)으로 나누어진다.
각 CU는 64x64 내지 8x8의 크기를 가질 수 있으며, PU는 64x64 내지 4x4의 크기를 가질 수 있고, TU는 32x32 내지 4x4의 크기를 가질 수 있다. 따라서 HEVC의 경우 H.264에 비해 다양한 크기의 블록 및 주파수 변환을 지원한다. H.264에서는 인트라 예측(Intra-Prediction, 화면 내 예측)에 9개의 예측 방향을 가지는 것에 반해, HEVC는 35가지의 예측 방향을 사용한다. 인터 예측(Inter-Prediction, 화면 간 예측)의 경우에도 기존 H.264의 인터 예측의 경우 최대 블록 사이즈가 16x16까지 제한되어 있는 반면, HEVC에서는 4x4에서 64x64까지 다양한 블록 사이즈를 취급할 수 있도록 확장되었다.
CU는 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(Depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8Х8, 16Х16, 32Х32, 64Х64 등 다양한 크기를 가질 수 있다. 또한 가장 큰 크기의 CU를 LCU(Largest Coding Unit), 가장 작은 크기의 CU를 SCU(Smallest Coding Unit)라 한다. SCU를 제외한 모든 CU는 split_flag 정보를 할당하여 그 값에 따라 해당 CU가 분할된 영역인지 아닌지를 지시하게 된다. 부호화기는 다양한 비디오 신호 특성에 따라, 부호화 과정에서 LCU의 크기를 조절할 수도 있다. CU는 인트라 또는 인터 예측에 사용되도록 PU(Prediction Unit)으로 분할될 수 있으며, 변환 및 양자화를 위해 TU(Transform Unit)으로 분할될 수 있다.
PU는 예측 및/또는 움직임 보상 수행의 기본 단위를 의미한다. PU는 복수의 파티션(Partition)으로 분할될 수 있으며, 각각의 파티션은 PU 파티션(Prediction Unit Partition)으로 불린다. PU가 복수의 파티션으로 분할된 경우, PU 파티션은 예측 및/또는 움직임 보상 수행의 기본단위가 될 수 있다. 이하, 본 발명의 실시예에서는 PU는 PU 파티션을 의미할 수도 있다.
HEVC(High Efficiency Video Coding)에서는 향상된 움직임 벡터 예측(Advanced Motion Vector Prediction, AMVP)에 기반한 움직임 벡터 예측(Motion Vector Prediction) 방법을 사용한다.
향상된 움직임 벡터 예측에 기반한 움직임 벡터 예측 방법에서는 부호화/복호화 대상 블록의 주변에 위치하는 복원 블록의 움직임 벡터(Motion Vector, MV)뿐만 아니라, 참조 픽쳐(Reference Picture) 내에서 부호화/복호화 대상 블록과 동일한 위치 또는 대응되는 위치에 존재하는 블록의 움직임 벡터를 이용할 수 있다. 이때. 참조 픽쳐 내에서 부호화/복호화 대상 블록과 동일한 위치 또는 공간적으로 대응되는 위치에 존재하는 블록을 동등 위치 블록(Collocated Block), 동등 위치 블록의 움직임 벡터를 동등 위치 움직임 벡터(Collocated Motion Vector) 또는 시간적 움직임 벡터(Temporal Motion Vector)라고 부른다. 그러나, 동동 위치 블록(Collocated Block)은 참조 픽쳐의 부호화/복호화 대상 블록과 반드시 동일한 위치에 존재하는 블록만이 아니라, 부호화/복호화 대상 블록과 위치가 유사한, 즉 대응되는 위치에 존재하는 블록일 수도 있다.
움직임 정보 병합(Motion Information Merge) 방법에서는 움직임 정보를 주변에 위치하는 복원 블록뿐만 아니라 동등 위치 블록으로부터도 유추하여, 부호화/복호화 대상 블록의 움직임 정보로 이용한다. 이때, 움직임 정보는 인터 예측 시에 필요한 참조 픽쳐 인덱스(Reference Picture Index), 움직임 벡터, 단방향(Uni-Direction) 또는 양방향(Bi-Direction) 등을 나타내는 인터 예측 모드 정보, 참조 픽쳐 리스트(Reference Picture List), 인트라 예측 모드로 부호화되었는지 인터 예측 모드로 부호화되었는지에 관한 예측 모드(Prediction Mode) 정보 중 적어도 하나 이상을 포함하는 정보이다.
부호화/복호화 대상 블록에서 예측된 움직임 벡터(Predicted Motion Vector)는 부호화/복호화 대상 블록과 공간적으로 인접한 주변 블록의 움직임 벡터뿐만 아니라, 부호화/복호화 대상 블록과 시간적으로 인접한 블록인 동등 위치 블록의 움직임 벡터일 수도 있다.
도 3은 장면 전환 검출 장치를 예시한 블록도이다.
도 3에 도시한 바와 같이, 장면 전환 검출 장치(300)는 후보 선출부(310), 및 장면 판단부(320)를 포함한다. 장면 전환 검출 장치(300)는 도 3에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
장면 전환 검출 장치(300)는 스킵 모드로 부호화되는 예측 부호화 단위의 개수는 전체 예측 부호화 단위의 개수에서 배제하여 화면 내 예측 부호화 단위의 비율을 산출하므로, 프레임이 충분히 장면 전환 후보의 자격을 갖춤에도 불구하고 낮은 밝기로 인한 스킵 모드 예측 부호화 단위들에 의해 검출되지 못하는 문제를 해결한다.
후보 선출부(310)는 압축 영역에서 프레임 별로 전체 예측 부호화 단위 중 인트라 모드로 부호화된 예측 부호화 단위의 비율을 산출한다. 후보 선출부(310)는 인트라 모드로 부호화된 예측 부호화 단위의 비율에 기반하여 장면 전환 후보 프레임을 선출한다. 후보 선출부(310)는 전체 예측 부호화 단위의 개수에서 스킵 모드로 부호화되는 예측 부호화 단위의 개수를 배제하고, 인트라 모드로 부호화된 예측 부호화 단위의 비율을 산출한다.
장면 판단부(320)는 압축 영역에서 인트라 모드로 부호화된 예측 부호화 단위의 인트라 모드에 기반하여 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출한다.
전체적으로 낮은 명도를 갖는 영상 플레임에서 예측 부호화 단위의 부호화 모드는 대부분 스킵 모드로 부호화되기 때문에, 단순히 인트라 모드로 부호화된 블록의 비율로 장면 전환 후보를 선출하면, 야간 영상 또는 야간 저조도 영상과 같이 전체적으로 낮은 밝기의 영상에서 선출된 후보의 정확도에 문제가 있다.
후보 선출부(310)는 스킵 모드로 부호화된 블록의 개수로 인한 문제를 개선하여 장면 전환 후보를 검출한다. 후보 선출부(310)는 인트라 모드로 부호화된 블록의 비율을 임계 값과 비교한 결과에 따라 후보 프레임을 선출한다. 후보 선출부(310)는 1차적으로 장면 전환 후보 프레임을 검출할 때 수학식 1과 같이 프레임의 인트라 모드 부호화 블록 비율을 산출한다.
Figure pat00001
인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율(R1)은 프레임에 속하는 전체 예측 부호화 단위의 개수(Ntotal)에서 스킵 모드로 부호화된 예측 부호화 단위의 개수(Nskip)를 제외하여 산출된다. 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은 전체 예측 부호화 단위위에서 스킵 모드로 부호화된 예측 부호화 단위를 제외하고 인터 모드로 부호화된 예측 부호화 단위의 개수(Ninter) 및 인트라 모드로 부호화된 예측 부호화 단위의 개수(Nintra)를 합한 수를 분모로 하고, 인트라 모드로 부호화된 예측 부호화 단위의 개수(Nintra)를 분자로 한다. 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은 기 설정된 기준 명도 값보다 낮은 명도 값을 갖는 영상에 대하여, 인트라 모드로 부호화된 예측 부호화 단위의 개수(Nintra) 및 스킵 모드로 부호화된 예측 부호화 단위의 개수(Nskip) 간의 관계를 고려하여 산출될 수 있다. H.264에서의 예측 부호화 단위(블록)는 매크로블록을 의미할 수 있고, HEVC에서의 예측 부호화 단위(블록)는 PU를 의미할 수 있다.
도 4에서는 HEVC 예측 모드에 따른 PU 단위로 분할된 블록이 예시되어 있다. HEVC는 PU 단위를 사용하여 Intra/Inter/Skip으로 블록을 분할한다. 본 실시예는 HEVC 표준으로 부호화된 동영상에 대하여 PU 단위를 기반으로 인트라 모드 부호화 블록 비율을 산출할 수 있다. PU 단위에 기반한 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율(R2)은 수학식 2과 같이 표현된다.
Figure pat00002
수학식 2에서 PUtotal은 한 프레임 내의 전체 PU의 개수, PUskip은 한 프레임 내의 skip 모드로 예측된 PU의 개수, 그리고 PUintra는 한 프레임 내의 intra 모드로 예측된 PU의 개수를 나타낸다.
본 실시예들은 H.264 또는 HEVC 뿐만 아니라 다른 압축 표준안의 경우도, 수학식 1 및 수학식 2와 유사하게 각 표준안의 예측 부호화 단위를 척도로 삼아서 인트라 모드의 부호화 비율을 수식으로 산출할 수 있다.
도 5는 장면 전환 검출 장치가 참조하는 화면 내 예측 모드에 따른 에지 방향이고, 도 6은 장면 전환 검출 장치가 한 프레임으로부터 복잡도 및 에지 히스토그램을 구성하는 것을 예시한 도면이다.
장면 판단부(320)는 압축 영역에서 인트라 모드로 부호화된 블록의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출한다.
장면 판단부(320)는 인트라 모드로 부호화된 예측 부호화 단위의 인트라 모드의 크기에 따라 복잡도를 산출한다. 장면 판단부(320)는 영상에서 세밀하게 묘사된 부분은 비교적 작은 크기의 화면 내 예측 부호화 단위로 부호화되는 경향에 근거하여 프레임별 인트라 예측 부호화 단위의 예측 크기가 작을수록 복잡도가 높다고 판단한다.
장면 판단부(320)는 인트라 모드로 부호화된 예측 부호화 단위의 인트라 모드의 예측 방향에 따라 에지 히스토그램을 산출한다. 장면 판단부(320)는 인트라 예측시 모드별 예측 방향을 참조하여 에지를 분류한다. 에지 히스토그램은 무방향 에지 대신 넌-에지 빈을 포함한다.
장면 판단부(320)는 복잡도 및 에지 히스토그램 차(Complexity and Edge Histogram Bin Difference, CEH)를 이용하며, 복잡도 및 에지 히스토그램 차는 각 장면 전환 후보 프레임에 속해 있는 매크로블록들의 복잡도와 에지 분포를 각각의 히스토그램 빈(bin)으로 구성된다. 장면 판단부(320)는 인접 프레임 간의 히스토그램 빈의 차이의 절대값의 합이 사전 설정한 임계값보다 크면 해당 프레임에서 장면 전환이 발생했다고 판단한다. 복잡도 및 에지 히스토그램 차에 관한 관계식이 수학식 3과 같이 표현된다.
Figure pat00003
수학식 3에서 CEHBi(t)는 t번째 장면 전환 후보 프레임의 i번째 히스토그램 빈의 값을 나타낸다. CEHBi(t-1)은 t-1번째 장면 전환 후보 프레임의 I번째 히스토그램 빈의 값을 나타낸다. Ts는 장면 전환 최종 후보 검출을 위해 사전 설정한 임계값이다. 즉, 인접한 프레임 간 동일한 종류에 해당하는 히스토그램 빈 차이의 절댓값의 합을 취하고 이를 최종 장면 전환 검출에 사용한다.
HEVC의 최적 예측 모드 방법 결정 과정은 율-왜곡 최적화(Rate-Distortion Optimization)에 의해 결정된다. 이는 수학식 4의 라그랑주 계수법(Lagrange Multiplier)을 이용한 비용함수의 최적화를 수행하여 비용함수(cost function)가 최소가 되는 모드로 결정한다.
Figure pat00004
수학식 4에서 Jmode는 최소화하려는 비용함수이다. SSE는 블록간의 오차를 나타내는 Sum of Squared Error이며, ωchroma는 색차 성분을 위한 가중치이고, λmode는 라그랑주 계수이다. SSE, ωchroma, λmode를 구체화하면, 수학식 5와 같이 표현된다.
Figure pat00005
도 7에서는 각각의 예측 모드에 따라 수학식 4의 비용함수를 최소하기 위한 예측 모드 결정 과정이 도시되어 있다. Skip 모드의 경우, 처음 Early_Skip 및 CBF_Fast 조건이 만족하면 최적 모드를 Skip으로 바로 결정한다. Early_Skip의 경우 잔여 블록의 계수가 모두 0이고, 움직임 벡터의 차(Motion Vector Difference)가 0인지 조건을 확인한다. 만약 Early_Skip 조건을 만족하지 못하면, 잔여 블록의 계수가 0인지를 확인하는 CBF_Fast 조건을 확인하고, 만족하지 못하면 다시 Skip 모드에 대한 수학식 4를 계산한다. 이후 다른 모드에 대한 비용 함수들을 수학식 4를 이용하여 계산하고, 최소의 비용함수를 찾아서 최종적으로 해당 예측 모드로 부호화를 수행한다.
야간의 저조도 영상의 경우, 부호화될 블록이 Early_skip 및 CBF_Fast 조건을 만족하거나, 최소의 비용함수가 Skip 모드로 수학식 2의 결과가 되는 블록이 주간의 고조도 영상에 비해 증가하므로, 본 실시예의 장면 전환을 결정하는 과정에서 Skip 모드를 배제하는 것이 야간에서의 장면 전환을 보다 정확하게 검출할 수 있음을 파악할 수 있다.
장면 전환 검출 장치에 포함된 구성요소들이 도 3에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
장면 전환 검출 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
장면 전환 검출 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 장면 전환 검출 방법을 예시한 흐름도이다. 장면 전환 검출 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 장면 전환 검출 장치가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.
단계 S810에서, 컴퓨팅 디바이스는 압축 영역에서 야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 예측 부호화 단위의 비율을 산출하고, 인트라 모드로 부호화된 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출한다. 인트라 모드로 부호화된 예측 부호화 단위의 비율은 프레임에 속하는 전체 예측 부호화 단위에서 스킵 모드로 부호화된 예측 부호화 단위의 개수를 제외하여 산출된다. 인트라 모드로 부호화된 예측 부호화 단위의 비율은 전체 예측 부호화 단위에서 스킵 모드로 부호화된 예측 부호화 단위을 제외하고 인터 모드로 부호화된 예측 부호화 단위의 개수 및 인트라 모드로 부호화된 예측 부호화 단위의 개수를 합한 수를 분모로 하고, 인트라 모드로 부호화된 예측 부호화 단위의 개수를 분자로 한다. 인트라 모드로 부호화된 예측 부호화 단위의 비율은 기 설정된 기준 명도 값보다 낮은 명도 값을 갖는 영상에 대하여, 인트라 모드로 부호화된 예측 부호화 단위의 개수 및 스킵 모드로 부호화된 예측 부호화 단위의 개수 간의 관계를 고려하여 산출될 수 있다. 장면 전환 후보를 선출하는 단계(S810)는 인트라 모드로 부호화된 예측 부호화 단위의 비율을 임계 값과 비교한 결과에 따라 후보 프레임을 선출한다.
단계 S820에서, 컴퓨팅 디바이스는 압축 영역에서 인트라 모드로 부호화된 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출한다. 장면 전환을 검출하는 단계(S820)는 인트라 모드로 부호화된 예측 부호화 단위의 인트라 모드의 크기에 따라 복잡도를 산출하고, 인트라 모드로 부호화된 예측 부호화 단위의 인트라 모드의 예측 방향에 따라 에지 히스토그램을 산출한다. 에지 히스토그램은 넌-에지 빈을 포함할 수 있다.
도 9는 본 발명의 실시예들에 따른 장면 전환 검출 장치 및 방법이 처리하는 야간 블랙박스 촬영 영상 중 한 장면의 매크로블록 모드 분포를 나타낸 것이다.
해당 프레임은 버스가 이전 프레임들에서 계속 등장하고 있던 뒤의 차를 추월하고 있는 장면으로, 장면 전환이 발생한 것에 해당한다. 영상에서 적색으로 표시된 매크로블록이 화면 내 모드로 부호화된 인트라 모드 매크로블록, 청색은 화면 간 모드로 부호화된 인터 모드 매크로블록, 그리고 흑색이 스킵 모드 매크로블록이다. 각 모드의 비율은 각각 36.85%, 26.12%, 그리고 37.03%이다. 스킵 모드를 포함하여 산출된 인트라 모드 매크로블록의 비율은 36.85%이며 임계값(예컨대, 50%)보다 작기 때문에, 후보로 선출되지 않는다. 하지만, 실시예들에 따라 1차 장면 전환 후보 검출식을 적용한다면 스킵 모드의 매크로블록만큼 제외한 전체 매크로블록 대 인트라 모드 매크로블록의 비율(36.85/(36.85+26.12)*100=58.52%)이 임계값(예컨대, 50%)보다 충분히 크게 되므로, 해당 프레임은 장면 전환 후보로 검출될 수 있다.
본 실시예들은 프레임 별로 전체 블록 중 화면 내 부호화된 블록의 비율을 산출하고, 상기 화면 내 부호화된 블록의 비율에 기반하여 장면 전환 후보를 선출하며, 스킵 모드로 부호화되는 블록의 개수를 상기 전체 블록의 개수에서 배제하고, 압축 영역에서 화면 내 예측에 기반하여 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출함으로써, 고화질 동영상 압축 표준인 H.264 또는 HEVC 표준안의 구문에 크게 의존적이지 않고, 비교적 구문 독립적으로 간편하게 기존 표준안 내에서 유연하게 구현할 수 있고, 압축 영역에서 영상의 완전한 복호화 없이 영상의 밝기에 강인한 장면 전환 평가 기준을 통해 최종적으로 실제 장면 전환에 근접한 프레임을 검출할 수 있다.
도 8에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 8에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300: 장면 전환 검출 장치
310: 후보 선출부
320: 장면 판단부

Claims (13)

  1. 컴퓨팅 디바이스에 의한 야간 영상의 장면 전환 검출 방법에 있어서,
    야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출하는 단계; 및
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출하는 단계
    를 포함하는 야간 영상의 장면 전환 검출 방법.
  2. 제1항에 있어서,
    상기 압축 영역에서의 예측 부호화 단위는 H.264의 매크로 블록 또는 HEVC의 예측 유닛을 의미하고,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은 상기 프레임에 속하는 전체 예측 부호화 단위에서 스킵 모드로 부호화된 예측 부호화 단위의 개수를 제외하여 산출되는 것을 특징으로 하는 야간 영상의 장면 전환 검출 방법.
  3. 제1항에 있어서,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은,
    상기 전체 예측 부호화 단위에서 스킵 모드로 부호화된 예측 부호화 단위를 제외하고 인터 모드로 부호화된 예측 부호화 단위의 개수 및 인트라 모드로 부호화된 예측 부호화 단위의 개수를 합한 수를 분모로 하고, 상기 인트라 모드로 부호화된 예측 부호화 단위의 개수를 분자로 하는 것을 특징으로 하는 야간 영상의 장면 전환 검출 방법.
  4. 제1항에 있어서,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은,
    기 설정된 기준 명도 값보다 낮은 명도 값을 갖는 영상에 대하여, 인트라 모드로 부호화된 예측 부호화 단위의 개수 및 스킵 모드로 부호화된 예측 부호화 단위의 개수 간의 관계를 고려하여 산출되는 것을 특징으로 하는 야간 영상의 장면 전환 검출 방법.
  5. 제1항에 있어서,
    상기 장면 전환 후보를 선출하는 단계는,
    상기 인트라 모드로 부호화된 예측 부호화 단위의 비율을 임계 값과 비교한 결과에 따라 후보 프레임을 선출하는 것을 특징으로 하는 야간 영상의 장면 전환 검출 방법.
  6. 제1항에 있어서,
    상기 장면 전환을 검출하는 단계는,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드의 크기에 따라 상기 복잡도를 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드의 예측 방향에 따라 상기 에지 히스토그램을 산출하고, 상기 에지 히스토그램은 넌-에지 빈을 포함하는 것을 특징으로 하는 야간 영상의 장면 전환 검출 방법.
  7. 야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출하는 후보 선출부; 및
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출하는 장면 판단부
    를 포함하는 야간 영상의 장면 전환 검출 장치.
  8. 제7항에 있어서,
    상기 압축 영역에서의 예측 부호화 단위는 H.264의 매크로 블록 또는 HEVC의 예측 유닛을 의미하고,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은 상기 프레임에 속하는 전체 예측 부호화 단위에서 스킵 모드로 부호화된 예측 부호화 단위의 개수를 제외하여 산출되는 것을 특징으로 하는 야간 영상의 장면 전환 검출 장치.
  9. 제7항에 있어서,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은,
    상기 전체 예측 부호화 단위에서 스킵 모드로 부호화된 예측 부호화 단위를 제외하고 인터 모드로 부호화된 예측 부호화 단위의 개수 및 인트라 모드로 부호화된 예측 부호화 단위의 개수를 합한 수를 분모로 하고, 상기 인트라 모드로 부호화된 예측 부호화 단위의 개수를 분자로 하는 것을 특징으로 하는 야간 영상의 장면 전환 검출 장치.
  10. 제7항에 있어서,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율은,
    기 설정된 기준 명도 값보다 낮은 명도 값을 갖는 영상에 대하여, 인트라 모드로 부호화된 예측 부호화 단위의 개수 및 스킵 모드로 부호화된 예측 부호화 단위의 개수 간의 관계를 고려하여 산출되는 것을 특징으로 하는 야간 영상의 장면 전환 검출 장치.
  11. 제7항에 있어서,
    상기 후보 선출부는,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 임계 값과 비교한 결과에 따라 후보 프레임을 선출하는 것을 특징으로 하는 야간 영상의 장면 전환 검출 장치.
  12. 제7항에 있어서,
    상기 장면 판단부는,
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드의 크기에 따라 상기 복잡도를 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드의 예측 방향에 따라 상기 에지 히스토그램을 산출하고, 상기 에지 히스토그램은 넌-에지 빈을 포함하는 것을 특징으로 하는 야간 영상의 장면 전환 검출 장치.
  13. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 야간 영상의 장면 전환 검출을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에,
    야간에 촬영된 영상의 프레임으로부터 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 산출하고, 상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 비율을 이용하여 장면 전환 후보를 선출하는 단계; 및
    상기 인트라 모드로 부호화된 압축 영역에서의 예측 부호화 단위의 인트라 모드를 기반으로 추출한 복잡도 및 에지 히스토그램을 이용하여 장면 전환을 검출하는 단계
    를 포함한 동작들을 수행하는 컴퓨터 프로그램.
KR1020180025837A 2017-04-28 2018-03-05 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 KR102163556B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170055276 2017-04-28
KR1020170055276 2017-04-28

Publications (2)

Publication Number Publication Date
KR20180121340A true KR20180121340A (ko) 2018-11-07
KR102163556B1 KR102163556B1 (ko) 2020-10-07

Family

ID=64363340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025837A KR102163556B1 (ko) 2017-04-28 2018-03-05 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102163556B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134986A (ja) * 2005-11-10 2007-05-31 Kddi Corp ショット境界検出装置
KR100816013B1 (ko) 2007-01-23 2008-03-21 (주)엑스퍼넷 압축영상의 장면전환 검출장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134986A (ja) * 2005-11-10 2007-05-31 Kddi Corp ショット境界検出装置
KR100816013B1 (ko) 2007-01-23 2008-03-21 (주)엑스퍼넷 압축영상의 장면전환 검출장치 및 방법

Also Published As

Publication number Publication date
KR102163556B1 (ko) 2020-10-07

Similar Documents

Publication Publication Date Title
US10104378B2 (en) Residual colour transform signalled at sequence level for specific coding modes
RU2683495C1 (ru) Нововведения в предсказание блочных векторов и оценку восстановленных значений отсчетов в области перекрытия
EP3075154B1 (en) Selection of motion vector precision
KR101952293B1 (ko) 적응형 컬러 공간 변환 코딩
US20170070745A1 (en) Perceptual Optimization for Model-Based Video Encoding
KR20170063895A (ko) 비디오 코딩을 위한 해시 기반 인코더 결정
CN105359531A (zh) 针对屏幕内容编码的编码器侧判定
KR20170021337A (ko) 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
CN106254870B (zh) 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
JP7540051B2 (ja) 画像予測方法、機器、及びシステム、装置、及び記憶媒体
KR20210104891A (ko) Vvc에서의 컬러 변환을 위한 방법 및 장치
JP7351908B2 (ja) エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
EP3732883A1 (en) Device and method for coding video data based on mode list including different mode groups
CN110913215B (zh) 一种预测模式的选择方法及装置、可读存储介质
KR20150048637A (ko) 색 성분 간 예측 방법 및 장치
CN113906754A (zh) 图像编码/解码方法和设备
JP7321345B2 (ja) ビデオ符号化及び復号
US20230090025A1 (en) Methods and systems for performing combined inter and intra prediction
WO2023274360A1 (en) Utilization of recursive prediction unit in video coding
JP2023052553A (ja) ビデオ符号化及び復号
TWI597977B (zh) 採用自適性色彩轉換之視訊編碼方法及系統
WO2022174469A1 (zh) 一种光照补偿方法、编码器、解码器及存储介质
KR102140271B1 (ko) 문턱값 기반 부호화 단위 분할을 이용한 고속 인트라 부호화 방법 및 장치
KR102163556B1 (ko) 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치
WO2020258052A1 (zh) 图像分量预测方法、装置及计算机存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right