KR20140030535A

KR20140030535A - 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법

Info

Publication number: KR20140030535A
Application number: KR1020120096570A
Authority: KR
Inventors: 김증섭; 김종일; 김승호; 김민준
Original assignee: 주식회사 에이투텍
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2014-03-12
Also published as: KR101538010B1

Abstract

본 발명은 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법에 관한 것으로서, 본 발명의 실시예에 따른 영상 부호화 장치는 입력된 영상들로부터 장면별 첫 영상 프레임을 검출하는 영상 검출부, 검출한 첫 영상 프레임에서의 에너지포인트를 검출하고, 검출한 에너지포인트를 이용하여 첫 영상 프레임에 이어지는 영상의 에너지포인트의 이동성을 추적하는 에너지포인트 검출부, 이동성의 추적 결과에 근거하여 영상 프레임간 변화가 있는 블록을 구분하는 블록 구분부, 및 변화가 있는 블록의 참조 영상에 대한 차분영상을 생성하여 출력하는 차분영상 생성부를 포함한다.

Description

영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법{Apparatus and Method for Encoding Image, Apparatus and Method for Decoding Image}

본 발명은 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법에 관한 것으로서, 더 상세하게는 예컨대 모바일 고화질 영상통화 시스템 또는 모바일 CCTV 시스템에서 블록 메모리얼 기반의 코덱을 이용하여 영상을 처리하려는 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법에 관한 것이다.

영상의 압축은 MPEG, H.26x 등의 압축 표준이 있고, 이러한 영상 압축 기법은 비디오 플레이어, VOD, 영상 전화, 디지털 멀티미디어 방송(DMB) 등 많은 응용에 사용되고 있다. 또한 2.5G/3G 등의 무선 통신의 발달로 무선 모바일 환경(wireless mobile base)에서 영상 전송이 상업화되고 있다.

MPEG이나 H.26x 계열의 동영상 코덱(CODEC) 등 대부분의 동영상 압축 표준은 움직임 보상 기법(Motion Estimation & Compensation)과 변환(Transform)에 기반한 압축방식을 채택하고 있다. 이러한 움직임 보상 기반 부호화에서는 각 블록(block)의 움직임 벡터(Motion Vector) 정보를 부호화해서 전송해야 하며, 움직임 벡터를 어떻게 부호화하느냐에 따라 압축 효율이 크게 달라지기도 한다.

영상을 부호화하는 일반적인 과정은 디지털 영상신호를 이산여현변환(DCT) 처리하고, 변환계수를 양자화하여 가변길이 부호화(VLC)를 수행하는 한편, 양자화된 DCT 계수를 역양자화 및 역DCT 변환하여 복원한 영상을 메모리에 저장하고, 메모리에 저장된 복원 영상과 다음 프레임 영상을 이용해서 움직임 벡터를 산출하며, 움직임 벡터를 가변길이 부호화하여 상기 부호화된 영상정보와 함께 비트 스트림으로 구성하여 전송하는 수순을 따른다. 영상을 복호화하는 방법은 상기 부호화 과정의 역순으로 수행한다.

이와 같이 영상을 압축 부호화하는 방법은 공간 중복성 및/또는 시간 중복성을 이용해서 이루어진다. 시간 중복성에 기반한 동영상 코덱(CODEC)의 경우 이전 프레임과의 시간적 중복성을 매크로 블록의 움직임 벡터를 이용함으로써 효율적으로 제거할 수 있었다. 예를 들면, 현재 프레임(current frame)의 매크로 블록과 가장 유사한 매크로 블록을 이전(참조) 프레임(reference frame)에서 찾게 되는데, 현재 프레임의 매크로 블록과 이전 프레임의 매크로 블록간의 유사성을 기준으로 두 벡터 사이의 거리의 제곱이 최소가 되는 매크로 블록을 찾음으로써 프레임 간의 중복성을 효율적으로 제거하여 압축 효율을 높이는 것이다.

이와 같은 영상(오디오 포함) 압축 부호화 방법과 그에 따른 하드웨어 및 소프트웨어 기반의 향상에 따라 영상을 동반하는 통화가 가능한 영상 전화 시스템뿐만 아니라 위성/지상파 DMB도 선보이고 있다.

그 중에서도 고효율 압축 기술인 H.264는 다양한 네트워크 환경에 쉽게 부응할 수 있는 유연성과 동영상 부호화 효율성 측면에서 기존의 동영상 압축 표준인 H.263 등에 비하여, 향상된 움직임 예측 및 보상, 다양한 블록 크기의 블록 변환, 인-루프 디블록킹 필터(In-loop Deblocking Filter), 향상된 엔트로피 부호화, 다양한 네트워크에 적응하기 위한 NAL(Network Abstract Layer) 구조 등의 특징이 있다.

H.264는 기본적으로 NAL 단위로 구성되어 있다. 비디오 데이터를 포함하고 있는 NAL 타입은 크게 IDR NAL과 non-IDR NAL의 2가지로 구성될 수 있다.

IDR(Instaneous Decoding Refresh) NAL은 랜덤 액세스가 가능한 포인트이며, 시간적 중복성(temporal redundancy)을 사용하지 않고 공간적 중복성(spatial redundancy)만을 이용하여 압축함과 동시에 IDR NAL 이전에 들어온 모든 프레임은 프레임 버퍼에서 제거되어 더 이상 압축을 위해 참조하지 않는다.

그에 비해서 non-IDR NAL에는 I 타입 슬라이스(I type slice), P 타입 슬라이스(P type slice) 그리고 B 타입 슬라이스(B type slice)로 구성되어 있다. P 타입 슬라이스와 B 타입 슬라이스는 기존의 코덱(CODEC)들과 같은 예측 부호화로 압축되어 있다. 이 중에서 I 타입 슬라이스는 기본적으로 IDR과 마찬가지로 공간적인 중복성만을 사용하여 압축이 되어 있으나, 프레임 버퍼의 내용을 소거하지 않는다는 점에서 차이가 있다. 이렇게 프레임 버퍼의 내용을 소거하지 않는 이유는 I 타입 슬라이스 이후에 들어오는 P 타입 NAL 또는 B 타입 NAL이 I 타입 슬라이스 이전의 내용들을 참조할 수 있기 때문이다.

IDR NAL로 구성된 IDR 프레임은 동영상 재생시의 변속 재생모드(FF/REW)에 사용되는 랜덤 액세스가 가능한 포인트가 될 수 있는 반면에, non-IDR NAL로 구성된 non-IDR 프레임은 공간적인 중복성만을 이용한 I 프레임일지라도 랜덤 액세스가능 포인트로 활용되지 않는다. 그 이유는 앞에서 설명한 바와 같이 I 프레임에 따라서 들어오는 NAL들이 I 프레임 이전의 내용을 기반으로 하는 예측 부호화를 수행할 수 있는 가능성이 있기 때문이다.

이와 같은 H.264 기반의 동영상 압축 표준에서의 움직임 보상방법은 여타 표준과는 달리 16 ×16 ~ 4 ×4 사이즈의 다양한 블록 크기를 지원한다. 한 매크로 블록에서 휘도 성분(Y)은 16 ×16, 16 ×8, 8 ×16, 8 ×8, 8 ×4, 4 ×8, 4 ×4 크기의 서브 블록(sub-block)으로 나뉠 수 있고, 색도 성분(Cb,Cr)은 휘도 성분의 절반의 크기인 8 ×8, 8 ×4, 4 ×8, 4 ×4, 4 ×2, 2 ×4, 2 ×2 크기의 서브 블록으로 나뉠 수 있다.

일반적으로 움직임 보상을 위하여 참조 블록을 가져오는 방법은 참조 영상을 메모리에 저장해 놓고 있다가 각 블록의 움직임 벡터(motion vector)와 참조 인덱스(reference index)를 이용하여 가져오게 된다. H.264의 경우에 있어서는 여러 장

의 참조 영상을 가질 수 있으며, 기존 동영상 압축 표준에 비해서 높은 압축 성능을 갖는다는 장점이 있다.

실제 제품과 서비스에 이 기술을 적용하면 영상 데이터의 용량을 대폭 줄이면서 데이터 전송률을 낮출 수 있게 된다. 따라서, 휴대폰을 비롯하여 디지털 캠코더 등 다양한 휴대용 애플리케이션과 네트워크 응용 기기에 H.264 기반의 동영상 압축기술이 적용되고 있다.

그런데, 부호화(인코딩) 측면에서 볼 때는 기존 보다 더욱 많아진 파라미터 및 부호화 모드를 결정해야 하고, 복호화(디코딩) 측면에서는 디블록킹 필터나 1/4 화소 단위의 움직임 보상 등으로 인해서 기존 동영상 압축 표준보다 복잡도 및 계산량이 증가하는 문제가 발생하고 있다.

본 발명의 실시예는 예컨대 모바일 고화질 영상통화 시스템 또는 모바일 CCTV 시스템에서 블록 메모리얼 기반의 코덱을 이용하여 영상을 처리하려는 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 영상 부호화 장치는 입력된 영상들로부터 장면별 첫 영상 프레임을 검출하는 영상 검출부, 상기 검출한 첫 영상 프레임에서의 에너지포인트를 검출하고, 상기 검출한 에너지포인트를 이용하여 상기 첫 영상 프레임에 이어지는 영상의 에너지포인트의 이동성을 추적하는 에너지포인트 검출부, 상기 이동성의 추적 결과에 근거하여 영상 프레임간 변화가 있는 블록을 구분하는 블록 구분부, 및 상기 변화가 있는 블록의 참조 영상에 대한 차분영상을 생성하여 출력하는 차분영상 생성부를 포함한다.

또한 상기 영상 부호화 장치는 상기 장면별 첫 영상 프레임에서 에지상의 에지 성분을 강화하고, 상기 변화가 있는 블록의 압축시 에너지가 밀집되도록 이미지 블러링을 하는 전처리부를 더 포함한다.

여기서, 상기 전처리부는, 상기 영상 프레임 내의 에지를 검출하는 에지 검출부, 상기 검출한 에지를 원본 영상에서 추출하는 에지 추출부, 상기 원본 영상에서 저대역 필터링을 수행하는 필터링부, 및 상기 필터링부에서 필터링된 원본 영상에 상기 에지 추출부에서 추출한 에지를 결합하여 에지 성분이 강화된 영상을 출력하는 에지 결합부를 포함한다.

나아가 상기 영상 부호화 장치는 상기 변화가 있는 블록에 대한 좌표값을 저장하는 저장부, 상기 저장부의 상기 좌표값, 상기 차분영상 생성부의 상기 차분영상 및 상기 첫 영상 프레임을 제공받아 부호화하는 부호화부, 및 상기 부호화부에서 부호화되는 상기 좌표값, 상기 차분영상 및 상기 첫 영상 프레임에 대한 데이터 포맷을 형성하는 포맷 형성부를 더 포함한다.

여기서, 부호화부는 상기 저장부의 상기 좌표값을 부호화하는 제1 부호화기, 및 상기 제1 부호화기와 다른 방식으로 상기 차분영상 및 상기 첫 영상 프레임을 부호화하는 제2 부호화기를 포함한다.

이때, 상기 제1 부호화기는 가변장부호화(VLC)를 수행하고, 상기 제2 부호화기는 이산여현변환(DCT), 양자화 및 VLC를 수행하는 것을 특징으로 한다.

본 발명의 실시예에 따른 영상 복호화 장치는 수신한 부호화 데이터를 복수의 방식으로 각각 복호화하는 복호화부, 및 상기 복호화부에서 상기 복수의 방식으로 각각 복호화된 복호화 데이터를 이용해 일련의 영상을 복원하여 출력하는 영상 복원부를 포함한다.

여기서, 상기 복호화부는, 프레임간 변화가 있는 블록에 대한 부호화된 좌표값을 복호화하는 제1 복호화부, 및 상기 제1 복호화부와 서로 다른 방식으로 장면별 첫 영상 프레임과, 상기 첫 영상 프레임에 이은 영상과의 차에 의한 차분영상을 복호화하는 제2 복호화부를 포함한다.

상기 영상 복호화 장치는 상기 제1 복호화부에서 복호화된 좌표값을 저장하고, 상기 저장한 좌표값을 상기 영상 복원부에 제공하는 저장부를 더 포함한다.

상기 제1 부호화기는 역 가변장부호화(VLC)를 수행하고, 상기 제2 부호화기는 역 VLC, 역 양자화 및 역 DCT를 수행하는 것을 특징으로 한다.

상기 영상 복원부는 가산기인 것을 특징으로 한다.

본 발명의 실시예에 따른 영상 부호화 방법은 입력된 영상들로부터 장면별 첫 영상 프레임을 검출하는 단계, 상기 검출한 첫 영상 프레임에서의 에너지포인트를 검출하고, 상기 검출한 에너지포인트를 이용하여 상기 첫 영상 프레임에 이어지는 영상에서의 에너지포인트의 이동성을 추적하는 단계, 상기 이동성의 추적 결과에 근거하여 영상 프레임간 변화가 있는 블록을 구분하는 단계, 및 상기 변화가 있는 블록의 참조 영상에 대한 차분영상을 생성하여 출력하는 단계를 포함한다.

상기 영상 부호화 방법은 상기 장면별 첫 영상 프레임에서 에지상의 에지 성분을 강화하고, 상기 변화가 있는 블록의 압축시 에너지가 밀집되도록 이미지 블러링을 수행하는 전처리 단계를 더 포함한다.

여기서, 상기 전처리 단계는, 상기 영상 프레임 내의 에지를 검출하는 단계, 상기 검출한 에지를 원본 영상에서 추출하는 단계, 상기 원본 영상에서 저대역 필터링을 수행하는 단계, 및 상기 필터링된 원본 영상에 상기 추출한 에지를 결합하여 에지 성분이 강화된 영상을 출력하는 단계를 포함한다.

상기 영상 부호화 방법은 상기 변화가 있는 블록에 대한 좌표값을 저장하는 단계, 상기 저장부의 상기 좌표값, 상기 차분영상 생성부의 상기 차분영상 및 상기 첫 영상 프레임을 제공받아 부호화하는 단계, 및 상기 부호화한 상기 좌표값, 상기 차분영상 및 상기 첫 영상 프레임에 대한 데이터 포맷을 형성하는 단계를 더 포함하는 것을 특징으로 한다.

여기서, 상기 부호화하는 단계는, 상기 저장한 상기 좌표값을 제공받아 부호화하는 단계, 및 상기 좌표값의 부호화 방식과 서로 다른 방식으로 상기 차분영상 및 상기 첫 영상 프레임을 부호화하는 단계를 포함한다.

상기 좌표값의 부호화는 가변장부호화(VLC)를 수행하고, 상기 차분영상 및 상기 첫 영상 프레임의 부호화는 이산여현변환(DCT), 양자화 및 VLC를 수행하는 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 영상 복호화 방법은 수신한 부호화 데이터를 복수의 서로 다른 방식으로 복호화하는 단계, 및 상기 서로 다른 방식으로 각각 복화화된 복호화 데이터를 이용하여 일련의 영상을 복원하여 출력하는 단계를 포함한다.

여기서, 상기 복호화하는 단계는, 프레임간 변화가 있는 블록에 대한 부호화된 좌표값을 복호화하는 단계, 및 상기 좌표값의 복호화 방식과 서로 다른 방식으로 장면별 첫 영상 프레임 및 상기 첫 영상 프레임에 이은 영상과의 차에 의한 차분영상을 복호화하는 단계를 포함한다.

상기 영상 복호화 방법은 상기 복호화한 좌표값을 저장하고, 상기 저장한 좌표값을 상기 영상 복원시 제공하는 단계를 더 포함하는 것을 특징으로 한다.

상기 좌표값의 복호화는 역 가변장부호화(VLC)를 수행하고, 상기 차분영상 및 상기 첫 영상 프레임의 복호화는 역 VLC, 역 양자화 및 역 DCT를 수행하는 것을 특징으로 한다.

또한 상기 일련의 영상을 복원하여 출력하는 단계는, 상기 복호화한 첫 영상 프레임에 상기 좌표값을 기준으로 상기 차분영상을 가산하여 상기 영상을 복원하는 것을 특징으로 한다.

도 1은 본 발명의 실시예에 따른 블록 메모리얼 코덱이 적용되는 모바일 고화질 영상통화 시스템의 예시도,
도 2는 본 발명의 실시예에 따른 블록 메모리얼 코덱이 적용되는 모바일 CCTV 시스템을 예시도,
도 3은 본 발명의 실시예에 따른 영상 부호화 장치의 블록 메모리얼 기반 고효율 압축 기술의 개요를 도식화하여 나타낸 도면,
도 4는 도 3의 블록 메모리얼 기반 고효율 압축 기술에 사용되는 블록의 크기와 종래의 블록 크기를 비교하여 나타낸 도면,
도 5는 본 발명의 실시예에 따른 영상 부호화 장치의 구조를 나타내는 블록 다이어그램이고,
도 6은 도 5의 영상 검출부를 설명하기 위한 도면,
도 7은 도 5의 전처리부를 설명하기 위한 도면,
도 8은 도 5의 에너지포인트 검출부를 설명하기 위한 도면,
도 9는 도 5의 블록 구분부를 설명하기 위한 도면,
도 10은 차분영상 생성부를 설명하기 위한 도면,
도 11은 본 발명의 실시예에 따른 영상 복호화 장치의 구조를 나타내는 블록다이어그램,
도 12는 본 발명의 실시예에 따른 영상 부호화 방법의 흐름도, 그리고
도 13은 본 발명의 실시예에 따른 영상 복호화 방법의 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다.

도 1은 본 발명의 실시예에 따른 블록 메모리얼 코덱이 적용되는 모바일 고화질 영상통화 시스템의 예시도이다.

도 1에 도시된 바와 같이, 블록 메모리얼 코덱이 적용되는 모바일 고화질 영상통화 시스템은 단말기(100), 액세스포인트(110), 통신망(120), 중계장치(130) 및 교환장치(140)의 일부 또는 전부를 포함한다. 여기서, 일부 또는 전부를 포함한다는 것은 액세스포인트(110)와 같은 일부 구성 요소가 생략될 수 있음을 의미하는 것으로, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

단말기(100)는 휴대폰 이외에 데스크탑 컴퓨터, 노트북, 테블릿 PC, PDA(Personal Digital Assistants) 등을 모두 포함하는 의미이다. 이러한 단말기(100)는 음성 통화 및 데이터 통신과 같은 기본적인 통신 서비스 이외에도 멀티미디어 서비스의 이용이 가능하여 동영상이나 이미지와 같은 멀티미디어 컨텐츠를 서비스받게 된다. 이를 위하여 단말기(100)는 주변의 액세스포인트(110) 또는 통신망(120)에 접속하여 서비스를 제공받게 된다.

또한 단말기(1010)는 가령 영상통화 이용시 카메라를 통해 입력되는 영상을 블록 메모리얼 기반의 압축 코덱으로 인코딩(혹은 부호화) 및 디코딩(혹은 복호화)하기 위한 모듈을 탑재할 수 있다. 이때 단말기(100)는 네트워크 연결 상태에 따른 적응적 압축 방식을 적용함으로써 네트워크 상황이 좋지 않을 때는 압축률 우선의 인코딩을 수행하고, 네트워크 상황이 좋을 때에는 고화질 우선의 인코딩을 수행할 수 있을 것이다.

AP(110)는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 사용자 장치(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 AP(110)는 단말기(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 본 발명의 실시예에서 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 AP(110)는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 단말기(100)로 전달할 수 있다. AP(110)는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다. 도 1에서는 AP(110)가 통신망(120)과 별개로 구성되는 것으로 도시하였지만 실질적으로 AP(110)는 통신망(120)에 포함될 수 있으므로 본 발명의 실시예에서는 이에 특별히 한정하지는 않을 것이다.

통신망(120)은 유무선 통신망, 근거리(LAN) 통신을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 따라서 통신망(120)이 유선 통신망인 경우 AP(110)는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)과 같은 중계장치(130) 및 교환장치(140)에 접속하여 영상 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 영상 데이터를 처리할 수 있다.

중계장치(130)는 일종의 중간 노드로서 미디어 게이트웨이를 의미할 수 있다. 회선 교환망과 패킷 교환망 사이에 매체의 처리 및 변환을 수행하고, 아날로그 신호의 패킷화를 위한 신호 압축 또는 그 반대로 압축된 신호의 변환을 수행할 수 있다. 나아가 중계장치(130)는 지연에 의해 발생되는 음성의 반향 제거, 디지트의 수신, 팩스의 전달, TDM 기반의 트래픽을 IP나 ATM 패킷으로 전환하는 기능을 수행할 수 있을 것이다.

교환장치(140)는 MSC(Mobile Switching Center), SGSN(Serving GPRS Support Node) 및 MME(Mobility Management Entity) 등을 포함한다. 가령 MSC는 3G 코어 네트워크에서 네트워크의 이동성을 관리하는 대용량 스위치 시스템을 구축하고 있으며, WCDMA와 같은 이동 네트워크의 신호를 제어하며, 공중전화망, ISDN, 차세대 지능망(AIN) 등의 주요 네트워크 환경과 연동한다. 이와 같은 교환장치(140)는 가령 송신측 단말기(100)에서 제공한 영상 데이터를 수신측 단말기(100)로 제공하기 위한 교환 기능을 담당할 수 있을 것이다.

도 2는 본 발명의 실시예에 따른 블록 메모리얼 코덱이 적용되는 모바일 CCTV 시스템의 예시도이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 블록 메모리얼 코덱이 적용되는 모바일 CCTV 시스템은 촬영수단(200), 액세스포인트(210), 통신망(220), 중앙제어장치(230) 및 단말기(240)의 일부 또는 전부를 포함할 수 있다. 여기서, 일부 또는 전부를 포함한다는 것은 액세스포인트(210)와 같은 일부 구성요소가 생략될 수 있음을 의미하는 것으로, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬영수단(200)은 IP 기반의 카메라를 포함할 수 있다. 이를 통해 현장 모니터링 및 이벤트를 감지할 수 있다. 또한 2가지 녹화 모드를 구현할 수 있는데, 실시간 영상 녹화 모드의 구현이 가능하거나, 움직이는 물체가 없는 배경과 비교하여 임계치 이상의 차이가 있을 때 이벤트 발생으로 간주하고 영상 기록을 시작하는 이벤트 녹화 모드를 구현할 수 있을 것이다.

액세스포인트(210)는 촬영수단(200)의 영상 데이터를 제공받아 중앙제어장치(230)로 전달하거나, 중앙제어장치(230)에 저장된 영상 데이터를 단말기(240)로 전달할 수 있다. 기타 자세한 내용은 도 1의 액세스포인트(110) 또는 중계장치(130)와 크게 다르지 않으므로 더 이상의 설명은 생략하도록 한다.

또한 통신망(220)은 도 1의 통신망(120)과 크게 다르지 않으므로 더 이상의 설명은 생략하도록 한다.

중앙제어장치(230)는 가령 중앙서버를 의미할 수 있으며, 촬영수단(200) 및 단말기(240)에서 제공되는 영상들을 저장 및 관리할 수 있다. 예컨대 NAS(240_6)에서 전송한 영상이 압축되지 않은 영상일 경우, 중앙제어장치(230)에서 블록 메모리얼 기반으로 압축을 수행할 수 있을 것이다. 또한 중앙제어장치(230)는 일반 휴대폰(240_5), 외부망에 연결된 NAS(240_6) 등의 접근 권한, 영상 검색 및 재생에 대한 응답 인터페이스를 구현할 수도 있다.

단말기(240)는 로컬 PC(240_1), NAS(240_2), 스마트폰(240_3), 외부 PC(240_4), 일반 휴대폰(240_5) 및 외부망에 연결된 NAS(240_6) 등을 포함한다.

여기서 로컬 PC(240_1)는 실시간 영상 녹화모드일 경우, 촬영수단(200)의 영상을 실시간으로 모니터링하는 역할을 수행할 수 있다. 또한 이벤트 녹화 모드일 경우, 촬영수단(200)으로부터 알람이 발생했을 때 영상의 녹화를 수행할 수 있으며, 이벤트 영상에 대한 모니터링을 제어할 수 있다.

NAS(240_2)는 촬영수단(200)에서 수행되는 실시간 영상 녹화 또는 이벤트 녹화 영상을 저장하되, 여기서 저장되는 녹화는 로컬 PC(240_1)에서 접근 및 제어가 가능할 수 있다. NAS(240_2)에서 외부 또는 중앙제어장치(230)로 영상을 전송한다. 이때 영상은 일시적 보관 또는 영구 보관의 태그를 이용하여 구분할 수 있다. 영구 보관으로 분류되는 데이터에 한해 블록 메모리얼 코덱을 적용할 수 있을 것이다.

스마트폰(240_3)은 블록 메모리얼 기반의 압축 코덱이 구현 가능한 애플리케이션을 탑재할 수 있다. 스마트폰(240_3)은 중앙제어장치(230)에 접근하여 영상을 재생하고, NAS(240_2)에 접근하여 실시간 영상 모니터링이 가능할 수 있으며, SMS를 이용한 이벤트 알림 수신 및 모니터링 카메라 원격 제어 등의 기능을 수행한다.

외부 PC(240_4)는 촬영수단(200)과 LAN으로 연결된 로컬 PC(240_1)와 마찬가지로 촬영수단(200)을 통해 모니터링을 수행할 수 있으며, 중앙제어장치(230)에 접속하여 이벤트 화면을 확인할 수 있다.

일반 휴대폰(240_5)은 블록 메모리얼 코덱을 이용해 압축된 영상의 재생이 가능할 수 있으며, 이벤트 메시지를 SMS로 확인할 수 있는 기능을 가질 수 있다.

또한 외부망에 연결된 NAS(240_6)는 블록 메모리얼 압축 기술이 내장된 멀티미디어 칩을 탑재할 수 있으며, 이를 통해 촬영수단(200)에서의 영상을 실시간으로 녹화 또는 이벤트 영상을 녹화하거나, 녹화된 파일들을 압축하여 보관 또는 중앙제어장치(230)로 전송해 줄 수 있을 것이다.

도 3은 본 발명의 실시예에 따른 영상 부호화 장치의 블록 메모리얼 기반 고효율 압축 기술의 개요를 도식화하여 나타낸 도면이고, 도 4는 도 3의 블록 메모리얼 기반 고효율 압축 기술에 사용되는 블록의 크기와 종래의 블록 크기를 비교하여 나타낸 도면이다.

본 발명의 실시예에 따른 영상 부호화 장치의 블록 메모리얼 기반 고효율 압축은 종래 H.264 이상의 고효율 압축 기술을 바탕으로 고화질 영상 서비스를 기존보다 낮은 대역폭으로 제공할 수 있다. 이와 같은 기술은 배경 변화가 적은 가령 CCTV & 모바일 CCTV, 모바일 고화질 영상전화, 그리고 모바일 멀티미디어 스트리밍 서비스, 저장용 DVD 매체 등 멀티미디어가 쓰이는 다양한 분야에 적용될 수 있다.

다시 말해, 일반적인 동영상 인코딩 압축은 I 프레임을 기반으로 하는 정적인 압축 방법을 사용하므로 HD급 고화질 동영상에서는 많은 데이터 대역폭(bandwidth)을 필요로 하지만, 블록 메모리얼 기반 동영상 압축은 각 장면의 첫 번째 영상 프레임과 에너지포인트의 움직임 즉 이동성을 기반으로 하는 동적인 압축 방법을 사용하므로 HD 1080p 동영상을 대상으로 볼 때, H.264와 유사한 화질에 대해서 고효율 압축 성능을 지원하게 되는 것이다.

이때 블록 메모리얼 기반 압축 코덱은 이전의 어떤 동영상 표준안보다 압축 효율, 전송효율이 뛰어날 수 있으며, 가령 베이스라인 프로파일(Baseline Profile), 확장된 프로파일(Extended Profile) 및 메인 프로파일(Main Profile) 등과 같은 프로파일을 지원할 수 있다. 여기서, 베이스라인 프로파일이란 예를 들어 모바일, CCTV 등과 같은 임베디드 비디오 압축을 위한 프로파일을 나타내고, 확장된 프로파일은 베이스라인 프로파일의 확장형으로 전문가나 네트워크를 통한 스트리밍에 유용한 추가적인 도구를 포함하며, 메인 프로파일은 비디오 방송 및 저장과 같은 소비자 응용 제품에 적합한 도구들을 포함할 수 있다.

도 3 및 도 4를 함께 참조하면, 본 발명의 실시예에 따른 영상 부호화 장치는 입력된 일련의 영상들로부터 장면별 첫 영상 프레임을 검출한다(Scene Detection). 그리고 입력된 영상들에 대하여 전처리를 수행한 후(PreProcessing), 장면별 첫 영상 프레임에서 에너지포인트를 검출한다(Energy Point Detection). 이어 검출된 에너지포인트를 기반으로 첫 영상 프레임에 이은 다음 영상의 에너지포인트의 이동성을 추적하고, 에너지포인트를 기반으로, 더 정확하게는 이동성의 추적 결과에 근거하여 프레임간 변화가 없는 블록(이하, 메모리얼 블록)과 변화가 있는 블록(이하, 비-메모리얼 블록)을 구분하고(Block Shaping), 비-메모리얼 블록의 참조 영상에 대한 차분영상을 생성하여 출력하게 된다(Error Processing). 기타 자세한 내용을 이후에 좀더 다루기로 한다.

상기에서와 같이 블록 메모리얼 기반의 영상 부호화 장치는 에너지포인트를 검출하고, 에너지포인트를 기반으로 프레임간 변화가 있는 블록을 생성하므로 도 4의 (a)에서와 같이 영상 프레임 전체가 고정적인 블록 크기를 갖는 것이 아니라, 도 4의 (b)에서와 같이 다양한 크기의 블록을 형성하게 되고, 이때 형성된 블록들은 에너지포인트의 이동성에 따라 가변될 수 있게 된다.

도 5는 본 발명의 실시예에 따른 영상 부호화 장치의 구조를 나타내는 블록 다이어그램이고, 도 6은 도 5의 영상 검출부를 설명하기 위한 도면이며, 도 7은 도 5의 전처리부를 설명하기 위한 도면이다. 도 8은 도 5의 에너지포인트 검출부를 설명하기 위한 도면이고, 도 9는 도 5의 블록 구분부를 설명하기 위한 도면이며, 도 10은 차분영상 생성부를 설명하기 위한 도면이다.

도 5를 도 6 내지 도 10과 함께 참조하면, 본 발명의 실시예에 따른 영상 부호화 장치(500)는 영상 검출부(혹은 장면 검출부)(510), 전처리부(520_1), 에너지포인트 검출부(520_2), 블록 구분부(520_3), 차분영상 생성부(520_4), 저장부(530), 부호화부(540) 및 포맷 형성부(550)의 일부 또는 전부를 포함하며, 영상 부호화 장치(500)를 전반적으로 제어하기 위한 제어부(미도시)를 더 포함할 수도 있다.

여기서, 전처리부(520_1), 에너지포인트 검출부(520_2), 블록 구분부(520_3) 및 차분영상 생성부(520_4)는 통합하여 압축부 또는 영상 처리부라 명명될 수 있으며, 일부 또는 전부를 포함한다는 것은 전처리부(520_1)와 같은 일부 구성 요소가 생략되거나, 일부 구성 요소가 다른 구성 요소에 통합되어 구성될 수 있음을 의미하는 것으로, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

먼저 영상 검출부(510)는 블록 메모리얼 기반의 압축을 수행하기 위하여 가령 입력된 동영상에서 각 장면의 첫 영상 프레임을 정의한다. 여기서, 정의한다는 것은 검출의 의미로 사용될 수 있다. 정의하는 방법은 영상에서 카메라 또는 시점이 변경되는 것을 기준으로 하거나, 일정 시간 또는 일정 프레임 개수를 기준으로 하는 방법 등 다양한 방법이 고려될 수 있다. 이때 영상 검출부(510)는 별도의 알고리즘을 저장 및 구현하고, 알고리즘의 구현에 따라 영상의 특성에 따른 장면 구분 방법을 적응적으로 적용할 수 있다. 물론 필요시에는 사용자가 인터페이스를 통해 매뉴얼로 장면 구분 방법을 정의할 수도 있을 것이다.

도 6에서 볼 때, Scene1과 Scene2는 서로 다른 장면을 표현하고 있지만, Scene1을 구성하는 복수의 프레임들간에는 서로 공통된 장면을 갖고 있으며, Scene2를 구성하는 복수의 영상 프레임들 간에도 서로 공통된 장면이 존재한다. 영상 검출부(510)는 이와 같은 Scene1 및 Scene2에서 첫 영상 프레임을 각각 검출한다.

또한 전처리부(520_1)는 각 장면의 첫 영상 프레임에서 에너지포인트를 찾기 위한 사전 작업을 수행한다. 이를 위하여 전처리부(520_1)는 에지상에 존재하는 에너지포인트를 부각시키기 위하여 에지 성분을 강화하는 절차를 수행할 수 있다. 또한 비-메모리얼 블록 압축시 에너지가 밀집되도록, 더 정확하게는 에너지의 밀집 정도가 증가하도록 저대역 필터를 이용하여 이미지 블러링을 수행할 수 있다.

전처리부(520_1)는 에지 검출, 에지 추출, 저대역 필터링 및 에지 결합 등의 세부 동작을 수행할 수 있으며, 그 결과 별도의 기능 블록을 포함할 수 있다. 예컨대 에지 검출을 위한 에지 검출부는 영상 내의 에지를 찾기 위하여 소벨(Sobel) 또는 라플라시안(Laplacian) 등의 방법을 이용하여 에지를 검출할 수 있다. 또한 에지 추출부는 도 7의 (a)에서와 같이 검출된 에지를 원본 영상에서 추출한다. 여기서 원본 영상은 입력된 일련의 동영상을 의미할 수 있다. 또한 저대역 필터링부는 블러링 효과를 얻기 위해 도 7의 (b)에서와 같이 원본 영상에 저대역 필터를 적용하며, 에지 결합부는 저대역 필터링된 결과값에 에지 추출부에서 추출한 에지 정보를 추가하게 된다. 이의 과정에 따라 결국 에지 결합부는 도 7의 (c)에서와 같이 원 영상에 비해 에지 성분이 강화된 영상을 얻을 수 있게 된다.

에너지포인트 검출부(520_2)는 도 8의 (a) 및 (b)에서와 같이 한 장면의 첫 영상 프레임에서 에너지포인트를 정의하고, 다음 영상에서부터는 에너지포인트의 이동성을 추적한다. 이를 위하여 가령 추적 알고리즘은 오브젝트 트래킹에서 사용되는 화소 간의 유사성을 이용하는 임계치 방법(Threshold Method), 영역 성장(Region Growing), 영역 분할(Region Splitting), 영역 병합(Region Merging), 픽셀 영상의 밝기 등 불연속성에 기반을 둔 에지 검출 방법(Edge Detection Method), 움직임 벡터를 이용한 방법, 영상의 변화를 분석하는 공간적 객체 추적, 시간적 객체추적, 객체의 외곽선을 이용하는 방법, 그리고 영역 정보를 이용하여 객체를 추출하는 방법 등의 최적의 트래픽 방법을 적용하게 된다. 이때 에너지포인트 검출부(520_2)는 가령 서로 다른 프로파일별로 각기 다른 트래킹 알고리즘을 적용할 수 있으며, 모바일 환경에서는 가벼우면서도 성능이 뛰어난 템플릿 매칭이나 임계점 구분 계열의 트래킹 알고리즘을 적용할 수 있다. 반면 저장용 매체 또는 서버-클라이언트간 스트리밍 환경에서는 추적 성능이 우수한 능동 형태 모델(Active Shape Model), 능동 윤곽 모델(Active Contour Model) 등의 알고리즘을 적용할 수 있다.

블록 구분부(520_3)는 도 9에서와 같이 에너지포인트를 기반으로 하여, 더 정확하게는 이동성의 추적 결과에 근거해 메모리얼 블록과 비-메모리얼 블록을 구분한다. 구분하는 블록의 크기는 전체 프레임 크기에서 이진 검색 형식으로 구분할 수 있다. 블록의 구분은 구분된 블록 내에 에너지포인트가 존재하지 않을 때까지 진행하게 된다. 또한 블록의 최소 크기는 기존의 압축 코덱 방식에서 사용하는 서브-매크로 블록 사이즈,즉 4×4를 적용할 수 있지만, 성능이 좋다면 어떠한 형태의 블록 사이즈를 사용하여도 무관할 것이다.

또한 블록 구분부(520_3)는 각 영상의 특성에 따라 블록을 구분하는 데 있어, 세로 우선 구분 또는 가로 우선 구분, 혼합형 구분 등으로 나누어 수행할 수 있다. 영상에 특정 형태, 가령 가로줄 형태 또는 세로줄 형태 등과 같이 에너지포인트가 분포할 경우, 에너지포인트 분포에 맞는 블록을 지정함으로써 비-메모리얼 블록의 크기를 최소화할 수 있고, 에너지포인트 분포는 각 에너지포인트 좌표에 대한 수식 또는 이전 단계에서 수행한 에지 검출 결과와 통계적 기법 또는 기계학습을 이용하여 분포의 형태를 결정지을 수 있다.

차분영상 생성부(520_4)는 도 10에서와 같이 비-메모리얼 블록(음영 부분 참조)의 참조 영상에 대한 차분영상을 생성하여 출력한다. 기존의 압축 기술과 달리 블록 메모리얼 기반에서는 에너지포인트가 존재하는 비-메모리얼 블록의 차분영상에 대해서만 압축을 수행하므로, 기존의 압축기술보다 우수한 압축률을 얻을 수 있게 되는 것이다.

차분영상 생성부(520_4)는 차분영상에 대한 비-메모리얼 블록의 압축 과정에서 벡터양자화 구조 및 하이브리드 구조 등의 타 부호화 방법을 도입하여 가령 알고리즘의 최적화를 수행할 수 있다. 또한 모바일 환경에서는 네트워크 인프라가 유선 환경에 비해 부족하기 때문에 대표적인 영상패턴 모임을 정해두고 부호 블록들 중에서 부호화해야 하는 블록에 가장 가까운 대표 영상패턴을 선택하고 이 영상패턴을 표시하는 번호를 보내는 벡터 양자화를 이용함으로써 모바일 환경에서의 고화질 비디오 영상 서비스를 가능하게 할 수 있다. 나아가 스트리밍 서비스에서 서버측에서는 움직임보상 프레임간 예측을 사용해 동영상 정보가 가지는 시작방향의 정보 중복도를 제거하고, DCT를 사용해 예측 오차에 남아있는 화면 내 정보 중복도를 제거하는 방법을 이용해서 데이터 부호화시 압축률을 높일 수 있다.

저장부(530)는 블록 구분(520_3)에서 제공하는 비-메모리얼 블록에 대한 좌표값을 저장할 수 있다. 이후 저장된 좌표값을 부호화부(540), 더 정확하게는 가령 가변장부호화(VLC)를 수행하는 제1 부호화부(540_1)로 출력할 수 있다.

부호화부(540)는 서로 다른 부호화 방식을 수행하는 제1 및 제2 부호화부(540_1, 540_2)를 포함한다. 제1 부호화부(540_1)는 저장부(530)에서 제공하는 좌표값에 대하여 가변장부호화(VLC)를 수행하고, 제2 부호화부(540_2)는 차분영상 생성부(520_4)에서 제공하는 차분영상, 나아가 전처리부(520_1)에서 제공하는 첫 영상 프레임에 대하여 DCT, 양자화 및 VLC를 수행함으로써 부호화 데이터를 비트 스트림 형태로 출력한다.

여기서, 부호화부(540)는 첫 영상 프레임을 전처리부(520_1)에서 제공받는 것으로 설명하였지만, 전처리되기 전의 영상 검출부(510)에서 제공받거나, 전처리된 후의 에너지포인트 검출부(520_2)에서 제공받을 수도 있는 것이므로 본 발명의 실시예에서는 첫 영상 프레임을 어디서 제공받느냐에 특별히 한정하지는 않을 것이다.

포맷 형성부(550)는 부호화부(540)에서 제공되는 부호화 데이터, 즉 차분영상에 관련되는 좌표값, 차분영상 및 첫 영상 프레임에 대하여 데이터 포맷을 형성하여 출력한다. 여기서, 포맷의 형성이란 기존의 MPEG 4나 H.264와 다른 포맷 구조로서, 블록 메모리얼 코덱의 포맷에 맞게 생성하는 것을 의미한다.

본 발명의 실시예에 따르면, 블록 메모리얼 기반 압축 코덱은 기존 MPEG 4 또는 H.264 인코딩보다 고효율 압축 성능을 지원할 수 있게 된다. 특히 VGA급 동영상에서부터 HD급 고화질 동영상에서 더 큰 압축 효과를 얻을 수 있게 될 것이다.

도 11은 본 발명의 실시예에 따른 영상 복호화 장치의 구조를 나타내는 블록다이어그램이다.

도 11에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 복호화 장치(1100)는 복호화부(1110), 저장부(1120) 및 영상 복원부(1130)의 일부 또는 전부를 포함할 수 있으며, 영상 복호화 장치(1100)를 전반적으로 제어하기 위한 제어부(미도시)를 더 포함할 수 있다. 여기서 일부 또는 전부를 포함한다는 것은 저장부(1120)와 같은 일부 구성 요소가 생략되거나, 영상 복원부(1130)와 같은 일부 구성 요소가 복호화부(1110) 등에 통합되어 구성될 수 있음을 의미하는 것으로, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

복호화부(1110)는 가령 도 5의 영상 부호화 장치(500)에서 제공하는 좌표값, 차분영상 및 첫 영상 프레임에 대한 압축된 비트 스트림으로 제공되는 부호화 데이터를 서로 다른 복호화 방식으로 복호화한다. 다시 말해, 복호화부(1110)의 제1 복호화기(1110_1)는 역 VLC 방식으로 비-메모리얼 블록에 대한 좌표값을 복호화하고, 제2 복호화기(1110_2)는 가령 역 VLC, 역 양자화 및 역 DCT를 수행하여 비-메모리얼 블록의 차분영상 및 첫 영상 프레임을 복호화한다(Error Blocks, Seed Image).

저장부(1120)는 제1 복호화기(1110_1)에서 복호화된 좌표값을 제공받아 저장하고, 영상 복원시 출력할 수 있다. 이때 좌표값은 프레임 단위로 저장 및 출력될 수 있을 것이다.

영상 복원부(1130)는 일종의 가산기를 포함할 수 있다. 또는 영상 복원부(1130)는 복호화된 영상에 대하여 이미지 블러링을 위한 필터를 더 포함할 수 있다. 영상 복원부(1130)는 장면별 첫 영상 프레임에서 저장부(1120)의 좌표값을 참조하여 해당 위치에 차분영상을 결합, 즉 차분영상에 대한 값을 가산함으로써 일련의 영상을 복원한다. 이의 과정에서 영상 복원부(1130)는 결합에 의한 경계 영역의 결함을 줄이기 위하여 필터를 적용하여 이미지 블러링을 수행할 수도 있다.

도 12는 본 발명의 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.

설명의 편의상, 도 12를 도 5와 함께 참조하면, 본 발명의 실시예에 따른 영상 부호화 장치(500)는 먼저 입력된 영상으로부터 장면별 첫 영상 프레임을 검출한다(S1200). 이와 같은 첫 영상 프레임의 검출과 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

이후 영상 부호화 장치(500)는 도면에 별도로 나타내지는 않았지만, 영상에 대한 전처리 과정을 수행할 수 있다. 여기서 전처리 과정이란 에지 검출, 에지 추출, 저대역 필터링 및 에지 결합 등을 포함한다. 이에 대하여도 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

이어 영상 부호화 장치(500)는 첫 영상 프레임에서 에너지포인트를 검출하고(S1210), 나아가 검출한 에너지포인트를 이용하여 프레임간, 가령 첫 영상 프레임과 다음 프레임간 에너지포인트의 이동성을 추적한다.

그리고 추적 결과에 따라, 영상 부호화 장치(500)는 프레임간 변화가 있는 블록 즉 비-메모리얼 블록과, 프레임간 변화가 없는 블록 즉 메모리얼 블록을 구분하게 된다(S1220). 물론 본 발명의 실시예는 비-메모리얼 블록이 관심 분야이므로, 이의 과정에서 영상 부호화 장치(500)는 비-메모리얼 블록에 대한 좌표값을 취득할 수 있다. 이와 같이 취득된 좌표값은 부호화 수행시 바로 제공될 수도 있겠지만, 도 5의 저장부(530)에 임시 저장된 후, 부호화 수행시 제공될 수 있다.

이후 영상 부호화 장치(500)는 비-메모리얼 블록의 참조 영상에 대한 차분 영상을 생성하여 출력한다(S1230). 다시 말해, 참조 영상은 비-메모리얼 블록에 대한 차분영상 혹은 그 값을 출력하게 되는 것이다.

도 5를 참조해 보면, 영상 부호화 장치(500)는 좌표값, 차분영상 및 첫 영상 프레임에 대한 부호화 과정을 수행할 수 있다. 이때, 좌표값의 부호화 방식은 차분영상 및 첫 영상 프레임과 부호화 방식이 다를 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

그리고 영상 부호화 장치(500)는 좌표값, 차분영상 및 첫 영상 프레임에 대한 부호화 데이터를 비트 스트림 형태로 전송하기 위한 데이터 포맷을 형성한다. 가령 본 발명의 실시예에 따른 비-메모리얼 코덱 기반의 포맷은 기존의 MPEG 4나 H.264와 다른 형태의 포맷 구조일 수 있다.

도 13은 본 발명의 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.

설명의 편의상 도 13을 도 11과 함께 참조하면, 본 발명의 실시예에 따른 복호화 장치(1100)는 압축된 비트 스트림 형태의 부호화 데이터를 수신하여 서로 다른 복호화 방식으로 복호화한다(S1300).

예를 들어, 복호화 장치(1100)는 차분영상에 관련된 좌표값을 복호화하는 방식과, 차분영상 및 첫 영상 프레임을 복호화하는 방식을 서로 다르게 수행한다. 즉 부가 정보로서의 좌표값과 영상 데이터로서의 복호화 방식이 서로 다르다고 볼 수 있다. 이때 좌표값은 역 VLC 방식으로 복호화된다면, 차분영상 및 장면별 첫 영상 프레임은 역 VLC, 역 양자화, 역 DCT를 수행하여 복호화될 수 있다.

이와 같은 과정에서 복호화 장치(1100)는 복호화된 좌표값을 도 11의 저장부(1120)에 별도로 저장한 후, 영상의 복원시 저장한 좌표값을 출력할 수 있다.

또한 복호화 장치(1100)는 서로 다른 방식으로 각각 복호화된 복호화 데이터를 이용해 일련의 영상을 복원 및 출력한다(S1310). 다시 말해, 도 11의 영상 복원부(1130)는 가령 복원된 장면별 첫 영상 프레임에서 좌표값을 기준으로 복원된 차분영상을 가산하는 방식으로 첫 영상 프레임에 이어지는 영상들을 복원할 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

한편 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100, 240: 단말기 110, 210: 액세스포인트
120, 220: 통신망 130: 중계장치
140: 교환장치 200: 촬영수단
230: 중앙제어장치 510: 영상 검출부
520: 영상 처리부 530, 1120: 저장부
540: 부호화부 550: 포맷 형성부
1110: 복호화부 1130: 영상 복원부

Claims

입력된 영상들로부터 장면별 첫 영상 프레임을 검출하는 영상 검출부;
상기 검출한 첫 영상 프레임에서의 에너지포인트를 검출하고, 상기 검출한 에너지포인트를 이용하여 상기 첫 영상 프레임에 이어지는 영상의 에너지포인트의 이동성을 추적하는 에너지포인트 검출부;
상기 이동성의 추적 결과에 근거하여 영상 프레임간 변화가 있는 블록을 구분하는 블록 구분부; 및
상기 변화가 있는 블록의 참조 영상에 대한 차분영상을 생성하여 출력하는 차분영상 생성부;를
포함하는 영상 부호화 장치.
제1항에 있어서,
상기 장면별 첫 영상 프레임에서 에지상의 에지 성분을 강화하고, 상기 변화가 있는 블록의 압축시 에너지가 밀집되도록 이미지 블러링을 하는 전처리부;를
더 포함하는 것을 특징으로 하는 영상 부호화 장치.
제2항에 있어서,
상기 전처리부는,
상기 영상 프레임 내의 에지를 검출하는 에지 검출부;
상기 검출한 에지를 원본 영상에서 추출하는 에지 추출부;
상기 원본 영상에서 저대역 필터링을 수행하는 필터링부; 및
상기 필터링부에서 필터링된 원본 영상에 상기 에지 추출부에서 추출한 에지를 결합하여 에지 성분이 강화된 영상을 출력하는 에지 결합부;를
포함하는 영상 부호화 장치.
제1항에 있어서,
상기 변화가 있는 블록에 대한 좌표값을 저장하는 저장부;
상기 저장부의 상기 좌표값, 상기 차분영상 생성부의 상기 차분영상 및 상기 첫 영상 프레임을 제공받아 부호화하는 부호화부; 및
상기 부호화부에서 부호화되는 상기 좌표값, 상기 차분영상 및 상기 첫 영상 프레임에 대한 데이터 포맷을 형성하는 포맷 형성부;를
더 포함하는 것을 특징으로 하는 영상 부호화 장치.
제4항에 있어서,
상기 부호화부는,
상기 저장부의 상기 좌표값을 부호화하는 제1 부호화기; 및
상기 제1 부호화기와 다른 방식으로 상기 차분영상 및 상기 첫 영상 프레임을 부호화하는 제2 부호화기;를
포함하는 것을 특징으로 하는 영상 부호화 장치.
제5항에 있어서,
상기 제1 부호화기는 가변장부호화(VLC)를 수행하고,
상기 제2 부호화기는 이산여현변환(DCT), 양자화 및 VLC를 수행하는 것을 특징으로 하는 영상 부호화 장치.
수신한 부호화 데이터를 복수의 방식으로 각각 복호화하는 복호화부; 및
상기 복호화부에서 상기 복수의 방식으로 각각 복호화된 복호화 데이터를 이용해 일련의 영상을 복원하여 출력하는 영상 복원부;를
포함하는 영상 복호화 장치.
제7항에 있어서,
상기 복호화부는,
프레임간 변화가 있는 블록에 대한 부호화된 좌표값을 복호화하는 제1 복호화부; 및
상기 제1 복호화부와 서로 다른 방식으로 장면별 첫 영상 프레임과, 상기 첫 영상 프레임에 이은 영상과의 차에 의한 차분영상을 복호화하는 제2 복호화부;를
포함하는 것을 특징으로 하는 영상 복호화 장치.
제8항에 있어서,
상기 제1 복호화부에서 복호화된 좌표값을 저장하고, 상기 저장한 좌표값을 상기 영상 복원부에 제공하는 저장부;를 더 포함하는 것을 특징으로 하는 영상 복화화 장치.
제7항에 있어서,
상기 제1 부호화기는 역 가변장부호화(VLC)를 수행하고,
상기 제2 부호화기는 역 VLC, 역 양자화 및 역 DCT를 수행하는 것을 특징으로 하는 영상 복호화 장치.
제7항에 있어서,
상기 영상 복원부는 가산기인 것을 특징으로 하는 영상 복호화 장치.
입력된 영상들로부터 장면별 첫 영상 프레임을 검출하는 단계;
상기 검출한 첫 영상 프레임에서의 에너지포인트를 검출하고, 상기 검출한 에너지포인트를 이용하여 상기 첫 영상 프레임에 이어지는 영상에서의 에너지포인트의 이동성을 추적하는 단계;
상기 이동성의 추적 결과에 근거하여 영상 프레임간 변화가 있는 블록을 구분하는 단계; 및
상기 변화가 있는 블록의 참조 영상에 대한 차분영상을 생성하여 출력하는 단계;를
포함하는 영상 부호화 방법.
제12항에 있어서,
상기 장면별 첫 영상 프레임에서 에지상의 에지 성분을 강화하고, 상기 변화가 있는 블록의 압축시 에너지가 밀집되도록 이미지 블러링을 수행하는 전처리 단계;를
더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제13항에 있어서,
상기 전처리 단계는,
상기 영상 프레임 내의 에지를 검출하는 단계;
상기 검출한 에지를 원본 영상에서 추출하는 단계;
상기 원본 영상에서 저대역 필터링을 수행하는 단계; 및
상기 필터링된 원본 영상에 상기 추출한 에지를 결합하여 에지 성분이 강화된 영상을 출력하는 단계;를
포함하는 영상 부호화 방법.
제12항에 있어서,
상기 변화가 있는 블록에 대한 좌표값을 저장하는 단계;
상기 저장부의 상기 좌표값, 상기 차분영상 생성부의 상기 차분영상 및 상기 첫 영상 프레임을 제공받아 부호화하는 단계; 및
상기 부호화한 상기 좌표값, 상기 차분영상 및 상기 첫 영상 프레임에 대한 데이터 포맷을 형성하는 단계;를
더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제15항에 있어서,
상기 부호화하는 단계는,
상기 저장한 상기 좌표값을 제공받아 부호화하는 단계; 및
상기 좌표값의 부호화 방식과 서로 다른 방식으로 상기 차분영상 및 상기 첫 영상 프레임을 부호화하는 단계;를
포함하는 것을 특징으로 하는 영상 부호화 방법.
제16항에 있어서,
상기 좌표값의 부호화는 가변장부호화(VLC)를 수행하고,
상기 차분영상 및 상기 첫 영상 프레임의 부호화는 이산여현변환(DCT), 양자화 및 VLC를 수행하는 것을 특징으로 하는 영상 부호화 방법.
수신한 부호화 데이터를 복수의 서로 다른 방식으로 복호화하는 단계; 및
상기 서로 다른 방식으로 각각 복화화된 복호화 데이터를 이용하여 일련의 영상을 복원하여 출력하는 단계;를
포함하는 영상 복호화 방법.
제18항에 있어서,
상기 복호화하는 단계는,
프레임간 변화가 있는 블록에 대한 부호화된 좌표값을 복호화하는 단계; 및
상기 좌표값의 복호화 방식과 서로 다른 방식으로 장면별 첫 영상 프레임 및 상기 첫 영상 프레임에 이은 영상과의 차에 의한 차분영상을 복호화하는 단계;를
포함하는 것을 특징으로 하는 영상 복호화 방법.
제19항에 있어서,
상기 복호화한 좌표값을 저장하고, 상기 저장한 좌표값을 상기 영상 복원시 제공하는 단계;를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제18항에 있어서,
상기 좌표값의 복호화는 역 가변장부호화(VLC)를 수행하고,
상기 차분영상 및 상기 첫 영상 프레임의 복호화는 역 VLC, 역 양자화 및 역 DCT를 수행하는 것을 특징으로 하는 영상 복호화 방법.
제18항에 있어서,
상기 일련의 영상을 복원하여 출력하는 단계는,
상기 복호화한 첫 영상 프레임에 상기 좌표값을 기준으로 상기 차분영상을 가산하여 상기 영상을 복원하는 것을 특징으로 하는 영상 복호화 방법.