KR102268597B1

KR102268597B1 - 영상 처리 장치 및 방법

Info

Publication number: KR102268597B1
Application number: KR1020130140089A
Authority: KR
Inventors: 조성봉; 이성훈; 채석호; 김효진
Original assignee: 한화테크윈 주식회사
Priority date: 2013-11-18
Filing date: 2013-11-18
Publication date: 2021-06-23
Also published as: US9640225B2; KR20150057137A; CN104660978A; US20150139602A1; CN104660978B; JP2015100101A; JP6547097B2

Abstract

본 발명은 적어도 하나 이상의 카메라로부터 수신되는 영상의 디코딩 시에 내부에서 지원하는 디코딩 성능을 초과하는 경우 수신되는 영상 중 특정 프레임을 선택적으로 디코딩하는 영상 처리 장치 및 방법에 관한 것이다. 영상 처리 장치는 적어도 하나 이상의 카메라로부터 영상을 수신하여 저장하거나 디스플레이 처리를 수행하는 영상 처리 장치로써, 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트 정보를 기반으로 하여 제1 디코딩 성능을 산출하는 성능 산출부, 및 제1 디코딩 성능들의 합이 기저장된 영상 처리 장치의 디코딩 성능을 나타내는 제2 디코딩 성능을 초과하는 경우, 카메라 별로 수신되는 영상 중 특정 프레임을 선택하여 제공하는 필터링부를 포함한다.

Description

영상 처리 장치 및 방법{APPRATUS AND METHOD FOR PROCESSING IMAGE}

본 발명은 적어도 하나 이상의 카메라로부터 수신되는 영상의 디코딩 시에 내부에서 지원하는 디코딩 성능을 초과하는 경우 수신되는 영상 중 특정 프레임을 선택적으로 디코딩하는 영상 처리 장치 및 방법에 관한 것이다.

디지털 비디오 레코더 또는 네트워크 비디오 레코더와 같은 영상 기록 저장 장치는 적어도 하나 이상의 감시 카메라와 연결되어, 선택된 카메라로부터 수신한 영상을 저장하거나, 디코딩 및 디스플레이 처리하여 모니터로 출력한다.

이러한 영상 기록 저장 장치는, 내부적으로 디코더가 영상 프레임을 디코딩할 수 있는 최대 디코딩 성능이 설정되어 있다. 그러나, 디코더가 최대 디코딩 성능을 초과하는 경우, 모든 영상 프레임은 디코더로 공급되지 못하게 된다. 즉, 디코딩을 위해 영상 프레임을 저장하는 큐(queue)에 풀(full) 상태가 발생하여 더 이상 큐에 영상 프레임을 저장하지 못하게 되고, 결국 임의의 영상 프레임이 디코딩에서 제외되는 프레임 드랍(frame drop) 현상이 발생한다.

이러한 프레임 드랍 현상이 발생하면 디코더는 정상적으로 디코딩을 수행할 수 있게 된다. 프레임 드랍 현상 발생 후 디코더가 정상적으로 동작하다가, 소정 시간 경과 후 다시 디코더는 설정된 최대 성능이 초과되어 큐(queue) 풀(full) 상태 및 프레임 드랍 현상이 반복된다. 따라서 결국 모니터에 디스플레이 되는 영상은 정지하였다가 출력되는 화면 끊김 현상이 반복되어 불편한 문제점이 있었다.

국내 공개특허공보 제2000-0009075호

본 발명이 해결하고자 하는 기술적인 과제는 적어도 하나 이상의 카메라로부터 수신되는 영상의 디코딩 시에 내부에서 지원하는 디코딩 성능을 초과하는 경우 수신되는 영상 중 특정 프레임을 선택적으로 디코딩하여, 큐 풀 상태 및 프레임 드랍 현상을 최소화 함으로써 끊김없는 영상을 모니터링 할 수 있는 영상 처리 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 장치는 적어도 하나 이상의 카메라로부터 영상을 수신하여 저장하거나 디스플레이 처리를 수행하는 영상 처리 장치로써, 상기 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트 정보를 기반으로 하여 제1 디코딩 성능을 산출하는 성능 산출부; 및 상기 제1 디코딩 성능들의 합이 기저장된 상기 영상 처리 장치의 디코딩 성능을 나타내는 제2 디코딩 성능을 초과하는 경우, 상기 카메라 별로 수신되는 영상 중 특정 프레임을 선택하여 제공하는 필터링부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 성능 산출부는, 상기 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트의 곱으로 상기 제1 디코딩 성능을 산출하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 디코딩 성능 산출 시에, 상기 코덱의 종류에 따라 서로 다른 가중치를 부여하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링부는, 상기 카메라 별로 수신되는 영상 중 주기적으로 상기 특정 프레임을 선택하여 제공하는 것을 특징으로 한다.

본 발명에 있어서, 상기 특정 프레임은, 상기 카메라 별로 수신되는 GOP 단위의 영상 프레임 중 인트라 프레임인 것을 특징으로 한다.

본 발명에 있어서, 상기 카메라 별로 수신되는 영상 프레임들에 상기 필터링부의 적용을 제어하는 필터링 제어부;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어부는, 가장 높은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링부를 적용하도록 제어하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어부는, 가장 낮은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링부를 적용하도록 제어하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어부는, 상기 필터링부를 적용할 카메라들을 설정하고, 상기 설정한 카메라들로부터 수신한 영상 프레임들에 상기 필터링부를 적용하도록 제어하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어부는, 상기 카메라들로부터 수신한 영상 프레임들에 상기 필터링 주기가 변경된 상기 필터링부를 적용하도록 제어하는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 방법은 적어도 하나 이상의 카메라로부터 영상을 수신하여 저장하거나 디스플레이 처리를 수행하는 영상 처리 방법으로써, 상기 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트 정보를 기반으로 하여 제1 디코딩 성능을 산출하는 성능 산출 단계; 및 상기 제1 디코딩 성능들의 합이 기저장된 상기 영상 처리 장치의 디코딩 성능을 나타내는 제2 디코딩 성능을 초과하는 경우, 상기 카메라 별로 수신되는 영상 중 특정 프레임을 선택하여 제공하는 필터링 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 성능 산출 단계는, 상기 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트의 곱으로 상기 제1 디코딩 성능을 산출하는 성능 산출 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 단계는, 상기 카메라 별로 수신되는 영상 중 주기적으로 상기 특정 프레임을 선택하여 제공하는 필터링 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 카메라 별로 수신한 영상 프레임들에 상기 필터링의 적용을 제어하는 필터링 제어 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어 단계는, 가장 높은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어 단계는, 가장 낮은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어 단계는, 상기 필터링을 적용할 카메라들을 설정하고, 상기 설정한 카메라들로부터 수신한 영상 프레임들에 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 필터링 제어 단계는, 상기 카메라들로부터 수신한 영상 프레임들에 상기 필터링 주기가 변경된 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 한다.

상술한 바와 같이 본 발명에 따르면, 적어도 하나 이상의 카메라로부터 수신되는 영상의 디코딩 시에 내부에서 지원하는 디코딩 성능을 초과하는 경우 수신되는 영상 중 특정 프레임을 선택적으로 디코딩하여, 큐 풀 상태 및 프레임 드랍 현상을 최소화 함으로써 끊김없는 영상을 모니터링 할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 필터링부를 설명하는 도면이다.
도 3은 본 발명의 일실 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다. 도 1을 참조하면, 영상 처리 장치는 복수의 네트워크 카메라(100), 네트워크(200), 영상 처리 수단(300) 및 디스플레이 수단(400)을 포함한다.

네트워크 카메라(100)는 임의의 영역에 적어도 하나 이상 설치되고, 촬영 영상을 디지털 영상 신호로 출력하고 네트워크(200)를 통하여 디지털 비디오 레코더 또는 네트워크 비디오 레코더와 같은 영상 저장 수단(400)으로 출력한다. 네트워크 카메라(100)는 특정 장소의 고정된 위치에 배치되는 스피드 돔 카메라일 수 있다. 또한 네트워크 카메라(100)는 고정렌즈가 구비되어 촬영 범위가 고정된 단일 고정식 카메라로 구성될 수 있고, 또는 촬영 범위가 가변적인 PTZ(pan-tilt-zoom) 카메라로 구성될 수 있다. 여기서 PTZ 카메라는 수평 방향으로 회전되는 팬(pan) 동작과 수직 방향으로 회전되는 틸트(tilt) 동작 및 줌인/줌아웃(zoom in/zoom out) 동작에 의해 한 대의 카메라로 다양한 감시 영역을 용이하게 변경시킬 수 있다.

영상 처리 수단(300)은 적어도 하나 이상의 네트워크 카메라(100)가 촬영한 영상을 수신하여 저장하고, 각 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트 정보를 기반으로 하여 제1 디코딩 성능을 산출하며, 제1 디코딩 성능들의 합이 기저장된 영상 처리 장치의 디코딩 성능을 나타내는 제2 디코딩 성능을 초과하는 경우, 채널 별로 수신되는 영상 중 특정 프레임을 선택하여 디코딩하도록 제공한다. 이하, 영상 처리 수단(300)의 상세한 설명은 하기에 설명하도록 한다.

디스플레이 수단(400)은 영상 처리 수단(300)에서 처리된 영상을 디스플레이 한다. 디스플레이 수단(400)은 사용자가 모니터하고자 하는 적어도 하나 이상의 채널 영상을 분할하여 디스플레이 할 수 있다. 즉, 디스플레이 수단(400)은 화면을 2개, 4개, 8개 등으로 분할하고, 분할한 화면에 각 채널의 영상을 디스플레이 할 수 있다. 이러한 디스플레이 수단(400)은 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 전기 영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.

이어서, 영상 처리 수단(300)에 대해 상세히 설명하도록 한다. 도 1에 도시된 영상 저장 차이(300)는 영상 수신부(301), 성능 산출부(303), 타이머(305), 필터링부(307), 필터링 제어부(309), 프레임 제공부(311), 디코더(313), 스케일러(315), 동기 조정부(317), 멀티플렉서(319) 및 렌더링부(321)를 포함한다.

영상 수신부(301)는 적어도 하나 이상의 네트워크 카메라(100)가 촬영한 영상을 수신한다. 영상 수신부(301)는 적어도 하나 이상의 네트워크 카메라(100)에 대한 네트워크 주소를 설정하고, 네트워크 주소가 설정된 적어도 하나 이상의 네트워크 카메라(100)가 촬영한 영상을 수신한다.

여기서, 사용자가 모니터링 하고자 하는 영상을 촬영하는 적어도 하나 이상의 네트워크 카메라(100)를 선택할 수 있고, 영상 수신부(301)는 선택된 네트워크 카메라(100)가 촬영한 인코딩 영상을 수신할 수 있다. 예를 들어, 제1 내지 제N 네트워크 카메라(100) 중, 사용자가 제1 내지 제4 네트워크 카메라(100)가 촬영한 영상을 모니터링 하고자 제1 내지 제4 네트워크 카메라(100)를 설정하면, 영상 수신부(301)는 제1 내지 제4 네트워크 카메라(100)가 촬영한 인코딩 영상만을 수신할 수 있다.

여기서 적어도 하나 이상의 네트워크 카메라(100)로부터 수신한 영상은, 영상 프레임 픽쳐 그룹(GOP: group of picture)에 포함된 인트라(I: intra) 프레임, 예측(P: predicted) 프레임 및 양방향(B: bidirectional) 프레임들을 포함한다. 인트라(I) 프레임은 키 프레임으로써 이전프레임들을 참조하지 않고 압축되는 독립적인 프레임으로, 화질이 가장 좋고 용량도 가장 크다. 예측(P) 프레임은 이전 인트라(I) 프레임 또는 이전 예측(P) 프레임을 정보를 바탕으로 구성된 프레임으로써 화질과 용량은 중간급이다. 예측(P) 프레임은 이전 인트라(I) 프레임 또는 이전 예측(P) 프레임을 참조하여 변동된 내용만을 압축한다. 인트라(I) 프레임과 예측(P) 프레임은 다음의 다른 프레임들을 위해 참조 프레임(reference frame)으로 이용된다. 그리고 양방향(B) 프레임은 가장 낮은 화질 및 용량을 가지며, 압축을 위해 전후 참조 프레임 즉, 인트라(I) 프레임 및 예측(P) 프레임이 요구된다.

성능 산출부(303)는 선택된 각 카메라 별로 수신되는 영상의 코덱, 해상도 및 프레임 레이트 정보를 곱하여 제1 디코딩 성능을 산출한다.

제1 디코딩 성능은 영상의 코덱에 따라 H.264, MPEG-4, JPEG에 의해 달라질 수 있다. 각 코덱별 영상을 비교하면, 동일한 화질 수준에서 JPEG과 비교하면 MPEG-4는 1/3 수준, 동일한 화질 수준에서 JPEG과 비교하면 H.264는 1/5 수준의 압축율을 가지며, 이에 대한 연산량은 반비례한다. 즉, JPEG의 디코딩 처리 능력이 1인 경우, MPEG-4는 3배, H.264는 5배 정도의 연산이 필요하다. 이는 영상 치리 장치에서 구현되는 코덱에 따라 서로 차이가 있으나, 이에 따라 제1 디코딩 성능의 팩터로 설정할 수 있다.

다음에, 제1 디코딩 성능은 동일한 코덱으로 처리할 경우, 가장 큰 영향을 받는 부분이 해상도 이다. 이는 화면 크기에 해당되는 메모리(미도시)의 접근과 연산이 비례하여 증가하기 때문이다. 제1 디코딩 성능은 동일한 코덱으로 처리할 경우, 해상도 크기에 비례하는데, 예를 들어 해상도가 740×480(32만 화소)에 비하여 해상도가 1920×1080(2백만 화소)인 경우, 6배에 달하는 제1 디코딩 성능의 차이가 발생한다. 즉, 영상의 크기에 대한 제1 디코딩 성능의 팩터를 해상도 크기에 따라 설정할 수 있다.

마지막으로, 제1 디코딩 성능은 하드웨어 코덱 및 소프트웨어 코덱에서 사용하는 디코딩 연산을 처리하기 위하여 입력되는 시간당 입력되는 프레임 수 즉, 프레임 레이트에 의하여 달라질 수 있다. 예를 들어 시간당 30 프레임으로 입력되는 경우는 시간당 1 프레임으로 입력되는 경우보다 시간당 30배에 달하는 제1 디코딩 성능의 차이가 발생한다.

따라서, 성능 산출부(303)는 하나의 카메라를 통하여 수신되는 영상의 제1 디코딩 성능을 구하면, 코덱, 해상도 및 프레임 레이트의 곱으로 계산할 수 있게 된다. 여기서 코덱의 경우 그 종류에 따라 가중치가 다르게 적용되는데, H.264의 경우 1, MPEG-4의 경우 0.7, JPEG의 경우 0.5로 적용될 수 있다.

영상이 수신되면 프레임 레이트가 계속 변경될 수 있기 때문에 타이머(305)는 프레임 레이트를 측정하여, 영상 처리 수단(300)이 수신하는 영상 프레임 과다 현상을 체크할 수 있다.

성능 산출부(303)는 일반적인 PC 시스템에서 소프트웨어 코덱을 사용하는 경우에는 스케일링 팩터와 VGA(video graphic array)의 렌더링 기법에 따라 제1 디코딩 성능을 다르게 산출할 수 있다. 이때 제1 디코딩 성능에 영향을 주는 값은 스케일링 팩터로 이 값은 화면에 출력되는 영상 면적 대비 원본 영상 면적값으로 설정할 수 있다. 또한 스케일링을 위한 보간 기법도 제1 디코딩 성능 산출에 영향을 받을 수 있다. Bi-Linear, Bi-Cubic 등의 보간 기법에 의한 연산도 제1 디코딩 성능 산출에 영향을 받을 수 있다. 최근 출시되는 PC에 장착된 VGA 카드는 이러한 보간 기법을 선택적으로 렌더링 단계에서 정할 수 있다. 따라서 일반적인 PC 시스템에서 제1 디코딩 성능은 성능 산출부(303)에 의해 코덱(H.264 또는 MPEG-4 또는 JPEG), 해상도, 프레임 레이트, 스케일링 팩터 및 보간 팩터의 곱으로 산출할 수 있다.

또한 성능 산출부(303)는 각 카메라로부터 수신된 영상 프레임들에 대한 상기 제1 디코딩 성능들의 합 및 기저장되어 있는 영상 처리 수단(300)의 디코딩 성능을 나타내는 제2 디코딩 성능을 비교하여 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과했는지 여부를 판단한다.

예를 들어, 기저장된 제2 디코딩 성능이 4CH×H.264×(1920×1080)×30FPS이고, 선택된 제1 내지 제4 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능의 합이 4CH×H.264×(1920×1080)×30FPS 라면, 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하지 않는다. 그러나, 제1 내지 제3 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능의 합이 3CH×H.264×(1920×1080)×30FPS이고, 제4 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능이 1CH×H.264×(1920×1080)×60FPS이라면, 제1 내지 제4 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하게 된다.

필터링부(307)는 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하는 경우, 선택된 카메라(예를 들어, 제1 내지 제4 카메라)로부터 수신되는 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링한다. 또는 필터링부(307)는 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하는 경우, 선택된 카메라로부터 수신되는 영상 프레임들 중 주기적으로 인트라 프레임만이 선택되도록 필터링한다.

도 2는 필터링부(307)를 설명하는 도면이다. 도 2a는 MPEG 코덱을 사용하여 GOP 단위로 수신되는 영상 프레임들 중 인트라 프레임만 선택되도록 필터링하고, 나머지 B 프레임 및 P프레임은 필터링에서 제외한 것을 보여준다. 도 2b는 MPEG 코덱을 사용하여 GOP 단위로 수신되는 영상 프레임들 중 주기적으로 인트라 프레임만 선택되도록 필터링하고, 나머지 B 프레임 및 P프레임은 필터링에서 제외한 것을 보여준다.

이와 같이 필터링부(307)는 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하는 경우, 선택된 카메라로부터 수신되는 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링하거나, 주기적으로 인트라 프레임만이 선택되도록 필터링하여 디코더(313)로 제공함으로써, 큐 풀 상태 및 프레임 드랍 현상을 최소화 함으로써 끊김없는 영상을 모니터링 할 수 있게 된다.

필터링 제어부(309)는 카메라 별로 수신되는 영상 프레임들에 필터링부(307)의 적용을 제어하고, 필터링부(307)는 필터링 제어부(309)의 제어 하에 인트라 프레임의 필터링을 수행한다.

필터링 제어부(309)는 가장 높은 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 여기서, 제1 디코딩 성능이 임계값 이상인 소수의 카메라로부터 수신한 영상 프레임들 및 제1 디코딩 성능이 임계값 이상인 다수의 카메라로부터 수신한 영상 프레임들이 존재하는 경우, 소수의 카메라로부터 수신한 영상 프레임들이 필터링 되도록 제어하고, 다수의 카메라로부터 수신한 영상 프레임들은 필터링되지 않고 모든 프레임들이 디코더(313)로 제공되도록 제어 할 수 있다.

또한 필터링 제어부(309)는 가장 낮은 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 여기서, 제1 디코딩 성능이 임계값 미만인 소수의 카메라로부터 수신한 영상 프레임들 및 제1 디코딩 성능이 임계값 미만인 다수의 카메라로부터 수신한 영상 프레임들이 존재하는 경우, 다수의 카메라로부터 수신한 영상 프레임들이 필터링되도록 제어하고, 소수의 카메라로부터 수신한 영상 프레임들은 필터링되지 않고 모든 프레임들을 디코더(313)로 제공되도록 제어할 수 있다.

또한 필터링 제어부(309)는 필터링부(307)를 적용할 카메라들을 설정하고, 설정한 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 여기서, 필터링부(307)를 적용할 카메라들의 설정은, 제1 카메라부터 오름차순으로 설정하거나, 제N 카메라부터 내림차순으로 설정하거나, 랜덤하게 설정하거나, 사용자가 선택적으로 설정할 수 있다. 예를 들어, 필터링부(307)를 적용할 카메라들을 제1 카메라부터 오름차순으로 설정한 경우, 제1 디코딩 성능들의 합이 제2 디코딩 성능 보다 작아질 때까지 해당 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 이는 사용자가 제1 카메라가 수신한 영상 프레임들부터 필터링부(307)가 적용되는 것을 알 수 있기 때문에, 모든 프레임을 보고자 하는 카메라를 선택할 수 있다는 장점이 있다.

더 나아가 필터링 제어부(309)는 카메라들로부터 수신한 영상 프레임들에 필터링 주기가 변경된 필터링부(307)를 적용하도록 제어할 수 있다. 필터링 제어부(309)는 가장 높은 제1 디코딩 성능을 점유하는 소수 또는 특정 카메라들로부터 수신한 영상 프레임들에 필터링부(307)를 적용하되, 필터링 주기가 변경되도록 할 수 있다. 예를 들어, 제1 카메라로부터 수신한 영상 프레임들의 프레임 레이트가 30FPS이고, GOP가 15인 경우, 필터링부(307)를 적용하여 초당 2개의 인트라 프레임이 디코더(313)로 공급될 수 있지만, 필터링 제어부(309)는 가중치를 주어 초당 1개의 인트라 프레임이 디코더(313)로 공급되도록 필터링부(307)를 제어하거나, 2초에 1개의 인트라 프레임이 디코더(313)로 공급되도록 필터링부(307)를 제어할 수 있다. 이와 같은 경우, 필터링 제어부(309)는 임계값 이상의 제1 성능을 갖는 영상 프레임들의 인트라 프레임 간격을 조정하여 다른 다수의 영상 프레임들이 모두 디코더(313)로 공급되도록 제어할 수 있다.

프레임 제공부(311)는 필터링부(307)에서 필터링되어 선택된 인트라 프레임 또는 필터링 되지 않은 모든 영상 프레임들을 디코더(313)로 제공한다. 디코더(313)는 프레임 제공부(311)로부터 제공된 영상 프레임들을 디코딩한다. 스케일러(315)는 디코딩된 영상 프레임의 크기를 조절하고, 동기 조정부(317)는 영상 프레임과 오디오의 동기를 조정한다. 멀티플렉서(319)는 영상 프레임들을 합성하여 하나의 최종 출력 영상을 생성한다. 렌더링부(321)는 하나의 최종 출력 영상을 디스플레이 수단(400)의 사양에 맞게 디스플레이 하기 위한 일련의 처리를 수행한다.

도 3은 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다. 본 발명에 따른 영상 처리 방법은 도 1에 도시된 바와 같이 주변 구성요소들의 도움을 받아 영상 처리 수단(300)에서 수행될 수 있다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.

도 3을 참조하면, 영상 처리 수단(300)은 적어도 하나 이상의 네트워크 카메라(100)를 통하여 수신된 영상의 코덱, 해상도 및 프레임 레이트 정보를 곱하여 제1 디코딩 성능을 산출하는 단계(S100)를 수행한다. 여기서, 사용자가 모니터링 하고자 하는 영상을 촬영하는 적어도 하나 이상의 네트워크 카메라(100)를 선택할 수 있고, 영상 처리 수단(300)은 선택된 네트워크 카메라(100)가 촬영한 인코딩 영상을 수신할 수 있다. 제1 디코딩 성능은 영상의 코덱에 따라 H.264, MPEG-4, JPEG에 의해 달라질 수 있다. 코덱의 종류에 따른 압축율과 연산량에 따라 제1 디코딩 성능을 산출하기 위한 가중치가 다르게 적용되는데, H.264의 경우 1, MPEG-4의 경우 0.7, JPEG의 경우 0.5로 적용될 수 있다. 다음에, 제1 디코딩 성능은 동일한 코덱으로 처리할 경우, 가장 큰 영향을 받는 부분이 해상도 이다. 제1 디코딩 성능은 동일한 코덱으로 처리할 경우, 해상도 크기에 비례한다. 마지막으로, 제1 디코딩 성능은 하드웨어 코덱 및 소프트웨어 코덱에서 사용하는 디코딩 연산을 처리하기 위하여 입력되는 시간당 입력되는 프레임 수 즉, 프레임 레이트에 의하여 달라질 수 있다.

제1 성능 산출이 완료되면, 영상 처리 수단(300)은 는 각 카메라로부터 수신된 영상 프레임들에 대한 상기 제1 디코딩 성능들의 합 및 기저장되어 있는 영상 처리 수단(300)의 디코딩 성능을 나타내는 제2 디코딩 성능을 비교하는 단계(S200)를 수행한다. 예를 들어, 기저장된 제2 디코딩 성능이 4CH×H.264×(1920×1080)×30FPS이고, 선택된 제1 내지 제4 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능의 합이 4CH×H.264×(1920×1080)×30FPS 라면, 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하지 않는다. 그러나, 제1 내지 제3 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능의 합이 3CH×H.264×(1920×1080)×30FPS이고, 제4 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능이 1CH×H.264×(1920×1080)×60FPS이라면, 제1 내지 제4 카메라로부터 수신되는 영상에 대한 제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하게 된다.

제1 디코딩 성능의 합이 제2 디코딩 성능을 초과하는 경우, 영상 처리 수단(300)은 선택된 카메라로부터 수신되는 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링 하거나, 선택된 카메라로부터 수신되는 영상 프레임들 중 주기적으로 인트라 프레임만이 선택되도록 필터링 하는 단계(S300)를 수행한다. 필터링 시에 영상 처리 수단(300)은 카메라 별로 수신되는 영상 프레임들에 필터링의 적용을 제어한다. 영상 처리 수단(300)은 가장 높은 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 또한 영상 처리 수단(300)은 가장 낮은 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 또한 영상 처리 수단(300)은 필터링을 적용할 카메라들을 설정하고, 설정한 카메라들로부터 수신한 영상 프레임들 중 인트라 프레임만이 선택되도록 필터링을 제어하거나 주기적으로 인트라 프레임만이 선택되도록 필터링을 제어할 수 있다. 여기서, 필터링부(307)를 적용할 카메라들의 설정은, 제1 카메라부터 오름차순으로 설정하거나, 제N 카메라부터 내림차순으로 설정하거나, 랜덤하게 설정하거나, 사용자가 선택적으로 설정할 수 있다. 더 나아가 영상 처리 수단(300)은 가장 높은 제1 디코딩 성능을 점유하는 소수 또는 특정 카메라들로부터 수신한 영상 프레임들에 필터링을 적용하되, 필터링 주기가 변경되도록 할 수 있다. 예를 들어, 제1 카메라로부터 수신한 영상 프레임들의 프레임 레이트가 30FPS이고, GOP가 15인 경우, 필터링을 적용하여 초당 2개의 인트라 프레임이 디코딩 되도록 할 수 있지만, 영상 처리 수단(300)은 가중치를 주어 초당 1개의 인트라 프레임이 디코딩 되도록 제어하거나, 2초에 1개의 인트라 프레임이 디코딩 되도록 제어할 수 있다.

이후 영상 처리 수단(300)은 필터링된 인트라 프레임 또는 필터링 되지 않은 영상 프레임들을 디코딩하고, 디코딩된 영상 프레임의 크기를 조절하며, 영상 프레임과 오디오의 동기를 조정하고, 영상 프레임들을 합성하여 하나의 최종 출력 영상을 생성한 후 하나의 최종 출력 영상을 디스플레이 사양에 맞게 일련의 처리를 수행한다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

100: 네트워크 카메라 200: 네트워크
300: 영상 저장수단 301: 영상 수신부
303: 성능 산출부 305: 타이머
307: 필터링부 309: 필터링 제어부
311: 프레임 제공부 313: 디코더
315: 스케일러 317: 동기 조정부
319: 멀티플렉서 321: 렌더링부
400: 디스플레이 수단

Claims

적어도 하나 이상의 카메라로부터 영상을 수신하여 저장하거나 디스플레이 처리를 수행하는 영상 처리 장치로써,
상기 카메라 별로 수신되는 영상의 코덱에 할당된 가중치, 해상도, 프레임 레이트, 스케일링 팩터 및 보간 팩터의 곱으로 제1 디코딩 성능을 산출하는 성능 산출부; 및
상기 카메라 별로 산출된 상기 제1 디코딩 성능들의 합이 기저장된 상기 영상 처리 장치의 디코딩 성능을 나타내는 제2 디코딩 성능을 초과하는 경우, 상기 카메라 별로 수신되는 영상 중 특정 프레임을 선택하여 제공하는 필터링부;를 포함하는 것을 특징으로 하는 영상 처리 장치.
삭제
제 1항에 있어서,
상기 제1 디코딩 성능 산출 시에, 상기 코덱의 종류에 따라 서로 다른 가중치를 부여하는 것을 특징으로 하는 영상 처리 장치.
제 1항에 있어서, 상기 필터링부는,
상기 카메라 별로 수신되는 영상 중 주기적으로 상기 특정 프레임을 선택하여 제공하는 것을 특징으로 하는 영상 처리 장치.
제 4항에 있어서, 상기 특정 프레임은,
상기 카메라 별로 수신되는 GOP 단위의 영상 프레임 중 인트라 프레임인 것을 특징으로 하는 영상 처리 장치.
제 1항에 있어서,
상기 카메라 별로 수신되는 영상 프레임들에 상기 필터링부의 적용을 제어하는 필터링 제어부;를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
제 6항에 있어서, 상기 필터링 제어부는,
가장 높은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링부를 적용하도록 제어하는 것을 특징으로 하는 영상 처리 장치.
제 6항에 있어서, 상기 필터링 제어부는,
가장 낮은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링부를 적용하도록 제어하는 것을 특징으로 하는 영상 처리 장치.
제 6항에 있어서, 상기 필터링 제어부는,
상기 필터링부를 적용할 카메라들을 설정하고, 상기 설정한 카메라들로부터 수신한 영상 프레임들에 상기 필터링부를 적용하도록 제어하는 것을 특징으로 하는 영상 처리 장치.
제 6항에 있어서, 상기 필터링 제어부는,
상기 카메라들로부터 수신한 영상 프레임들에 필터링 주기가 변경된 상기 필터링부를 적용하도록 제어하는 것을 특징으로 하는 영상 처리 장치.
적어도 하나 이상의 카메라로부터 영상을 수신하여 저장하거나 디스플레이 처리를 수행하는 영상 처리 방법으로써,
상기 카메라 별로 수신되는 영상의 코덱에 할당된 가중치, 해상도, 프레임 레이트, 스케일링 팩터 및 보간 팩터의 곱으로 제1 디코딩 성능을 산출하는 성능 산출 단계; 및
상기 카메라 별로 산출된 상기 제1 디코딩 성능들의 합이 기저장된 상기 영상 처리 장치의 디코딩 성능을 나타내는 제2 디코딩 성능을 초과하는 경우, 상기 카메라 별로 수신되는 영상 중 특정 프레임을 선택하여 제공하는 필터링 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
삭제
제 11항에 있어서,
상기 제1 디코딩 성능 산출 시에, 상기 코덱의 종류에 따라 서로 다른 가중치를 부여하는 것을 특징으로 하는 영상 처리 방법.
제 11항에 있어서, 상기 필터링 단계는,
상기 카메라 별로 수신되는 영상 중 주기적으로 상기 특정 프레임을 선택하여 제공하는 필터링 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
제 14항에 있어서, 상기 특정 프레임은,
상기 카메라 별로 수신되는 GOP 단위의 영상 프레임 중 인트라 프레임인 것을 특징으로 하는 영상 처리 방법.
제 11항에 있어서,
상기 카메라 별로 수신한 영상 프레임들에 상기 필터링의 적용을 제어하는 필터링 제어 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제 16항에 있어서, 상기 필터링 제어 단계는,
가장 높은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
제 16항에 있어서, 상기 필터링 제어 단계는,
가장 낮은 상기 제1 디코딩 성능을 점유한 카메라들로부터 수신한 영상 프레임들에 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
제 16항에 있어서, 상기 필터링 제어 단계는,
상기 필터링을 적용할 카메라들을 설정하고, 상기 설정한 카메라들로부터 수신한 영상 프레임들에 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
제 16항에 있어서, 상기 필터링 제어 단계는,
상기 카메라들로부터 수신한 영상 프레임들에 필터링 주기가 변경된 상기 필터링을 적용하도록 제어하는 필터링 제어 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.