KR20160058020A

KR20160058020A - 디지털 이미지들에서 관련된 영역들을 식별하는 방법, 디지털 이미지들을 인코딩하는 방법 및 인코더 시스템

Info

Publication number: KR20160058020A
Application number: KR1020150155985A
Authority: KR
Inventors: 빅터 에드팜; 라스 페르손; 씽 다니엘쏜 판; 프레드릭 필; 알렉산드르 마틴스
Original assignee: 엑시스 에이비
Priority date: 2014-11-14
Filing date: 2015-11-06
Publication date: 2016-05-24
Also published as: TW201630424A; EP3021583A1; TWI619376B; CN105608461B; JP6391549B2; EP3021583B1; JP2016111695A; US9805287B2; CN105608461A; US20160140421A1; KR101823537B1

Abstract

디지털 이미지들에서 관련된 영역들을 식별하는 방법이 제공된다. 상기 방법은, 제1 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하는 단계(S02)와, 그리고 픽셀들의 각 그룹에 대한 그룹 값을 형성하기 위해 상기 제1 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 공간의 통계적 측정을 계산하는 단계(S03)를 포함한다. 또한, 상기 방법은, 그룹 값들 사이에서 차이들을 계산하는 단계(S04)와, 그리고 상기 차이들과 미리결정된 임계값을 비교하는 단계(S05)를 포함한다. 상기 차이가 상기 임계값과 동일하거나 또는 상기 임계값을 넘으면, 상기 그룹이 관련된 것으로 식별되고(S06), 그리고 상기 차이가 상기 임계값 아래에 있으면, 상기 그룹이 관련없는 것으로 식별된다(S07). 관련된 영역 및 관련없는 영역의 식별에 기초하여 디지털 이미지들을 인코딩하는 방법은, 또한, 디지털 인코더 시스템과 함께 제공된다.

Description

디지털 이미지들에서 관련된 영역들을 식별하는 방법, 디지털 이미지들을 인코딩하는 방법 및 인코더 시스템{METHOD OF IDENTIFYING RELEVANT AREAS IN DIGITAL IMAGES, METHOD OF ENCODING DIGITAL IMAGES, AND ENCODER SYSTEM}

본 발명은 디지털 이미지 프로세싱 분야에 관한 것으로서, 특히, 디지털 이미지들에서 관련된 영역들을 식별하는 방법, 디지털 이미지들을 인코딩하는 방법 및 인코더 시스템에 관한 것이다.

네트워크 카메라 모니터링 시스템들과 같은 디지털 비디오 시스템들에서, 비디오 시퀀스들은 여러 비디오 인코딩 방법들을 사용하여 전송 전에 압축된다. 많은 디지털 비디오 인코딩 시스템들에서, 2개의 메인 모드들: 인트라 모드 및 인터 모드가 비디오 프레임들의 시퀀스 중 비디오 플레임들을 압축하기 위해 사용된다. 인트라 모드에서, 휘도 및 색도 채널들은, 예측, 변환 및 엔트로피 코딩을 통해 단일 프레임의 특정 채널 내의 픽셀들의 공간 중복을 이용함으로써 인코딩된다. 인코딩된 프레임들은 인트라-프레임들로 언급되고, 또한, I-프레임들로서 언급될 수 있다. 인터 모드는 대신 개별 프레임들 사이에서 시간적 중복을 사용하고, 그리고 픽셀들의 선택된 블록들에 대해 하나의 프레임에서 다른 프레임으로 픽셀들의 모션을 인코딩함으로써 하나 이상의 이전 프레임들로부터 하나의 프레임의 부분들을 예측하는 모션-보상 예측 기술에 의존한다. 인코딩된 프레임들은 인터-프레임들로 불리고, 디코딩 순서에서 이전의 프레임들을 언급할 수 있는 P-프레임들(순방향 예측된 프레임들) 또는 2개 이상의 이전에 디코딩된 프레임들로 언급할 수 있는 B-프레임들(양방향으로 예측된 프레임들)로 언급될 수 있으며, 예측을 위해 사용된 프레임들의 임의의 독자적인 디스플레이-순서 관계를 가질 수 있다. 또한, 인코딩된 프레임들은 픽처들의 그룹들(groups of pictures), 또는 GOP들로 배열되고, 픽처들의 각 그룹은 I-프레임으로 시작되고, 그 다음의 프레임들은 P-프레임들 또는 B-프레임들이다. 픽처들의 그룹 내의 프레임들의 수는 일반적으로 GOP 길이로서 언급된다. GOP 길이들은, 픽처들의 그룹에서 단지 하나의 인트라-프레임만 존재하고 인터-프레임들을 존재하지 않는 것을 의미하는 1에서부터, 예를 들어, 픽처들의 그룹에서 하나의 인트라-프레임 후 254개의 인터-프레임들이 존재하는 255로 변할 수 있다.

인코딩된 비디오 시퀀스의 수신 측에서, 인코딩된 프레임들이 디코딩된다. 네트워크 카메라 모니터링 시스템들에서의 관심은 인코딩된 비디오의 전송을 위해 이용가능한 대역폭이다. 이는 특히 다수의 카메라들을 이용하는 시스템들에서 진실이다. 또한, 이러한 관심은 특히, 비디오 시퀀스가 이동 전화, PDA, 또는 태플릿 컴퓨터와 같은 모바일 디바이스에 전송되는 것과 같이, 이용가능한 대역폭이 낮은 상황들에서 특히 중요하다. 아날로그 문제들은, 예를 들어, 카메라 내의 온-보드 SD 카드상에 이미지들을 저장할 때, 이미지들의 저장과 관련하여 발생한다. 이용가능한 대역폭 또는 저장과 높은 품질의 이미지들을 사이의 균형을 위한 절충이 이뤄어져야 한다. 다수의 방법들 및 시스템들은, 카메라들로부터의 전송들의 비트 레이트를 감소시키도록 인코딩을 제어하기 위해 사용된다. 이러한 알려진 방법들 및 시스템들은 일반적으로 비트 레이트 제한을 적용하고, 상기 카메라들로부터의 출력 비트 레이트가 항상 비트 레이트 제한 아래에 있도록 인코딩을 제어한다. 이러한 방식으로, 시스템 내의 모든 카메라들이 비디오 시퀀스를 수신측, 예를 들어, 오퍼레이터가 시스템의 카메라들로부터 비디오를 모니터할 수 있고 그리고 비디오가 이후의 사용을 위해 기록될 수 있는 제어 센터에 전송할 수 있도록, 이용가능한 대역폭이 충분하게 되는 것을 명확하게 해야한다. 하지만, 비트 레이트 제한을 모든 카메라들에 적용하는 것은, 때로는 바람직하지 않게 낮은 이미지 품질을 야기할 수 있는 바, 이는 비트 레이트 제한이, 모니터링된 장면에서 무엇이 발생되는지 관계없이 많은 세부사항들을 포함하는 이미지들의 심한 압축을 요구할 수 있다. 일부 세부사항들은 수신 측에서 보는 사람들이 관심을 가질 수 있는 반면, 다른 세부사항들은 관심을 갖지 않을 수 있다. 계속해서, 비트 레이트 제한을 적용할 때, 많은 세부 사항들을 갖는 이미지들은 제한을 초과하지 않도록 강하게 압축될 필요가 있고, 그 결과 낮은 이미지 품질을 초래한다.

본 발명의 목적은 이미지에서 관련된 영역들을 식별하는 방법을 제공하는 것이다. 다른 목적은 디지털 이미지들의 효율적인 압축을 가능하게 하여, 관련된 객체들의 이미지가 높은 품질을 갖도록 하는 것이다.

제1 양상에 따라, 이러한 그리고 다른 목적들의 전체 또는 적어도 일부분이 디지털 이미지들에서 관련된 영역들을 식별하는 방법에 의해 달성되고, 상기 방법은 제1 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하는 단계와; 픽셀들의 각 그룹에 대한 그룹 값을 형성하기 위해 상기 제1 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 상기 정보의 합, 평균 또는 중간값을 계산하는 단계와; 그룹 값들 사이에서 차이들을 계산하는 단계와; 그리고 상기 차이들과 미리결정된 임계값을 비교하는 단계를 포함한다. 상기 차이가 상기 임계값과 동일하거나 또는 상기 임계값을 넘으면, 상기 방법은 상기 그룹이 관련된 영역에 있는 것으로 식별하는 단계를 포함하고, 그리고 상기 차이가 상기 임계값 아래에 있으면, 상기 방법은 상기 그룹이 관련없는 영역에 있는 것으로 식별하는 단계를 포함한다. 그와 같은 방법을 통해, 이미지 내의 관련없는 영역들로부터 관련된 영역들을 차별화하는 것이 가능할 수 있다. 이미지의 이러한 차별화 또는 하위-분할은, 이미지의 인코딩을 제어하는 것과 같은 여러 목적들을 위해 사용될 수 있다.

상기 관련된 영역들은 관련된 객체들을 포함하는 영역들이며, 상기 관련된 객체들은 사람들, 얼굴들, 동물들, 자동차들, 자동차 번호판들, 창문들, 문들, 게이트들 또는 사람에 의해 운반되는 객체들과 같은 객체들이다.

상기 방법의 변형에서, 상기 픽셀들의 그룹들은 다수의 픽셀들을 포함하고, 상기 다수의 픽셀들은 관련된 객체들을 포함하지 않는 제1 디지털 이미지의 영역들에서의 그룹 값들 사이에서 상기 임계값 아래의 차이들을 생성하도록 되어 있다.

상기 픽셀들의 그룹들 각각은 적어도 256 픽셀들을 포함할 수 있다. 이는 16 x 16 픽셀 그룹일 수 있고, 그리고 이러한 픽셀 그룹의 크기는 상기 이미지에서 얼굴의 크기와 대응할 수 있다.

상기 제1 이미지 내의 픽셀들을 나타내는 정보는, 휘도 값, 광 세기 값, 컬러 값 및 이러한 것들 중 일부의 분산에 대한 데이터로 구성되는 상기 그룹 중 적어도 하나일 수 있다. 상기 분산은, 예를 들어, 표준 편차로서 표현될 수 있다.

변형에서, 상기 방법은 또한 제2 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하는 단계와; 픽셀들의 각 그룹에 대한 그룹 값을 형성하기 위해 상기 제2 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 상기 정보의 합, 평균 또는 중간값을 계산하는 단계와; 그리고 상기 제1 이미지 및 상기 제2 이미지로부터 대응하는 그룹들의 그룹 값들을 누적하는 단계를 더 포함하고, 상기 그룹 값들 사이에서 차이들을 계산하는 단계는 상기 누적된 그룹 값들을 사용하여 수행된다.

제2 양상에 따라, 이러한 그리고 다른 목적들의 전체 또는 적어도 일부분이 디지털 이미지들을 인코딩하는 방법에 의해 달성되고, 제1 양상의 방법을 사용하여 관련된 영역들을 식별하는 단계와; 관련된 영역들의 식별에 기초하여 픽셀들의 각 그룹에 대해 압축 값을 설정하는 단계 - 관련된 영역들 내의 매크로 블록들에 제1 압축 값이 주어지고, 상기 관련된 영역들 밖의 매크로 블록들에 제2 압축 값이 주어지고, 상기 제2 압축 값은 상기 제1 압축 값보다 낮은 이미지 품질을 제공하는 압축을 나타내며 - 와; 그리고 상기 픽셀들의 그룹들에 대해 설정된 상기 압축 값들을 사용하여 상기 제1 이미지를 인코딩하는 단계를 포함한다. 그와 같은 방법을 통해, 이미지의 관련 영역들의 높은 품질의 표현을 가능하게 하는 동안, 이미지의 관련되지 않은 영역들을 나타내기 위해 사용된 비트들의 수를 낮추는 것이 가능할 수 있다. 압축 값들이 할당되는 블록들은, 관련된 영역들을 식별하기 위해 사용되는 픽셀들의 그룹들과 동일하거나 또는 동일하지 않을 수 있다. 상기 블록들은 픽셀들의 그룹들의 하위그룹들일 수 있다.

상기 방법의 변형에 따라, 제2 압축 값을 갖는 픽셀들의 그룹은 스킵 블록(skip block)으로서 인코딩된다. 이러한 방식으로, 출력 비트 레이트는 감소될 수 있다.

상기 방법은, 상기 제1 이미지를 인코딩하기 전에 변환 모듈에서 상기 제1 이미지를 처리하는 단계와; 그리고 상기 제1 이미지를 인코딩하기 전에 상기 변환 모듈에서 상기 제1 이미지에 대응하는 그룹 값들 또는 압축 값들을 처리하는 단계를 더 포함할 수 있다. 변환 모듈은 하드웨어 가속 변환 모듈일 수 있고, 때때로 스케일러로서 언급될 수 있다. 변환 모듈 또는 스케일러는, 리사이징, 크로핑, 회전, 프라이버시 마스크의 추가, 또는 전자 이미지 안정화와 같은 동작들을 수행될 수 있다.

제3 양상에 따라, 상기에서 언급된 목적들의 전체 또는 적어도 일부분이 입력 이미지들에 대응하는 이미지 데이터를 인코딩하기 위한 디지털 이미지 인코더 시스템에 의해 달성되고, 상기 디지털 이미지 인코더 시스템은, 압축 값들을 사용하여 입력 이미지들을 처리하도록 배열되는 인코더 모듈과; 제1 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하도록 배열되는 수신 모듈과; 픽셀들의 각 그룹에 대한 그룹 값을 형성하기 위해 상기 제1 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 상기 정보의 합, 평균 또는 중간값을 계산하도록 배열되는 그룹 값 모듈과; 그룹 값들 사이에서 차이들을 계산하도록 배열되는 차분 계산 모듈과; 상기 차이들과 미리결정된 임계값을 비교하도록 배열되는 비교 모듈과; 상기 차이가 상기 임계값과 동일하거나 또는 상기 임계값을 넘으면, 픽셀들의 그룹이 관련된 영역에 있는 것으로 식별하고, 그리고 상기 차이가 상기 임계값 아래에 있으면, 상기 픽셀들의 그룹이 관련없는 영역에 있는 것으로 식별하도록 배열되는 식별 모듈과; 그리고 관련된 영역들의 식별에 기초하여 픽셀들의 각 그룹에 대해 압축 값을 설정하도록 배열되는 압축 값 설정 모듈을 포함하고, 관련된 영역들 내의 픽셀들의 그룹에 제1 압축 값이 주어지고, 관련없는 영역들 내의 픽셀들의 그룹에 제2 압축 값이 주어지며, 상기 제2 압축 값은 상기 제1 압축 값보다 낮은 이미지 품질을 제공하는 압축을 나타낸다. 그와 같은 인코더 시스템을 통해, 출력 비트 레이트들을 감소시킬 수 있는 반면 모니터링된 장면에서 관심있는 객체들의 높은 품질의 이미지들을 또한 가능하게 한다.

제3 양상의 인코더 시스템은, 일반적으로 첨부된 이점들을 구비하여 제2 양상의 방법과 동일한 방식들로 구현될 수 있다.

제4 양상에 따라, 상기 언급된 목적들의 전체 또는 적어도 일부분이 상기 제3 양상에 따른 디지털 인코더 시스템을 포함하는 카메라에 의해 달성된다.

제5 양상에 따라, 상기 언급된 목적들의 전체 또는 적어도 일부분이 프로세서에 의해 실행될 때 제1 및 제2 양상들에 따른 방법들을 수행하도록 된 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다. 상기 프로세서는 어떤 종류의 프로세서, 예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 집적 회로에서 구현되는 주문 제작한 프로세싱 디바이스, ASIC, FPGA 또는 개별 컴포넌트들을 포함하는 논리 회로일 수 있다.

본 발명의 기능의 추가의 범위는 아래에서 주어진 상세한 설명으로부터 명확해질 것이다. 하지만, 본 발명의 바람직한 실시예들을 나타내는 상세한 설명 및 특정 예시들은 단지 예로서 주어지는바, 이는 본 발명의 범위 내에서의 다양한 변화들 및 수정들이 이러한 상세한 설명으로부터 통상의 기술자들에게 명확해질 것임을 이해할 수 있다.

따라서, 본 발명은, 그와 같은 디바이스 및 방법들이 변할 수 있는 것으로 서술된 디바이스의 특정 컴포넌트 부분들 또는 서술된 방법들의 단계들로 제한되지 않음을 이해할 수 있다. 또한, 여기에서 서술되는 용어는 특정 실시예들을 단지 서술하는 목적으로서, 본 발명을 제한하도록 의도되지는 않는다. 명세서 및 청구범위들에서 사용되는 것으로, 단수를 나타내는 용어 및 "상기"를 나타내는 용어는, 문맥에서 명확하게 달리 언급하지 않으면 하나 이상의 요소들을 존재하고 있음을 의미하도록 의도된다. 따라서, 예를 들어, "하나의 객체" 또는 "상기 객체"에 대한 참조는 여러 객체들을 포함할 수 있다. 더욱이, 단어 "포함하는(comprising)"은 다른 요소들 또는 단계들을 배제하지 않는다.

본 발명은 예시들을 통해 그리고 첨부된 개략적인 도면을 참조하여 이제 더 상세하게 설명될 것이다.
도 1은 모니터링된 장면을 도시하는 디지털 이미지의 뷰(view)이다.
도 2는 도 1의 이미지의 원칙적 구성의 일루전(illusion)이다.
도 3은 도 2에 도시된 이미지의 일부의 상세도이다.
도 4는 도 2에 도시된 이미지의 픽셀들의 그룹의 일루전이다.
도 5는 본 발명의 방법의 변형을 도시하는 흐름도이다.
도 6은 픽셀들의 그룹들과 대응하도록 배열되는 도 2의 픽셀들의 그룹들의 그룹 값들의 일루전이다.
도 7은 픽셀들의 그룹들과 대응하도록 배열되는 압축 값들의 일루전이다.
도 8은 일 실시예에 따른 인코더 시스템의 표현이다.
도 9는 통합적인 인코더 시스템을 구비한 카메라를 도시한다.

도 1은 모니터링된 장면을 묘사하는 디지털 이미지(1)를 나타낸다. 이러한 이미지(1)는 디지털 모니터링 카메라에 의해 캡처되는 비디오 시퀀스에서 일련의 이미지들 중 하나이다. 도 2에서, 다수의 픽셀들로 구성되는 이미지의 원칙적 구성이 도시된다. 이미지(1)는 예를 들어, 1280 픽셀의 폭과 960 픽셀의 높이를 가질 수 있고, 그 결과 약 1.3 MP를 갖는다. 이러한 디지털 이미지(1)는 YCbCr 컬러 공간에 표시되고, 이는 각 픽셀(2)이 휘도 값 Y, 색도 청색 값 Cb 및 색도 적색 값 Cr을 갖는다. 도 2에서, 도 1의 박스(3)에 의해 개략적으로 표시된 이미지(1)의 작은 부분이 도시된다. 이미지(1)의 이러한 작은 부분은 4개의 픽셀들 폭과 4개의 픽셀들 높이를 갖는다. 도 3의 각 픽셀(2)에 대해, 상부 왼쪽 코너의 수는 Cb 값을 나타내고, 상부 오른쪽 코너의 수는 Cr 값을 나타내며, 그리고 바닥의 수는 픽셀의 Y 값을 나타낸다.

상기 이미지(1)가, 예를 들어, 제어 센터에 전송될 때, 오퍼레이터 또는 가드는 모니터링되는 장면들이 디스플레이된 이미지들을 볼 수 있고, 상기 이미지는 인코되어야 한다. 이러한 예에서, H.264 압축 포맷에 따른 코덱 작업이 사용된다. 이미지(1)를 인코딩할 때, GOP 길이 및 압축 값과 같은 파라미터들은, 인코딩된 이미지를 전송하기 위해 요구되는 데이터의 양을 제어하기 위해, 즉, 출력 비트 레이트를 제어하기 위해 제어될 수 있다. H.264 압축 포맷에서, 압축 값은 양자화 파라미터 QP일 것이다. 인코딩되는 이미지는, 마크로 블록들 또는 픽셀 블록들로 불리는 독립 블록들로 분할되고, 이러한 독립 블록들은 개별적으로 인코딩된다. 따라서, 하나의 그리고 동일한 이미지에서의 서로 다른 마크로 블록들은 서로 다른 압축 값들로 할당될 수 있다. 이미지들이 인코딩되는 프레임 레이트는 또한 출력 비트 레이트를 제어하기 위해 제어될 수 있다. 전송을 하기 위한 이용가능한 대역폭은 일반적으로 허용가능한 비트 레이트를 제한할 것이다. 복수의 카메라들을 이용하는 시스템들에서 그리고 작은 대역폭을 갖는 시스템들에서, 예를 들어, 사용자의 이동 전화에 이미지들을 전송할 때, 각 개별 카메라로부터 출력되는 허용가능한 비트 레이트는 엄격하게 제한될 수 있다. 상기의 배경 기술 섹션에서 이미 표시된 것처럼, 비트 레이트 제한을 적용하는 것은 심한 압축 및/또는 긴 GOP 길이들을 요구할 수 있고, 이는 상당한 양의 인코딩 결함들을 갖는 저품질의 이미지들을 초래한다.

본 발명에 따라, 이러한 문제들은 상기 이미지(1)의 관련 영역들을 식별함으로써 해결된다. 관련 영역들은, 관련된 객체들이 존재하는 영역들이다. 어떤 객체들이 관련된 객체들인지를 판단하는 것은, 모니터링 상황에 따라 다르다. 예를 들어, 건물 주위의 주변이 침입자들에 대해 모니터링되면, 사람들은 관련된 객체들이 될 것이다. 다른 예로서, 도로 요금소에서, 자동차의 번호판들은 관련된 객체들일 것이다. 일반적으로, 관련된 객체들은, 사람들, 얼굴들, 동물들, 자동차들, 번호판들, 윈도우들, 문들, 게이트들, 사람들에 의해 움직이는 객체들, 그림들과 같은 귀중품들, 그리고 제세동기들 또는 비상구들에 대한 열쇠들과 같은 필수 장비와 같은 객체들일 수 있다.

일단 관련된 영역들이 식별되면, 이미지 내의 서로 다른 매크로 영역들은, 특정 매크로 블록이 관련된 영역에 있는지 또는 관련되지 않은 영역에 있는지에 의존하는 서로 다른 압축 값들을 사용하여 인코딩될 수 있다. 높은 압축 값을 관련되지 않은 영역에 적용함으로써, 세부 사항들은 인코딩에서 제외될 것이다. 하지만, 그와 같은 세부적인 손실은 일반적으로 전송된 이미지를 보는 사람이 수용할 수 있는 것으로, 이는 관련되지 않은 영역들에서의 세부사항들이 현재 모니터링의 목적에 중요하지 않기 때문이다. 예를 들어, 침입자들에 대해 건물 주위를 모니터링하는 예로 다시 돌아가면, 건물 주변 울타리에 있는 나무의 잎들이 움직이는 것은 중요하지 않고, 따라서, 상기 나무는 높은 정도의 세부사항들을 갖지 않는다. 하지만, 상기 펜스와 가깝게 움직이는 사람들은 침입자들일 수 있고, 따라서, 높은 수준의 세부사항들로 사람들을 보여주는 것이 유용할 수 있으며, 그 결과 움직이는 것들은 사람들로 인식될 수 있고, 심지어 식별될 수도 있다. 관련된 영역들에서 요구된 이미지 품질을 얻기 위해, 낮은 압축 값은 관련된 영역들에서 마크로 블록들에 대해 사용된다.

일단 도 1을 더 참조하면, 모니터링된 장면은 하늘(10), 잔디밭(11), 경로(12) 및 집(13)을 포함한다. 집(13)은 벽들(14), 지붕(15), 창문(16) 및 문(17)을 가진다. 집(13)을 제외하곤, 2개의 나무들(18)이 존재하고, 그리고 사람(19)은 문(17) 앞에 서있다. 이미지의 서로 다른 부분들은 서로 다른 부분들의 세부사항들을 포함한다. 예를 들어, 푸른 하늘은 거의 세부 사항들을 포함하지 않고, 그리고 구름이 낀 하늘은 일반적으로 푸른색 또는 회색 배경에 대해 많은 양의 흰색 또는 회색을 포함한다. 반면에, 잎들을 갖는 나무들(18)처럼, 잔디를 갖는 잔디밭(11)은 많은 작은 세부사항들을 포함한다. 이미지(1)에서 캡처되는 장면을 모니터링할 때, 하늘(10), 잔디밭(11) 및 나무들(18)은 일반적으로 흥미가 없을 것이다. 대신, 창문(16) 및 문(17)과 함께 사람들(19)도 흥미로울 수 있고, 추가적인 흥미를 끄는 객체들이 나타날 수 있다.

본 발명은, 도 1에 도시된 이미지(1)와 같은 이미지의 흥미롭거나 관련된 부분들이 흥미롭지 않거나 관련되지 않은 부분들과 다른 크기의 세부사항들을 포함하고 있는지 또는 흥미롭지 않은 부분들로부터 흥미로운 부분들을 구별하는 방법에 대한 실현에 기초한다. 예를 들어, 모니터링의 목적이 집 주변의 영역 내의 사람들을 식별하는 것이면, 얼굴들, 옷 등과 같은 사람들과 유사한 스케일 또는 크기를 갖는 세부사항들은 흥미로울 것인 반면, 푸른 하늘은 너무 크고, 나뭇잎들 및 잔디들은 너무 작을 것이다. 세부사항들의 이러한 스케일로의 분류들은, 이미지의 적합한 하위 부분에 대한 세부사항들을 평균화하는 것에 기초한다. 일단 사람들을 식별하는 모니터링의 예로 돌아가면, 이미지의 하위 부분들이 약 20x20 픽셀들을 갖는 것으로 선택되면, 이는 인식을 위해 요구되는 얼굴의 크기에 대응할 수 있다. 하늘(10)의 20x20 픽셀의 하위 부분은, 대부분 푸른색 픽셀들 또는 대부분 흰색 픽셀들 만이 존재할 것이고, 하늘을 나타내는 하위-부분들의 이웃하는 부분들에 대해서도 동일할 것이다. 20x20 픽셀의 잔디밭(11)의 하위 부분에서, 변화하는 녹색 톤들의 픽셀들일 가능성이 가장 높지만, 그와 같은 하위 부분의 평균적이 녹색 또는 모든 픽셀 값들의 합은, 잔디밭의 이웃하는 하위-부분들과 반드시 동일할 것이다. 사람(19)의 얼굴은 20x20 픽셀 하위-부분의 대부분을 차지할 것이고, 그리고 사람(19)의 피부색은 사람 뒤의 문(17)의 부분들을 나타내는 이웃하는 하위-부분들의 평균적인 색과 다를 것이다. 따라서, 색의 평균 또는 색의 합에 관련한 이미지의 하위 부분들의 적합한 크기를 선택함으로써 그리고 상기 하위-부분들과 하위-부분들의 이웃부분들을 비교함으로써, 상기 이미지의 관련 영역들은, 색 평균 또는 색 합이 이웃하는 것들의 색 합 또는 색 평균과 서로 상이한 하위-부분들을 포함하는 것으로 식별될 수 있다.

하기에서, 본 발명 방법의 변형은 도 2 내지 도 7을 참조하여 더 상세하게 서술될 것이다. 이미 논의된 것처럼, 이미지(1)는 다수의 픽셀들(2), 이 예에서는 1280x960 픽셀들로 이루어져 있다. 상기 이미지(1)는 픽셀들의 그룹들로 분할되고(도 5의 단계 S01), 이 예의 각 그룹(30)은 도 4a에서 도시된 것처럼 16x16 픽셀들, 즉, 256 픽셀들로 형성된다. 그룹(30) 내의 각 픽셀(2)에 대해, 상기 픽셀(2)을 나타내는 정보는 수신된다(도 5의 단계 S02). 이 예에서, 표시된 정보는 휘도 Y이다. 그룹(30) 내의 모든 픽셀들(2)의 휘도 값들의 합은 그룹 값 V를 형성하기 위해 계산된다(도 5의 단계 S03).

여기에서, Y_n은 n번째 픽셀의 휘도 값이고, N은 그룹(30)에서의 픽셀들의 총 수이다. 따라서, 이 예에서, N=256이다. 휘도 값들의 합은 단지, 그룹 값 V을 계산하기 위해 사용될 수 있는 많은 가능한 통계적 측정들 중 하나이다. 상기 그룹 값 V를 계산하기 위한 다른 방법들은 그룹의 픽셀들의 휘도 값들의 평균 또는 중간값과 같은 통계적 측정들을 계산하는 것이다. 더 복잡하고 많은 처리를 수행하는 계산들을 사용하여, 계산된 통계적 측정들은, 대안으로, 그룹인 픽셀들의 휘도 값들의 사분범위, 표준편차, 분산, 왜도 또는 첨도일 수 있다.

동일한 방식으로, 그룹 값은 이미지(1)의 픽셀들의 각 그룹 값에 대해 계산된다. 예시적인 이미지(1)에서, 80x60 그룹들, 즉, 4800 그룹들이 존재한다.

그룹(30)에 대해 계산된 그룹 값 V는 이후 픽셀들의 이웃하는 그룹들의 그룹 값들과 비교된다. 도 4b에서 도시된 것처럼, 픽셀들의 그룹(30)은, 그룹 값들이 또한 계산된 픽셀들의 8개의 다른 그룹들(31 내지 38)에 의해 둘러싸인다. 그룹(30)의 그룹 값 V과 이웃하는 그룹들(31 내지 38) 사이의 그룹 값 사이의 차이 ΔV가 계산되고(단계 04), 그리고 상기 차이는 미리결정된 임계값(단계 S05)과 비교된다. 상기 임계값은, 예를 들어, 평균 픽셀이 그룹(30)과 이웃하는 그룹들(31 내지 38) 사이에서 얼마나 다른 지에 기초하여 설정될 수 있다. 예를 들어, 16x16 픽셀 그룹, 즉, 256 픽셀들의 그룹에 대해, 임계값은 256으로 설정될 수 있고, 이는 상기 그룹 내의 각 픽셀 내의 이미지(1)의 휘도의 평균적인 차이가 상기 임계치가 될 정도로 충분히 다른 것으로 고려됨을 의미한다. 그룹(30)의 그룹 값 V와 이웃하는 그룹들(31 내지 38)의 그룹 값 사이의 차이가 상기 임계치와 같거나 상기 임계치보다 크면, 픽셀들의 그룹(30)은 이미지(1)의 관련된 영역인 것으로 식별된다(단계 S06). 반대로, 픽셀들의 그룹(30)의 그룹 값 V와 이웃하는 그룹들의 그룹 값 사이의 차이가 임계값 아래이면, 그룹(30)은 관련되지 않은 영역인 것으로 식별된다(단계 S07). 이러한 그룹 값들의 비교는, 라플라스, 소벨, 캐니, 가우시안의 라플라스, 또는 가우시안의 차이와 같은 임의의 에지 검출기 필터를 사용하여 수행될 수 있다.

이미지(1) 전체의 픽셀들의 모든 그룹들은, 이러한 방식으로 이웃하는 것들과 비교되고, 그 결과, 상기 이미지(1)는 관련된 영역들과 관련되지 않은 영역들로 분할될 수 있다.

일시적인 필터링은 비디오 시퀀스에서 여러 이미지 프레임들의 그룹 값들을 누적시킴으로써 수행될 수 있다. 상기 그룹 값들은 제1 이미지 내의 픽셀들의 그룹들의 위치들에 대응하는 위치들에 저장될 수 있다. 도 6은, 그와 같은 그룹 값들 V의 맵의 일부의 예를 도시한다. 이러한 도면에서, V_R _,C는 로우 R, 컬럼 C로 된 맵의 픽셀들의 그룹에 대한 그룹 값을 나타낸다. 그룹 값들의 누적된 맵은, 각 픽셀들의 그룹에 대해, 무한 임펄스 응답 필터를 사용하여 새로운 이미지 프레임에 대해 계산된 가중된 그룹 값을 사전 플레임들에 대한 그룹 값들의 가중된 합에 부가함으로써 형성된다. 따라서, 픽셀들의 각 그룹에 대해, 누적된 그룹 값은 다음의 공식에 따라 계산될 수 있다:

V _acc _m = (1-

)ㆍV _acc _m _-1+

ㆍV _m

여기서, m은 비디오 시퀀스에서 현재 이미지 프레임의 수이고, V_acc _{m -} ₁는 선행하는 이미지들에 대한 누적된 그룹 값이며,

는 가중치 팩터이다. 가중치 팩터

는 이미지들에서의 노이즈의 레벨에 의존하여 선택된다. 예를 들어,

는 0.25로 설정될 수 있다. 이미지들에서 높은 노이즈 레벨이 존재하면, 가중치 팩터

는 더 낮게 설정될 수 있다. 이미지들에서 어떤 노이즈도 없으면, 그룹 값 차이들을 일시적으로 필터링할 필요가 없다. 즉,

는 1로 설정될 수 있다.

일단 이미지(1)의 관련된 그리고 관련되지 않은 영역들이 식별되면, 이미지의 이러한 분할은 이미지(1)를 인코딩하기 위한 기초로서 사용될 수 있다. 매크로 블록을 인코딩할 때 사용되는 양자화 파라미터는, 여기서, 이러한 매크로블록이 이미지(1)의 관련된 영역 내에 존재하는지 또는 이미지(1)의 관련된 영역 내에 존재하지 않는지에 의존하여 설정된다. 인코딩을 위해 사용되는 매크로 블록들이 픽셀들의 그룹에 대응할 수 있고, 픽셀들의 그룹이 16x16 픽셀들을 가지면, 인코딩을 위해 사용되는 매크로 블록들은 동일한 16x16 픽셀들을 가짐을 알아야 한다. 대안으로, 픽셀들의 그룹들은 매크로 블록들보다 더 클 수 있다. 예를 들어, 하나의 32x32 픽셀들의 그룹은 4개의 16x16 픽셀 매크로 블록들에 대응한다. 이미지(1)의 관련된 영역들 내의 매크로 블록들에 대해, 제1 압축 값, 예를 들어, QP = 25로 설정되고, 그리고, 이미지(1)의 관련되지 않은 영역들 내의 4개의 매크로 블록들에 대해, 제2 압축 값, 예를 들어, QP = 38이 설정된다. 용이하게 알 수 있는 것처럼, 제1 압축 값은 제2 압축 값보다 낮고, 그 결과, 인코딩된 이미지, 전송된 이미지 및 디코딩된 이미지에서, 관련된 영역들의 이미지 품질은 관련되지 않은 영역들의 이미지 품질보다 더 높을 것이다. 압축 값들 QP를 설정하는 대신에, 압축 값 ΔQP에서의 변화들이 설정될 수 있다. 초기 압축 값, 예를 들어, QP = 28은 모든 매크로 블록들에 대해 설정될 수 있다. 관련된 그리고 관련되지 않은 영역들의 식별에 기초하여, 초기 또는 디폴트 압축 값으로부터의 변화들은 상기에서 서술된 것처럼 동일한 원리를 사용하여 각 매크로 블록에 대해 설정될 수 있다. 각 매크로 블록에 대해 설정된 QP 값들 또는 변화들 ΔQP은, 도 7에서 도시된 것처럼, 이미지(1)에 대응하는 맵을 형성하는, 이미지 내의 매크로 블록들의 위치들에 대응하는 위치들에 저장될 수 있다. 이러한 압축 값들의 맵에서, QP_R _,C은 로우 R, 컬럼 C의 맵에서의 픽셀들의 그룹에 대해 압축 값을 나타낸다.

상기에서 서술된 것처럼 그룹 값들을 일시적으로 필터링하는 대신에, 그룹 값 차이들은 동일한 종류의 누적에 의해 일시적으로 필터링될 수 있다. 따라서, 그룹 값 차이들은 이미지 내의 픽셀들의 그룹들에 대응하는 위치들에 저장될 수 있고, 각 그룹 값 차이는, 픽셀들의 각 그룹의 그룹 값과 이웃하는 픽셀들의 그룹들의 그룹 값들 사이의 차이다. 상기 그룹 값 차이들은 이후 시간에 대해 누적된다. 또한, 상기 그룹 값 차이들에 기초한 압축 값들은, 상기 그룹 값들에 대해 서술된 것처럼 동일한 가중 원리를 사용하여, 대신 일시적으로 필터링될 수 있다.

본 발명의 방법은, 인터-프레임 인코딩과 함께 인트라-프레임 인코딩으로 작업한다. 인코딩되는 이미지가, 인터-프레임으로, 예를 들어, P-프레임으로 인코딩되면, 일부 매크로 블록들은 소위 스킵 블록들로서 인코딩될 수 있다. 스킵 블록을 인코딩할 때, 이전의 이미지 프레임 내의 대응하는 위치에 있는 매크로 블록의 콘텐트는 현재 이미지 프레임으로 카피된다. 스킵 블록들은, 어떤 모션 또는 변화가 존재하지 않는 이미지의 영역들, 예를 들어, 광 조건들이 변화하지 않는 장면의 정적인 배경에서 사용될 수 있다. 그 결과, 현재의 이미지 프레임을 나타내는데 필요한 데이터가 더 적다. 이미지의 관련된 그리고 관련되지 않은 영역들의 식별은, 어떤 매크로 블록들이 스킵 블록들로서 인코딩될지를 결정하기 위해 사용될 수 있다. 예를 들어, 이미지의 관련되지 않은 영역들 내의 매크로 블록들은 스킵 블록들로서 인코딩되도록 설정될 수 있다.

인코딩 전에, 이미지(1)는 하드웨어 가속 전송 모듈 또는 스케일러에서 처리될 수 있고, 회전, 크로핑, 프라이버시 마스크의 추가, 또는 전자 이미지 안정화와 같은 동작이 수행될 수 있다. 압축 값들은 동일한 스케일러에서 처리되어야 하고, 설정된 압축 값들은 실제로 스케일링 후 정정된 픽셀들의 그룹 또는 이미지 내의 매크로 블록들에 대응한다. 대안으로, 그룹 값 차이들은 압축 값들을 설정하기 전에 상기 스케일러에서 처리될 수 있다.

요약하면, 본 발명의 방법들은 이용함으로써, 모니터링된 장면에서 관심있는 세부사항들의 높은 품질의 표현을 여전히 가능하게 하는 동안, 디지털 이미지들을 전송할 때 비트 레이트를 감소하는 것은 가능할 수 있다. 픽셀들의 그룹들의 크기는 이미지들의 목적에 따라 선택된다. 따라서, 각 그룹 내의 픽셀들의 수는, 관련된 객체들을 포함하지 않는 제1 디지털 이미지의 영역들에서의 그룹 값들 사이에서 임계값 아래에 있는 차이들을 생성하기 위해 적응된다. 픽셀들의 그룹들은 8x8 또는 16x16 픽셀들의 범위를 가질 수 있고 그리고 관련된 객체들에서의 세부사항들의 스케일에 따라 상향된다.

도 8에서, 상기 방법들에 따라 사용될 수 있는 인코더 시스템(50)이 개략적으로 도시된다. 인코더 시스템(50)은, 압축 값들을 사용하여 입력 이미지들을 처리하기 위해 구성된 인코더 모듈(51)을 포함한다. 인코더 시스템(50)은, 제1 이미지(1)와 같은 이미지들 내의 픽셀들을 나타내는 정보를 수신하도록 구성된 수신 모듈(52), 및 각 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 정보의 합을 계산하기 위해 구성된 그룹 값 모듈(53)을 더 포함한다. 또한, 차분 산출 모듈(difference calculation module)(54)은 픽셀들의 이웃하는 그룹들의 그룹 값들 사이의 차이들을 계산하기 위해 구성된다. 비교 모듈(55)은 미리결정된 임계값에 대한 차이들을 비교하도록 구성된다. 식별 모듈(56)은, 상기 차이가 상기 임계값과 동일하거나 또는 상기 임계값 위이면, 관련된 영역 내에 있는 것으로 픽셀들의 그룹을 식별하도록 구성되고, 상기 차이가 임계값 아래이면, 관련되지 않은 영역 내에 있는 것으로 픽셀들의 그룹을 식별하도록 구성된다. 압축 값 설정 모듈(57)은, 관련된 영역들의 식별에 기초하여 픽셀들의 각 그룹에 대해 압축 값을 설정하기 위해 구성된다. 상기 설정은, 관련된 영역들에서의 픽셀들의 그룹들은 제1 압축 값으로 할당되고, 관련되지 않은 영역들에서 그룹들은 제2 압축 값으로 할당되며, 그리고 상기 제2 압축 값은 상기 제1 압축 값보다 더 낮은 이미지 품질을 제공하는 압축을 나타낸다. 인코더 시스템(50)은 도 2 내지 도 7에 관련하여 상기에서 서술된 것처럼 동작될 수 있다. 인코더 시스템(50)은 하드웨어, 펌웨어, 또는 소프트웨어로서 구현될 수 있거나 이들의 조합으로서 구현될 수 있다. 인코더 시스템(50)은, 도 9에서 표시된 것처럼, 카메라(60)에 통합될 수 있거나 또는 카메라에 동작적으로 접속될 수 있다. 상기 카메라는 디지털 카메라일 수 있다. 그와 달리, 인코더 시스템은, 아날로그 신호들을 디지털 신호들로 변환하는 유닛을 통해 아날로그 카메라에 접속될 수 있다.

통상의 기술자는 많은 방식들로 상기에서 서술된 실시예들을 수정할 수 있고, 상기의 실시예들에서 도시된 것처럼 본 발명의 이점들을 계속 사용할 수 있음을 알 수 있다. 일 예로서, 상기의 서술에서, 상기 디지털 이미지는 YCbCr 컬러 공간으로 변화되었고, 그리고 휘도 값들은 그룹 값들을 계산하기 위해 사용된다. 하지만, 색도 값들 Cb 및 Cr 중 하나는 대신 사용될 수 있다.

또한, 디지털 이미지는 RGB와 같은 다른 컬러 공간으로 변환될 수 있고, 상기 컬러 채널들 R(적색), G(녹색), 또는 B(청색) 중 하나는 그룹 값들을 계산하기 위해 사용될 수 있다.

또한, 베이어 필터링 이전에, 이미지 센서로부터의 직접적인 이미지가 사용될 수 있다. 여기에서, 상기 이미지는 픽셀 당 하나의 그레이 레벨로서 표현되고, 그리고 이러한 것들은 그룹 값들을 계산하기 위해 사용될 수 있다. 상기 그레이 레벨들은 또한 광세기 값들로서 보여질 수 있다.

따라서, 상기 픽셀 정보는 이미지 파이프라인 또는 비디오 파이프라인의 어떤 단계로부터 수신될 수 있음을 이해할 수 있고, 그리고 특정 타입의 정보는, 파이프 라인 중 어느 곳으로부터 정보가 도출되는지에 의존할 것임을 이해할 수 있다.

컬러 값들, 광 세기 값들 또는 상기 그룹 값들을 계산하는 휘도 값들을 사용하는 대신에, 이러한 값들 중 일부의 분산이 사용될 수 있다.

상기의 서술에서, 상기 그룹 값들은 상기 픽셀들을 나타내는 정보, 여기에서 더 구체적으로, 픽셀들의 휘도 값들의 합들을 형성함으로써 계산된다. 하지만, 이미 표시된 것처럼, 상기 그룹 값들은 대신 정보의 평균 또는 중간값을 계산함으로써 계산될 수 있다. 더욱이, 상기 그룹 값들은, 정보의 사분범위, 표준편차, 분산, 왜도, 첨도 또는 더 높은 영향력의 통계적 측정을 초래하는 더 복잡하고 계산 집약적인 계산들에 의해 만들어질 수 있다.

통상의 기술자들은, 상기 이미지의 관련된 그리고 관련되지 않은 영역들로의 분할이 상기 그룹 값들 사이의 차이들에 대한 더 많은 임계값들을 사용함으로써 추가로 개선될 수 있다. 따라서, 영역들은, 그룹 값들 사이의 차이가 제1 임계값과 동일하거나 또는 제1 임계값 위라면 제1 관련성 레벨인 것으로 식별될 수 있고, 그룹 값들 사이의 차이가 제2 임계값과 동일하거나 또는 제2 임계값 위지만, 제1 임계값 아래이면 제2 관련성 레벨인 것으로 식별될 수 있으며, 그리고 상기 영역들은, 그룹 값들 사이의 차이가 제2 임계값 아래이면 관련되지 않은 것으로 식별될 수 있다. 그에 상응하여, 서로 다른 압축 값들은 이러한 서로 다른 관련성의 영역들에 대해 사용될 수 있다. 예를 들어, 제1 압축 값은 제1 관련성 레벨의 영역들에서 매크로 블록들에 대해 설정될 수 있고, 제2 압축 값은 제2 관련성 레벨의 영역들에서 매크로 블록들에 대해 설정될 수 있으며, 그리고 제3 압축 값은 관련되지 않은 영역들에서 매크로 블록들에 대해 설정될 수 있다. 상기 제3 압축 값은 이 경우, 제2 압축 값보다 더 낮은 이미지 품질을 제공하는 압축을 나타낼 수 있고, 이후 상기 제1 압축 값보다 더 낮은 이미지 품질을 제공하는 압축을 나타낼 수 있다. 다른 변형에서, 제1 압축 값은 제1 관련성 레벨의 영역들에서 매크로 블록들에 대해 설정될 수 있고, 더 낮은 이미지 품질을 암시하는 제2 압축 값은 제2 관련성 레벨의 영역들에서 매크로 블록들에 대해 설정될 수 있으며, 그리고 관련되지 않은 영역들 내의 매크로 블록들은 스킵 블록들로서 인코딩될 수 있다.

상기에서 서술되는 예에서, 상기 코덱에 의해 사용되는 압축 포맷은 H.264이다. 하이브리드 코덱들, 예를 들어, H.265, MPEG-4 파트 2 또는 VP9 코덱에 기초한 다른 블록은, 상기 하이브리드 코덱들이 압축의 공간 제어를 가능하게 하는 한 또한 사용될 수 있다.

아마도, 그룹 값들에서 차이들을 비교하기 위해 사용되는 임계값은, 낮은 임계값이 큰 차이를 나타내고 그리고 높은 임계값이 낮은 차이를 나타내도록 설정될 수 있다. 대신 관련된 영역들이 임계값 아래의 차이들을 갖는 픽셀들의 그룹들을 포함하는 것일 수 있지만, 그와 같은 임계값을 갖는다면 본 발명의 원리들은 여전히 유효한 것으로 인식되어야 한다. 유사하게, 다른 종류의 압축 값들은, 높은 값이 높은 이미지 품질을 나타내고, 낮은 값이 낮은 이미지 품질을 나타내기 위해 사용될 수 있다. 그럴지라도, 관련된 영역들을 덜 압축하여 높은 이미지 품질을 제공하고, 관련되지 않은 영역들을 더 압축하여 낮은 이미지 품질을 제공하는 본 발명의 원리가 계속 적용된다.

상기에서, 본 발명은, 모니터링 카메라로부터의 비디오 시퀀스들과 같은 모션 비디오 시퀀스들의 맥락으로 서술된다. 하지만, 본 발명의 방법들은 또한 정지 이미지들에 대해서도 유리하게 사용될 수 있다.

상기 카메라는 임의의 타입의 카메라, 예를 들어, 가시광선을 이용하는 카메라, IR 카메라 또는 열 카메라일 수 있다.

또한, 본 발명이 디지털 카메라들에 관련하여 논의되었지만, 또한, 아날로그 카메라들을 구비한 것으로 사용될 수 있다. 그와 같은 경우에서, 아날로그 카메라부터의 이미지들은 디지털화 유닛을 사용하는 디지털 포맷으로 변환될 수 있다.

상기 디지털 이미지들은 또한 가시광선 센서, 열 센서, ToF(time-of-flight) 센서 또는 다른 타입들의 이미지를 발생시키는 센서들에 의해 발생될 수 있고, 상기 다른 타입들의 이미지를 발생시키는 센서들은 인코딩 기술들에 기초한 블록을 사용하여 인코딩되는 픽셀들을 나타내는 정보를 발생시킬 수 있다.

서술의 용이함을 위해, 픽셀 정보, 그룹 값 차이들 및 압축 값들은 매트릭스들의 형태로 서술된다. 하지만, 모든 그와 같은 데이터는 다른 형태들로 저장될 수 있다.

상기의 서술에서, 이미지 내의 관련 영역들의 식별은, 이미지를 인코딩할 때 이미지 내의 서로 다른 영역들에 대해 서로 다른 압축 값들을 설정하기 위해 사용될 수 있다. 하지만, 관련 영역들의 식별은 또한 다른 목적들을 위해 사용될 수 있다. 예를 들어, 상기 식별은, 디스플레이된 이미지 내의 관심 영역들을 자동적으로 마크하기 위해 또는 이벤트들을 트리거하기 위해 사용될 수 있다. 상기 식별은, 메타데이터 내의 객체들 또는 영역들을 태그하거나 서술하기 위한 기초로서 또한 사용될 수 있다. 추가로, 상기 식별은 노이즈 감소 필터에 피드백을 제공하기 위해 사용될 수 있다.

따라서, 본 발명은 도시된 실시예들로 제한되지 않아야하고 단지 첨부된 청구범위들에 의해 정의되어야한다.

Claims

디지털 이미지들에서 관련된 영역들을 식별하는 방법으로서,
제1 디지털 이미지(1) 내의 픽셀들(2)을 나타내는 정보를 수신하는 단계와;
픽셀들(30 내지 38)의 각 그룹에 대한 그룹 값(V)을 형성하기 위해 상기 제1 이미지(1) 내의 이웃하는 픽셀들의 그룹들에 대한 상기 정보의 합, 평균 또는 중간값(median)을 계산하는 단계와;
그룹 값들(V) 사이에서 차이(difference)들을 계산하는 단계와;
상기 차이들과 미리결정된 임계값을 비교하는 단계와;
상기 차이가 상기 임계값과 동일하거나 또는 상기 임계값을 넘으면, 상기 그룹이 관련된 영역(relevant area)에 있는 것으로 식별하는 단계와; 그리고
상기 차이가 상기 임계값 아래에 있으면, 상기 그룹이 관련없는 영역에 있는 것으로 식별하는 단계를 포함하는 것을 특징으로 하는 관련된 영역들을 식별하는 방법.
제1항에 있어서,
상기 관련된 영역들은 관련된 객체들을 포함하는 영역들이며, 상기 관련된 객체들은 사람들, 얼굴들, 동물들, 자동차들, 자동차 번호판들, 창문들, 문들, 게이트들 또는 사람에 의해 운반되는 객체들인 것과 같은 객체들인 것을 특징으로 하는 관련된 영역들을 식별하는 방법.
제2항에 있어서,
상기 픽셀들(30 내지 38)의 그룹들은 다수의 픽셀들(2)을 포함하고, 상기 다수의 픽셀들(2)은 관련된 객체들을 포함하지 않는 제1 디지털 이미지(1)의 영역들에서의 그룹 값들(V) 사이에서 상기 임계값 아래의 차이들을 생성하도록 되어 있는 것을 특징으로 하는 관련된 영역들을 식별하는 방법.
제1항에 있어서,
상기 픽셀들(30 내지 38)의 그룹들 각각은 적어도 256 픽셀들을 포함하는 것을 특징으로 하는 관련된 영역들을 식별하는 방법.
제1항에 있어서,
상기 정보는, 휘도 값, 광 세기 값 및 컬러 값에 대한 데이터로 구성되는 상기 그룹 중 적어도 하나인 것을 특징으로 하는 관련된 영역들을 식별하는 방법.
제1항에 있어서,
제2 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하는 단계와;
픽셀들의 각 그룹에 대한 그룹 값을 형성하기 위해 상기 제2 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 상기 정보의 합, 평균 또는 중간값을 계산하는 단계와; 그리고
상기 제1 이미지 및 상기 제2 이미지로부터 대응하는 그룹들의 그룹 값들을 누적하는 단계를 포함하고,
상기 그룹 값들 사이에서 차이들을 계산하는 단계는 상기 누적된 그룹 값들을 사용하여 수행되는 것을 특징으로 하는 관련된 영역들을 식별하는 방법.
디지털 이미지들을 인코딩하는 방법으로서,
제1항에 따른 관련된 영역들을 식별하는 단계와;
관련된 영역들의 식별에 기초하여 픽셀들(30 내지 38)의 각 그룹에 대해 압축 값(QP)을 설정하는 단계 - 관련된 영역들 내의 매크로 블록들에 제1 압축 값이 주어지고, 상기 관련된 영역들 밖의 매크로 블록들에 제2 압축 값이 주어지고, 상기 제2 압축 값은 상기 제1 압축 값보다 낮은 이미지 품질을 제공하는 압축을 나타내며 - 와; 그리고
상기 픽셀들(30 내지 38)의 그룹들에 대해 설정된 상기 압축 값들을 사용하여 상기 제1 이미지(1)를 인코딩하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지들을 인코딩하는 방법.
제7항에 있어서,
제2 압축 값을 갖는 픽셀들의 그룹은 스킵 블록(skip block)으로서 인코딩되는 것을 특징으로 하는 디지털 이미지들을 인코딩하는 방법.
제7항 또는 제8항에 있어서,
상기 제1 이미지(1)를 인코딩하기 전에 변환 모듈에서 상기 제1 이미지(1)를 처리하는 단계와; 그리고
상기 제1 이미지(1)를 인코딩하기 전에 상기 변환 모듈에서 상기 제1 이미지(1)에 대응하는 그룹 값들(V) 또는 압축 값들(QP)을 처리하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지들을 인코딩하는 방법.
입력 이미지들에 대응하는 이미지 데이터를 인코딩하기 위한 디지털 이미지 인코더 시스템으로서,
압축 값들을 사용하여 입력 이미지들을 처리하도록 배열되는 인코더 모듈(51)과;
제1 디지털 이미지(1) 내의 픽셀들(2)을 나타내는 정보를 수신하도록 배열되는 수신 모듈(52)과;
픽셀들(30 내지 38)의 각 그룹에 대한 그룹 값(V)을 형성하기 위해 상기 제1 이미지 내의 이웃하는 픽셀들의 그룹들에 대한 상기 정보의 합, 평균 또는 중간값을 계산하도록 배열되는 그룹 값 모듈(53)과;
그룹 값들(V) 사이에서 차이들을 계산하도록 배열되는 차분 계산 모듈(difference calculation module)(54)과;
상기 차이들과 미리결정된 임계값을 비교하도록 배열되는 비교 모듈(55)과;
상기 차이가 상기 임계값과 동일하거나 또는 상기 임계값을 넘으면, 픽셀(30 내지 38)들의 그룹이 관련된 영역에 있는 것으로 식별하고, 그리고 상기 차이가 상기 임계값 아래에 있으면, 상기 픽셀(30 내지 38)들의 그룹이 관련없는 영역에 있는 것으로 식별하도록 배열되는 식별 모듈(56)과; 그리고
관련된 영역들의 식별에 기초하여 픽셀들(30 내지 38)의 각 그룹에 대해 압축 값(QP)을 설정하도록 배열되는 압축 값 설정 모듈(57)을 포함하고,
관련된 영역들 내의 픽셀(30 내지 38)들의 그룹에 제1 압축 값이 주어지고, 관련없는 영역들 내의 픽셀(30 내지 38)들의 그룹에 제2 압축 값이 주어지고, 상기 제2 압축 값은 상기 제1 압축 값보다 낮은 이미지 품질을 제공하는 압축을 나타내는 것을 특징으로 하는 디지털 이미지 인코더 시스템.
제10항에 따른 디지털 인코더 시스템(50)을 포함하는 카메라.
프로세서에 의해 실행될 때 제1항에 따른 방법을 수행하도록 된 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품.