KR101900889B1 - 비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법 - Google Patents

비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법 Download PDF

Info

Publication number
KR101900889B1
KR101900889B1 KR1020160168706A KR20160168706A KR101900889B1 KR 101900889 B1 KR101900889 B1 KR 101900889B1 KR 1020160168706 A KR1020160168706 A KR 1020160168706A KR 20160168706 A KR20160168706 A KR 20160168706A KR 101900889 B1 KR101900889 B1 KR 101900889B1
Authority
KR
South Korea
Prior art keywords
bit rate
light
maximum bit
light level
level
Prior art date
Application number
KR1020160168706A
Other languages
English (en)
Other versions
KR20170071427A (ko
Inventor
스테판 룬트버그
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20170071427A publication Critical patent/KR20170071427A/ko
Application granted granted Critical
Publication of KR101900889B1 publication Critical patent/KR101900889B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23206—
    • H04N5/2351—
    • H04N5/238—
    • H04N5/335—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 캡처된 장면의 이미지들에서 광 레벨을 결정하도록 되어 있는 광 결정 블록(202) 및 최대 비트 레이트 설정 블록(204)을 포함하는 비트 레이트 제어기(120)에 관련된 것이다. 상기 최대 비트 레이트 설정 블록은, 상기 광 레벨이 낮은 광 레벨로 결정될 때, 낮은 광 최대 비트 레이트를 설정하고; 상기 광 레벨이 중간 광 레벨로 결정될 때, 중간 광 최대 비트 레이트를 설정하거나; 또는 상기 광 레벨이 높은 광 레벨로 결정될 때, 높은 광 최대 비트 레이트를 설정하도록 되어 있다. 상기 낮은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮다. 상기 높은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮다.

Description

비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법{A BIT RATE CONTROLLER AND A METHOD FOR LIMITING OUTPUT BIT RATE}
본 발명은 출력 비트 레이트를 제한하는 것에 관한 것이다.
디지털 비디오 데이터를 전송할 때, 디지털 비디오 데이터의 압축은 상기 디지털 비디오 데이터의 비트 레이트를 감소시키기 위해 사용된다.
상기 비트 레이트는 미리결정된 일정한 비트 레이트를 설정함으로써 제어될 수 있다. 이는, 캡처된 장면에서의 세부 사항 및/또는 모션의 정도가 상대적으로 낮은 디지털 비디오 데이터의 부분들이 불필요하게 작은 정도로 압축되는 리스크를 야기시킬 것이고, 그 결과 압축된 디지털 비디오 데이터가 불필요하게 많은 양의 대역폭 및/또는 저장 공간을 차지하게 한다. 더욱이, 이것은, 캡처된 장면에서의 세부사항 및/또는 모션이 상대적으로 높은 디지털 비디오 데이터의 부분들이 너무 큰 정도로 압축되는 리스크를 가져, 상기 압축된 디지털 비디오 데이터의 이미지 품질이 손상되는 결과를 발생시킨다.
대안으로, 상기 비트 레이트는 상기 미리결정된 최대치에 가깝거나 또는 상기 미리결정된 최대치보다 낮게 상기 비트 레이트를 유지하도록 사용되는 최대 비트 레이트를 설정함으로써 제어될 수 있다. 상기 미리결정된 최대치는 비트 레이트 제어기 내의 고정된 파라미터로서 구현된다. 상대적으로 높은 미리결정된 최대 비트 레이트는 디지털 비디오 데이터에 대한 큰 대역폭 및/또는 저장을 요구할 수 있고, 상대적으로 낮은 미리결정된 최대 비트 레이트는, 캡처된 장면에서 많은 세부 사항 또는 모션이 존재할 때 상기 디지털 비디오 데이터의 품질을 손상시키는 위험을 초래할 것이다.
또 다른 대안으로, 상기 비트 레이트 제어기는, 일정한 품질로서 또한 언급될 수 있는 가변 비트 레이트를 이용할 수 있고, 상기 가변 비트 레이트는 특정 이미지 품질을 유지하도록 변화가 가능해진다. 이는, 장면에서의 많은 세부사항 또는 모션이 존재할 때 대역폭의 매우 높은 사용을 유도할 수 있다. 더욱이, 이것은 디지털 비디오 데이터를 캡처하는 낮은 광 조건들에서 매우 높은 비트 레이트를 유도할 수 있다. 이미지 센서로부터 신호 상의 높은 이득은 낮은 광 조건들에서 디지털 비디오 데이터를 캡처하는데 요구될 것이다. 이는 디지털 비디오 데이터에서의 많은 노이즈를 야기할 것이고, 이는 인코딩하기 위해 많은 양의 비트들을 요구한다.
EP 1 949 705(A2)는, 증가된 이득으로 촬영된 이미지의 S/N 비가 낮은 경우에도, 잔상 등의 부정적 효과나 평활화 시의 해상도의 저하를 가능한 한 억제하면서, 노이즈에 의한 휘도 플리커를 효과적으로 저감하는 방법을 개시한다.
US2004/008772(A1)는, 촬영 대상이 되는 동영상의 성질 및 특성들에 따라 목표 정보량을 제어하는 카메라가 결합된 비디오 기록/재생 장치 및 그 기록 제어 방법을 개시한다.
본 발명의 목적은 상기에서 언급된 문제점들 중 적어도 하나를 해결하는 것이다.
일 양상에 따라, 비트 레이트를 설정하는 방법이 제공된다.
캡처된 장면의 이미지들에서 광 레벨을 결정하는 단계 - 광 레벨 스케일(light level scale)은, 적어도 낮은 광 레벨, 중간 광 레벨 및 높은 광 레벨을 포함하는 복수의 개별 광 레벨들로 구분되고 그리고 최대 비트 레이트는 각각의 개별 광 레벨과 연관되며 - 와; 그리고 상기 광 레벨이, 상기 낮은 광 레벨로 결정될 때, 낮은 광 최대 비트 레이트(low-light maximum bit rate)를 설정하는 단계; 상기 중간 광 레벨로 결정될 때, 중간 광 최대 비트 레이트(intermediate-light maximum bit rate)를 설정하는 단계; 또는 상기 높은 광 레벨로 결정될 때, 높은 광 최대 비트 레이트(high-light maximum bit rate)를 설정하는 단계를 포함하고, 상기 낮은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮고 그리고 상기 높은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮다.
본 발명에 따라, 인코딩될 디지털 비디오 데이터의 이미지에서의 광 레벨에 의존하는 가변의 최대 비트 레이트가 사용된다. 이러한 방식으로, 최대 비트 레이트는, 일정한 품질의 비트 레이트 중 더 작은 부분인 중간 광 레벨, 예를 들어, 황혼 또는 새벽에서 허용되고, 그리고 일정한 품질 비트 레이트의 더 큰 부분이 "완전히 어두움"에서 그리고 특히 높은 광 레벨들에서 허용되도록 설정될 수 있다. 중간의 광 상황에서, 일정한 품질 비트 레이트가 사용되면, 높은 비트 레이트들을 유도하여 많은 노이즈들이 존재할 것이다. 최대 비트 레이트가 그와 같은 상황에서 매우 낮게 설정되면, 상기 이미지들의 품질은 낮을 것이고 그리고 상기 장면에서의 실제 움직임은 노이즈로서 해석될 위험이 존재할 것이다. 하지만, 최대 비트 레이트가 높게 설정되면, 노이즈 이미지들의 높은 품질을 허용하도록, 상기 제한은 필수적으로 "완전히 어두운" 장면에 대해 불필요하게 높을 수 있다. 필수적으로 "완전히 어두운" 장면에 대해, 많은 픽셀들이 검은색으로 클립핑될 것이고, 이는 거의 변동 및 노이즈가 존재하지 않음을 의미한다. 그와 같은 장면의 이미지들은 따라서, 비트 레이트 제한 내에서 적합하게 하는 심각한 압축을 필요로하지 않을 수 있다. 여전히, 필수적으로 "완전히 어두운" 이미지에서의 높은 품질은 사용자에 대해 거의 사용되지 않아, 비트들이 폭넓게 사용되지 않는다. 저장을 위해, 이것들은 그 자체로 모두 중요하다. 전송을 위해, 디지털 비디오 데이터를 전송하기 위해 배열되는 유닛들의 시스템에서, 디지털 비디오 데이터를 전송하는 다른 유닛들, 예를 들어, 비디오 카메라들이 존재하면, 이는 더욱 명확해질 수 있고, 동시에 더 높은 비트 레이트 제한으로부터 더 이득이 될 수 있다.
광 레벨 스케일은 복수의 개별 광 레벨들로 구분될 수 있고, 최대 비트 레이트는 각각의 개별 광 레벨과 연관된다. 2개 인접한 개별 광 레벨들 사이의 광 레벨의 차이는, 많아야(at most) 상기 광 레벨의 2배일 수 있다.
상기 이미지들에서의 광 레벨은, 적어도 부분적으로, 상기 이미지들을 캡처하는 이미지 센서 또는 전용 광 레벨 센서의 이미지 센서 데이터를 사용함으로써 결정될 수 있다. 단어 "광 레벨"은 평면, 통상적으로, 상기 이미지들을 캡처하는 이미지 센서의 평면에서 특정된 광의 양으로 해석되어야 한다. 광 레벨에 대해 사용되는 다른 단어는 휘도이다. 상기 광 레벨은, 전용 센서를 사용하여 직접적으로 측정될 수 있거나 또는 이미지 센서 데이터를 사용하여 간접적으로 사용하여 측정될 수 있다. 후자는, 이미지들을 캡처하기 위해 사용되는 이미지 센서의 이득 설정을 광 레벨을 변환하는 룩-업 테이블을 가짐으로써 구현될 수 있다.
상기 광 레벨이 상기 낮은 광 레벨로 결정될 때, 제1 낮은 광 최대 비트 레이트는 전경(foreground)으로 식별되는 이미지의 부분들에 대해 설정되고 그리고 제2 낮은 광 최대 비트 레이트는 배경(background)으로 식별되는 상기 이미지의 부분들에 대해 설정되며; 상기 광 레벨이 상기 중간 광 레벨로 결정될 때, 제1 중간 광 최대 비트 레이트는 전경으로 식별되는 이미지의 부분들에 대해 설정되고 그리고 제2 중간 광 최대 비트 레이트는 배경으로 식별되는 상기 이미지의 부분들에 대해 설정되며; 또는 상기 광 레벨이 상기 높은 광 레벨로 결정될 때, 제1 높은 광 최대 비트 레이트는 전경으로 식별되는 이미지의 부분들에 대해 설정되고 그리고 제2 높은 광 최대 비트 레이트는 배경으로 식별되는 상기 이미지의 부분들에 대해 설정되며, 상기 제1 낮은 광 최대 비트 레이트는 상기 제1 중간 광 최대 비트 레이트보다 낮고 그리고 상기 제1 높은 광 최대 비트 레이트는 상기 제1 중간 광 최대 비트 레이트보다 낮다. 이러한 방식으로, 구분된 최대 비트 레이트들은 상기 이미지의 전경 및 배경으로 설정될 수 있다. 예를 들어, 더 적은 비트들이 배경으로 설정될 수 있고, 이는 시청자에게 덜 중요할 수 있고, 그리고 더 많은 비트들은 전경에서 사용될 수 있어, 움직이는 객체들 또는 사람들은 더 명확하게 도시될 수 있다.
상기 제2 낮은 광 최대 비트 레이트는 상기 제2 중간 광 최대 비트 레이트보다 낮을 수 있고 그리고 상기 제2 높은 광 최대 비트 레이트는 상기 제2 중간 광 최대 비트 레이트보다 낮을 수 있다. 대안으로, 상기 제2 낮은 광 최대 비트 레이트, 상기 제2 중간 광 최대 비트 레이트 및 상기 제2 높은 광 최대 비트 레이트는 동일한 최대 비트 레이트로 설정될 수 있다.
제2 양상에 따라, 처리 기능들을 갖는 디바이스 상에서 실행될 때 상기 방법들 중 일부를 구현하는 프로그램상에 기록되는 비 일시적인 컴퓨터 판독가능한 기록 매체가 제공된다.
제3 양상에 따라, 비트 레이트 제어기가 제공된다. 상기 비트 레이트 제어기는, 캡처된 장면의 이미지들에서 광 레벨을 결정하도록 구성된 광 결정 블록 및 최대 비트 레이트 설정 블록을 포함한다. 상기 광 결정 블록은, 상기 이미지들을 캡처하는 동안 광 레벨에 기초하여 캡처된 장면의 이미지들에서 광 레벨을 결정하도록 구성되고, 광 레벨 스케일은, 적어도 낮은 광 레벨, 중간 광 레벨 및 높은 광 레벨을 포함하는 복수의 개별 광 레벨들로 구분되고 그리고 최대 비트 레이트는 각각의 개별 광 레벨과 연관된다. 상기 최대 비트 레이트 설정 블록은: 상기 광 레벨이 상기 낮은 광 레벨로 결정될 때, 낮은 광 최대 비트 레이트를 설정하고, 상기 광 레벨이 상기 중간 광 레벨로 결정될 때, 중간 광 최대 비트 레이트를 설정하거나; 또는 상기 광 레벨이 상기 높은 광 레벨로 결정될 때, 높은 광 최대 비트 레이트를 설정하도록 구성된다. 상기 낮은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮고 그리고 상기 높은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮다.
상기 비트 레이트 제어기는 룩-업 테이블(look-up table)을 포함하는 메모리를 더 포함할 수 있고, 상기 룩-업 테이블은 각각의 개별 광 레벨들 및 상기 개별 광 레벨들에 연관된 미리결정된 최대 비트 레이트들을 포함한다. 상기 각각의 최대 비트 레이트의 설정은 상기 룩-업 테이블에서 룩-업을 수행함으로써 수행될 수 있다.
상기 비트 레이트 제어기는 디지털 비디오 카메라에 배열될 수 있다.
상기 비트 레이트 제어기는 복수의 디지털 네트워크 카메라들을 지원(service)하도록 구성될 수 있고, 각 디지털 네트워크 카메라는 카메라 특정 장면을 나타내는 이미지들을 캡처하도록 구성되며, 상기 노이즈 결정 블록은 각 카메라 특정 장면의 이미지들에서의 광 레벨을 카메라가 구체적으로 결정하도록 되어 있으며, 그리고 상기 최대 비트 레이트 설정 블록은 카메라 특정 낮은 광 최대 비트 레이트들, 중간 광 최대 비트 레이트들 및 높은 광 최대 비트 레이트들을 설정하도록 구성된다.
상기 비트 레이트 제어기는, 또한, 상기 카메라 특정 장면들에서의 결정된 행위에 기초하여 시간에 걸쳐 상기 카메라 특정 낮은 광 최대 비트 레이트들, 중간 광 최대 비트 레이트들 및 높은 광 최대 비트 레이트들을 변경하도록 구성될 수 있다. 상기 변화는, 상기 카메라 특정 장면들에서 결정된 행위에 기초할 수 있다. 대안으로 또는 조합하여, 많은 카메라들의 시스템에서, 상기 변화들은 상기 서로 다른 카메라들에 의해 출력된 인코딩된 스트림들의 비트 레이트들에 기초할 수 있다. 그 결과, 카메들의 시스템에서 비트 레이트 분포는 시간에 걸친 서로 다른 카메라들의 요구에 적응될 수 있다.
상기 방법의 상기 언급된 피처들은, 적용가능할 때, 이러한 제3 양상도 적용한다. 불필요한 반복을 피하기 위해 참조는 상기에서 행해진다.
본 발명의 적용가능한 다른 범위는 아래에 주어진 상세한 설명으로부터 명확해질 것이다. 하지만, 상세한 설명 및 특정 예들은, 본 발명의 바람직한 실시예를 나타내는 동안, 단지 예시로서 주어지는바, 이는 본 발명의 범위 내의 여러 변화들 및 수정들이 상세한 설명으로부터 통상의 기술자에게 명확해지기 때문임을 알 수 있다.
본 발명은, 서술된 디바이스의 특정 컴포넌트 부분들 또는 그와 같은 디바이스 및 방법이 변할 수 있는 것으로 서술된 방법들의 단계들로 제한되지 않음을 이해할 수 있다. 여기에서 사용된 용어는 단지 특정 실시예를 나타낼 목적이로서, 제한할 의도를 갖지 않음을 또한 이해할 수 있다. 명세서 및 첨부된 청구항들에서 사용된 것처럼, 단수를 나타내는 용어 및 "상기"는 문맥에서 명확하게 다르게 표현되지 않으면 하나 이상이 용어들이 존재함을 의미하는 것으로 의도된다. 따라서, 예를 들어, "하나의 유닛" 또는 "상기 유닛"에 대한 참조는 여러 디바이스들을 포함할 수 있다. 더욱이, 단어 "포함하는" 및 유사한 단어들은 다른 요소들 또는 단계들을 배제하지 않는다.
본 발명의 상기의 양상 및 다른 양상들은, 본 발명의 실시예들을 나타내는 첨부된 도면들을 참조하여, 더 상세하게 서술될 것이다. 상기 도면들은, 특정 실시예로 본 발명을 제한하도록 고려되지 않고, 그 대신, 본 발명의 이해 및 설명을 위해 사용된다.
도면들에서 표시된 것처럼, 층들 및 영역들의 크기는 예시의 목적으로 과장될 수 있고, 따라서, 본 발명의 실시예들의 일반적인 구조들을 나타내기 위해 제공된다. 동일한 참조 번호들은 동일한 요소들을 나타낸다.
도 1은, 장면을 나타내는 디지털 비디오 데이터를 캡처하도록 배열되는 디지털 네트워크 카메라를 개략적으로 도시한다.
도 2는, 출력 비트 레이트를 제한하도록 배열되는 비트 레이트 제어기를 개략적으로 도시한다.
도 3은, 비트 레이트 제어기에 접속되는 복수의 디지털 네트워크 카메라들의 시스템을 도시한다.
도 4는, 출력 비트 레이트를 제한하는 방법의 블록 기법이다.
본 발명은 첨부된 도면들을 참조하여 이후에 더 상세하게 서술될 것이고, 이 도면들에는 본 발명의 바람직한 실시예들이 도시된다. 하지만, 본 발명은 많은 서로 다른 형태들로 실시될 수 있고 그리고 여기에서 서술된 실시예들을 제한하도록 구성되지 않아야 한다; 오히려, 이러한 실시예들은, 완전함을 위해 제공되고, 통상의 기술자에게 본 발명의 범위를 충분히 전달하기 위해 제공된다.
도 1은, 장면을 나타내는 디지털 비디오 데이터를 캡처하도록 배열되는 디지털 네트워크 카메라(100)를 개략적으로 도시한다. 디지털 네트워크 카메라(100)는 디지털 비디오 데이터를 캡처하고 그리고 처리하도록 (그리고 가능한 또한 저장하도록) 구성된다. 디지털 네트워크 카메라(100)는, 하우징(112), 렌즈(114), 이미지 센서(116), 이미지 처리 유닛(118), 비트 레이트 제어기(120), 인코딩 유닛(122), 메모리(124), CPU(126) 및 네트워크 인터페이스(128)를 포함한다. 이미지 처리 유닛(118), 레이트 제어기(120) 및/또는 인코딩 유닛(122) 중 어느 하나는 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
디지털 네트워크 카메라(100)는, 네트워크 인터페이스를 통해 인터넷 또는 근거리 통신망(LAN)과 같은 디지털 네트워크에 접속되도록 구성될 수 있다. 상기 디지털 네트워크로의 접속은 유선 또는 무선일 수 있다. 따라서, 네트워크 인터페이스(128)는, 이더넷 포트, 모듈러 커넥터, 예를 들어, RJ 커넥터를 수용하도록 구성되는 모듈러 포트과 같은, 10/100/1000 Mbps 데이터 트래픽에 적응되는 네트워크 포트일 수 있다. 일반적으로, 그와 같은 RJ45 커넥터 포트는, (예를 들어, cat 5, cat 5e, 또는 cat 6의) 연선(twisted pair cable)과 같은 네트워크 케이블을 수용하도록 구성된다. 대안으로, 네트워크 포트의 I/O 수단은, 모바일 인터넷 통신 표준들(예를 들어, 1G, 2G, 2.5G, 2.75G, 3G, 3.5G, 3.75G, 3.9G, 4G, 5G)을 사용하여 또는 WiFi를 사용하여 무선 I/O 수단일 수 있다.
카메라 컴포넌트들, 즉, 렌즈(114) 및 이미지 센서(116)는 미가공 이미지(raw image)들을 캡처하도록 배열될 수 있고, 각 미가공 이미지는 서로 다른 파장들을 갖고 그리고 서로 다른 객체들 및 객체들의 부분들로부터 나오는 광으로서 서술될 수 있다. 이러한 미가공 이미지들은 이후 아날로그에서 디지털 포맷으로 변환되고 그리고 이미지 프로세싱 유닛(118)에 전달된다. 이러한 실시예에 따라, 디지털 네트워크 카메라(110)는 사진 이미지들을 캡처하도록 구성도는 카메라이다.
대안으로 또는 조합하여, 상기 디지털 이미지 카메라(110)의 이미지 센서(116)는 열 이미지들을 캡처하도록 구성될 수 있다.
따라서, 디지털 네트워크 카메라(110)에 의해 캡처되는 디지털 비디오 데이터는, 사진 이미지들의 표시, 열 이미지들의 표시 또는 그것들의 조합일 수 있다.
상기 인코딩 유닛(122)은 비디오 인코딩을 사용하여 상기 디지털 비디오 데이터를 인코딩하도록 배열된다. 비디오 인코딩의 비-제한적인 예들은, ISO/MPEG 또는 ITU-H.26X 페밀리들의 비디오 인코딩 표준들이다. 인코딩 유닛(122)은, 캡처된 디지털 비디오 데이터의 이미지들을, 이후에 인코딩된 디지털 비디오 데이터로서 언급되는 캡처된 디지털 비디오 데이터의 인코딩된 버전의 이미지들로 인코딩하도록 구성된다.
인코딩된 디지털 비디오 데이터는, 네트워크 인터페이스(128)를 거쳐 디지털 네트워크를 통해 직접 전송될 수 있다. 대안으로, 인코딩된 디지털 비디오 데이터는, 네트워크 인터페이스(128)를 거쳐, 디지털 네트워크를 통한 후속의 전송을 위해 메모리(124)에 저장될 수 있다. 메모리(128)는, 어떤 종류의 휘발성 또는 비휘발성 메모리일 수 있다. 또한, 상기 메모리(128)는 복수의 메모리 부재들을 포함할 수 있다. 상기 복수의 메모리 부재들 중 적어도 하나는 버퍼 메모리로서 사용될 수 있다.
상기 인코딩된 디지털 비디오 데이터의 데이터의 양을 제한하도록, 상기 인코딩된 디지털 비디오 데이터의 비트 레이트는 비트 레이트 제어기(120)에 의해 제어된다. 비트레이트 제어 방법들의 예들은, 일정한 비트 레이트, 최대 비트 레이트 또는 가변의 (일정한 품질) 비트 레이트를 사용하는 것이다. 최대 비트 레이트를 사용하여, 미리정의된 제한은 특정 미리결정된 임계치에 가깝거나 또는 특정 미리결정된 임계치 아래로 상기 비트 레이트를 유지하도록 사용된다. 상기 제한은 비트 레이트 제어기(120)에 고정된 파라미터로서 구현된다. 높은 제한은 넓은 대역폭 및/또는 저장을 요구할 것인데 반해, 낮은 제한은 캡처된 장면에서 많은 세부사항 또는 모션이 존재할 때 이미지 품질을 포함하는 리스크를 가질 것이다. 일정한 품질 비트 레이트라고도 언급되는 가변의 비트 레이트를 사용하여, 비트 레이트 제어기(120)는 비트 레이트를 변화시키도록 구성되어 특정 이미지 품질은 유지된다. 이것은, 장면의 많은 세부사항 또는 모션이 존재할 때 매우 높은 대역폭의 사용을 유도할 수 있다. 더욱이, 이는 중간의 광 조건들(중간의 광 조건들은 예를 들어 황혼 또는 새벽에 대응한다)에서 또는 열 이미징의 경우에서 중간의 열 방사 조건들에서 매우 높은 비트 레이트를 유도할 수 있다. 이미지 센서(116)로부터의 신호 상의 높은 이득(116)은 중간의 광 조건들에서 또는 중간의 열 조건들에서 디지털 비디오 데이터를 캡처하는데 요구될 것이다. 이는, 디지털 비디오 데이터에서의 실제 신호와 비교하여 많은 노이즈, 즉, 낮은 신호-대-잡음비(SNR)를 초래할 것이고, 이는 인코딩을 위해 많은 양의 비트들을 요구한다. 예를 들어, 가변의 비트 레이트를 사용하여, 가장 높은 비트레이트들은 중간의 광 조건들 동안 생성될 것이다. 실제로 어둡고, 낮은 광 조건일 때, 많은 이미지 콘텐트는 검은색으로 클립핑될 것이지만, 광 레벨이 약간 높을 때(중간의 광 레벨일 때), 잡음 및 세부사항들은 출력 비트 레이트를 상당히 상승시킬 것이다.
따라서, 디지털 비디오 데이터에서의 상대적인 노이즈 레벨은, 장면에서 중간 광 레벨 또는 중간 열 방사가 존재할 때 발생한다. 이는, 이미지 센서(116) 상의 높은 이득이 장면을 캡처하기 위해 요구되기 때문이고 그리고 낮은 광 레벨 또는 열 방사에서 검은색으로 클립핑되는 세부사항들이 나타나기 시작한다.
본 발명에 따라, 인코딩될 디지털 비디오 데이터의 이미지에서 광 레벨에 의존하는 가변의 최대 비트 레이트가 사용된다. 사진 이미지들에 대해, 노이즈는 낮은 광 레벨들에서 낮고 그리고 증가하는 광 레벨에 따라 증가한다. 이후 광 레벨은 계속해서 상승하기 때문에, 이득에 대한 요구는 감소하고, 그 결과, 노이즈는 또한 감소한다. 따라서, 상기 신호가 특정 임계치들 아래에 있으면 일부 세부사항들이 검은색으로 클립핑될 수 있기에, 인코딩할 데이터의 양은 광 레벨에 직접적으로 비례하지 않는다. 유사하게, 낮은 열 방사 레벨들에서 열 이미지들에 대해, 노이즈의 양은 클립핑 때문에 낮고, 그리고 노이즈는 열 방사 레벨이 증가함에 따라 증가된다. 열 방사 레벨이 이후 계속해서 증가하기 때문에, 이득에 대한 요구는 감소하고 그리고 그 결과 상기 노이즈는 또한 감소한다.
비트 레이트 제어기(120)는, 인코딩된 디지털 비디오 데이터의 비트 레이트를 제어하기 위해 배열되다. 비트 레이트 제어기(120)는, 하드웨어로 구현될 수 있거나, 소프트웨어로 구현될 수 있거나 또는 이들의 조합일 수 있다. 도 2에서, 비트 레이트 제어기(120)의 일 실시예가 도시된다. 상기 비트 레이트 제어기(120)는 광 결정 블록(202) 및 최대 비트 레이트 설정 블록(204)를 포함한다.
광 결정 블록(202)은, 디지털 네트워크 카메라(110)에 의해 캡처되는 이미지들에서의 광 레벨을 결정하도록 배열된다. 상기 노이즈 결정 블록(202)은, 이미지 센서 데이터 또는 디지털 네트워크 카메라(110)의 전용 광 레벨 센서(130)를 사용함으로써 상기 광 레벨을 결정하도록 배열될 수 있다. 이미지 센서 데이터는, 이미지 센서(116)의 픽셀들에 의해 측정된 세기들, 예를 들어, YCbCr 컬러 공간의 변환 이후 휘도 데이터를 광 레벨들로 변환하는 룩-업 테이블을 가짐으로써 구현될 수 있다. 상기 광 레벨은 또한, 상기 광 레벨들은 최대 이득으로 이득 단계들의 수에 연관될 수 있다는 점에서 간접적으로 결정될 수 있다. 중간 광은 최대 이득으로부터 4 이득 단계들보다 작을 수 있다. 높은 광은, 이득이 없는 것으로부터 8 이득 단계들보다 이득이 적을 수 있다. 이득 단계들은 하드웨어 증폭기에 의해 정의되며 그리고 몇개일 수도 많을 수도 있음을 알아야한다. 전용 광 센서 레벨(130)은, 이미지 센서(116)와 같이 인입하는 광자들을 측정하도록 구성되지만, 통상적으로 상기 전용 광 레벨 센서(130)는 더 넓게 특별히 설계된 렌즈를 갖는다. 상기 넓게 특별히 설계된 렌즈는, 예를 들어, 전체 공간에서 광의 양을 캡처하도록 구성된다. 전용 광 레벨 센서(130)로부터 판독된 데이터는, 이후, 룩업 테이블을 사용하여 광 레벨로 변환될 수 있다. 일반적으로, 그와 같은 룩업 테이블은 비선형이다. 전용 광 레벨 센서(130)는 통상적으로 적합한 ISO 값을 표시하기 위해 배열된다. 이후, 룩-업 테이블은, 이득 값이 특정 이미지 센서에 대한 전용 ISO 값에 대응됨을 결정하기 위해 사용될 수 있다. 대안으로 또는 조합하여, 광 결정 블록(202)은, 이미지 센서(116)에 의해 제공되는 신호에서의 노이즈를 측정 또는 추정함으로써 상기 이미지들에서의 광 레벨을 결정하기 위해 배열될 수 있다. 디지털화된 이후에 이미지 센서(116)에 의해 제공되는 신호에서의 노이즈는, 고정된 노이즈 및 동적 노이즈 모두를 포함한다. 고정된 노이즈는 노이즈 필터에 의해 필터링될 수 있다. 하지만, 노이즈 필터링 이전에 노이즈를 측정하는 것이 유익할 수 있다. 노이즈가 높으면, 장면에 들어오는 객체들은 노이즈에 대해 잘못 판단할 수 있다. 노이즈가 필터링이전에 측정되면 노이즈에 대해 객체들을 잘못 판단할 위험은 감소된다.
유사하게, 열 이미징의 경우에서, 광 결정 블록(202)은 이미지 센서 데이터 또는 전용 열 방사 센서를 사용함으로써 그리고/또는 이미지 센서(116)에 의해 제공되는 상기 신호에서의 노이즈를 측정 또는 추정함으로써 상기 이미지들 내의 열 방사 레벨을 결정하도록 배열될 수 있다.
광 결정 블록(202)에 의해 결정되는 광 레벨에 따라, 최대 비트 레이트 설정 블록(204)은 서로 다른 최대 비트 레이트들을 설정하기 위해 구성된다. 광 레벨 스케일은 복수의 구별된 광 레벨들로 구분된다. 미리결정된 최대 비트 레이트는 각각의 구별된 광 레벨과 연관된다. 구별된 광 레벨들은, 적어도 낮은, 중간의 그리고 높은 광 레벨로 카테고리화된다. 상기 광 레벨이 낮은 광 레벨로 결정될 때, 최대 비트 레이트는 낮은 광 최대 비트 레이트로 설정된다. 상기 광 레벨이 중간 광 레벨로 결정될 때, 최대 비트 레이트는 중간 광 최대 비트 레이트로 설정된다. 상기 광 레벨이 높은 광 레벨로 결정될 때, 최대 비트 레이트는 높은-광 최대 비트 레이트로 설정된다. 낮은 광 최대 비트 레이트는 중간 광 최대 비트 레이트보다 낮다. 높은 광 최대 비트 레이트는 중간 광 최대 비트 레이트보다 낮다.
유사하게, 열 이미징의 경우, 최대 비트 레이트 설정 블록(204)은, 열 방사 레벨에 따라 서로 다른 최대 비트 레이트들을 설정하도록 구성된다. 열 방사 레벨 스케일은 복수의 구별된 열 방사 레벨들로 구분된다. 미리결정된 최대 비트 레이트는 각 구분된 열 방사 레벨과 연관된다. 상기 구분된 열 방사 레벨들은 적어도 낮은, 중간의 그리고 높은 열 방사 레벨로 카테고리화된다. 상기 열 방사 레벨이 낮은 열 방사 레벨로 결정될 때, 최대 비트 레이트는 낮은 열 방사 최대 비트 레이트로 설정된다. 상기 열 방사 레벨이 중간의 열 방사 레벨로 결정될 때, 최대 비트 레이트는 중간의 열 방사 최대 비트 레이트로 설정된다. 상기 열 방사 레벨이 높은 열 방사 레벨로 결정될 때, 상기 최대 비트 레이트는 높은 열 발사 최대 비트 레이트로 설정된다. 상기 낮은 열 방사 최대 비트 레이트는 상기 중간의 비트 열 방사 최대 비트 레이트보다 낮다. 상기 높은 열 방사 최대 비트 레이트는 상기 중간의 열 방사 최대 비트 레이트보다 낮다.
상기 디지털 네트워크 카메라(100)는 또한 관심있는 영역 결정 유닛(132)을 포함할 수 있다. 상기 관심있는 영역 결정 유닛(132)은, 관련 정보를 포함할 때 디지털 비디오 데이터의 이미지들의 전경 부분을 식별하고, 관련없는 정보를 포함할 때 디지털 비디오 데이터의 이미지들의 배경 부분을 식별하도록 구성된다. 전경 부분의 관련없는 예들은, 움직임을 포함하는 부분들 또는 특히 관심있는 객체들, 예를 들어, 얼굴, 자동차, 번호판을 포함하는 부분들이다. 예를 들어, AXIS Zipstream과 같은 지능형 압축 기법은, 전경 부분 및 배경 부분을 식별하기 위해 사용될 수 있다.
따라서, 상기 광 레벨이 낮은 광 레벨로 결정될 때, 제1 낮은 광 최대 비트 레이트는 전경으로서 식별되는 이미지의 부분들로서 설정될 수 있고 그리고 제2 낮은 광 최대 비트 레이트는 배경으로서 식별되는 이미지의 부분들로서 설정된다. 상기 광 레벨이 중간 광 레벨로 결정될 때, 제1 중간 광 최대 비트 레이트는 전경으로서 식별되는 이미지의 부분들로 설정되고 그리고 제2 중간 광 최대 비트 레이트는 후경으로 식별되는 이미지의 부분들로 설정된다. 상기 광 레벨이 높은 광 레벨로 결정될 때, 제1 높은 광 최대 비트 레이트는 전경으로 식별되는 이미지의 부분들로 설정될 수 있고 그리고 제2 높은 광 최대 비트 레이트는 후경으로 식별되는 이미지의 부분들로 설정된다. 상기 제1 낮은 광 최대 비트 레이트는 제1 중간 광 최대 비트 레이트보다 낮다. 상기 제1 높은 광 최대 비트 레이트는 상기 제1 중간 광 최대 비트 레이트보다 낮다. 상기 제2 낮은 광 최대 비트 레이트는 상기 제2 중간 광 최대 비트 레이트보다 낮을 수 있다. 상기 제2 높은 광 최대 비트 레이트는 제2 중간 광 최대 비트 레이트보다 낮을 수 있다. 대안으로, 제2 낮은 광 최대 비트 레이트, 제2 중간 광 최대 비트 레이트 및 제2 높은 광 최대 비트 레이트는 동일한 최대 비트 레이트로 설정된다. 즉, 동일한 최대 비트 레이트는 광 레벨에 관계없이 배경에 대해 설정된다.
따라서, 서로 다른 비트 레이트들은 전경 및 배경으로 식별되는 부분들에 대해 사용될 수 있다. 예를 들어, 일정한 최대 비트 레이트는 배경에 대해 사용될 수 있고 그리고 광 레벨의 함수로서 최대 비트 레이트의 변동은 배경에 대해 사용될 수 있다. 대안으로, 광 레벨의 함수로서 변화하는 최대 비트 레이트들은 전경뿐 아니라 배경에 대해 사용될 수 있지만, 광 레벨의 함수로서 최대 비트 레이트들은 상기 전경과 비교하였을 때 배경에 대해 서로 다르다.
상기 장면의 전경 및 배경으로의 분할은, 또한, 다음 단계들에서 이루어질 수 있다. 더욱이, 하나의 최대 비트 레이트는 전경으로 설정될 수 있고 그리고 다른 최대 비트 레이트는 배경으로 설정될 수 있으며, 평활 함수는 이미지들에서 급격한 품질 전이를 피하기 위해 그 사이의 경계들에서 사용될 수 있다.
사진 이미지들에서의 장면의 전경 및 후경에 대해 상기의 것들 중 어떤 것이 열 이미징과 관련하여 또한 구현될 수 있다. 열 이미징에 대해, 이는 열 방사 레벨이고 및 그것의 분할은, 광 레벨 대신에 사용되는 낮은, 중간의 그리고 높은 레벨이다.
비트 레이트 제어기(120)는 또한 메모리(206)를 더 포함할 수 있다. 상기 메모리(206)는 비트 레이트 제어기(120)에 대해 전용 메모리일 수 있다. 대안으로 또는 조합으로, 상기 메모리는 디지털 네트워크 카메라(110)의 메모리(124)일 수 있다. 상기 메모리(206)는 미리결정된 비트 레이트를 포함하고 그리고 각각의 개별적인 광 또는 열 방사 레벨들과 연관된 룩업 테이블을 포함할 수 있다. 그 결과, 각각의 최대 비트 레이트의 설정은 룩업 테이블에서 룩업을 수행함으로써 수행될 수 있다. 2개의 인접한 개별 광 또는 열 방사 레벨들 간의 광 또는 열 방사 레벨의 차이는 많아야 광 또는 열 방사 레벨의 2배가 될 것이다. 결정된 광 또는 열 방사 레벨이 룩업 테이블에서 구분된 광 또는 열 방사 레벨들의 구분된 광 또는 열 방사 레벨에 대응하지 않는 경우, 상기 결정된 광 또는 열 방사 레벨에 가장 가까운 구분된 광 또는 열 방사 레벨은 미리결정된 최대 비트 레이트를 발견하기 위해 사용될 수 있다. 대안으로, 룩업 테이블의 값들을 사용하는 보간법은 최대 비트 레이트를 발견하기 위해 사용될 수 있다.
디지털 네트워크 카메라(110)는 또한 온도 결정 유닛(134)을 포함할 수 있다. 상기 온도 결정 유닛(134)은 상기 이미지들을 캡처하는 이미지 센서(116)의 온도를 결정하도록 배열된다. 상기 온도 결정 유닛(134)은, 이미지 센서(116) 상 또는 이미지 센서(116) 다음의 이미지 센서(116)의 온도를 측정하기 위해 구성된 온도 센서를 포함할 수 있다. 그 결과, 온도 결정 유닛(134)은 이미지 센서(116)의 온도를 직접 측정하도록 배열될 수 있다. 대안으로, 상기 온도 결정 유닛(134)은 디지털 네트워크 카메라(110)의 하우징(112)에 배열되는 온도 센서를 포함할 수 있다. 디지털 네트워크 카메라(110)의 하우징(112)에서의 온도 센서는 디지털 네트워크 카메라(110)의 내부 온도 및/또는 디지털 네트워크 카메라(110)의 외부의 주변 온도를 측정하도록 구성될 수 있다. 내부 온도 및/또는 주변 온도는 이후 이미지 센서(116)의 온도를 추정하기 위해 온도 결정 유닛(134)에 의해 사용될 수 있다. 상기 이미지 센서(116)의 결정된 온도는 이미지 센서(116)에서 열로 유도된 노이즈를 나타낸다. 이미지 센서(116)의 온도는 캡처된 장면의 이미지들에서 노이즈 레벨을 결정하기 위해 사용될 수 있다. 노이즈 레벨은, 이 경우에, 장면 내의 광 레벨 또는 열 방사 레벨과 조합하여 이미지 센서(116)의 온도에 의해 야기될 수 있다. 따라서, 각각의 최대 비트 레이트의 설정은 또한 상기 이미지를 캡처할 때 상기 이미지 센서의 온도에 기초할 수 있다.
도 3은, 비트 레이트 제어기(120)에 접속되는 복수의 디지털 네트워크 카메라들(350)의 시스템(300)을 도시한다. 각 디지털 네트워크 카메라(350)는 카메라 특정 장면을 나타내는 이미지들을 캡처하도록 구성된다. 상기 복수의 디지털 네트워크 카메라들(350) 및 상기 비트 레이트 제어기(120)는 컴퓨터 네트워크에서 서로 접속된다. 상기 비트 레이트 제어기(120)는 도 3에서 도시된 것처럼 특정 디바이스로서 배열될 수 있다. 대안으로, 상기 비트 레이트 제어기(120)는 상기 복수의 디지털 네트워크 카메라들(350) 중 하나에 배열될 수 있다. 상기 비트 레이트 제어기(120)는 상기 복수의 디지털 비디오 카메라들(350)을 지원하도록 구성된다. 상기 노이즈 결정 블록(202)은 각 카메라 특정 장면의 이미지들에서의 광 레벨을 카메라가 구체적으로 결정하도록 구성된다. 카메라 특정 광 레벨 스케일은 각 특정 카메라에 대해 설정된다. 각 카메라 특정 광 레벨 스케일은 복수의 개별 카메라 특정 광 레벨들로 구분된다. 카메라 특정 미리결정된 최대 비트 레이트는 각 개별적인 카메라 특정 개별 광 레벨과 관련된다. 상기 카메라 특정 개별 광 레벨들은 적어도, 낮은, 중간 그리고 높은 광 레벨로 카테고리화된다. 따라서, 각 카메라 특정 장면의 이미지들에서 상기 카메라가 구체적으로 결정한 광 레벨들에 기초하여, 최대 비트 레이트 설정 블록(204)은, 카메라 특정 낮은 광 최대 비트 레이트들, 카메라 특정 중간 광 최대 비트 레이트들 및 카메라 특정 높은 광 최대 비트 레이트들을 설정하도록 구성된다.
대안으로, 상기 시스템은 각 카메라에서 하나의 카메라 특정 비트 제어기를 갖도록 구현될 수 있고, 그리고 이후 하나의 시스템 비트 레이트 제어기는 개별적으로 배열되거나 또는 상기 카메라들 중 하나에 배열된다.
상기 비트 레이트 제어기는, 또한, 시간에 대해 카메라 특정 낮은 광 최대 비트 레이트들, 카메라 특정 중간 광 최대 비트 레이트들 및 카메라 특정 높은 광 최대 비트 레이트들을 변화시키도록 구성될 수 있다. 상기 변화는 특정 카메라 장면들에서의 결정된 행위에 기초할 수 있다. 대안으로 또는 조합하여, 많은 카메라들의 시스템에서, 상기 변화는 서로 다른 카메라들에 의해 출력된 인코딩된 스트림들의 비트 레이트들에 기초할 수 있다. 각 카메라에서 설정된 최대 비트 레이트가 존재하면, 출력된 비디오 스트림이 비트 레이트는 최대 비트 레이트 아래로 변할 수 있다. 하나의 카메라가 최대 비트 레이트에 더 자주 있고 그리고 다른 카메라가 최대 비트 레이트 상에 더 자주 있으면, 비트 할당은 카메라 시스템의 카메라들 중에서 서로 다르게 분산될 수 있다.
각 카메라 특정 장면에서의 행위는, 예를 들어, 모션 검출 알고리즘에 의해 결정될 수 있다. 상기 모션 검출 알고리즘은 모션 검출 소프트웨어 및/또는 하드웨어에서 수행될 수 있다. 모션 검출 소프트웨어 및/또는 하드웨어는 복수의 디지털 네트워크 카메라들(350) 중 하나 이상에서 구현될 수 있다. 대안으로 또는 조합하여, 상기 모션 검출 소프트웨어 및/또는 하드웨어는 비트 레이트 제어기(120)에서 구현될 수 있다. 비디오 모션 검출 알고리즘은 바람직하게 시공간적 비디오 분석들에 기초한다. 사용하기에 가능한 비디오 모션 검출 알고리즘의 일부 예들은, "변화 검출(change detection)"에 기초한 알고리즘 및 "모션 검출(motion detection)"에 기초한 알고리즘이다.
"변화 검출(change detection)"에 기초한 알고리즘들에 따라, 이미지와 이전의 이미지 사이에서 변화하는 픽셀들을 발견하기 위해 상기 이미지는 픽셀마다 상기 이전의 이미지와 비교된다.
"모션 검출(motion detection)"에 기초한 알고리즘들에 따라, 이미지는 예를 들어 도시된 변화들로부터 "실제(real)" 모션을 필터링하여 이전 이미지와 비교된다. 이것은 예를 들어, 시공간적 비디오 분석을 적용함으로써 수행될 수 있다; 알름블라드흐(Almbladh)는 예를 들어, US 8,121,424에서 시공간적 비디오 분석을 위한 방법을 서술하고 있다.
"객체 모션 검출(object motion detection)" 및 "객체 분류(object classification)"에 기초한 알고리즘이 존재한다. 그러한 알고리즘들에 따라, 모션에 있지만 일시적으로 정지한 객체들이 계속 검출되도록 상기 검출된 모션은 추적되는 움직이는 객체들을 검출하도록 분석된다. 따라서, 그와 같은 알고리즘들에 따라, 객체들은, 예를 들어, "사람", "차량", "자동차", "동물", "얼굴" 등으로 분석되고 그리고 식별된다. 객체들을 분류하기 위해, US 7,099,510에서, 비올라(Viola) 및 존스(Jones)에 의해 서술된 방법이 사용될 수 있다.
상기에서 언급된 서로 다른 알고리즘들은, 통상적으로, 높은 정도의 복잡성 및 신뢰도를 단계적으로 달성하기 위해 서로를 기반으로 할 것이다.
따라서, 상기에서 서술된 시스템(300)은, 예를 들어, 더 오랜 시간(예를 들어, 24시간 또는 1주일)에 걸쳐, 서로 다른 특정 장면들에서의 활동을 측정하기 위해 사용될 수 있고 그리고 상기 활동들에 의존하는 서로 다른 카메라 특정 최대 비트 레이트들을 설정할 수 있다. 예를 들어, 단지 하나 또는 몇 개의 카메라 특정 장면들에서 종종 활동이 존재하면, 대응하는 디지털 네트워크 카메라들(350)에 대한 최대 비트 레이트들은 시스템(300) 내의 다른 디지털 네트워크 카메라들(350)과 비교하여 대응하는 디지털 네트워크 카메라들(350)에 대해 상승될 수 있다.
카메라 특정 광 레벨들 및 광 레벨 스케일들과 관련하여 상기에서 논의된 것은, 또한, 카메라 특정 열 방사 레벨들 및 열 방사 스케일들에 대해 또한 적용된다.
도 4는, 비디오 인코더의 출력 비트 레이트를 제한하는 방법을 도시한다. 상기 방법은 하기의 행위들을 포함한다. S402에서, 캡처된 장면의 이미지들에서 광 레벨을 결정한다. 상기 광 레벨이 낮은 광 레벨로 결정될 때, S404a에서, 낮은 광 최대 비트 레이트를 설정한다. 상기 광 레벨이 중간 광 레벨로 결정될 때, S404b에서, 중간 광 최대 비트 레이트를 설정한다. 상기 광 레벨이 높은 광 레벨로 결정될 때, S404c에서, 높은 광 최대 비트 레이트를 설정한다. 낮은 광 최대 비트 레이트는 중간 광 최대 비트 레이트보다 낮다. 높은 광 최대 비트 레이트는 중간 광 최대 비트 레이트보다 낮다.
상기 방법은, 상기 장면을 나타내는 이미지들을 형성하는 디지털 비디오 데이터를 캡처하는 단계(S400)를 더 포함할 수 있다. 바람직하게, 상기 캡처하는 단계는 상기 비디오 디지털 카메라(100)의 이미지 센서(116)에 의해 수행될 수 있다. 대안으로, 상기 장면을 나타내는 이미지들을 형성하는 디지털 비디오 데이터를 캡처하는 단계는, 아날로그 신호를 디지털 비디오 신호로 변환하는 아날로그 대 디지털 변환기에 의해 수행될 수 있다.
상기 이미지들에서의 광 레벨은, 이미지 센서(116) 또는 전용 광 레벨 센서(130)의 이미지 센서 데이터를 사용함으로써 적어도 부분적으로 결정될 수 있다. 상기 이미지들에서의 노이즈 레벨은, 이미지 센서(116)의 온도를 사용함으로써 적어도 부분적으로 결정될 수 있다. 이러한 이유로, 이미지들에서의 노이즈 레벨은 이미지 센서의 온도의 함수가 될 수 있다. 상기 이미지 센서(116)의 온도를 결정하는 방법들은 위에서 논의된다.
통상의 기술자는, 본 발명이 상기의 서술된 바람직한 실시예들로 결코 제한되지 않음을 인식한다. 반면에, 많은 수정들 및 변형들이 첨부된 청구범위들 내에서 가능하다.
예를 들어, 상기에서 언급된 예시적인 실시예들 중 대부분에서, 비트 레이트 제어기(120)는 디지털 비디오 카메라(110)에서 구성된다. 하지만, 비트 레이트 제어기(120)는 다른 디바이스들 내에서도 구성될 것이다. 비제한적인 예로서, 상기 비트 레이트 제어기(120)는 아날로그 비디오를 디지털 비디오 데이터로 변환하도록 구성되는 아날로그 대 디지털 변환기 내에서 구성될 수 있다.
더욱이, 서로 다른 디지털 비디오 카메라들은, 서로 다른 밤/낮 행위 때문에 동일한 광 레벨에서 서로 다른 노이즈를 제공할 것이다. 일부 디지털 비디오 카메라들은, 다른 것들보다 더 일찍 밤 모드로 스위칭된다(IR 컷 필터는 스위치 오프된다). 밤 모드에서, 상기 장면의 이미지들은 통상적으로 검은색 및 흰색으로 설정된다. 낮 모드에서, 상기 장면의 이미지들은 통상적으로 컬러로 설정되고, 이는 낮은 밤 레벨들에서 더 많은 노이즈를 유도한다. 따라서, 예를 들어, 1.0 럭스에서 검은색 및 흰색으로 스위칭하는 디지털 비디오 카메라는, 0.90 럭스까지 검은색 및 흰색으로 스위칭하지 않는 카메라보다 0.95 럭스에서 노이즈를 덜 제공할 것이다. 일 실시예에서, 비트 레이트 제어기는, 밤 및 낮 모드들 사이에서의 스위칭을 가볍게 시프팅함으로써, 디지털 비디오 카메라의 밤/낮 행위에 영향을 미치도록 배열된다. 밤 모드 및 낮 모드 사이에서 앞 및 뒤로 빠르게 스위칭하여 일정치 않은 행위를 얻지 않도록 주의를 기울여야 한다. 낮 모드와 밤 모드 사이의 그와 같은 스위칭은 상기 비디오를 보는 오퍼레이터를 힘들게 할 수 있고, 또한, IR 컷 필터가 움직일 때 클릭킹 노이즈를 야기할 수 있다.
추가적으로, 상기 개시된 실시예에 대한 변형들은 이해될 수 있고 그리고 통상의 기술자는, 도면들, 상세한 설명 및 첨부된 청구범위를 학습함으로써 청구된 본 발명을 실행하는 당업자에 의해 이해되고 그리고 영향을 받을 것이다.

Claims (13)

  1. 디지털 비디오 데이터의 인코딩을 위해 비트 레이트를 설정하는 방법으로서,
    장면을 나타내는 캡처된 디지털 비디오 데이터의 포토그래픽 이미지들에서 광 레벨을 결정하는 단계(S402) - 광 레벨 스케일(light level scale)은, 적어도 낮은 광 레벨, 중간 광 레벨 및 높은 광 레벨을 포함하는 복수의 개별 광 레벨들로 구분되고 그리고 상기 디지털 비디오 데이터를 인코딩하기 위한 최대 비트 레이트는 각각의 개별 광 레벨과 연관되며 - 와; 그리고
    상기 광 레벨이,
    상기 낮은 광 레벨로 결정될 때, 낮은 광 최대 비트 레이트(low-light maximum bit rate)를 설정하는 단계(S404a);
    상기 중간 광 레벨로 결정될 때, 중간 광 최대 비트 레이트(intermediate-light maximum bit rate)를 설정하는 단계(S404b); 또는
    상기 높은 광 레벨로 결정될 때, 높은 광 최대 비트 레이트(high-light maximum bit rate)를 설정하는 단계(S404c)를 포함하고,
    상기 낮은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮고 그리고 상기 높은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮은 것을 특징으로 하는
    비트 레이트를 설정하는 방법.
  2. 제1항에 있어서,
    상기 광 레벨 스케일에서 2개 인접한 개별 광 레벨들 사이의 광 레벨의 차이는, 많아야(at most) 상기 광 레벨 스케일에서 2개 인접한 개별 광 레벨들 사이의 광 레벨의 2배인 것을 특징으로 하는
    비트 레이트를 설정하는 방법.
  3. 제1항에 있어서,
    상기 이미지들에서의 광 레벨은, 상기 이미지들을 캡처하는 이미지 센서(116) 또는 전용 광 레벨 센서(130)의 이미지 센서 데이터를 사용함으로써 결정되는 것을 특징으로 하는
    비트 레이트를 설정하는 방법.
  4. 제1항에 있어서,
    상기 광 레벨이,
    상기 낮은 광 레벨로 결정될 때, 제1 낮은 광 최대 비트 레이트는 전경(foreground)으로 식별되는 이미지의 부분들에 대해 설정되고 그리고 제2 낮은 광 최대 비트 레이트는 배경(background)으로 식별되는 상기 이미지의 부분들에 대해 설정되며;
    상기 중간 광 레벨로 결정될 때, 제1 중간 광 최대 비트 레이트는 전경으로 식별되는 이미지의 부분들에 대해 설정되고 그리고 제2 중간 광 최대 비트 레이트는 배경으로 식별되는 상기 이미지의 부분들에 대해 설정되며; 또는
    상기 높은 광 레벨로 결정될 때, 제1 높은 광 최대 비트 레이트는 전경으로 식별되는 이미지의 부분들에 대해 설정되고 그리고 제2 높은 광 최대 비트 레이트는 배경으로 식별되는 상기 이미지의 부분들에 대해 설정되며,
    상기 제1 낮은 광 최대 비트 레이트는 상기 제1 중간 광 최대 비트 레이트보다 낮고 그리고 상기 제1 높은 광 최대 비트 레이트는 상기 제1 중간 광 최대 비트 레이트보다 낮은 것을 특징으로 하는
    비트 레이트를 설정하는 방법.
  5. 제4항에 있어서,
    상기 제2 낮은 광 최대 비트 레이트는 상기 제2 중간 광 최대 비트 레이트보다 낮고 그리고 상기 제2 높은 광 최대 비트 레이트는 상기 제2 중간 광 최대 비트 레이트보다 낮은 것을 특징으로 하는
    비트 레이트를 설정하는 방법.
  6. 제4항에 있어서,
    상기 제2 낮은 광 최대 비트 레이트, 상기 제2 중간 광 최대 비트 레이트 및 상기 제2 높은 광 최대 비트 레이트는 동일한 최대 비트 레이트로 설정되는 것을 특징으로 하는
    비트 레이트를 설정하는 방법.
  7. 처리 기능들을 갖는 디바이스 상에서 실행될 때 제1항에 따른 방법을 구현하는 프로그램이 기록된 비 일시적인 컴퓨터 판독가능한 기록 매체.
  8. 디지털 비디오 데이터의 인코딩을 위해 비트 레이트를 제어하는 비트 레이트 제어기로서,
    이미지들을 캡처하는 동안 광 레벨에 기초하여 캡처된 장면의 이미지들에서 광 레벨을 결정하고, 광 레벨 스케일은, 적어도 낮은 광 레벨, 중간 광 레벨 및 높은 광 레벨을 포함하는 복수의 개별 광 레벨들로 구분되고 그리고 상기 디지털 비디오 데이터를 인코딩하기 위한 최대 비트 레이트는 각각의 개별 광 레벨과 연관되어 있는 광 레벨 결정 블록(202)과; 그리고
    상기 광 레벨이,
    상기 낮은 광 레벨로 결정될 때, 낮은 광 최대 비트 레이트를 설정하고;
    상기 중간 광 레벨로 결정될 때, 중간 광 최대 비트 레이트를 설정하거나; 또는
    상기 높은 광 레벨로 결정될 때, 높은 광 최대 비트 레이트를 설정하도록 되어 있는 최대 비트 레이트 설정 블록(204)을 포함하고,
    상기 낮은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮고 그리고 상기 높은 광 최대 비트 레이트는 상기 중간 광 최대 비트 레이트보다 낮은 것을 특징으로 하는
    비트 레이트 제어기.
  9. 제8항에 있어서,
    상기 비트 레이트 제어기는 룩-업 테이블(look-up table)을 포함하는 메모리(206)를 더 포함하고, 상기 룩-업 테이블은 개별 광 레벨들 및 상기 개별 광 레벨들에 연관된 각각의 미리결정된 최대 비트 레이트들을 포함하며;
    상기 각각의 최대 비트 레이트의 설정은 상기 룩-업 테이블에서 룩-업을 수행함으로써 수행되는 것을 특징으로 하는
    비트 레이트 제어기.
  10. 제9항에 있어서,
    상기 광 레벨 스케일에서 2개 인접한 개별 광 레벨들 사이의 광 레벨의 차이는, 많아야 상기 광 레벨 스케일에서 2개 인접한 개별 광 레벨들 사이의 광 레벨의 2배인 것을 특징으로 하는
    비트 레이트 제어기.
  11. 제8항에 있어서,
    상기 비트 레이트 제어기는 디지털 네트워크 카메라(10)에 배열되는 것을 특징으로 하는
    비트 레이트 제어기.
  12. 제8항에 있어서,
    상기 비트 레이트 제어기는 복수의 디지털 네트워크 카메라들(350)을 지원(service)하도록 되어 있고, 각 디지털 네트워크 카메라는 카메라 특정 장면을 나타내는 이미지들을 캡처하도록 되어 있으며, 상기 광 레벨 결정 블록(202)은 각 카메라 특정 장면의 이미지들에서의 광 레벨을 카메라가 구체적으로 결정하도록 되어 있으며, 그리고 상기 최대 비트 레이트 설정 블록(204)은 카메라 특정 낮은 광 최대 비트 레이트들, 중간 광 최대 비트 레이트들 및 높은 광 최대 비트 레이트들을 설정하도록 되어 있는 것을 특징으로 하는
    비트 레이트 제어기.
  13. 제12항에 있어서,
    상기 비트 레이트 제어기는, 또한, 상기 카메라 특정 낮은 광 최대 비트 레이트들, 중간 광 최대 비트 레이트들 및 높은 광 최대 비트 레이트들을 시간에 걸쳐 변경하도록 되어 있는 것을 특징으로 하는
    비트 레이트 제어기.
KR1020160168706A 2015-12-15 2016-12-12 비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법 KR101900889B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15200115.2A EP3182704B1 (en) 2015-12-15 2015-12-15 A bit rate controller and a method for limiting output bit rate
EP15200115.2 2015-12-15

Publications (2)

Publication Number Publication Date
KR20170071427A KR20170071427A (ko) 2017-06-23
KR101900889B1 true KR101900889B1 (ko) 2018-09-21

Family

ID=55024798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160168706A KR101900889B1 (ko) 2015-12-15 2016-12-12 비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법

Country Status (6)

Country Link
US (2) US10121453B2 (ko)
EP (2) EP3182704B1 (ko)
JP (1) JP6396397B2 (ko)
KR (1) KR101900889B1 (ko)
CN (1) CN106888355B (ko)
TW (1) TWI651942B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3182704B1 (en) * 2015-12-15 2018-01-31 Axis AB A bit rate controller and a method for limiting output bit rate
US10531052B2 (en) * 2017-01-27 2020-01-07 Live Earth Imaging Enterprises, L.L.C. Real-time satellite imaging system
US10016900B1 (en) * 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10739838B2 (en) * 2017-12-28 2020-08-11 Omnivision Technologies, Inc. Quality-driven dynamic frequency scaling for energy optimization of smart camera systems
US20200084467A1 (en) * 2018-09-07 2020-03-12 Apple Inc. Low light compression
IT202000002593A1 (it) * 2020-02-10 2021-08-10 Erd Impianti Di Radici Diego Sistema e metodo antiabbandono in un veicolo

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008772A1 (en) 2001-06-07 2004-01-15 Masaaki Kojima Camera-integrated video recording and reproducing apparatus, and record control method thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1309166C (en) * 1988-05-20 1992-10-20 Toshinobu Haruki Image sensing apparatus having automatic iris function of automatically adjusting exposure in response to video signal
US5134487A (en) * 1989-11-06 1992-07-28 Canon Kabushiki Kaisha Using common circuitry for different signals
JP4081219B2 (ja) * 2000-04-17 2008-04-23 富士フイルム株式会社 画像処理方法及び画像処理装置
KR20020064803A (ko) * 2000-09-12 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP4794987B2 (ja) * 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
KR100770927B1 (ko) 2005-11-14 2007-10-26 삼성전자주식회사 휴대용 단말기에서 영상을 촬영하는 방법
CN100568952C (zh) * 2007-03-29 2009-12-09 上海大学 基于h.264实时精细粒度可伸缩编码方法
US8260019B2 (en) * 2007-08-17 2012-09-04 General Electric Company Methods and apparatus for data communication across a slip ring
US8121424B2 (en) 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
JP4924746B2 (ja) * 2010-08-13 2012-04-25 カシオ計算機株式会社 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置
JPWO2012132624A1 (ja) * 2011-03-29 2014-07-24 ルネサスエレクトロニクス株式会社 表示装置及び表示装置制御回路
KR101415619B1 (ko) * 2012-04-02 2014-07-07 서울대학교산학협력단 가시적 무손실 압축을 이용한 의료 영상 압축 시스템 및 방법
CN105787908B (zh) * 2012-08-08 2019-05-14 杜比实验室特许公司 用于高动态范围图像的图像处理方法、装置及存储介质
US9635212B2 (en) * 2014-05-30 2017-04-25 Apple Inc. Dynamic compression ratio selection
EP3182704B1 (en) * 2015-12-15 2018-01-31 Axis AB A bit rate controller and a method for limiting output bit rate

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008772A1 (en) 2001-06-07 2004-01-15 Masaaki Kojima Camera-integrated video recording and reproducing apparatus, and record control method thereof

Also Published As

Publication number Publication date
TW201725875A (zh) 2017-07-16
CN106888355A (zh) 2017-06-23
EP3300363B1 (en) 2018-08-29
EP3182704A1 (en) 2017-06-21
US10235972B2 (en) 2019-03-19
US20190043445A1 (en) 2019-02-07
KR20170071427A (ko) 2017-06-23
TWI651942B (zh) 2019-02-21
JP2017163527A (ja) 2017-09-14
EP3182704B1 (en) 2018-01-31
US20170169797A1 (en) 2017-06-15
EP3300363A1 (en) 2018-03-28
JP6396397B2 (ja) 2018-09-26
CN106888355B (zh) 2018-10-26
US10121453B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
KR101900889B1 (ko) 비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법
KR101001033B1 (ko) 비디오 인코더 성능을 향상시키기 위한 적응형 필터링
JP6479621B2 (ja) ビデオ符号化方法及びビデオエンコーダシステム
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
JP6822121B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10819941B2 (en) Monitoring camera using composite filtering method robust against change in visibility status and video monitoring system employing same
US8493499B2 (en) Compression-quality driven image acquisition and processing system
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
US9635212B2 (en) Dynamic compression ratio selection
JP7050509B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101716818B1 (ko) 초저조도용 cctv 카메라 시스템
KR102445008B1 (ko) 이벤트 기반 영상 센싱 장치 및 방법
JP5165084B2 (ja) 画像符号化装置
EP2495972A1 (en) Monitoring device and method for monitoring a location
KR20180137307A (ko) 영상의 비트레이트 조절 방법 및 영상 획득 장치
KR100810154B1 (ko) 이미지의 노이즈 제거 장치 및 제거 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right