KR20170026167A - 디지털 이미지들을 전처리하는 방법 및 디지털 이미지 전처리 시스템 - Google Patents

디지털 이미지들을 전처리하는 방법 및 디지털 이미지 전처리 시스템 Download PDF

Info

Publication number
KR20170026167A
KR20170026167A KR1020160106315A KR20160106315A KR20170026167A KR 20170026167 A KR20170026167 A KR 20170026167A KR 1020160106315 A KR1020160106315 A KR 1020160106315A KR 20160106315 A KR20160106315 A KR 20160106315A KR 20170026167 A KR20170026167 A KR 20170026167A
Authority
KR
South Korea
Prior art keywords
preprocessing
motion
image
image sensor
images
Prior art date
Application number
KR1020160106315A
Other languages
English (en)
Other versions
KR102192063B1 (ko
Inventor
알렉산드레 마르틴스
빅터 에드팜
씽 다니엘쏜 팡
라쓰 페르손
프레드릭 필
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20170026167A publication Critical patent/KR20170026167A/ko
Application granted granted Critical
Publication of KR102192063B1 publication Critical patent/KR102192063B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/73—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

인코딩을 위해 이미지 센서에 의해 캡처되는 디지털 이미지들을 전처리하는 방법이 개시된다. 상기 방법은, 제1 디지털 이미지를 수신하는 단계(S01)와; 상기 제1 디지털 이미지를 캡처할 때 상기 이미지 센서의 움직임을 나타내는 정보를 수신하는 단계(S02)와; 그리고 상기 제1 디지털 이미지를 전처리하는 단계(S03)를 포함한다. 상기 전처리의 적어도 하나의 파라미터는, 움직임을 나타내는 상기 정보에 의존한다(S04). 디지털 이미지 전처리 시스템이 또한 개시된다.

Description

디지털 이미지들을 전처리하는 방법 및 디지털 이미지 전처리 시스템{METHOD OF PRE-PROCESSING DIGITAL IMAGES, AND DIGITAL IMAGE PRE-PROCESSING SYSTEM}
본 발명은 디지털 이미지 처리 분야에 관한 것, 특히, 인코딩의 준비를 위해 디지털 이미지들의 전처리에 관한 것이다.
예를 들어, 모니터링 시스템들에서 디지털 이미지들을 많이 사용할 경우, 디지털 이미지들은 전송 또는 저장을 위해 여러 인코딩 기법들을 사용하여 압축된다. 인코딩 이전에, 디지털 이미지들의 전처리가 수행된다. 전처리는, 이미지들의 품질을 향상시키기 위해, 예를 들어, 선명화 또는 노이즈 필터링을 포함할 수 있다. 하지만, 상기 이미지들을 캡처하는 이미지 센서가 캡처하는 동안 움직일 때 문제점이 발생한다. 첫째, 이미지들에서 변화를 명확하게 하는 것은 인코더로부터 더 높은 출력 비트 레이트를 초래하는바, 이는, 상기 이미지들 사이에서 시간적 중복이 적기 때문이다. 모바일 네트워크를 통해 전송될 때처럼 대역폭이 매우 제한적이라면, 고속의 움직임이 증가된 비트레이트를 야기할 때 카메라로부터 비디오를 전송하는 것도 가능할 수 있다. 추가적으로, 상기 움직임은 이미지를 전처리할 때 더 많은 계산을 요구할 수 있다. 또한, 상기 전처리는, 상기 이미지 센서가 고정될 때 캡처되는 대응하는 이미지에 비해 상기 이미지들을 나타내는데 필요한 비트들의 수를 추가할 수 있다. 이러한 문제점에 대한 하나의 해결책은, 이미지 센서를 포함하는 카메라의 패닝 및/또는 틸팅 동안 이미지들의 인코딩을 프리즈(freeze)하는 것이고 그리고 움직임 중단된 후에만 새로운 입력 이미지 프레임들의 인코딩을 재개하는 것이다. 하지만, 그것은, 시각 정보가 움직임 동안 상실되고 그리고 전송된 이미지 시퀀스를 보고있는 오퍼레이터는 혼란에 빠질 수 있음을 의미한다. 따라서, 개선된 인코딩 방식에 대한 필요가 존재한다.
본 발명의 목적은 인코딩을 위해 디지털 이미지들을 전처리하는 방법을 제공하는 것으로서, 이러한 방법은, 상기 이미지들을 캡처하는 이미지 센서가 움직이고 있을 때 더 낮은 비트레이트를 가능하게 한다. 본 발명의 다른 목적은, 이미지 센서가 움직이고 있을 때 불필요한 많은 계산들을 피하게 할 수 있는 전처리 방법을 제공하는 것이다. 추가적인 목적은, 인코딩을 위해 디지털 이미지들을 전처리하는 방법을 제공하는 것으로서, 이러한 방법은, 또한, 상기 이미지 센서의 움직임 동안 시각적 정보를 가능하게 한다. 또 다른 목적은, 이미지 센서의 움직임 동안 개선된 유용성을 이미지들에 제공할 수 있는 전처리 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 상기 이미지들을 캡처하는 이미지 센서가 움직이고 있을 때 불필요한 높은 비트레이트 및 불필요한 높은 계산상의 사용을 피할 수 있는 전처리 시스템을 제공하는 것이다. 추가로, 본 발명의 목적은, 이미지 센서의 움직임 동안 이미지들의 개선된 움직임을 가능하게 할 수 있는 전처리 시스템을 제공하는 것이다.
추가적인 목적은, 또한, 상기 이미지 센서가 움직일 때 이미지들의 제공을 가능하게 하는 전처리 시스템을 제공하는 것이다.
또 다른 목적은, 상기 이미지들을 캡처하는 상기 이미지 센서가 움직이고 있을 때 또한 효율적인 비트레이트를 가능하게 하는 컴퓨터 프로그램 제품을 제공하는 것이다.
제1 양상에 따라, 이러한 목적들은, 인코딩을 위해 이미지 센서에 의해 캡처되는 디지털 이미지들을 전처리하는 방법에 의해, 전체로서 또는 부분적으로 달성되고, 상기 방법은: 제1 디지털 이미지를 수신하는 단계와; 상기 제1 디지털 이미지를 캡처할 때 상기 이미지 센서의 움직임을 나타내는 정보를 수신하는 단계와; 그리고 상기 제1 디지털 이미지를 전처리하는 단계를 포함하고, 상기 전처리의 적어도 하나의 파라미터는, 움직임을 나타내는 상기 정보에 의존한다. 이러한 방식으로, 상기 이미지 센서의 움직임이 불필요한 높은 비트레이트를 야기하지 않도록 전처리가 구성될 수 있다. 그 결과, 이미지들은, 증가된 비트레이트에 대한 비용 없이 상기 이미지 센서의 움직임의 기간들 동안 또한 디스플레이하기 위해 인코딩되고 저장되거나 또는 전송될 수 있다. 또한, 이미지 센서의 움직임 동안, 예를 들어, 고속 패닝 움직임 동안 캡처된 이미지들은 일반적으로 흐릿할 것이기 때문에, 전처리을 수정함으로써 초래될 수 있는 이미지 품질의 손실은 그와 같은 이미지들의 유용성에 거의 영향을 미치지 않을 것이다.
상기 이미지 센서의 상기 움직임이 미리 결정된 임계치 위이면, 상기 전처리 단계의 상기 적어도 하나의 파라미터는 수정되어, 상기 제1 디지털 이미지는, 상기 움직임이 상기 임계치와 같거나 또는 아래인 것보다 상기 전처리에 의해 더 적게 처리된다.
추가로, 상기 전처리의 상기 적어도 하나의 파라미터는 수정되어, 적어도 하나의 전처리 절차는 디스에이블된다. 예를 들어, 상기 이미지들이 어떤 방식으로든 실제로 선명화로부터 이득을 얻을 수 없으므로, 상기 이미지 센서가 움직일 때 선명화는 생략될 수 있다.
또 다른 양상에 따라, 상기 적어도 하나의 파라미터가 수정되어, 적어도 하나의 전처리 절차는 상기 제1 디지털 이미지를 많이 또는 적게 처리한다. 일 예로서, 필터링은 더 크게 적용될 수 있다. 또 다른 예로서, 톤 맵핑은 더 작게 적용될 수 있다.
또 다른 양상에 따라, 상기 전처리의 상기 적어도 하나의 파라미터는 수정되어, 디스에이블되지 않는 적어도 하나의 전처리 절차가 인에이블된다. 예를 들어, 블러링은 이미지 센서의 움직임 동안 적용될 수 있어, 이미지들 내의 픽셀들의 블록들을 다소 균일하게 하고, 이는 이미지의 표현을 위해 더 낮은 비트 요건을 야기한다.
상기 전처리 단계는, 선명화(sharpening), 콘트라스트 추가, 톤 맵핑(tone mapping), 컬러 정정, 노이즈 필터링(noise filtering), 블러링(blurring), 베이어 패턴 샘플링(Bayer pattern sampling), 디모자이킹(demosaicing), HDR 융합(merging), 포커스 제어, 노출 제어 및 이득 제어로 구성된 그룹으로부터 선택되는 적어도 하나의 전처리 절차를 수행하는 단계를 포함한다. 이미지 센서 데이터의 맥락에서, 노이즈는 장면에 표현되지 않은 무언가를 나타내는 센서 데이터임을 알아야한다. 노이즈는 시간적, 즉, 하나의 이미지 프레임에서 다음 이미지 프레임으로 변화하거나, 또는 공간적, 즉, 하나의 픽셀에서 동일한 프레임 내의 다른 픽셀로 달라질 수 있다. 노이즈의 여러 소스들이 존재한다. 시간적 노이즈는, 예를 들어, 리셋 노이즈, 열 노이즈, 플리커 노이즈, 암전류 산탄 노이즈, 양자화 노이즈 또는 위상 노이즈일 수 있다. 공간 노이즈는, 예를 들어, 어두운 고정된-패턴 노이즈, 밝은 고정된-패턴 노이즈, 리커 노이즈, 결함 픽셀 노이즈 또는 코스메틱 결함 노이즈일 수 있다.
상기 이미지 센서의 움직임을 나타내는 상기 정보는, 상기 이미지 센서의 움직임을 제어하는 움직임을 제어하는 팬, 틸트 및/또는 줌 제어기에 의해 제공될 수 있다. 이러한 방식으로, 전처리의 구성은 이미지의 의도적인 움직임의 관점에서 행해질 수 있다. 여기에서, 주밍은 그 자체로, 이미지 센서의 움직임을 암시하지 않음을 알아야 한다. 하지만, 이미지들을 인코딩할 목적으로, 주밍은, 이미지 센서의 실제적인 움직임에 유사한 캡처된 이미지들에서의 변화들을 유도할 것이다. 따라서, 본 출원의 맥락에서, 줌 동작은 이미지 센서의 움직임과 동일하게 보여질 것이다.
상기 이미지 센서의 움직임을 나타내는 상기 정보는, 모션 센서에 의해 제공될 수 있다. 여기에서, 흔들림에 의해 야기되는 원하지 않은 움직임은 고려될 수 있다. 모션 센서로부터의 정보는 또한, 팬, 틸트 및/또는 줌 동작들에 관한 정보를 제공하기 위해 사용될 수 있다.
방법의 일 실시예에 따라, 상기 적어도 하나의 파라미터는, 상기 이미지 센서의 계획된 움직임을 위한 대비로 점차적으로 수정된다. 이러한 방식으로, 더 강한 노이즈 필터링은 계획된 움직임까지 점차적으로 유도하도록 부가될 수 있거나 또는 선명화는 점차적으로 감소될 수 있다. 그 결과, 이미지들의 모양에서의 갑작스러운 변화들은 회피될 수 있다.
상기 방법은, 또한, 상기 이미지 센서의 계획된 움직임을 위한 대비로 인트라-프레임으로서 상기 제1 디지털 이미지를 인코딩하는 단계를 더 포함할 수 있다. 캡처된 이미지들에서 움직임이 존재하면, 인터-프레임들은, 프레임들 사이의 더 큰 차이들로 인해 더 커질 것이다. 일정 지점에서, 상기 차이들은 충분히 커질 것이고, 인코딩을 위해 다른 이미지 프레임들에 의존하지 않는 인트라-프레임은 더 효율적으로 될 것이다. 움직임이 존재할 것이라고 알려지면, 불필요하게 큰 인터-프레임들이 회피될 수 있도록 인트라-프레임이 강제될 것이다. 인트라-프레임을 강제하거나 삽입함으로써, 후속 이미지들이 상기 인트라-프레임을 참조하여 인터-프레임들로서 인코딩될 수 있는 것처럼, 상기 인코딩된 프레임은 더 높은 품질을 가질 수 있다. 상기 후속 인터-프레임들은 또한, 더 적합한 참조 프레임을 가지기에 더 적은 비트들을 요구할 수 있다.
제2 양상에 따라, 상기의 목적들은, 인코딩을 위해 이미지 센서에 의해 캡처되는 입력 이미지들을 전처리하는 디지털 이미지 전처리 시스템에 의해, 전체로서 또는 부분적으로 달성되고, 상기 시스템은: 입력 이미지들을 수신하도록 구성된 이미지 수신 모듈과; 상기 입력 이미지들을 캡처할 때 상기 이미지 센서의 움직임을 나타내는 정보를 수신하도록 구성된 움직임 정보 수신 모듈과; 그리고 인코딩 이전에 상기 입력 이미지들을 전처리하도록 구성된 전처리 모듈을 포함하고, 상기 전처리의 적어도 하나의 파라미터는 움직임을 나타내는 상기 정보에 의존한다. 그와 같은 시스템에 의해, 불필요하게 높은 출력 비트레이트들의 비용을 들이지 않고, 상기 이미지 센서의 움직임 동안 이미지들을 제공하는 것은 가능할 수 있다.
상기 전처리 모듈은, 선명화, 콘트라스트 추가, 톤 맵핑, 컬러 정정, 시간 및/또는 공간 노이즈 필터링, 블러링, 베이어 패턴 샘플링, 디모자이킹, HDR 융합, 포커스 제어, 노출 제어 및 이득 제어로 구성된 그룹으로부터 선택되는 적어도 하나의 전처리 절차를 수행하도록 구성될 수 있다.
상기 디지털 이미지 전처리의 일 실시예에서, 움직임 정보 수신 모듈은, 상기 이미지 센서의 움직임을 제어하는 팬, 틸트 및/또는 줌 제어기에 통신가능하게 접속된다. 그 결과, 의도적인 움직임에 대한 정보가 제공될 수 있다.
대안으로 또는 추가적으로, 상기 움직임 정보 수신 모듈은 모션 센서에 통신가능하게 접속될 수 있다. 상기 방법에 관련하여 논의된 것처럼, 의도적인 움직임과 함께 의도적이지 않은 움직임이 그에 따라 제공될 수 있다.
제3 양상에 따라, 상기에서 언급된 목적들은, 제2 양상에 따른 전처리 시스템을 포함하는 카메라에 의해, 전체로서 또는 부분적으로 달성된다. 그와 같은 카메라는 일반적으로, 첨부된 이점들과 함께 제2 양상과 동일한 방식들로 구현될 수 있다.
제4 양상에 따라, 상기에서 언급된 목적들은, 프로세서에 의해 실행될 때 제1항에 따른 상기 방법을 수행하도록 되어 있는 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해, 전체로서 또는 부분적으로 달성된다. 상기 프로세서는, 일종의 프로세서, 예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 집적 회로, ASIC, FPGA에서 구현되는 주문 제작된 프로세싱 디바이스, 또는 개별 컴포넌트들을 포함하는 논리 회로일 수 있다. 상기 컴퓨터-프로그램 제품은, 일반적으로, 첨부된 이점들과 함께 제1 양상과 동일한 방식들로 변화될 수 있다.
본 발명의 적용가능성의 추가적인 범위는, 아래에 서술된 상세한 설명으로부터 명확해질 것이다. 하지만, 본 발명의 바람직한 실시예들을 나타내는 상세한 설명 및 특정 예시들은, 단지 예시의 방식으로 주어지는바, 이는 본 발명의 다양한 변화들 및 수정들이 상세한 설명으로부터 통상의 기술자에게 더욱 명확해 짐을 알 수 있다.
따라서, 본 발명은, 그와 같은 디바이스 및 방법들이 변화될 수 있는 것처럼 서술된 디바이스의 특정 컴포넌트 부분들 또는 서술된 방법들의 단계들에 제한되지 않음을 이해할 수 있다. 여기에서 사용되는 용어는 단지 특정 실시예들을 서술하는 목적이고 그리고 제한하도록 의도되지 않음을 이해할 수 있다. 명세서 및 첨부된 청구항에서 사용되는 것처럼, 단수를 나타내는 표현("하나" 또는 "상기")은, 상기 문맥에서 명확하게 다르게 표현하지 않으면 하나 이상의 요소들이 존재하는 것을 의미하도록 의도된다. 따라서, 예를 들어, "물체" 또는 "상기 물체"에 대한 참조는 여러 물체들 등을 포함할 수 있다. 더욱이, 단어 "포함하는"는 다른 요소들 또는 단계들을 배제하지 않는다.
지금, 본 발명은 예를 통해 그리고 첨부된 개략적인 도면들을 참조하여 더욱 상세하게 서술될 것이다.
도 1은 카메라에 의해 모니터링되는 장면을 나타낸 도면이다.
도 2는 팬/틸트/줌 기능을 가진 카메라의 전면도이다.
도 3은 도 2의 카메라의 블록도이다.
도 4는 이미지들을 캡처하고, 전처리하며 그리고 인코딩하는 프로세스에서의 일부 기능들을 나타내는 블록도이다.
도 5는 디지털 이미지들을 전처리하는 방법의 흐름도이다.
도 6은 디지털 이미지 전처리 시스템의 일 실시예의 블록도이다.
도 7은 디지털 이미지 전처리 시스템을 내장하는 카메라의 블록도이다.
도 1에서, 카메라(2)에 의해 모니터링되는 장면(1)이 도시된다. 카메라의 일 예가 도 2에서 도시된다. 이러한 카메라(2)는 이미지 센서(도 2에 도시되지 않음) 및 렌즈(3)를 갖는다. 상기 카메라(2)는 소위 PTZ 카메라로써, 팬 축(pan axis)(4) 주변을 팬(pan)하고 그리고 틸트 축(5) 주변을 틸트(tilt)하는 기능을 갖는다. 카메라(2)는 또한 줌(zoom)할 수 있다.
도 3은, 카메라(2)의 컴포넌트들의 일부를 나타내는 블록도이다. 여기에서, 이미지들을 캡처하도록 구성되는 이미지 센서(6)와 함께, 카메라(2)의 패닝 및 틸팅을 제어하기 위한 PT 제어기(7)가 도시된다. 또한, 카메라(2)는 주밍(zooming)을 제어하는 줌 제어기(8)를 갖는다. 상기 카메라(2)는, 또한, 본 발명에 관련되지 않고 그리고 여기에서 도시되거나 또는 논의되지 않는, 당업계에 알려진 추가적인 컴포넌트들을 가질 것이다.
장면(1)의 이미지들을 카메라(2)로 캡처하고 그리고 인코딩하는 프로세스의 기본 원리들이 도 4를 참조하여 지금 서술될 것이다. 장면(1)로부터의 광은 렌즈(3)를 통해 카메라(2)로 들어가고 그리고 이미지 센서에 의해 캡처된다(10). 이미지 센서(6)로부터의 데이터는, 일반적으로, 각 픽셀이 각 디지털 값으로 표현되는, 그레이 스케일 강도(grey scale intensity)들의 형태이다. 캡처된 이미지, 특히 이러한 이미지를 나타내는 데이터는, 전처리(pre-processing)(11)하에서 행해진다. 전처리(11)는, 베이어 패턴 샘플링(Bayer pattern sampling), 디모자이킹(demosaicing), 선명화(sharpening) 및 톤 맵핑(tone mapping)과 같은 하나 이상의 전처리 절차들을 포함할 수 있다. 상기 전처리 절차들은 일반적으로, 더 높은 품질 또는 더 많이 사용가능한 이미지를 제공할 목적으로 한다. 상기 전처리된 이미지는 이후 인코딩(12)할 준비가 된다. 인코딩은 어떤 압축 포맷에 따라 행해질 수 있다.
카메라(2)가 비디오 시퀀스의 캡처동안 움직이면, 계획되거나 즉흥적인 의도된 패닝, 틸팅 또는 줌 동작으로 인해 또는 의도되지 않은 진동들로 인해, 이미지들은 흐릿해질 수 있다. 또한, 상기 움직임은 이미지들을 나타내기 위해 증가된 비트레이트들을 유도하는바, 이는 정적인 장면의 이미지들 사이에서보다 움직이는 장면의 이미지들 사이에서 중복이 덜하기 때문이다. 대역폭이, 예를 들어, 모바일 네트워크 상에서 매우 제한적이라면, 증가된 비트레이트는 비디오를 전송하기에 너무 높을 수 있어, 그 결과, 예를 들어, 카메라의 고속 패닝 또는 틸팅 움직임들 동안 어떤 이미지들을 전송하는 것은 불가능할 수 있다. 상기에서 언급된 것처럼, 비트레이트 문제는, 때로는, 패닝, 틸팅 및/또는 주밍(zooming) 동안 이미지를 프리징함으로써 처리된다. 이러한 방식으로, 어떤 이미지들도 움직임 동안 전처리되지 않고 인코딩되지 않아, 그 결과, 더 낮은 비트 레이트를 유도한다. 하지만, 그와 같은 접근은, 오퍼레이터가 움직임 동안 적은 정보를 시각적 정보를 제공받거나 또는 어떤 시각적 정보도 제공받지 못하는 것을 의미한다. 따라서, 상기 오퍼레이터는, 움직임 동안 이행되는 장면의 영역들에서 발생하는 의심스러운 객체들 또는 행위를 알아볼 기회를 거의 갖지 못한다. 움직임 동안 시각적 정보의 결핍은 또한, 방향 감각 상실을 유도할 수 있는바, 이는, 상기 오퍼레이터가, 움직임의 시작 위치와 움직임의 마지막 위치의 이미지들만을 제공받고, 그 사이의 어떤 것도 제공받지 못하기 때문이다. 이러한 문제들은, 기록된 비디오 시퀀스들에 대한 비디오 시퀀스들의 라이브 디스플레이에 대해서도 동일하다.
본 발명에 따라, 이미지들은 상기 카메라의 움직임 동안 프리즈되지 않아야 한다. 이러한 것이 더 높은 비트레이트를 유도할 수 있지만, 움직임동안 이용가능한 시각적 정보는 가치가 있을 수 있다. 하지만, 발명자들은, 비트레이트의 일부분이 인코딩 이전에 적용되는 전처리를 수정함으로써 회피될 수 있음을 이해할 수 있다.
예를 들어, 선명화는 상기 이미지에서의 차이점들을 증가시킴으로써 작동하고 그리고 그 결과 증가된 노이즈를 유도할 수 있다. 차례로, 상기 차이점들 및 노이즈는, 상기 선명화된 이미지를 인코딩할 때 더 높은 비트레이트들을 유도한다. 카메라의 움직임 동안 선명화를 감소시키거나 또는 디스에이블링함으로써, 또는 상기 이미지 센서를 더 정밀하게 함으로써, 비트 레이트의 증가는 억제될 수 있다.
유사하게, 이미지의 동적 범위를 향상시키기 위해 사용되는 톤 맵핑은 상기 이미지의 밝은 영역 및 어두운 영역에서의 차이점들을 추가하고 그리고 노이즈를 추가할 수 있어, 그 결과 비트레이트를 증가시킨다. 움직임 동안 톤 맵핑을 디스에이블하는 것은 비트레이트의 일부분을 억제시킬 수 있다.
동일한 방식으로, 상기 비트레이트에 다르게 추가하는 다른 전처리 절차들은 디스에이블되거나 또는 더 적은 범위에 적용될 수 있다. 직관적으로, 이러한 것은 이미지 품질을 더 낮게 만들 것이지만, 상기 카메라의 움직임 동안 캡처된 이미지들은 일반적으로 흐릿하기 때문에, 더 낮은 이미지 품질은 대부분의 경우들에서 상기 오퍼레이터에게 어떤 영향을 미치지 못할 것이다. 또한, 고속의 움직임 동안, 상기 이미지들은 전처리로부터 이점을 얻지 못할 수 있다.
선명화의 감소 또는 디스에이블링은 카메라의 움직임 동안 블러(blur)를 실제적으로 추가하는 만큼 달성될 수 있다. 따라서, 이미지들에서의 차이점들을 증가시키는 대신, 차이점들은 예를 들어, 픽셀들의 블록 또는 그룹의 평균 휘도 값을 계산함으로써 그리고 그러한 블럭 내의 모든 픽셀들의 휘도 값을 사용함으로써 감소될 수 있다. 이러한 방식으로, 픽셀 값들은 이미지의 영역들에 대해 "스미어(smeared)"된다.
비트레이트를 낮추는 목표를 달성하는 것에 기여하는 것뿐 아니라 실제로 이미지 품질 또는 이미지 유용성을 향상시키지만, 일부 전처리 절차들은 상기 카메라의 움직임 동안 수정될 수 있다. 일부 카메라들은 단기간에 2개의 연속적인 이미지들을 캡처함으로써 상기 이미지들 내의 동적 범위를 향상시킨다. 상기 이미지들 중 하나에 대해, 낮은 노출(low exposure)이 사용되고, 이는, 장면의 밝은 영역들이 선명한 장면이 될 수 있지만, 어두운 영역들은 상세하게 보이지 않고 그리고 거의 검은색이 되는 이미지를 초래한다. 다른 이미지에 대해, 높은 노출이 사용되고, 이는, 상기 밝은 영역들이 노출과다(overexposure)가 되거나 포화가 되어 완전히 하얗게 나타나고 그리고 어두운 영역들은 상세하게 보여진다. 하나 또는 다른 이미지의 영역들을 선택적으로 사용함으로써, 상기 장면의 밝은 영역 및 어두운 영역 모두 상세하게 도시될 수 있는 합병된 이미지(merged image)가 생성된다. 그와 같은 전처리 절차들은 HDR(high dynamic range) 합병 또는 WDR(wide dynamic range) 합병으로 언급된다. 양호한 결과를 제공하기 위한 그와 같은 합병에 대해, 2개의 상이하게 노출된 이미지들은 동일한 장면에서 보여지는 것들 사이에서 짧은 시간 내에 캡처되어야 하거나 또는 상기 2개의 캡처들 사이의 장면에서 움직이는 다른 객체들은 흐릿하게 보일 수 있다. 하지만, 상기 카메라가 움직이고 있으면, 동일한 장면을 실제로 보여주기 위해 시간에 맞춰 2개의 이미지들을 충분히 근접하도록 함께 캡처하는 것이 가능하지 않을 수 있다. 따라서, 전체 이미지는 흐릿하게 보일 수 있다. 이러한 문제점을 처리하기 위해, HDR 합병은 카메라의 움직임 동안 디스에이블될 수 있다. 따라서, 2개의 서로 다르게 노출된 이미지들 중 하나만이 인코딩될 수 있거나, 또는 2개의 서로 다르게 노출된 이미지들의 캡처는 디스에이블될 수 있어, 단지 하나의 이미지만이 캡처되고 그리고 인코딩된다.
비디오 시퀀스 동안 시간에 걸쳐 수집된 이미지 또는 비디오 통계 자료들, 예를 들어, 휘도 값들, 색도 값들, 휘도 및/또는 색도의 분산, 움직임 정보, 자동초점 값들, 움직이는 객체 카운터, 비트레이트 또는 필터 파라미터들은, 상기 이미지 센서의 움직임이 결정될 때 리셋될 수 있다. 이러한 방식으로, 상기 움직임은 상기 통계 자료들을 훼손시키지 못할 것이다.
하나의 이상의 전처리 절차들의 수정이 행해져야 함을 확인하기 위해, 카메라(2)의 움직임에 관한 정보 또는 이미지 센서(6)의 더 정밀한 움직임에 대한 정보가 획득된다. 이러한 정보는 PT 제어기(7)에 의해 제공될 수 있고, 상기 PT 제어기(7)는 카메라(2)의 패닝 및 틸팅을 제어하기 위해 어떤 방식으로든 이러한 정보를 갖는다. 유사하게, 그와 같은 정보는 줌 제어기(8)에 의해 제공될 수 있다. 카메라(2)는 또한 모션 센서(9), 예를 들어, 가속도계를 가질 수 있고, 이러한 모션 센서(9)는 이미지 센서의 움직임을 감지한다. 카메라(2)가 의도치 않게 진동되거나 흔들릴 때, 모션 센서(9)는 이미지 센서(9)의 움직임에 대한 정보를 제공할 수 있다. 모션 센서(9)는 또한, PT 제어기(7)에 추가로 또는 PT 제어기(7) 대신에 이미지 센서(6)의 의도적인 움직임에 대한 정보를 제공할 수 있다.
이미 논의된 것처럼, 움직임은 요청된 움직임 또는 요청되지 않은 움직임일 수 있다. 요청된 움직임은, 예를 들어, 조이스틱과 같은 입력 디바이스를 사용하여 제어될 수 있다. 요청된 움직임은, 소위 가드 투어들로 계획되고 그리고 사전에 프로그래밍될 수 있다. 요청되지 않은 움직임들은, 예를 들어, 바람 또는 교통에 의해 야기되거나 또는 카메라의 충분하지 않은 고정에 의해 초래된 진동들일 수 있다.
카메라의 움직임이 계획되면, 움직임에 대한 준비에서 하나 이상의 전처리 절차들의 수정들이 가능하다. 예를 들어, 일시적 노이즈 필터링은 수정될 수 있어, 필터링은 점차적으로 더 강화될 수 있고, 이후, 움직임이 끝날 때까지 증가된 레벨로 유지될 수 있다. 증가된 노이즈 필터링은 전처리된 이미지에서 세부 사항들의 손실을 초래할 수 있지만, 다시, 카메라의 움직임 동안, 이미지들의 유용성들에 대해서는 중요하지 않을 것이다. 필터링은 시간적으로 그리고 공간적으로 행해질 수 있다. 이러한 2가지 타입들 중 하나 또는 둘 모두는 사용될 수 있고, 그리고 이것들 사이의 밸런스는 움직임 동안 수정될 수 있어, 이미지 센서가 고정일 때 시간적 필터링 만 행해지거나 시간적 및 공간적 필터링 둘 다 행해지고, 이미지 센서가 움직일 때 공간적 필터링 만 행해지거나 시간적 및 공간적 필터링 둘 다 행해진다.
계획된 움직임의 준비에서, 인코딩은 또한 수정될 수 있다. 카메라가 움직이는 것으로 알려져 있으면, 이미지들에서 명확한 움직임이 존재하여, 더 큰 인터-프레임들을 초래함을 명확하게 알 수 있다. 움직임이 시작되면, 그 결과, 인트라 프레임이 강제될 수 있고, 그 결과 후속 인터-프레임들에 대한 더 양호한 참조를 제공한다.
도 5를 참조하면, 방법은 이제 더 일반적인 용어들로 서술될 것이다. 제1 디지털 이미지는 수신되고(단계 S01) 그리고 제1 이미지를 캡처할 때 이미지 센서의 움직임을 나타내는 정보가 수신된다(단계 S02). 제1 디지털 이미지는 전처리된다(단계 S03). 움직임을 나타내는 정보에 기초하여, 전처리의 하나 이상의 파라미터들이 수정되는지 된다면 어떻게 수정되는지가 결정된다(단계 S04). 예를 들어, 상기 움직임은 미리결정된 임계치와 비교될 수 있고, 그리고 움직임이 상기 임계치 위이면, 하나 이상의 전처리 절차들은 디스에이블되거나, 인에이블되거나 또는 다르게 수정된다.
전처리는 이전의 이미지에 대해 수신된 움직임을 나타내는 정보에 기초하여 수정될 수 있어, 이미지 센서의 움직임은 후속적으로 캡처된 이미지들의 전처리들에만 영향을 미칠 것이다. 일부 전처리 절차들에 대해, 파라미터들은 즉시 수정될 수 있어, 상기 이미지 센서의 움직임은, 수신된 이미지 센서의 움직임을 나타내는 정보에 대한 이미지의 전처리에 영향을 미칠 것이고 그리고 또한 가능한 후속적으로 캡처된 이미지들에 영향을 미칠 것이다.
전처리(S03) 이후에, 제1 이미지는 인코딩(단계 S05)되어, 전송될 수 있고 그리고/또는 저장될 수 있다.
도 6에서, 디지털 이미지 전처리 시스템(20)의 일 실시예가 도시된다. 시스템(20)는, 이미지 수신 모듈(21) 및 움직임 정보 수신 모듈(22)을 갖고, 상기 이미지 수신 모듈(21)은 입력 이미지들을 수신하도록 구성되고 그리고 상기 움직임 정보 수신 모듈(22)은 입력 이미지들을 캡처할 때 이미지 센서의 움직임을 나타내는 정보를 수신하도록 구성된다. 또한, 시스템(20)은 입력 이미지들을 전처리하기 위해 구성된 전처리 모듈(23)을 갖는다. 전처리의 적어도 하나의 파라미터는 이미지 센서의 움직임을 나타내는 정보에 의존한다. 전처리 이후, 상기 이미지들은 인코더에 의해 인코딩될 수 있다(도시되지 않음). 상기 인코더는 전처리 시스템(20)에 포함될 수 있거나 또는 전처리 시스템(20)으로부터 분리될 수 있다. 전처리 시스템(20)은 카메라, 예를 들어, 도 7에서 개략적으로 도시된 카메라(102)에 포함될 수 있다. 도 7에서, 도 3에서 도시된 카메라(2)와 동일한 카메라(102)의 컴포넌트들이 동일한 참조 번호들로 표시(100이 더해짐)되기에, 여기서 더 이상 논의되지 않을 것이다.
대안으로, 전처리 시스템(20)은, 카메라, 예를 들어, 도 3의 카메라(2)에 동작적으로 접속되는 개별 유닛이 될 수 있다.
상기 전처리 시스템은, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
통상의 기술자는 많은 방식들로 상기의 서술된 실시예들을 수정할 수 있고 그리고 상기의 실시예들에서 도시된 발명의 장점들을 여전히 사용할 수 있다. 일 예로서, 한 쌍의 전처리 절차들이 언급되었지만, 본 발명은 디지털 이미지를 인코딩하기 위한 준비에 적용되는 다른 전처리 절차들, 예를 들어, 콘트라스트 추가, 컬러 보정, 베이어 패턴 샘플링, 디모자이킹 또는 이득 제어에 동일하게 적용될 수 있다. 노이즈를 추가하도록 의도되는 전처리 절차들은 출력 비트레이트 낮추기 위해 감소될 수 있거나 또는 디스에이블될 수 있음을 이해할 수 있는 반면에, 노이즈를 감소시키도록 의도되는 전처리 절차들은 동일한 목적으로 인에이블되거나 증가될 수 있다.
도 3과 관련하여, PZT 제어기는, 패닝 및 틸팅에 대한 하나의 제어기 및 주밍을 위한 하나의 제어기로서 서술된다. 하지만, PZT 제어기는, 패닝, 틸팅 및 주밍 각각에 대한 개별적인 제어기들로 구성될 수 있거나 또는 패닝, 틸팅 및 주밍에 대해 하나의 공통의 제어기로 구성될 수 있다.
이미지 센서의 움직임이 비교되는 미리결정된 임계치는, 사전에 프로그래밍될 수 있거나 사용자 입력에 의해 설정될 수 있다.
단지 하나의 임계치를 사용하는 대신에, 복수의 임계치들이 사용될 수 있다. 예를 들어, 움직임이 첫번째의 낮은 임계치 위에 있으면, 하나 이상의 전처리 절차들은 감소될 수 있고 그리고 움직임이 두번째의 더 높은 임계치 위에 있으면, 이러한 전처리 절차들은 디스에이블될 수 있다. 전처리의 파라미터는, 예를 들어, 선형 함수로서 움직임에 의존할 수 있다. 따라서, 움직임이 증가할수록, 상기 파라미터는 점차적으로 감소될 수 있다. 일 예로서, 상기 카메라가 느리게 패닝 또는 틸팅하고 있으면, 선명도는 약하게 감소될 수 있으며, 그리고 상기 카메라가 더 빠르게 움직이고 있으면, 상기 선명도는 더 심하게 감소될 수 있거나 또는 심지어 디스에이블될 수 있어, 그 결과 상기 선명도는 움직임 레벨에 의존한다.
상기 전처리 시스템은, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
상기 전처리 시스템의 전처리 모듈은, 상기 이미지들에 적용되는 모든 전처리 절차들을 수용하도록 구성될 수 있다. 대안으로, 상기 전처리 모듈은 독립적이거나 통합된 다수의 서브모듈들로 분할될 수 있고, 각 서브모듈은 단지 하나 또는 몇 개의 전처리 절차들을 수행한다.
상기의 예들에서, 본 발명은 카메라와 관련되어 서술된다. 상기 카메라는 모니터링 카메라일 수 있다. 상기 카메라는, 어떤 타입의 카메라, 예를 들어, 가시 광선을 이용하는 카메라, IR 카메라 또는 열 카메라일 수 있다. 상기 카메라는 디지털 카메라일 수 있지만, 본 발명은 또한 아날로그 카메라들로 사용될 수 있다. 그와 같은 경우에서, 아날로그 카메라부터의 이미지들은 디지털화 유닛을 사용하여 디지털 포맷으로 변환될 수 있다.
카메라 대신에, 상기 이미지 프레임들을 캡처하는 상기 이미지 센서는 다른 타입의 이미지 캡처 디바이스로 구성될 수 있다.
상기 이미지들은, 또한, 가시광선 센서, 열 센서, TOF(time-of-flight) 센서 또는 다른 타입들의 이미지 발생 센서들에 의해 발생될 수 있다.
따라서, 본 발명은 도시된 실시예들로 제한되지 않고 단지 첨부된 청구범위들에 의해 정의된다.

Claims (15)

  1. 인코딩을 위해 이미지 센서(6; 106)에 의해 캡처되는 디지털 이미지들을 전처리(pre-processing)하는 방법으로서,
    제1 디지털 이미지를 수신하는 단계(S01)와;
    상기 제1 디지털 이미지를 캡처할 때 상기 이미지 센서의 움직임을 나타내는 정보를 수신하는 단계(S02)와; 그리고
    상기 제1 디지털 이미지를 전처리하는 단계(S03)를 포함하고,
    상기 전처리의 적어도 하나의 파라미터는, 움직임을 나타내는 상기 정보에 의존하는(S04) 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  2. 제1항에 있어서,
    상기 이미지 센서의 상기 움직임이 미리 결정된 임계치 위이면, 상기 전처리 단계(S03)의 상기 적어도 하나의 파라미터는 수정되어(S04), 상기 제1 디지털 이미지는, 상기 움직임이 상기 임계치와 같거나 또는 아래인 것보다 상기 전처리에 의해 더 적게 처리되는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  3. 제2항에 있어서,
    상기 전처리의 상기 적어도 하나의 파라미터는 수정되어(S04), 적어도 하나의 전처리 절차는 디스에이블되는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 적어도 하나의 파라미터가 수정되어(S04), 적어도 하나의 전처리 절차는 상기 제1 디지털 이미지를 많이 또는 적게 처리하는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  5. 제1항에 있어서,
    상기 전처리의 상기 적어도 하나의 파라미터는 수정되어(S04), 디스에이블되지 않는 적어도 하나의 전처리가 인에이블되는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  6. 제1항에 있어서,
    상기 전처리 단계(S03)는, 선명화(sharpening), 콘트라스트 추가, 톤 맵핑(tone mapping), 컬러 정정, 노이즈 필터링(noise filtering), 블러링(blurring), 베이어 패턴 샘플링(Bayer pattern sampling), 디모자이킹(demosaicing), HDR 융합(merging), 포커스 제어, 노출 제어 및 이득 제어로 구성된 그룹으로부터 선택되는 적어도 하나의 전처리 절차를 수행하는 단계를 포함하는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  7. 제1항에 있어서,
    상기 이미지 센서(6; 106)의 움직임을 나타내는 상기 정보는, 상기 이미지 센서(6; 106)의 움직임을 제어하는 움직임을 제어하는 팬, 틸트 및/또는 줌 제어기(7, 8; 107, 108)에 의해 제공되는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  8. 제1항에 있어서,
    상기 이미지 센서의 움직임을 나타내는 상기 정보는, 모션 센서(9; 109)에 의해 제공되는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  9. 제1항에 있어서,
    상기 적어도 하나의 파라미터는, 상기 이미지 센서(6; 106)의 계획된 움직임을 위한 대비로 점차적으로 수정(S04)되는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  10. 제1항에 있어서,
    상기 이미지 센서(6; 106)의 계획된 움직임을 위한 대비로 인트라-프레임(intra-frame)으로서 상기 제1 디지털 이미지를 인코딩(S05)하는 단계를 더 포함하는 것을 특징으로 하는
    디지털 이미지들을 전처리하는 방법.
  11. 인코딩을 위해 이미지 센서(6; 106)에 의해 캡처되는 입력 이미지들을 전처리하는 디지털 이미지 전처리 시스템으로서, 상기 시스템(20)은:
    입력 이미지들을 수신하도록 구성된 이미지 수신 모듈(21)과;
    상기 입력 이미지들을 캡처할 때 상기 이미지 센서의 움직임을 나타내는 정보를 수신하도록 구성된 움직임 정보 수신 모듈(22)과; 그리고
    인코딩 이전에 상기 입력 이미지들을 전처리하도록 구성된 전처리 모듈(23)을 포함하고,
    상기 전처리의 적어도 하나의 파라미터는 움직임을 나타내는 상기 정보에 의존하는 것을 특징으로 하는
    디지털 이미지 전처리 시스템.
  12. 제11항에 있어서,
    상기 전처리 모듈(23)은, 선명화, 콘트라스트 추가, 톤 맵핑, 컬러 정정, 노이즈 필터링, 블러링, 베이어 패턴 샘플링, 디모자이킹, HDR 융합, 포커스 제어, 노출 제어 및 이득 제어로 구성된 그룹으로부터 선택되는 적어도 하나의 전처리 절차를 수행하도록 구성된 것을 특징으로 하는
    디지털 이미지 전처리 시스템.
  13. 제11항 또는 제12항에 있어서,
    움직임 정보 수신 모듈(22)은, 상기 이미지 센서(6; 106)의 움직임을 제어하는 팬, 틸트 및/또는 줌 제어기(7, 8; 107; 108)에 그리고/또는 모션 센서(9; 109)에 통신가능하게 접속되는 것을 특징으로 하는
    디지털 이미지 전처리 시스템.
  14. 제11항에 따른 전처리 시스템을 포함하는 카메라.
  15. 프로세서에 의해 실행될 때 제1항에 따른 상기 방법을 수행하도록 되어 있는 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품.
KR1020160106315A 2015-08-27 2016-08-22 디지털 이미지들을 전처리하는 방법 및 디지털 이미지 전처리 시스템 KR102192063B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15182692.2A EP3136726B1 (en) 2015-08-27 2015-08-27 Pre-processing of digital images
EP15182692.2 2015-08-27

Publications (2)

Publication Number Publication Date
KR20170026167A true KR20170026167A (ko) 2017-03-08
KR102192063B1 KR102192063B1 (ko) 2020-12-16

Family

ID=54150220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160106315A KR102192063B1 (ko) 2015-08-27 2016-08-22 디지털 이미지들을 전처리하는 방법 및 디지털 이미지 전처리 시스템

Country Status (6)

Country Link
US (1) US10110929B2 (ko)
EP (1) EP3136726B1 (ko)
JP (1) JP6751319B2 (ko)
KR (1) KR102192063B1 (ko)
CN (1) CN106488117B (ko)
TW (1) TWI689203B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210119672A (ko) * 2020-03-25 2021-10-06 한국전자통신연구원 객체 검출 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3001480C (en) * 2015-10-16 2019-06-18 Tribune Broadcasting Company, Llc Video-production system with dve feature
CN107016687A (zh) * 2017-03-25 2017-08-04 平顶山学院 视频运动目标检测和跟踪的混合算法
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
EP3503548B1 (en) * 2017-12-19 2019-10-23 Axis AB Video encoding method and system
EP3579553B1 (en) 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
US11050938B2 (en) * 2019-07-03 2021-06-29 Gopro, Inc. Apparatus and methods for pre-processing and stabilization of captured image data
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0520741A1 (en) * 1991-06-24 1992-12-30 Canon Kabushiki Kaisha Image compression associated with camera shake correction
JPH11112844A (ja) * 1997-09-30 1999-04-23 Canon Inc 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JPH11317950A (ja) * 1998-04-30 1999-11-16 Sony Corp データ符号化装置、データ符号化方法及びデータ伝送方法
JP2002354461A (ja) * 2001-05-23 2002-12-06 Matsushita Electric Ind Co Ltd 画像サーバとこれを用いた画像サーバシステム、及び画像データ転送方法
EP1679884A1 (en) * 2004-12-28 2006-07-12 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using the same
JP2013031038A (ja) * 2011-07-29 2013-02-07 Brother Ind Ltd 通信装置、映像取得方法、及び映像取得プログラム
WO2013090097A1 (en) * 2011-12-15 2013-06-20 Apple Inc. Motion sensor based virtual tripod method for video stabilization
US20130342714A1 (en) * 2012-06-22 2013-12-26 Apple Inc. Automated tripod detection and handling in video stabilization

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2223643B (en) 1988-10-05 1993-04-07 Marconi Gec Ltd Data processing apparatus
JPH08297738A (ja) * 1995-04-26 1996-11-12 Hitachi Ltd 撮像装置および画像入力装置
JPH10136309A (ja) * 1996-11-01 1998-05-22 Canon Inc 画像圧縮／蓄積装置
US7505673B2 (en) * 2003-09-30 2009-03-17 At&T Intellectual Property I, L.P. Video recorder for detection of occurrences
JP4112502B2 (ja) * 2004-01-09 2008-07-02 富士フイルム株式会社 画像生成装置および方法、画像配信装置、メール中継装置並びにプログラム
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
JP4179279B2 (ja) * 2004-12-28 2008-11-12 セイコーエプソン株式会社 撮像装置並びにこれを備えた携帯機器及び携帯電話機
JP2006191185A (ja) * 2004-12-28 2006-07-20 Toshiba Corp 撮像装置
US9479794B2 (en) * 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
JP4781200B2 (ja) * 2006-08-10 2011-09-28 キヤノン株式会社 デジタルカメラ、デジタルカメラの制御方法、プログラム、記憶媒体、画像処理装置
US7956899B2 (en) * 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP5191224B2 (ja) * 2007-12-07 2013-05-08 イーストマン コダック カンパニー 画像処理装置
JP4613990B2 (ja) * 2008-07-31 2011-01-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
WO2010109900A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置
JP5625543B2 (ja) * 2010-06-28 2014-11-19 ソニー株式会社 符号化装置、電子機器、撮像装置、および撮像システム
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
EP2764686B1 (en) 2011-10-07 2019-10-02 Flir Systems, Inc. Smart surveillance camera systems and methods
US9113026B2 (en) * 2013-02-28 2015-08-18 Raytheon Company Method and apparatus for gain and level correction of multi-tap CCD cameras
TW201503678A (zh) 2013-07-05 2015-01-16 Shao-Yang Wang 顯示裝置醫療級校正系統及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0520741A1 (en) * 1991-06-24 1992-12-30 Canon Kabushiki Kaisha Image compression associated with camera shake correction
JPH11112844A (ja) * 1997-09-30 1999-04-23 Canon Inc 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JPH11317950A (ja) * 1998-04-30 1999-11-16 Sony Corp データ符号化装置、データ符号化方法及びデータ伝送方法
JP2002354461A (ja) * 2001-05-23 2002-12-06 Matsushita Electric Ind Co Ltd 画像サーバとこれを用いた画像サーバシステム、及び画像データ転送方法
EP1679884A1 (en) * 2004-12-28 2006-07-12 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using the same
JP2013031038A (ja) * 2011-07-29 2013-02-07 Brother Ind Ltd 通信装置、映像取得方法、及び映像取得プログラム
WO2013090097A1 (en) * 2011-12-15 2013-06-20 Apple Inc. Motion sensor based virtual tripod method for video stabilization
US20130342714A1 (en) * 2012-06-22 2013-12-26 Apple Inc. Automated tripod detection and handling in video stabilization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210119672A (ko) * 2020-03-25 2021-10-06 한국전자통신연구원 객체 검출 방법 및 장치

Also Published As

Publication number Publication date
JP2017098934A (ja) 2017-06-01
EP3136726B1 (en) 2018-03-07
US10110929B2 (en) 2018-10-23
CN106488117B (zh) 2019-11-12
CN106488117A (zh) 2017-03-08
TWI689203B (zh) 2020-03-21
EP3136726A1 (en) 2017-03-01
JP6751319B2 (ja) 2020-09-02
TW201724841A (zh) 2017-07-01
US20170064338A1 (en) 2017-03-02
KR102192063B1 (ko) 2020-12-16

Similar Documents

Publication Publication Date Title
KR102192063B1 (ko) 디지털 이미지들을 전처리하는 방법 및 디지털 이미지 전처리 시스템
JP6911202B2 (ja) 撮像制御方法および撮像装置
JP3870124B2 (ja) 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US9092861B2 (en) Using motion information to assist in image processing
CN104980652B (zh) 图像处理设备和图像处理方法
JP4211838B2 (ja) 撮像装置および画像処理方法
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
CN109672819B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US9854167B2 (en) Signal processing device and moving image capturing device
KR101367637B1 (ko) 감시장치
US8493499B2 (en) Compression-quality driven image acquisition and processing system
CN108322650B (zh) 视频拍摄方法和装置、电子设备、计算机可读存储介质
US9253411B2 (en) Image processing apparatus, image processing method and image communication system
CN108605102B (zh) 一种改进图像质量的方法和热成像装置
KR20150045877A (ko) 영상 처리 장치 및 영상 처리 방법
EP3182704B1 (en) A bit rate controller and a method for limiting output bit rate
CN110351508B (zh) 基于录像模式的防抖处理方法和装置、电子设备
US8472743B2 (en) Method for estimating of direction of motion blur in an image
JP2012134745A (ja) 画像信号処理装置
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
EP2495972A1 (en) Monitoring device and method for monitoring a location
JP2007266787A (ja) 雑音過大画素可用化処理を備えた撮像装置
JP2021034852A (ja) カメラ装置
JP2019075621A (ja) 撮像装置、撮像装置の制御方法
CN117527990A (zh) 图像处理方法、装置及图像处理设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant