KR20160135662A - 영상 안정화된 비디오를 생성하기 위한 방법 및 카메라 - Google Patents

영상 안정화된 비디오를 생성하기 위한 방법 및 카메라 Download PDF

Info

Publication number
KR20160135662A
KR20160135662A KR1020160058981A KR20160058981A KR20160135662A KR 20160135662 A KR20160135662 A KR 20160135662A KR 1020160058981 A KR1020160058981 A KR 1020160058981A KR 20160058981 A KR20160058981 A KR 20160058981A KR 20160135662 A KR20160135662 A KR 20160135662A
Authority
KR
South Korea
Prior art keywords
video
vignetting
image frame
digital image
image
Prior art date
Application number
KR1020160058981A
Other languages
English (en)
Other versions
KR101755608B1 (ko
Inventor
비외른 아르되
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20160135662A publication Critical patent/KR20160135662A/ko
Application granted granted Critical
Publication of KR101755608B1 publication Critical patent/KR101755608B1/ko

Links

Images

Classifications

    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N5/23229—
    • H04N5/23254—
    • H04N5/2329—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 안정화된 비디오를 가능하게 하기 위한 방법에 관한 것이다. 이러한 방법은, 비디오 카메라에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터를 제공하는 것; 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값을 결정하는 것; 전위 값에 근거하여, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역을 결정하는 것; 적어도 영상 안정화된 비디오에서 디스플레이될 영역에 대응하는 디지털 영상 프레임의 픽셀들에 관해 비네팅 제거 프로세스를 적용하는 것(여기서, 상기 적용하는 것은 비네팅 영향을 정의하는 데이터에 근거하고 있음); 그리고 비네팅 영향을 정의하는 데이터, 그리고 전위 값에 근거하여, 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 비네팅을 재도입하는 것을 포함한다.

Description

영상 안정화된 비디오를 생성하기 위한 방법 및 카메라{METHOD AND CAMERA FOR PRODUCING AN IMAGE STABILIZED VIDEO}
본 발명은 영상 안정화된 비디오(image stabilized video)의 생성에 관한 것이다.
비디오 카메라(video camera)들에 의해 촬영되는 비디오들은 카메라 흔들림(camera shake)으로서 알려진 문제점으로 인해 나쁜 영향을 받을 수 있다. 예를 들어, 임의의 영역에서 장착되는 비디오 카메라, 예컨대, 임의의 영역을 모니터링(monitoring)하기 위한 비디오 카메라는, 그 영역으로 들어오거나 그 영역으로부터 나오는 차량들(예컨대, 비행기들, 기차들, 트럭들 등), 바람, 건설 작업 등과 같은 변이(shifting)를 일으키는 환경적 인자들로 인해 때때로 흔들림 혹은 진동을 겪을 수 있다. 이러한 흔들림 혹은 진동은 비디오 카메라의 움직임을 유발시킬 것이고, 이로 인해 임의의 촬영되는 비디오는 흔들리게 된다.
카메라 흔들림의 영향을 감소시키는 영상 안정화를 위한 종래 기술의 시스템들은 비디오 카메라에 의해 촬영된 비디오를 디스플레이(display)하기 전에 그 촬영된 비디오를 전자적으로 조작하는 것을 종종 포함한다. 이렇게 함으로써, 뷰어(viewer)에게는 비디오 카메라의 유발된 움직임에도 불구하고 비디오의 안정된 뷰(view)가 제시된다.
사진(photograph) 혹은 그림(drawing)의 가장자리가 종이(paper) 둘레로 가면서 점진적으로 흐려지는 것을 비네트(vignette)라고 부른다. 이러한 것을 의도적으로 생성하는 기법이 존재한다. 하지만, 비네팅(vignetting)이라는 표현은 사진의 영상 혹은 영상들의 스트림(stream), 즉 비디오에서 영상의 모서리들이 의도치않게 어두워지는 현상을 나타내기 위해서 또한 사용된다. 의도하지 않았고 바람직하지 않은 이러한 비네팅은 렌즈, 조리개, 및/또는 영상 센서 한계에 의해 일어나는 결과이다.
영상 안정화가 수행된 비디오들에 있어서, 비네팅은 거슬리는 것이 될 수 있다. 왜냐하면 비디오의 영상 프레임(image frame)들은 비디오의 보이는 모습이 안정적이도록 상이한 영상 프레임들에 대해 서로 다르게 변이(shifting) 및/또는 크롭핑(cropping)될 것이기 때문이다. 따라서, 영상 안정화를 수행한 이후, 흔들림으로 인한 비네팅의 영향이 비디오에 존재할 것이다. 비네팅 제거 알고리즘들은 손쉽게 이용가능하다. 그러나, 만약 비네팅의 영향이 크다면, 이것을 제거하는 것은 그 영향을 받는 영역들에서 노이즈(noise)를 크게 증폭시킬 것이다.
앞서의 상황을 고려하여 볼 때, 본 발명의 목적은 영상 안정화된 비디오에서 일어나는 비네팅의 거슬림을 제거하기 위한 방법을 제공하는 것이다. 더욱이, 본 발명의 목적은 영상에서 노이즈를 증폭시킴 없이 영상 안정화된 비디오에서 거슬림을 일으키는 비네팅 영향을 제거하기 위한 방법을 제공하는 것이다.
제 1 실시형태에 따르면, 영상 안정화된 비디오를 가능하게 하기 위한 방법이 제공된다. 이러한 방법은, 비디오 카메라에 의해 촬영된 디지털 영상 프레임(digital image frame)들에 대한 비네팅 영향(vignetting effect)을 정의하는 데이터를 제공하는 단계와; 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값(dislocation value)을 결정하는 단계와; 전위 값에 근거하여, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역을 결정하는 단계와; 적어도 영상 안정화된 비디오에서 디스플레이될 영역에 대응하는 디지털 영상 프레임의 픽셀(pixel)들에 관해 비네팅 제거 프로세스(vignetting removal process)를 적용하는 단계와(여기서, 상기 적용하는 단계는 비네팅 영향을 정의하는 데이터에 근거하고 있음); 그리고 비네팅 영향을 정의하는 데이터, 그리고 전위 값에 근거하여, 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 비네팅을 재도입(reintroducing)하는 단계를 포함한다.
앞에서 논의된 것에 따른 비네팅의 제거 및 재도입은, 상이한 영상 안정화된 디지털 영상 프레임들에서의 서로 다른 비네팅으로 인한 영상 안정화된 비디오에서의 플리커링(flickering)이 제거되는 효과, 그리고 이와 동시에 노이즈의 증폭이 최소화되는 효과를 가질 것이다.
앞서의 비네팅 제거 프로세스를 적용하는 단계 및 비네팅을 재도입하는 단계는 공통 영상 프로세싱 단계(common image processing step)에서 수행될 수 있다. 이것은 필요한 프로세서 전력을 절약할 것이며 프로세스가 더 빨라지게 할 것이다.
본 방법은 또한, 전위 값에 근거하여 디지털 영상 프레임을 크롭핑하여 크롭핑된 영상 프레임(cropped image frame)을 형성하는 단계를 더 포함할 수 있고, 여기서 크롭핑된 영상 프레임은 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 대응하는 것이다.
앞서의 적용하는 단계는 크롭핑된 영상 프레임의 픽셀들에 관해 비네팅 제거 프로세스를 적용하는 것을 포함할 수 있고, 여기서 적용하는 것은 비네팅 영향을 정의하는 데이터에 근거하고 있다. 앞서의 재도입하는 단계는 비네팅 영향을 정의하는 데이터, 그리고/또는 전위 값에 근거하여, 크롭핑된 영상 프레임의 비네팅을 재도입하는 것을 포함할 수 있다.
앞서의 비네팅 영향을 정의하는 데이터를 제공하는 단계는 카메라의 영상 센서의 상이한 픽셀들이 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 테이블(table)을 제공하는 것을 포함할 수 있다.
앞서의 테이블은 카메라의 영상 센서의 모든 픽셀들이 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 데이터를 포함할 수 있다.
앞서의 테이블은 단지 카메라의 영상 센서의 픽셀들의 서브세트(subset)만이 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 데이터를 포함할 수 있다.
디지털 영상 프레임을 촬영하기 위해 롤링 셔터(rolling shutter)를 사용하는 경우, 앞서의 전위 값을 결정하는 단계는 센서 영상 프레임의 적어도 두 개의 서로 다른 행(row)들에 대한 상이한 전위 값들을 결정하는 것을 포함할 수 있다.
디지털 영상 프레임을 촬영하기 위해 글로벌 셔터(global shutter)를 사용하는 경우, 앞서의 전위 값을 결정하는 단계는 센서 영상 프레임에 대한 단일 전위 값을 결정하는 것을 포함할 수 있다.
제 2 실시형태에 따르면, 프로세싱 능력(processing capabilities)을 갖는 디바이스 상에서 실행될 때 앞서의 방법을 구현하기 위한 프로그램이 기록되어 있는 비일시적 컴퓨터-판독가능 기록 매체가 제공된다.
제 3 실시형태에 따르면, 비디오 카메라에 의해 촬영된 디지털 영상 프레임들을 포함하고 있는 영상 안정화된 비디오를 생성하도록 구성되어 있는 영상 프로세싱 디바이스가 제공된다. 이러한 영상 프로세싱 디바이스는, 비디오 카메라에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터를 포함하고 있는 메모리(memory)와; 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값을 결정하도록 구성되어 있는 전위 값 결정 모듈(dislocation value determining module)과; 전위 값에 근거하여, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역을 결정하도록 구성되어 있는 영상 변이 모듈(image shift module)과; 비네팅 영향을 정의하는 데이터에 근거하여, 적어도 영상 안정화된 비디오에서 디스플레이될 영역에 대응하는 디지털 영상 프레임의 픽셀들로부터 비네팅을 제거하도록 구성되어 있는 비네팅 제거 모듈(vignetting removal module)과; 비네팅 영향을 정의하는 데이터, 그리고 전위 값에 근거하여, 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 비네팅을 재도입하도록 구성되어 있는 비네팅 재도입 모듈(vignetting reintroducing module)과; 그리고 연속적인 디지털 영상 프레임들을 영상 안정화된 비디오에 추가하도록 구성되어 있는 비디오 모듈(video module)을 포함한다.
앞서의 디바이스는 또한, 전위 값에 근거하여 디지털 영상 프레임을 크롭핑하여 크롭핑된 영상 프레임을 형성하도록 구성되어 있는 크롭핑 모듈(cropping module)을 포함할 수 있으며, 여기서 크롭핑된 영상 프레임은 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 대응한다.
앞서의 디바이스는 비디오 카메라일 수 있고, 여기서 비디오 카메라는 비디오 카메라의 움직임을 감지하도록 구성되어 있는 동작인식 센서(motion sensor)를 포함하며, 앞서의 전위 값 결정 모듈은, 비디오 카메라의 감지된 움직임에 근거하여, 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값을 결정하도록 구성되어 있다.
영상 안정화된 비디오를 가능하게 하기 위한 방법의 앞서 언급된 특징들은, 적용가능한 경우, 제 2 실시형태 및 제 3 실시형태에 또한 적용된다. 과다한 반복적 설명을 피하기 위해, 이에 대해서는 앞서의 설명을 참조하기 바란다.
본 발명의 추가 적용가능 범위는 아래에서 제시되는 상세한 설명으로부터 명백하게 될 것이다. 그러나, 본 발명의 바람직한 실시예들을 기재하고 있는 이러한 상세한 설명 및 특정 예들은 오로지 예시적으로 제공되는 것임을 이해해야 한다(왜냐하면, 본 발명의 범위 내에서 다양한 변경 및 수정이 가능함이 이러한 상세한 설명으로부터 본 발명의 기술분야에서 숙련된 자들에게는 명백하게 될 것이기 때문).
따라서, 본 발명이 본 명세서에서 설명되는 디바이스의 특정 구성 요소들 혹은 그 설명되는 방법들의 단계들로만 한정되는 것이 아님을 이해해야 한다(왜냐하면 이러한 디바이스 및 방법은 여러 형태로 존재할 수 있기 때문). 본 명세서에서 사용되는 용어는 오로지 특정 실시예들을 설명할 목적만을 가지고 있는 것이며 본 발명을 한정할 의도를 갖고 있지 않음을 또한 이해해야 한다. 본 명세서 및 첨부되는 청구범위에서 사용되는 바와 같이, 단수적 표현들은 문맥이 분명하게 달리 지시하고 있지 않다면 해당 요소들 중 하나 이상의 요소가 존재함을 의미하도록 의도된 것임을 유의해야만 한다. 따라서, 예컨대, "임의의 유닛" 혹은 "상기 유닛" 등과 같은 기재는 수 개의 유닛들을 포함할 수 있음을 나타낸다. 더욱이, "포함하는", "포함하고 있는", "함유하는"과 같은 용어 및 유사한 용어는 다른 요소들 혹은 단계들을 배제하는 것이 아니다.
본 발명의 앞서의 실시형태들 및 다른 실시형태들이 이제 본 발명의 실시예들을 보여주는 첨부 도면들을 참조하여 더 상세히 설명될 것이다. 이러한 도면들이 본 발명을 이와 같은 특정 실시예로만 한정시키는 것으로 고려돼서는 안 되며, 그 대신, 본 도면들은 본 발명의 설명 및 이해를 위해 사용되는 것이다.
도면들에서 예시되는 바와 같은, 계층들 및 영역들의 크기는 예시적 목적으로 과장되어 있으며, 이에 따라 본 발명의 실시예들의 전반적인 구조를 예시하도록 제공되는 것이다. 도면 전체에 걸쳐 유사한 도면 번호들은 유사한 요소들을 나타낸다.
도 1은 영상 안정화 시스템의 실시예를 나타낸 블록도이다.
도 2는 영상 안정화를 나타낸 개념적 예시도이다.
도 3 및 도 4는 영상 안정화 동안 비네팅의 제거 및 재도입을 나타낸 개념적 예시도들이다.
도 5는 영상 안정화된 비디오를 가능하게 하기 위한 방법의 블록도이다.
도 6은 영상 안정화 시스템의 실시예를 나타낸 블록도이다.
본 발명의 바람직한 실시예들이 현재 제시되어 있는 첨부 도면들을 참조하여 본 발명이 이제 아래에서 더 완전히 설명될 것이다. 그러나, 본 발명은 다수의 상이한 형태들로 구현될 수 있는바, 본 명세서에서 설명되는 실시예들로만 한정되는 것으로 이해돼서는 안 되며, 이러한 실시예들은 본 발명의 범위를 숙련된 자에게 완전하게 전달하기 위해, 그리고 전체적으로 완벽함을 위해 제공된다.
본 발명의 기술분야에서 숙련된 자에 의해 이해될 수 있는 바와 같이, 본 발명의 실시형태들은 디바이스, 방법, 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 이에 따라, 본 발명의 실시형태들은 전체적으로 하드웨어 실시예의 형태를 취할 수 있거나, 혹은 전체적으로 소프트웨어 실시예(여기에는 펌웨어, 상주하는 소프트웨어, 마이크로-코드 등이 포함됨)의 형태를 취할 수 있거나, 혹은 소프트웨어와 하드웨어를 결합한 실시예의 형태를 취할 수 있다. 더욱이, 본 발명은 컴퓨터 판독가능 프로그램 코드가 수록되는 하나 이상의 컴퓨터 판독가능 매체(들)에 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
도 1은 영상 안정화 시스템(10)의 블록도이다. 영상 안정화 시스템(10)은 비디오 카메라(20), 영상 프로세싱 디바이스(30), 및 디스플레이(40)를 포함한다.
비디오 카메라(20)는 관심 있는 장면(scene)이 시계(field of view)(21) 내에 있도록 위치하고 있다. 비디오 카메라(20)는 해당 영역을 모니터링하도록 구성될 수 있다. 비디오 카메라(20)는 조정가능한 초점 렌즈 장치(adjustable focusing lens arrangement)(22)를 포함할 수 있다. 비디오 카메라(20)는 초점 렌즈 장치(22)의 초점 길이에 관한 정보를 지니고 있는 신호를 출력하도록 구성될 수 있다. 비디오 카메라(20)는 비디오 카메라의 전방에 있는 영역을 모니터링하기 위한 모니터링 카메라일 수 있다. 비디오 카메라(20)는 시계(21) 내에 있는 관심 있는 장면에 관해서 비디오 카메라(20)에 의해 촬영된 비디오를 나타내는 정보의 영상 프레임들을 발생시키도록 동작한다.
때때로 비디오 카메라(20)는, 해당 영역으로 들어오거나 해당 영역으로부터 나오는 차량들(예컨대, 비행기들, 기차들, 트럭들 등), 바람, 건설 작업 등과 같은 변이를 일으키는 환경적 인자들로 인해 흔들림 혹은 진동을 겪는다. 이러한 흔들림 혹은 진동은 비디오 카메라(20)의 움직임을 유발시킬 것이고, 이로 인해 비디오 카메라(20)에 의해 촬영되는 비디오는 흔들리게 된다.
비디오 카메라(20)는 또한 동작인식 센서(24)를 포함할 수 있다. 동작인식 센서(24)는 비디오 카메라(20)의 움직임을 감지하도록 구성된다. 동작인식 센서(24)는 비디오 카메라(20)의 움직임에 대응하는 신호를 출력하도록 구성된다.
동작인식 센서(24)로부터 출력되는 신호는 카메라 진동 진폭에 대응할 수 있다. 카메라의 흔들림 혹은 진동으로 인한 카메라의 움직임은 오실레이션(oscillation)하는 움직임에 대응할 수 있으며, 각각의 오실레이션은 오실레이션 진폭을 갖는다. 카메라 진동 진폭은 오실레이션 진폭들 중 하나 이상의 진폭의 크기일 수 있다. 카메라 진동 진폭은 예를 들어, 임의의 미리결정된 시구간 동안의 평균 오실레이션 진폭의 크기일 수 있거나, 임의의 미리결정된 시구간 동안의 최대 오실레이션 진폭의 크기일 수 있다.
더욱이, 카메라 진동 진폭은 여러 성분들로 분할될 수 있다. 따라서, 카메라 진동 진폭은 예를 들어, 카메라의 수평 움직임에 관한 하나의 성분, 그리고 카메라의 수직 움직임에 관한 하나의 성분을 가질 수 있다.
대안적으로 혹은 추가적으로, 동작인식 센서(24)로부터 출력되는 신호는 카메라의 방향의 순간 변화에 대응할 수 있다.
도 1과 연계되어 개시되는 실시예에 따르면, 비디오 카메라(20)는 디지털 비디오 카메라이다. 그러나, 아날로그 비디오 카메라도 역시 본 발명과 함께 사용될 수 있음을 이해해야 한다. 이러한 경우에, 영상 안정화 시스템은 아날로그 비디오 카메라를 포함하고, 아날로그 영상 프레임들이 아날로그 비디오 카메라로부터 아날로그 대 디지털 변환기(analog to digital converter)(미도시)로 전달되며, 아날로그 대 디지털 변환기는 아날로그 영상 프레임들의 디지털 표현들(digital representations)을 발생시키도록 동작한다.
비디오 카메라(20)에 의해 촬영된 디지털 영상 프레임들은 영상 프로세싱 디바이스(30)에 공급된다. 영상 프로세싱 디바이스(30)는, 메모리(31), 전위 값 결정 모듈(32), 영상 변이 모듈(33), 비네팅 제거 모듈(34), 비네팅 재도입 모듈(35), 비디오 모듈(36), 그리고 데이터 버스(37)를 포함한다. 영상 프로세싱 디바이스(30)는 또한, 크롭핑 모듈(38)을 포함할 수 있다. 영상 프로세싱 디바이스(30)의 모듈들(32, 33, 34, 35, 36, 38)은, 프로세싱 유닛에 의해 실행되는 소프트웨어 코드로서 구현될 수 있거나, 영상 프로세싱 디바이스(30) 내에서 구현되는 하드웨어로서 구현될 수 있거나, 혹은 이들의 조합으로 구현될 수 있다. 전위 값 결정 모듈(32), 영상 변이 모듈(33), 비네팅 제거 모듈(34), 비네팅 재도입 모듈(35), 비디오 모듈(36) 및/또는 크롭핑 모듈(38)은 메모리(31)에/로부터 데이터를 저장 및/또는 검색하도록 구성될 수 있다. 메모리(31), 전위 값 결정 모듈(32), 영상 변이 모듈(33), 비네팅 제거 모듈(34), 비네팅 재도입 모듈(35), 비디오 모듈(36) 및/또는 크롭핑 모듈(38)은 데이터 버스(37)를 통해 서로 통신하도록 구성된다.
영상 프로세싱 디바이스(30)는 비디오 카메라(20)로부터 신호들을 수신하도록 구성된다. 특히, 영상 프로세싱 디바이스(30)는 비디오 카메라(20)에 의해 발생되는 비디오의 디지털 영상 프레임들을 수신하도록 구성된다. 영상 프로세싱 디바이스(30)는 또한 동작인식 센서(24)로부터 출력되는 신호를 수신하도록 구성될 수 있다. 영상 프로세싱 디바이스(30)는 또한, 초점 렌즈 장치(22)의 초점 길이에 관한 정보를 지니고 있는 신호를 수신하도록 구성될 수 있다.
도 2의 (A)에서는, 영상 안정화가 수행되기 이전, 비디오 카메라 움직임에 의해 영향을 받은 비디오의 디지털 영상 프레임들의 예가 제시된다. 더 상세히 살펴보면, 사람(1)과 나무(2)의 장면을 묘사하고 있는 비디오의 복수의 포개어진 디지털 영상 프레임들이 제시된다. 비디오 카메라의 흔들림 혹은 진동은 비디오 카메라의 움직임을 유발시킨다. 비디오 카메라의 움직임으로 인해, 사람(1)과 나무(2)는 디스플레이되는 디지털 영상 프레임들 내에서 다양한 위치로 움직인다. 비디오 카메라의 상이한 위치에서 촬영된 장면의 비디오를 나타내는 디지털 영상 프레임들의 중첩은 장면의 시각적 정보를 모호하게 하는 결과를 가져온다. 따라서, 도 2의 (A)는 사람(1)과 나무(2)의 불안정한 비디오의 표현을 제시한다.
카메라의 움직임의 영향을 감소시키기 위해, 비디오 스트림의 디지털 영상 프레임들은 해당 비디오를 디스플레이하기 전에 전자적으로 조작된다. 전위 값 결정 모듈(32)은 비디오 카메라에 의해 촬영된 비디오를 구축하기 위해 사용되는 각각의 디지털 영상 프레임에 대한 전위 값을 결정하도록 동작한다. 사용되는 영상 판독 기법에 따라, 전위 및 이에 따른 디지털 영상 프레임의 전자적 조작 방법이 달라질 수 있다. 글로벌 셔터가 사용되는 경우, 즉 전체 디지털 영상 프레임이 동시에 판독되는 경우, 디지털 영상 프레임의 전체 콘텐츠는 비디오 카메라(20)의 움직을 보상하기 위해 변이된다. 롤링 셔터가 사용되는 경우, 즉 디지털 영상 프레임이 한번에 하나의 행 혹은 몇 개의 행들로 판독되는 경우에, 디지털 영상 프레임들에서의 각각의 행 혹은 몇 개의 행들은 개별적으로 변이되는데 왜냐하면 이들은 서로 다른 시점에 노출된 것이기 때문이다. 롤링 셔터가 사용되는 경우, 디지털 영상 프레임들에서의 각각의 행 혹은 몇 개의 행들은 또한 비디오 카메라(20)의 수직 움직임을 보상하기 위해 개별적으로 보간(interpolate)될 수 있다. 간결한 설명을 위해, 아래에서 개시되는 예들의 경우, 전자적 영상 안정화를 설명하기 위해 글로벌 셔터 판독이 사용되며, 하지만, 롤링 셔터 판독도 또한 동일한 결과를 달성하기 위해 사용될 수 있음을 이해해야 한다. 따라서, "전위 값"이라는 용어는 전체 디지털 영상 프레임의 전위로서 이해되거나 또는 디지털 영상 프레임의 하나의 행 혹은 몇 개의 행들의 전위로서 이해돼야 한다.
전위 값 결정 모듈(32)은 다양한 방식으로 동작할 수 있다. 일 실시예에 따르면, 전위 값 결정 모듈(32)은 비디오 카메라(20)의 영상 센서에 관해 대응하는 전위 값을 결정하기 위해서 초점 렌즈 장치(22)의 초점 길이에 관한 정보와 함께 동작인식 센서(24)로부터 출력되는 신호에 관한 정보를 사용하도록 구성된다. 대안적으로 혹은 추가적으로, 줌(zoom)의 레벨, 즉 시계가 또한 전위 값을 결정하기 위해 사용될 수 있다. 대안적으로, 영상 프레임들 간에 정지되어 있는 것으로 고려되는 비디오 스트림에 의해 표현되는 장면 내의 특징부들은 영상 프로세싱 기법들을 사용하여 추적될 수 있다. 이러한 영상 프로세싱 기법들은 본 발명의 기술분야에서 숙련된 자에게 잘 알려져 있는바 여기서 더 논의되지 않을 것이다. 전위 값 결정 모듈(32)은 또한, 그 결정된 전위 값을 영상 프로세싱 디바이스(30)의 다른 모듈들로 전달하도록 구성된다.
영상 변이 모듈(33)은 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역을 결정하도록 구성된다. 이러한 결정은 전위 값에 근거하여 행해진다. 이것은 카메라 움직임에 의해 유발된 전위를 보상하기 위해 행해진다. 따라서, 영상 변이 모듈(33)은 비디오 카메라(20)의 전방에 있는 장면을 표현하는 비디오 스트림의 안정된 뷰를 생성하도록 구성된다. 달리 말하면, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역을 결정하는 것은, 비디오 카메라(20)의 움직임을 보상하기 위해 그 결정된 전위 값들에 따라 각각의 영상 프레임에 임의의 변이를 적용함으로써 행해진다. 따라서, 뷰어에게는 비디오 카메라의 유발된 움직임에도 불구하고 비디오의 안정된 뷰(view)가 제시된다. 이에 따라, 뷰어에게는 비디오에 의해 표현되는 장면의 안정된 뷰가 디스플레이되어 제공될 수 있다.
크롭핑 모듈(33)은 전위 값에 근거하여 디지털 영상 프레임을 크롭핑하여 크롭핑된 영상 프레임을 형성하도록 구성된다. 크롭핑된 영상 프레임은 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 대응한다. 크롭핑은 본래의 디지털 영상 프레임의 일부 픽셀들을 제거하는 디지털 영상 프레임의 실제 크롭핑으로서 반드시 이해될 필요는 없다. 대신, 일부 실시예들에서, 크롭핑은 영상 안정화된 비디오에서 디스플레이되지 않게 되는 디지털 영상 프레임의 픽셀들을 은폐(hiding)하는 것으로 이해돼야 한다. 원치않는 픽셀들은 그 원치않는 픽셀들을 마스킹(masking out)하는 마스크(mask)를 적용함으로써 은폐될 수 있다. 그러나, 일부 실시예들에서, 크롭핑은 디지털 영상 프레임을 영상 안정화된 비디오의 일부로서 디스플레이하기 전에 본래의 디지털 영상 프레임의 일부 픽셀들을 제거하는 디지털 영상 프레임의 실제 크롭핑이다.
크롭핑 모듈(33)은 비디오 카메라(20)의 움직임을 보상하기 위해서 각각의 디지털 영상 프레임에 대해 그 결정된 전위 값에 따라 디지털 영상 프레임들을 크롭핑하도록 구성된다. 크롭핑 모듈(33)은 또한 척도 인자(scale factor)를 적용하도록 구성된다. 척도 인자는 영상들 간의 픽셀 카운트(pixel count)(픽셀 해상도(pixel resolution))가 보존되도록 구성될 수 있다. 예를 들어, 이것은 영상들이 상이한 크기의 영상들로 크롭핑된 경우 적용될 수 있다.
도 2의 (B)에서는 도 2의 (A)에서 제시되는 불안정한 비디오에 영상 안정화가 적용된 이후의 비디오의 표현이 제시된다. 도 2의 (B)에서는 각각의 디지털 영상 프레임에 대한 전위 값을 결정 및 적용한 이후의 비디오의 영상 프레임들이 디스플레이된다. 따라서, 도 2의 (B)는 앞에서 설명된 바에 따른 전자적 영상 안정화가 도 2의 (A)에서 제시되는 불안정한 비디오에 적용된 이후의 비디오의 표현이다. 도 2의 (B)에서, 이러한 안정화된 비디오는 현재 디스플레이 내에서 가운데에 위치하며 안정적이다. 따라서, 영상 안정화 시스템(10)은 사람(1)과 나무(2)가 디스플레이 내에서 안정적으로 보이게 각각의 영상 프레임을 변이시도록 동작한다. 그러나, 영상 안정화가 전체 영상 프레임들을 변이시키도록 동작함에 따라, 그 디스플레이되는 비디오의 일부는 어떠한 디스플레이되는 정보도 포함하지 않을 것이고 이에 따라 공백(blank)으로 보일 것이다. 더욱이, 도 2의 (B)에서 실선들(3, 4, 5, 6, 7)(이것은 디스플레이되는 영상 프레임들 개개에 대한 하나의 가장자리를 나타내고 있음)로 표시된 바와 같이, 영상 안정화 시스템이 장면의 안정된 비디오 스트림을 제시하도록 동작함에 따라 비디오의 가장자리들은 계속 움직이게 될 것이다. 따라서, 디스플레이되는 비디오 스트림의 주변 영역은 계속 움직이게 될 것이고, 이것은 뷰어에게 산만함(distracting)을 준다.
위와 같은 문제는 예를 들어, 크롭핑에 의해 해결될 수 있다. 도 2의 (C)에서는 도 2의 (B)의 디지털 영상들을 크롭핑한 이후의 비디오의 표현이 제시된다. 도 2의 (C)에서, 비디오 스트림의 크롭핑된 영상 프레임들은 서로 각각의 다른 프레임 위에 디스플레이된다. 따라서, 도 2의 (C)는 앞에서 설명된 바에 따른 영상 안정화 및 크롭핑이 도 2의 (A)에서 제시되는 불안정한 비디오에 적용된 이후의 비디오의 표현이다. 도 2의 (B)에서, 이러한 안정화된 비디오는 현재 디스플레이 내에서 가운데에 위치하며 안정적이다.
앞에서 언급된 바와 같이, 전자적 영상 안정화를 적용한 이후에, 비네팅이 존재하여 거슬리는 것이 될 수 있다. 더욱이, 비디오의 영상 프레임들 간에 변하는 비네팅이 존재하는 것은 비디오에 관해 수행된 동작 검출에 영향을 미칠 수 있다. 카메라의 움직임에 따라, 영상 프레임들은 비디오가 안정적이게 보이도록 하기 위해 서로 다르게 변이 및/또는 크롭핑될 것이다. 그러나, 이러한 것은 대신 비네팅이 움직이는 결과를 초래할 것이다.
이러한 문제에 대한 확실한 해법은 비네팅을 디지털방식으로 제거하는 것이다. 그러나 이것은 결과적으로 영상들의 가장자리 가까이에 더 많은 노이즈가 발생되게 할 것이다(왜냐하면, 비네팅의 제거로 인해 해당 영상에서의 노이즈는 증가할 것이기 때문).
본 발명에 따르면, 이러한 문제는 먼저 비네팅을 (영상 안정화 이전에 혹은 영상 안정화 이후에) 제거한 다음에 그 안정화된 영상에 다시 한번 균일한 비네팅을 재적용(reapply)함으로써 완화된다. 여기서 균일한 비네팅의 의미는 영상 안정화된 비디오에서 디스플레이될 후속 디지털 영상 프레임들의 영역들에 대해 비네팅이 실질적으로 유사함을 의미한다. 이것은 노이즈 부가를 최소화시키면서 그 움직이는 비네팅의 거슬림을 제거할 것이다. 또 하나의 다른 혜택은 카메라가 전혀 움직이지 않을 때 동작들은 서로 균등하게 될 것이고, 이것은 결과적으로 노이즈 부가가 전혀 일어나지 않게 한다.
따라서, 비네팅 제거 모듈(34)은 적어도 영상 안정화된 비디오에서 디스플레이될 영역에 대응하는 디지털 영상 프레임의 픽셀들로부터 비네팅을 제거하도록 구성된다. 이러한 제거는 비디오 카메라(20)에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터에 근거하고 있다. 비네팅을 제거하는 것은 본 발명의 기술분야에서 숙련된 자가 알고 있는 다양한 방식들로 행해질 수 있다. 그러나, 비네팅 제거 프로세스들에서 공통적인 것은 디지털 영상 프레임에서의 노이즈가 증폭된다는 것이다.
비디오 카메라(20)에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터는 메모리(31)에 저장된다. 앞에서 언급된 바와 같이, 비네팅 영향은 카메라 설정 및/또는 렌즈 한계와 같은 다양한 인자들에 따라 달라질 수 있다. 비네팅 영향으로 인해 카메라(20)에 의해 촬영된 디지털 영상 프레임에서 발생되는 영향은 본 발명의 기술분야에서 숙련된 자에게 알려진 다수의 상이한 방식들로 결정될 수 있다. 그리고, 이에 따라, 비디오 카메라(20)에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터는 도출될 수 있고 메모리(31)에 저장될 수 있다. 비네팅 영향을 정의하는 데이터는 예를 들어, 카메라의 영상 센서의 상이한 픽셀들이 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 테이블로서 제공될 수 있다. 이러한 테이블은 카메라의 영상 센서의 모든 픽셀들이 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 데이터를 포함할 수 있다. 대안적으로, 이러한 테이블은 단지 카메라의 영상 센서의 픽셀들의 서브세트만이 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 데이터를 포함할 수 있다. 이 경우, 비네팅 영향이 서브세트의 일부가 아닌 픽셀들에 어떻게 영향을 줄 것인지는 예를 들어, 보간에 의해 찾아낼 수 있다.
비네팅 재도입 모듈(35)은 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 비네팅을 재도입하도록 구성된다. 이러한 재도입은 비네팅 영향을 정의하는 데이터, 그리고 전위 값에 근거하고 있다. 비네팅 제거 모듈(34)과 비네팅 재도입 모듈(35)은 서로 독립적으로 작동할 수 있으며, 이에 따라 비네팅 제거 모듈(34)은 비네팅을 제거하도록 구성되게 되고, 이후에 비네팅 재도입 모듈(35)은 비네팅을 재도입하도록 구성되게 된다. 하지만, 일 실시예에 따르면, 비네팅 제거 모듈(34)과 비네팅 재도입 모듈(35)은 동시에 작동하도록 구성되며, 이에 따라 비네팅 제거 및 비네팅의 재도입은 공통 영상 프로세싱 단계에서 수행된다.
비네팅의 제거 및 재도입이 이제 도 3 및 도 4와 연계되어 더 설명될 것이다. 도 3의 (A)에서는, 비디오 카메라(20)에 의해 촬영된 본래의 디지털 영상 프레임(100)이 예시된다. 본래의 디지털 영상 프레임(100)은 비네팅 영역들(50)을 포함한다. 도 3의 (B)에서는, 비네팅 제거 모듈(34)을 사용하여 비네팅 제거 프로세스가 적용된 이후 비네팅 영역들이 제거된 본래의 디지털 영상 프레임이 예시된다. 비네팅 영역이 제거된 본래의 디지털 영상 프레임은 여기서 디지털 영상 프레임(102)으로서 지칭된다. 도 3의 (C)에서는, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임(102)의 결정된 영역(104)이 예시된다. 이러한 영역(104)은 앞에서 논의된 바에 따라 결정된다. 도 3의 (D)에서는, 영역(104)이 본래의 디지털 영상 프레임(100)의 상부에 가운데에서 포개어지는 것으로 예시되어 있는데, 이것은 재도입될 비네팅이 어떤 종류의 비네팅인지를 시각화하기 위한 것이다. 이에 따라, 재도입될 비네팅은, 비디오 카메라에 의해 촬영된 본래의 디지털 영상 프레임(100)에 대한 비네팅 영향을 정의하는 데이터와, 그리고 영역(104)의 전위에 따라 달라진다. 도 3의 (E)에서는, 재도입된 비네팅(52)을 갖고 디스플레이되게 되는 결과적으로 발생되는 디지털 영상 프레임(106)이 예시된다.
도 3과 연계되어 논의된 비네팅의 제거 및 재도입에서, 이러한 제거 및 재도입은 개개의 영상 프로세싱 단계들로서 예시되었다. 그러나, 이러한 제거 및 재도입은 또한 공통 영상 프로세싱 단계에서 수행될 있는데, 이것이 도 4에서 예시될 것이다. 도 4의 (A)에서는, 도 3의 (A)에서와 동일한 본래의 디지털 영상 프레임이 예시된다. 그러나, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 결정된 영역(104)이 또한 예시되어 있다. 영역(104)은 앞에서 논의된 바에 따라 결정되며, 하지만 여기서 영역(104)은 비네팅 제거를 적용하기 전에 결정된다고 말할 수 있다. 더욱이, 영역(104)의 특정 픽셀(60)이 강조(highlight)되어 있다. 강조된 특정 픽셀(60)도 또한 당연히 본래의 디지털 영상 프레임(100)에 속하는 것이다. 특정 픽셀(60)에 대한 비네팅 영향을 어떻게 제거할 것인지를 정의하는 데이터가 Vremove가 되게 설정된다고 가정한다. 도 4의 (B)에서는, 영역(104)이 본래의 디지털 영상 프레임(100)의 상부에 가운데에서 포개어지는 것으로 예시되어 있는데, 이것은 재도입될 비네팅이 어떤 종류의 비네팅인지를 시각화하기 위한 것이다. 영역(104)의 픽셀(62)은 도 4의 (A)에서의 특정 픽셀(60)과 동일한 위치를 갖는 것으로 표시되어 있다. 영역의 전위로 인해, 픽셀(62)은 도 4의 (A)에서 예시된 바와 같은 본래의 디지털 영상 프레임에서의 특정 픽셀(60)에 대응하지 않는다. 대신 픽셀(62)은 본래의 디지털 영상 프레임에서의 또 하나의 다른 픽셀에 대응한다. 픽셀(62)에 대한 비네팅 영향을 어떻게 재도입할 것인지를 정의하는 데이터가 Vreintro가 되게 설정된다고 가정한다. 이제 비네팅의 제거 및 재도입은, 도 4의 (C)에서 예시되는 바와 같이, 공통 영상 프로세싱 단계에서 영역(104)의 픽셀(64)에 관한 픽셀 데이터에 Vremove 및 Vreintro를 동시에 적용함으로써 수행될 수 있다. 이후에, 동일한 절차가 영역의 모든 픽셀들에 대해 수행될 수 있다. 그 결과는 앞서의 도 3에서 예시된 프로세스에서의 결과와 동일할 것이며, 차이점은 잠재적 라운딩 오류(potential rounding errors)를 피할 수 있다는 것이다.
앞에서 논의된 것에 따른 비네팅의 제거 및 재도입은, 상이한 영상 안정화된 디지털 영상 프레임들에서의 서로 다른 비네팅으로 인한 영상 안정화된 비디오에서의 플리커링이 제거되는 효과, 그리고 이와 동시에 비디오에 추가되는 노이즈가 감소하는 효과를 가질 것이다.
비디오 모듈(36)은 연속적인 디지털 영상 프레임들을 영상 안정화된 비디오에 부가하도록 구성된다.
그 다음에, 영상 안정화된 비디오는 디스플레이(40)로 출력될 수 있다.
도 5에서는, 영상 안정화된 비디오를 가능하게 하기 위한 방법의 블록도가 제시된다. 이러한 방법은 비디오 카메라에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터를 제공하는 단계(S500); 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값을 결정하는 단계(S502); 전위 값에 근거하여, 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역을 결정하는 단계(S504); 적어도 영상 안정화된 비디오에서 디스플레이될 영역에 대응하는 디지털 영상 프레임의 픽셀들에 관해 비네팅 제거 프로세스를 적용하는 단계(S506)(여기서, 상기 적용하는 단계는 비네팅 영향을 정의하는 데이터에 근거하고 있음); 그리고 비네팅 영향을 정의하는 데이터, 그리고 전위 값에 근거하여, 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 비네팅을 재도입하는 단계(S508)를 포함한다.
본 방법은 또한, 전위 값에 근거하여 디지털 영상 프레임을 크롭핑하여 크롭핑된 영상 프레임을 형성하는 단계(S505)를 포함할 수 있고, 여기서 크롭핑된 영상 프레임은 영상 안정화된 비디오에서 디스플레이될 디지털 영상 프레임의 영역에 대응하는 것이다.
본 발명의 기술분야에서 숙련된 자는 본 발명이 앞서 설명된 바람직한 실시예들로만 한정되지 않음을 알 것이다. 이와는 반대로, 본 명세서에 첨부되는 청구범위 내에서 다수의 수정 및 변형이 가능하다.
예를 들어, 영상 프로세싱 디바이스(30)는 비디오 카메라(20) 내부에서 구현될 수 있다. 이것이 도 6에서 예시되어 있다.
디지털 영상 프레임을 촬영하기 위해 롤링 셔터를 사용하는 경우, 앞서의 전위 값을 결정하는 단계는 센서 영상 프레임의 적어도 두 개의 서로 다른 행들에 대한 상이한 전위 값들을 결정하는 것을 포함할 수 있다.
디지털 영상 프레임을 촬영하기 위해 글로벌 셔터를 사용하는 경우, 앞서의 전위 값을 결정하는 단계는 센서 영상 프레임에 대한 단일 전위 값을 결정하는 것을 포함할 수 있다.
추가적으로, 본 명세서에서 개시되는 실시예들에 대한 변형은, 본 명세서의 도면, 개시 내용, 그리고 첨부되는 청구범위를 연구함으로써, 본 청구되는 발명을 실시함에 있어서 숙련된 자에 의해 이해 및 실행될 수 있다.

Claims (14)

  1. 영상 안정화된 비디오(image stabilized video)를 가능하게 하기 위한 방법으로서, 상기 방법은,
    비디오 카메라(video camera)에 의해 촬영된 디지털 영상 프레임(digital image frame)들에 대한 비네팅 영향(vignetting effect)을 정의하는 데이터를 제공하는 단계(S500)와;
    상기 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값(dislocation value)을 결정하는 단계(S502)와;
    상기 전위 값에 근거하여, 상기 영상 안정화된 비디오에서 디스플레이(display)될 상기 디지털 영상 프레임의 영역을 결정하는 단계(S504)와;
    적어도 상기 영상 안정화된 비디오에서 디스플레이될 상기 영역에 대응하는 상기 디지털 영상 프레임의 픽셀(pixel)들에 관해 비네팅 제거 프로세스(vignetting removal process)를 적용하는 단계(S506)와, 여기서 상기 적용하는 단계는 상기 비네팅 영향을 정의하는 상기 데이터에 근거하고 있으며; 그리고
    상기 비네팅 영향을 정의하는 상기 데이터, 그리고 상기 전위 값에 근거하여, 상기 비디오에서 디스플레이될 상기 디지털 영상 프레임의 상기 영역에 비네팅을 재도입(reintroducing)하는 단계(S508)를 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  2. 제1항에 있어서,
    상기 비네팅 제거 프로세스를 적용하는 단계 및 상기 비네팅을 재도입하는 단계는 공통 영상 프로세싱 단계(common image processing step)에서 수행되는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 전위 값에 근거하여 상기 디지털 영상 프레임을 크롭핑(cropping)하여 크롭핑된 영상 프레임(cropped image frame)을 형성하는 단계(S505)를 더 포함하며, 여기서 상기 크롭핑된 영상 프레임은 상기 영상 안정화된 비디오에서 디스플레이될 상기 디지털 영상 프레임의 상기 영역에 대응하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  4. 제3항에 있어서,
    상기 적용하는 단계는 상기 크롭핑된 영상 프레임의 픽셀들에 관해 상기 비네팅 제거 프로세스를 적용하는 것을 포함하고, 여기서 상기 적용하는 것은 상기 비네팅 영향을 정의하는 상기 데이터에 근거하고 있으며,
    상기 재도입하는 단계는 상기 비네팅 영향을 정의하는 상기 데이터에 근거하여 상기 크롭핑된 영상 프레임에 비네팅을 재도입하는 것을 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  5. 제4항에 있어서,
    상기 크롭핑된 영상 프레임에 비네팅을 재도입하는 것은 또한 상기 전위 값에 근거하고 있는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  6. 제1항에 있어서,
    상기 비네팅 영향을 정의하는 데이터를 제공하는 단계는 상기 카메라의 영상 센서의 상이한 픽셀들이 상기 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 테이블(table)을 제공하는 것을 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  7. 제6항에 있어서,
    상기 테이블은 상기 카메라의 상기 영상 센서의 모든 픽셀들이 상기 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 데이터를 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  8. 제6항에 있어서,
    상기 테이블은 단지 상기 카메라의 상기 영상 센서의 픽셀들의 서브세트(subset)만이 상기 비네팅 영향에 의해 어떻게 영향을 받는지를 정의하는 데이터를 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  9. 제1항에 있어서,
    상기 디지털 영상 프레임을 촬영하기 위해 롤링 셔터(rolling shutter)를 사용하는 경우, 상기 전위 값을 결정하는 단계는 상기 센서 영상 프레임의 적어도 두 개의 서로 다른 행(row)들에 대한 상이한 전위 값들을 결정하는 것을 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  10. 제1항에 있어서,
    상기 디지털 영상 프레임을 촬영하기 위해 글로벌 셔터(global shutter)를 사용하는 경우, 상기 전위 값을 결정하는 단계는 상기 센서 영상 프레임에 대한 단일 전위 값을 결정하는 것을 포함하는 것을 특징으로 하는 영상 안정화된 비디오를 가능하게 하기 위한 방법.
  11. 프로세싱 능력(processing capabilities)을 갖는 디바이스 상에서 실행될 때 청구항 제1항에 기재된 방법을 구현하기 위한 프로그램이 기록되어 있는 비일시적 컴퓨터 판독가능 기록 매체.
  12. 비디오 카메라(20)에 의해 촬영된 디지털 영상 프레임들을 포함하고 있는 영상 안정화된 비디오를 생성하도록 되어 있는 영상 프로세싱 디바이스로서, 상기 영상 프로세싱 디바이스는,
    상기 비디오 카메라에 의해 촬영된 디지털 영상 프레임들에 대한 비네팅 영향을 정의하는 데이터를 포함하고 있는 메모리(memory)(31)와;
    상기 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 전위 값을 결정하도록 되어 있는 전위 값 결정 모듈(dislocation value determining module)(32)과;
    상기 전위 값에 근거하여, 상기 영상 안정화된 비디오에서 디스플레이될 상기 디지털 영상 프레임의 영역을 결정하도록 되어 있는 영상 변이 모듈(image shift module)(33)과;
    상기 비네팅 영향을 정의하는 상기 데이터에 근거하여, 적어도 상기 영상 안정화된 비디오에서 디스플레이될 상기 영역에 대응하는 상기 디지털 영상 프레임의 픽셀들로부터 비네팅을 제거하도록 되어 있는 비네팅 제거 모듈(vignetting removal module)(34)과;
    상기 비네팅 영향을 정의하는 상기 데이터, 그리고 상기 전위 값에 근거하여, 상기 비디오에서 디스플레이될 상기 디지털 영상 프레임의 상기 영역에 비네팅을 재도입하도록 되어 있는 비네팅 재도입 모듈(vignetting reintroducing module)(35)과; 그리고
    연속적인 디지털 영상 프레임들을 상기 영상 안정화된 비디오에 추가하도록 되어 있는 비디오 모듈(video module)(36)을 포함하는 것을 특징으로 하는 영상 프로세싱 디바이스.
  13. 제12항에 있어서,
    상기 전위 값에 근거하여 상기 디지털 영상 프레임을 크롭핑하여 크롭핑된 영상 프레임을 형성하도록 되어 있는 크롭핑 모듈(cropping module)(33)을 더 포함하며, 여기서 상기 크롭핑된 영상 프레임은 상기 영상 안정화된 비디오에서 디스플레이될 상기 디지털 영상 프레임의 상기 영역에 대응하는 것을 특징으로 하는 영상 프로세싱 디바이스.
  14. 제12항 또는 제13항에 있어서,
    상기 디바이스는 비디오 카메라(20)이고, 상기 비디오 카메라(20)는 상기 비디오 카메라(20)의 움직임을 감지하도록 되어 있는 동작인식 센서(motion sensor)(24)를 포함하고,
    상기 전위 값 결정 모듈은, 상기 비디오 카메라의 상기 감지된 움직임에 근거하여, 상기 비디오 카메라에 의해 촬영된 디지털 영상 프레임에 대한 상기 전위 값을 결정하도록 되어 있는 것을 특징으로 하는 영상 프로세싱 디바이스.
KR1020160058981A 2015-05-18 2016-05-13 영상 안정화된 비디오를 생성하기 위한 방법 및 카메라 KR101755608B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15167953.7 2015-05-18
EP15167953.7A EP3096512B1 (en) 2015-05-18 2015-05-18 Method and camera for producing an image stabilized video

Publications (2)

Publication Number Publication Date
KR20160135662A true KR20160135662A (ko) 2016-11-28
KR101755608B1 KR101755608B1 (ko) 2017-07-19

Family

ID=53189691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160058981A KR101755608B1 (ko) 2015-05-18 2016-05-13 영상 안정화된 비디오를 생성하기 위한 방법 및 카메라

Country Status (6)

Country Link
US (1) US9712747B2 (ko)
EP (1) EP3096512B1 (ko)
JP (1) JP6328688B2 (ko)
KR (1) KR101755608B1 (ko)
CN (1) CN106170067B (ko)
TW (1) TWI699119B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276818A1 (en) * 2016-09-17 2018-09-27 Kent Allan Vander Velden Apparatus and methods for phenotyping plants
US20180077875A1 (en) * 2016-09-17 2018-03-22 Kent Allan Vander Velden Apparatus and methods for phenotyping plants
US10142568B2 (en) * 2017-02-13 2018-11-27 Semiconductor Components Industries, Llc Methods and apparatus for vignette and out-of-focus correction
JP6971685B2 (ja) * 2017-08-02 2021-11-24 キヤノン株式会社 撮像装置およびその制御方法
US11496684B2 (en) * 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
JP6452875B1 (ja) * 2018-03-29 2019-01-16 株式会社日立製作所 移動体撮像システム、及び、移動体撮像方法
JP7451423B2 (ja) * 2018-12-10 2024-03-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理システム
KR102558959B1 (ko) 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
EP3905659B1 (en) 2020-04-28 2022-06-01 Axis AB Statistics-based electronics image stabilization
CN113163104B (zh) * 2020-12-31 2022-11-01 深圳市微网力合信息技术有限公司 基于wifi6的摄像头控制方法、设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02250568A (ja) * 1989-03-24 1990-10-08 Matsushita Electric Ind Co Ltd ゆれ補正装置
JP2003101866A (ja) * 2001-09-25 2003-04-04 Canon Inc 光学装置
JP2004048346A (ja) 2002-07-11 2004-02-12 Minolta Co Ltd 撮像装置、画像再生装置およびプログラム
JP3829773B2 (ja) 2002-07-22 2006-10-04 コニカミノルタフォトイメージング株式会社 撮像装置およびセンタリング情報取得方法
CN101292519B (zh) * 2005-10-13 2010-05-12 诺基亚公司 数字图像中暗角消除的方法和系统
JP4952891B2 (ja) 2006-05-08 2012-06-13 カシオ計算機株式会社 動画撮影装置および動画撮影プログラム
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
JP4876066B2 (ja) 2007-12-19 2012-02-15 キヤノン株式会社 映像処理装置及び映像処理システム及び映像処理方法及びプログラム
JP5003657B2 (ja) 2008-11-17 2012-08-15 株式会社Ｊｖｃケンウッド 画像振れ補正装置
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
JP5597061B2 (ja) 2010-08-18 2014-10-01 キヤノン株式会社 映像再生装置、及びその制御方法
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5791349B2 (ja) 2011-04-21 2015-10-07 キヤノン株式会社 撮像装置及びその制御方法
US8743222B2 (en) * 2012-02-14 2014-06-03 Nokia Corporation Method and apparatus for cropping and stabilization of video images
US9674399B2 (en) * 2012-02-22 2017-06-06 Agfa Graphics Nv System and method for regularizing an ink model for a color device
EP2965153B1 (en) * 2013-03-06 2020-08-05 Nokia Technologies Oy Sliding accessory lens mount with automatic mode adjustment
US9756244B2 (en) * 2013-03-26 2017-09-05 Entaniya Co., Ltd. Panoramic-imaging digital camera, and panoramic imaging system
US20160124296A1 (en) * 2013-03-26 2016-05-05 Entaniya Co., Ltd. Panoramic imaging head, and imaging system using same
US9131159B2 (en) * 2013-06-28 2015-09-08 Nokia Technologies Oy Optical field communication
US20150022677A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated System and method for efficient post-processing video stabilization with camera path linearization
US20150130907A1 (en) * 2013-11-11 2015-05-14 Samsung Electronics Co., Ltd. Plenoptic camera device and shading correction method for the camera device
WO2015071526A1 (en) * 2013-11-18 2015-05-21 Nokia Technologies Oy Method and apparatus for enhanced digital imaging
JP6312487B2 (ja) * 2014-03-26 2018-04-18 キヤノン株式会社 画像処理装置及びその制御方法、並びに、プログラム
US20150350530A1 (en) * 2014-06-02 2015-12-03 Nokia Corporation Light Field Imaging
EP2963845B1 (en) * 2014-06-13 2018-05-02 Nokia Corporation Method and apparatus for optical communication
WO2016142214A2 (en) * 2015-03-11 2016-09-15 Asml Netherlands B.V. Method and apparatus for inspection and metrology

Also Published As

Publication number Publication date
CN106170067B (zh) 2017-09-15
TW201709720A (zh) 2017-03-01
EP3096512A1 (en) 2016-11-23
EP3096512B1 (en) 2017-03-22
JP2017022692A (ja) 2017-01-26
TWI699119B (zh) 2020-07-11
CN106170067A (zh) 2016-11-30
KR101755608B1 (ko) 2017-07-19
US20160344935A1 (en) 2016-11-24
US9712747B2 (en) 2017-07-18
JP6328688B2 (ja) 2018-05-23

Similar Documents

Publication Publication Date Title
KR101755608B1 (ko) 영상 안정화된 비디오를 생성하기 위한 방법 및 카메라
JP5414405B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP5226600B2 (ja) 画像変形装置およびその動作制御方法
US9554046B2 (en) Method and image processing device for image stabilization of a video stream
JP2006180429A (ja) 画像処理装置および画像処理プログラム
JP2014082533A (ja) 画像処理装置、画像処理方法及びプログラム
IL301734A (en) A system and method for blurring the background in an image using the movement of the camera or the movement of the object
JP2008172310A (ja) 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP4245045B2 (ja) 撮像装置、撮像信号処理方法及びプログラム
JP2018042098A (ja) ブレ補正装置およびその制御方法、撮像装置
US11477384B2 (en) Information processing apparatus, imaging apparatus, information processing method, control method for imaging apparatus, and storage medium for notifying of a subject blur occuring in a captured image
JP2006325274A (ja) 撮像装置
WO2017104102A1 (ja) 撮像装置
JP2010262428A (ja) 中間画像生成装置およびその動作制御方法
JP2008160547A (ja) 動き検出装置及び方法並びに撮像装置
JP3965558B2 (ja) 信号処理方法および装置
JP2010056817A (ja) 撮像装置
JP2010010881A (ja) 撮影装置および画像中のモアレ有無の告知方法
JP2015061234A (ja) 画像処理装置、画像処理方法及びプログラム
JP7214424B2 (ja) 撮像装置およびその制御方法
JPH057327A (ja) 動きベクトル検出装置
JP2009302830A (ja) 撮像装置
JP6797566B2 (ja) 撮像装置、撮像装置の制御方法、および、画像処理装置
JP2016174263A (ja) 動画撮影に好適な画像処理機能とそれを有する撮像装置、画像処理装置、画像処理方法、画像処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant