KR100268311B1 - 전자적 화상 안정화 장치 및 방법 - Google Patents

전자적 화상 안정화 장치 및 방법

Info

Publication number
KR100268311B1
KR100268311B1 KR1019950705473A KR19950705473A KR100268311B1 KR 100268311 B1 KR100268311 B1 KR 100268311B1 KR 1019950705473 A KR1019950705473 A KR 1019950705473A KR 19950705473 A KR19950705473 A KR 19950705473A KR 100268311 B1 KR100268311 B1 KR 100268311B1
Authority
KR
South Korea
Prior art keywords
image
image frame
pair
sequence
image frames
Prior art date
Application number
KR1019950705473A
Other languages
English (en)
Other versions
KR960702974A (ko
Inventor
피터제프레이 버트
케이스제임스 한나
Original Assignee
윌리암 제이. 버크
사르노프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윌리암 제이. 버크, 사르노프 코포레이션 filed Critical 윌리암 제이. 버크
Publication of KR960702974A publication Critical patent/KR960702974A/ko
Application granted granted Critical
Publication of KR100268311B1 publication Critical patent/KR100268311B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 비디오 카메라, IR 또는 X레이화상기, 레이더로부터의, 또는 컴퓨터 디스크메모리, 비디오테이프, 또는 컴퓨터 그래제너레이터등과 같은 저장매체로부터의 화상프레임 시퀀스일 수 있다. 본 발명은 또한 복수의 소오스로부터의 화상이 서로에 대해 안정화되어야 할 때 이들이 사용될 수 있다. 본 발명은 피드백 루프(104) 및 휨부(116)를 포함하여 변위 추정과정의 일부로 정밀 화상 일렬을 성취할 수 있다. 안정화 시스템의 출력은 화상이동의 원치 않는 성분이 감소되거나 제거되어 있는, 또는 원하는 형태의 새로운 이동이 유도되어 있는, 변형된 화상시퀀스이다. 출력은 또한 추정된 프레임 대 프레임 변위벡터 또는 이동 흐름 필드와 같은 입력시퀀스로부터 유도된 정보와, 노이즈가 감소되거나 변경이 하이라이트된 유도된 화상시퀀스를 포함한다.

Description

[발명의 명칭]
전자적 화상 안정화 장치 및 방법
[기술분야]
본 발명은 다지탈 화상 처리를 이용하여 원치 않는 프레임에서 프레임으로의이동 성분을 제거하는 화상 시퀀스의 전자적 안정화방법 및 장치에 관한 것이다.
[발명의 배경]
화상 안정화는, 연속적인 소오스 비디오의 연속적인 프레임사이에 원치 않는 지터를 제거해야 하는 영화산업, 그 분야에서 생성되는 뉴스캐스트에서 손으로 받치는 카메라로부터 화상을 안정화해야 하는 텔레비젼 뉴스 카메라, 플랫포옴을 흔들거나 회전시킬 때 장착되며 또는 차량 이동시 컴퓨터 분석전에 또는 관찰자에게 표시되기 전에 안정화되어야 하는 감시카메라로부터의 비디오, 화상압축전에 또는 원격 조작자나 자동차 운전을 위한 컴퓨터 비젼 시스템에 표시되게 하기 전에 안정화되어야 하는 이동카메라로부터의 비디오를 포함하는 많은 분야에서 요구되고 있다.
기계적인 안정화 플랫포옴의 여러 형태가 화상이 아닌 화상기의 이동을 보상하는 데에 사용되고 있다. 제 1도에서, 화상기(10)가 기계적 안정화 플랫포옴(12)상에 장착되어 있다. 화상기(10)의 인입선(14)상의 출력Iin(t)이 모니터(12)상에 표시된다. 플랫포옴(12)은 통상 자이로스코프를 사용하여 플랫포옴 회전을 감지하고, 모터를 사용하여 이 회전을 보상한다. 사용자는 전자 제어신호(18)를 경유하여 게이즈(팬 및 틸트)와 줌의 화상기 방향을 인도할 수 있으며 모터는 플랫포옴(12)에서 구동된다.
화상기 이동 센서를 가지는 전자 안정화는 화상이동이 아닌 화상기 이동을 보상하는 데에 사용될 수 있다. 제 2도에서, 기계적으로 안정화된 플랫포옴(12)상에 장착된 화상기(10)는 인입선(14)에서 출력 Iin(t)을 가진다. 플랫포옴(12)의 잔여의 이동이 센서(20)를 이용하여 측정된다. 인입선(22)에서 감지된 변위d(t)는 변환모듈(26)에 의해 인입선(24)상의 변형 파라미터 p(t)로 변환된다. 파라미터 p(t)(24)는 화상 휨 장치(28)에 의해 사용되어 안정화된 출력화상Iout(t)를 생성하고, 여기에서 화상기 이동이 보상되어 모니터(16)상에 표시되게 한다.
제 3도에서, 화상이동을 감지하기 위해 디지탈처리되는 전자적 안정화처리가 도시되고 있다. 시스템은 화상프레임저장부(32)에 저장되어 있는 출력 Iin(t)을 가지고 있어 적당한 휨 파라미터가 연산되어 안정화를 위한 화상 휨장치(28)에 전송될 때까지 화상을 유지하는 화상기(10)을 포함하고 있다. (이 프레임저장부는 일 프레임시간에서 실행되는 휨이 이전의 프레임시간에서 연산되는 파라미터에 근거하는 경우 필요하지 않다.) 메모리를 감소시키기 위하여, 모듈(34)에 의해 소오스 비디오로부터 한 세트의 특성이 추출될 수 있다. 제 2의 화상프레임 저장부(36)는 이전의 화상으로부터 추출된 특성을 유지하여 현재 화상과 비교될 수 있도록 마련되어 있다. 시간t에서 추출된 인입선(38)상의 특성f(t)는 화상 대 화상 이동을 결정하는 다지탈화상처리를 사용하는 변위 추정기(42)에서 시간(t-1)에 추출된 인입선(40)상의 특성f(t-1)과 비교되어 인입선(44)상의 변위d(t)를 생성한다. 상용 카메라는 프레임간에 비교된 특성으로서 36개의 화소 어레이를 사용하고 있다. 인입선(44)상에서 감지된 변위d(t)는 화상 휨 장치(28)에 의해 사용되어 안정화된 출력화상Iout(t)(30)를 생성하고, 여기에서 화상이동이 보상되어 모니터(16)상에 표시되게 한다. 발명자에게 알려져 있는 시스템은 줌, 회전, 시차, 및/또는 뒤틀림을 보상할 수는 없다.
제 4도에서, 전자 목표물추적시스템은 상관관계를 이용하여, 화상기의 관측영역내에 목표물을 위치시킨 다음에 화상기를 조준하여 목표물을 중심에 위치시켜,적어도 목표물패턴을 안정화시킨다. 시스템은 상관관계 모듈(46)에서 비교되는 출력화상Iin(t)(14)를 가지는 화상기(10)을 포함하고 있어 그 내에 저장된 기준패턴을 화상(14)과 매칭시킨다. 기준패턴은 비디오시퀀스모듈(48)에서 종전의 프레임으로부터 선택되어 메모리(50)에 저장된다. 기준패턴은 장면에서의 고정물체 또는 이동체를 나타내는 것이다. 화상Iin(t)과 기준패턴사이의 차이는 변위 정보를 변환시키는 플랫포옴(12)를 안정화시키는 신호를 생성하기 위해 변환시키는 변형모듈(26)에 변위정보를 제공한다.
제 5도에서, 변경검출을 이용한 전자목표물추적 시스템이 도시되어 있다. 현재의 화상Iin(t)과 프레임저장부(60)의 이전의 화상In(t-1)사이의 차이는 감산기(62)에 의해 결정되어 유효변경영역이 위치되게 된다. 모듈(64)에 의해 마련된 위치정보 x(t)가 화상기(10)를 재위치되게 하는 데에 사용되어 특정지점에서 또는 표시된 화상의 특정 추적상에서 화상이 유지되게 한다. 이러한 접근법은 목표물이 너무 작아 패턴 매치에 근거하여 검출될 수 없지만, 패턴 매치에 근거하여 검출이 행해지도록 이동하고 있을 때 패턴근거접근이 바람직하다. 시스템의 위치는 목표물 이동이 검출될 수 있도록 배경장면의 이동이 적을 것이 요구된다.
가시이동에 대한 워크숍(Irvine, CA, March 20-22, 889, 1-12페이지)의 회보에서 버트 등은 반복적인 개선을 통해 정확한 화상정렬을 성취하는 처리를 제시하고 있다. 이 처리는 지형 회복에의 적용에 또한 이동 목표물 검출에 이용된다. 줌, 회전, 시차 및/또는 렌즈 뒤틀림을 보상하면서 정밀도를 개선할 수 있는, 화상을 전자적으로 안정화하는 방법 및 시스템을 제공하는 것이 바람직하다. 개선된 안정화처리의 부산물로서 발생된 정보를 사용하므로써 화상 안정화 시스템의 기능을 연장시켜 노이즈가 감소되거나 변경이 하이라이트된 유도 화상 시퀀스를 포함하는 것이 바람직하다.
[발명의 요약]
본 발명은 화상의 전자적 안정화를 위한 장치 및 방법을 제공하고 있다. 입력은 비디오 카메라, IR 또는 X-레이 화상기, 레이더와 같은 화상 소오스로부터 또는 컴퓨터 디스크 메모리, 비디오테이프 또는 컴퓨터 그래픽 발생기와 같은 저장매체로부터의 화상프레임 시퀀스일 수 있다. 시스템의 출력은 원치 않는 화상이동의 성분이 감소되거나 제거되어 있거나, 원하는 형태의 새로운 이동이 도입되어 있는 변형 화상시퀀스이다. 출력은 추정된 프레임 대 프레임 변위 벡터 또는 이동흐름필드와 같은 입력시퀀스와, 노이즈가 감소되거나 변경이 하이라이트되어 있는 유동화상시퀀스로부터 유도된 정보를 포함할 수 있다.
본 발명은 (a) 화상과 기준사이의 변위의 초기추정치를 사용하여 기준을 휘어지게 하는 단계와; (b) 휘어진 기준을 화상과 비교하여 잔여의 변위를 얻는 단계와; (c) 화상과 기준사이의 교정된 변위를 초기 추정치에 부가하는 단계와; (d) 교정된 변위의 추정치를 사용하여 기준을 휘어지게 하는 단계와; (e) 단 (b),(c),(d)를 K회 반복하여, 최종 변위 추정치 d(t; K)를 형성하는 단계와; (f) 출력변형 파라미터 p(t)를 최종 변위 추정치 d(t; K)로부터 형성하는 단계와; (g) 출력 변형 파라미터 p(t)를 이용하여 화상을 휘어지게 하여 출력화상을 형성하는 단계를 포함하는, 기준에 관련한 화상을 안정화시키는 방법을 개시하고 있다.
본 발명은 기준과 화상사이의 변위의 추정치에 응답하여 기준을 휘어지게 하는 수단과; 휘어진 기준을 화상과 비교하여 잔여의 변위를 얻게하는 수단과; 초기 추정치에 잔여의 변위를 부가하여 화상과 기준사이의 교정된 변위 추정치를 얻게 하는 수단과; 교정된 변위 추정치를 이용하여 기준을 휘어지게 하는 수단과; 단계(b),(c),(d)를 반복하여 최종 변위추정치 d(t; K)를 형성하는 수단과; 최종 변위추정치 d(t; K)로부터 출력변형파라미터 p(t)를 형성하는 수단과; 출력변형파라미터 p(t)를 이용하여 화상Iin(t)를 휘어지게 하여 출력화상을 형성하는 수단을 포함하다.
[도면의 간단한 설명]
다른 도면에서 공통적인 요소는 각 도면에서 동일한 인요부호로 표시한다.
제1도는 종래의 기계적으로 안정화된 플랫포옴의 개략도이다.
제2도는 화상기 이동 센서을 구비한 종래의 전자적 안정화시스템의 개략도이다.
제3도는 디지탈처리된 종래의 전자적 안정화시스템의 개략도이다.
제4도는 전자 목표물 추적용 종래의 시스템의 개략도이다.
제5도는 변경 검출을 통해 전자 목표물 추적용 종래의 시스템의 개략도이다.
제6도는 본 발명의 전자 안정화시스템의 개략도이다.
제7도는 본 발명의 다른 전자 안정화시스템의 개략도이다.
제8도는 이동에 적합한 프레임 대 프레임 처리용 시스템의 개략도이다.
제9도는 개별의 기준 패턴, R을 이용한 다른 안정화시스템의 개략도이다.
제10도는 두 개의 화상시퀀스를 이용한 다른 안정화시스템의 개략도이다.
제11도는 목표물을 위치시키는 시스템의 개략도이다.
제12도 및 13도는 변형 파라미터을 얻기 위한 방법을 설명하는 도이다.
제14도는 가우시안 및 라플라시안 피라미드를 형성하는 방법을 설명하는 도이다.
제15도는 PYR-1회로의 개략도이다.
제16도는 제6도의 전자적 안정화시스템의 다른 실시예의 개략도이다.
[발명의 상세한 설명]
본 발명은 전자적 화상기에 의해 생성된 화상을 전자적으로 안정화하기 위한 장치 및 방법에 관한 것이다. 입력은, 비디오 카메라, IR또는 X레이 화상기, 레이더와 같은 화상원으로부터, 또는 컴퓨터 디스크 메모리, 비디오 테이프 또는 컴퓨터그래픽발생기와 같은 저장매체로부터의 화상프레임 Iin(t)의 시퀀스일 수 있다. 본 발명은 또한 복수의 화상원으로부터의 화상중 한 화상이 안정화될 때 다른 화상은 기준을 제공하게 하여 서로에 관련하여 안정화되어야 할 때 사용될 수 있다. 본 발명은 피드백루프 및 제 2의 화상 휨 단계를 사용하여 변위 추정 처리의 일부로 정확한 화상일렬을 성취할 수가 있다. 안정화시스템의 출력은 수정된 화상시퀀스 Iout(t)이고, 여기에서 원치 않는 화상이동의 성분이 감소되거나 제거되고, 또는 원하는 형태의 새로운 이동이 도입되게 된다. 출력은 추정된 프레임 대 프레임 변위이벡터 또는 이동흐름 필드와 같은 입력시퀀스와, 잡읍이 감소되거나 변경이 하이라이드트된 유도화상시퀀스로부터 유도된 정보를 포함할 수 있다.
제 6도에서, 본 발명의 전자적 안정화시스템(100)은 출력Iin(t)을 가지는 화상기(10), 화상Iin(t)를 저장하는 화상프레임저장부(32), 이전의 화상Iin(t-1)를 저장하는 제 2의 프레임저장부(36)를 포함한다. 프레임저장부(36)의 내용 Iin(t-1)은 점선 박스로 나타낸 바와 같이, 피드백루프(104)에 의해 제공된 변위의 초기추정치 d(t; 0)를 사용하여 종전의 프레임 화상와퍼(warper)(102)에서 휘어지게 하여, 휘어진 종전의 화상Iin(t-1; k-1)을 제공하게 된다. 휘어진 종전의 화상Iin(t-1; k-1)은 변위를 추정하는 수단(106)에서 원래의 화상Iin(t)과 비교되어 변위 추정기(106)으로부터의 피드백루프(104)에 입력을 제공하는 잔여의 변위 △(t; k) 의 추정치를 얻게 된다. 잔여의 변위 △(t; k)는 다음에 가산기(108)에서 이전의 변위추정치에 부가되어 메모리(110)에 유지되어 교정된 변위치 d(t; k) = d(t; k 1) + △(t; k)을 생성하게 된다. 이 단계는 잔여의 변위가 임의의 값보다 작을 때 까지 K회 반복하거나, 아니면 오퍼레이터나 다른 수단에 의해 선택된 고정회수 반복하여, 최종 변위추정치를 형성한다. 단자(112)는 최종 변위추정치 d(t; K)를 출력변형파라미터 p(t)로 변환시키는 수단(114)에 접속되어 있다. 이것은 줌, 최대시차, 변환, 회전, 확대, 및 렌즈휨을 포함하여 모델화될 수 있는 화상변경을 포함한다. 수단(114)의 출력은 현재의 화상 와퍼(116)에 접속되어 있다. 현재의 화상 와퍼(116)는 현재의 화상Iin(t)을 휘어지게 하여 단자(118)에서 Iout(t)를 형성한다. 피드백루프(104)에서 K회 반복 후 교정된 변위 d(t; K)가 출력단자(120)에서 유효하게 된다. 화상 대 기준/화상변위의 추정치는 화상영역의 일부, 예를 들어 목표물 패턴을 포함하는 것만에 대해 연산된 변위측정치에 근거될 수 있다.
본 발명의 방법에 있어서는, k 반복은 Iin(t-1)에서부터 Iin(t)으로의 종전의변위추정치d(t; k-1)로 시작한다. 화상Iin(t-1)은 d(t; k-1)에 의해 휘어져 Iwarp(t-1; k-1)을 형성하게 된다. 변위추정과정은 전류 Iin(t)와 Iwarp(t-1; k-1)에 공급되어 잔여의 변위 Dd(t; k)의 추정치를 얻는다. 잔여의 변위 △d(t; k)는 종전의 변위추정치에 부가되어 교정된 변위 추정치d(t; k) = d(t; k-1)를 얻는다. 다음에 화상 휨 단계가 반복되어 Iin(t)과 더 정확히 일렬되어 있는 Iwarp(t-1; k)를 형성하게 된다. 이들 단계는 K회 반복되어 프레임Iin(t-1)에서 Iin(t)으로의 최종 변위추정치 d(t; K)를 얻는다. 이 과정의 첫번째 반복시 사용되는 종전의 추정치, d(t; 0)는 이전의 프레임시간에 얻은 최종 추정치, 예를 들어 d(t; 0) = d(t-1; K)에 근거될 수 있다. 시간 t에서의 사이클은 프레임 저장부(32)에서 프레임저장부(36)로의 Iin(t)의 복사를 전달하여 완성된다.
이 실시예에서, 종전의 또는 기준 프레임Iin(t-1)은 현재의 프레임, Iin(t)의 등록으로 휘어지게 되어 변위정보를 제공한다. 다르게는 동일하거나 다른 비디오소오스로부터의 기준이 변위정보를 제공하도록 사용될 수 있어 현재의 프레임을 등록되게 휘어지게 한다. 통상 시간 t에서 사용되는 초기 변위추정치 d(t; 0)은 시간 t-1에서의 최종추정치 d(t-1; K)과 동일한 것이 취해진다. 프레임에서 프레임으로의 가속이 적은 경우 연속적인 교정을 성취하기 위해서는, 프레임시간당 하나의 추정과정 반복, K=1을 실행하는 것만이 필요하다.
제안된 안정화방법이 두 개의 개별적인 휨단계를 사용하고 있지만, 실재 와퍼 입력과 출력을 멀티플렉싱하여 동일한 휨 하드웨어장치에 의해 실행될 수 있다. 예를 들어, 프레임저장부(36)과 루프(104)로부터의 출력은 입력이고, 추정기(106)에의 와퍼 출력이 출력이다. 다른 입력은 현재의 입력이고 변형 파라미터 및 화퍼 출력이 다음에 출력화상이 된다.
화상 Iin(t) 및 Iwarp(t-1; k-1)이 필터될 수 있고 아니면 제 7도에서 나타낸 바와 같이 변위추정전에 처리될 수 있다. 바람직하게는, 라플라시안 피라미드가 피라미드 프로세서(130)에서 현재의 입력화상 Iin(t)이 구성되어, 메모리(32)에 저장된다. Iwarp(t-1; k-1)의 라플라시안 피라미드는 피라미드 프로세서(134)에서 각 반복, k에서 휨단계 이후 재생되게 된다. 다음에 추정과정의 연속적인 교정단계는, 잔여의 변위의 추정치를 점차 더 큰 해상도 피라미드 레벨에 근거하게 둔다.
제 8도에서 본 발명의 화상 안정화시스템의 일부로서 이동 적응성 프레임 대 프레임 처리용 시스템(150)은 화소 대 화소로 현 화상 Iin(t)와 휘어진 화상 Iwarp(t-1; k-1)을 합산(일시적 로우패스)하여 다음의 합성치를 화상노이즈가 감소되게 하여 얻는 수단(152)를 포함한다.
A(t) = Iin(t) + Iwarp(t-1; k-1)
시스템(150)은 또한 화소 대 화소로 현재와 휘어진 화상을 감산(일시적 하이패스)하여 장면의 변경 또는 이동을 나타내는 다음의 화상차이를 얻는 수단(154)를 포함하고 있다.
B(t) = Iin(t) ― Iwarp(t-1; k-1)
합산 및 감산 화상은 안정화된 출력 Iout(t)에 부가하여 또는 대신에 안정화시스템의 출력으로 직접 제공될 수 있다. 유도된 화상시퀀스는 화상이 제 6도와 관련하여 안정화되는 동일한 방법으로 휘어지게 하여 안정화될 수 있다.
두 개 이상의 화상이 노이즈 감소(일시적 로우패스필터) 또는 변경 검출(일시적 하이패스)을 위해 일렬될 수 있다. 선택적으로, 노이즈감소된 화상이 예를 들어, 샤프닝 또는 노이즈 코어링을 통해 더욱 증진되게 할 수 있고, 또는 변경화상이 예를 들어 변경에너지화상(피라미드)를 형성하도록 처리될 수 있다. 화상일렬 및 일시적 필터링을 위한 방법은 이미 공지되어 있다. 따라서 본 발명은 또한 화상 안정화의 단계와 같이 일렬되는 화상의 프레임 대 프레임 처리를 결합하고 있다. 특히 노이즈감소되거나 변경이 하이라이트된 화상시퀀스는, 시스템으로부터 출력 이전에 일렬된 입력화상의 일시적 로우 및 하이 패스 필터링과 유도된 시퀀스의 안정화을 각각 통해서 실행된다.
제 9도는 소오스 시퀀스의 각 화상을 이전의 화상이 아닌 개별의 기준 패턴R과 일렬시키는 시스템(16)를 나타내고 있다. 통상, 기준패턴R이 이전의 소오스비디오의 이전의 프레임으로부터의 사용자 제어하에서 선택기(162)에 의해 선택되거나, 간단히 소오스비디오에서의 이전의 화상일 수 있거나(예를 들어, 매 n번째 프레임이 다음의 n-1프레임을 일렬시키기 위한 기준으로 선택 및 사용될 수 있다), 저장된 목표물패턴의 세트로부터 선택될 수 있다. 프레임저장부(36)에 저장된 패턴R은 와퍼(102)에서 휘어져, 기준과 현 화상 Iin(t)사이의 패턴R의 변위추정치에 응답하여 출력 Rwarp(k-1)을 생성한다. 시스템의 출력은 기준패턴에 위해 매칭된 영역을 고정되게 유지하거나, 이 영역이 임의의 원하는 경로를 따라 이동되게 하도록 휘어진 현 화상Iin(t)이다. 다르게는, 시스템은 단일의 목표물패턴의 검색이 아니라 예를 들어 계층 구조의 검색을 사용하여, 합성패턴의 세트를 검색할 수 있다.
제 10도에서, 화상기(10)에 생성되어 프레임저장부(32)에 저장된 특정 화상 Iin(t)을 화상원(182)으로부터의 제 2의 화상시퀀스 I2n(t)에 등록하여 다른 비디오원으로부터의 화상을 안정화하는 시스템, 예를 들어, IR 및 가시 화상기는 특수 변위추정과정을 필요로 하고 있다. 제 2의 화상 시퀀스 I2n(t)는 프레임저장부(184)에 저장된다. 하나의 비디오원의 화상은 다른 원으로부터의 화상과 일렬된다; 즉, 하나의 소오스로부터의 화상은 다른 소오스로부터의 화상을 안정화하는 데에 사용되는 기준패턴으로 작용하게 된다. 휘어진 화상 Iwarp(t; k-1)은 차이를 추정하는 수단(106)에서 화상 Iin(t)과 비교되어, 와퍼(102)에 새로운 추정치를 제공하도록 이전의 추정치 d(t; k-1)에 부가되는 현재의 차이 d(t; k)를 결정한다. 최종차이추정치가 변형 파라미터를 발생하는 수단(114)에 의해 Iin(t)를 안정화하는 와퍼(116)에 필요한 정보를 제공하도록 사용되어 단자(118)에서 화상 Iout(t)를 생성하게 한다. 화상 I2n(t)이 단자(186)에서 시스템출력으로 유효하게 된다.
여러가지 처리들이 화상기의 관측영역내에서 목표 대상물의 위치를 검출하는 데에 사용될 수 있다. 이들은 상관관계 매치(예를 들어, 기준패턴에의 등록), 이동흐름필드의 작동영역 검출, 및 일시적 변경화상의 작동영역의 검출을 포함한다. 종래의 시스템은 화상기를 조준하기 위하여 전자적 목표물 검출을 사용하고 있다. 이들은 상관관계 패턴이나 프레임 대 프레임 변경에 의존하지만 전자적 일렬후에는 화상이동이나 프레임 대 프레임 변경을 이용할 수 없다. 결과적으로, 이 시스템은 화상기가 배경을 추적하고 있고 배경화상이 본래 고정되어 있는 경우에 프레임 대 프레임 변경을 사용할 수 있어 이동중인 목표물을 검출할 수 있다.
본 발명의 방법에서, 배경이 전자적으로 일렬된 다음에, 목표물이 검출되고, 목표물의 위치는 화상기 및/또는 전자 화상처리가 출력화상시퀀스에서 배경이 아닌 목표물을 추적 및 안정화시키도록 방향되게 된다. 본 발명은 유도된 변경 또는 이동정도를 사용하여 배경에 관련하여 이동하는 목표물을 검출하고 목표물 및 배경이동을 추정하게 하고, 전자적으로 검출된 목표물 위치 및 배경이동정보를 추정하게 하여 화상기 조준 및 출력 화상시퀀스안정화를 제어할 수 있다.
제 11도에서, 시스템(200)은 차이 Iin(t) ―Iwarp(t)를 구하는 하이패스필터(202)와 목표물의 위치를 판정하는 수단(204)을 포함한다. 수단(204)의 출력은 수단(106)에 공급되며 변형파라미터를 발생하는 제 2의 수단(206)에 공급되는 위치정보를 공급한다. 수단(206)의 출력은 화상기 프랫포옴(208)을 제어하는 데에 사용되어, 예를 들어 목표물을 추적하거나 중앙에 놓이게 하거나, 목표물을 전자적으로 안정화하거나 중앙에 놓이게하기 위해서, 화상기를 조준한다. 수단(106)에의 입력은 예를 들어 출력 화상에서 빠르게 이동하는 대상물을 중앙에 놓는 데에 사용될 수 있는 화상기에 오프세트 이동을 제공할 수 있다. 더욱 상세하게는, 목표물 위치정보는 화상기를 조준하고 잔여의 이동을 전자적으로 보상하는 데에 사용될 수 있다. 이 경우에 휨 파리미터는 프레임 대 프레임 변위 d(t; K)과 목표물 위치 파라미터 x(t)에 근거한 것이다. 필터수단(202)및 위치지정수단(204)를 조합하여 목표물 검출을 개선하고 노이즈를 감소하기 위해 이격되어 일시적으로 일렬되어 있는 다른 쌍의 화상과의 필터된 차이를 수용할 수 있게 된다.
화상 안정화시스템의 기능은 입력시퀀스의 이동을 결정하고 관찰된 이동을 출력시퀀스에서의 원하는 이동으로 대체하는 것이다. 관찰된 변위 d(t)를 필요한 휨 파라미터 P(t)로 변환하기 위한 수단(114)에 이용될 수 있는 여러가지 변환이 있다. 여기에서, 세가지 방법을 설명한다. 제 12도에서, xin(t)가 t번째 입력프레임의 위치이게 한다. 일반적으로, 이것은 x, y, Θ, 스케일(또는 아래에 설명되고 있는 모델에 기초한 안정화의 경우에 고차수의 파라미터)을 포함하는 벡터량이다. △xin(t) = d(t; K)가 관측된 프레임 대 프레임 변위가 되게 한다. xdesired(t)이 원하는 출력경로, P에서 t번째 화상의 위치이게 하다. 수단(114)은 관측된 입력 위치를 원하는 위치로 화상을 이동되게 하는 데에 필요한 변위 △xshift(t)을 결정한다. 변형모듈은 관측된 입력 변위에 근거한 원하는 경로P를 결정한다. 다음은 관측된 △xin으로부터 P(xdesired)을 얻는 방법이다.
변위추정치를 변형시키는 "로우패스"방법에서, 위치의 출력시퀀스는 위치의 입력시퀀스를 간단히 완화하여 얻는다:
△xshift(t) = △xin(t) - w ＊△xin(t)
여기에서 w은 ⅡR 로우패스필터이다. 다른 필터가 다른 이동의 파라미터를 얻는데에 적용될 수 있다. 예를 들어 회전 Θ이 급격히 완화되는 한편, 변환(x,y)은 완만히 완화되고, 스케일은 전혀 완화되지 않는다. 실재적으로 비선형 로우패스필터가 사용될 수 있다. 예를 들어 얼마나 큰 변위 xshift(t)가 얻어지는 지에 대한 한계가 있을 수 있다. 본 발명은 또한 로우패스필터를 입력위치의 시퀀스에 적용하여 원하는 출력 위치를 결정하게 하여 이동 감쇄하고 있다.
제 13도에서 나타낸 바와 같이 변위추정치를 변형하는 피이스와이즈 연속방법에서, 출력경로는 결합된 선형 세그먼트의 시퀀스로 정의된다. 이들 세그먼트는 입력 화상위치의 추정 방향을 따르게 선택된다. 모든 출력프레임은 미리 정한 한계치에 시간 t1가 이를 때까지 라인 세그먼트A로 이동된다. 다음에 출력 화상이 출력 디스플레이의 중앙으로 돌아가게 하는 새로운 세그먼트가 생기게 된다. t1에서의 속도 추정치는 예를 들어 t1이전의 시간동안 관측된 입력 변위의 평균에 기초하는 것이다. 다르게는, 원하는 경로가 외부에서 지정될 수 있다. 이 속도 및 프레임 Iin(t)의 위치는 연속의 입력 프레임의 위치를 예측하는 경로B를 지정한다. 출력 경로P는 시간 t1-1에서 세그먼트A의 종단으로부터 t2에서의 세그먼트B로 구성된 변환 세그먼트C를 따르게 되어 있다. 다음에 P는 필요한 시프트가 미리 정한 한계를 초과하게 되는 시간까지 B를 따른다. 이 방법은 입력 시퀀스의 일시적인 이동을 제거하여 방향이 갑자기 변경될 수 있는 입력 이동의 방향을 출력이 따르게 한다.
목표물 추적과정은 제 11도에서 나타낸 바와 같이 화상일렬 과정과 결합하여 사용될 때, 검출된 목표물위치는 출력 경로 P를 결정하는 데에 사용되는 한편 화상일렬 과정은 이 경로로 화상을 시프트하는 데에 사용된다. 두 과정 접근법은 목표물이 작거나 약간 장면에서 예외적으로 이동하게 될 때 필요하게 된다. 피이스와이즈 완화 화상 안정화는 배경장면의 원치 않는 고 빈도의 이동이 출력에서 제거되게 하는 것을 확실하게 한다. 목표물 추적은 출력 디스플레이내에서 목표물이 보통 중앙에 놓이게 하는 경로를 지정하는 데에 사용된다.
목표물패턴은 오퍼레이터에 의해 지정된 배경장면의 일부일 수 있거나, 관찰자에 의해 지정되거나 이동검출모듈에 의해 검출된 장면의 이동물체일 수 있다. 관찰자에 의해 지정된 패턴의 경우, 시스템은 뒤이은 추적시 기준으로 사용되는 패턴을 저장한다. 이 기준은 예를 들어 매 n번째 정규 간격에서 자동으로 갱신될 수 있다. 일단 기준패턴에 가장 적합한 매치를 제공하는 위치가 장면에서 발견되며, 그 위치에서의 패턴은 기준의 대체로 저장되게 된다. 이런 방법으로 시스템은 목표물패턴의 점차적인 변경에 적응하게 된다. 검출된 목표물패턴의 위치가 출력시퀀스를 안정화하는 데에 사용되면, 기준패턴이 갱신되는 때마다 약간 점프(출력 경로, P에서 비연속적으로)하게 된다. 이 점프는 경로 P에서 세그먼트를 지정하도록 관찰된 목표물패턴 위치르 사용하여 방지되는 한편, 배경 일렬과정은 제 11도에서 시프트 x(t) 및 p(t)를 지정한다. 본 발명은 또한 안정화시 개별의 배경 및 목표물 추적과정을 이용하고 있다. 배경 추적과정은 피이스와이즈 완화안정화를 제공하는 한편, 목표물 추적과정은 출력이동경로의 세그먼트를 결정하여 출력 디스플레이에서 원하는 위치로 목표물패턴을 원활하게 이동되게 한다.
기계적 안정화장치는 두 개 또는 세 개의 화상기 회전축을 안정화하는 것이다. 전자적 안정화장치는 화상기 관측영역에서의 화상변환을 보상한다. 여기에서 제시되고 있는 전자적 방법의 중요한 이점은 화상기 제어를 통해 보상될 수 없는 이동을 보상하는 데에 사용될 수 있다는 것이다. 예를 들어, 전자적 휨은 화상기의 관측 영역위에서 패턴이 이동함에 따른 렌즈 뒤틀림을 보상할 수 있다. 더욱이, 전자적 안정화법은 장면의 표면에 관련하여 화상기가 이동할 때 시차이동을 보상할 수 있다. 안정화는 이 이동의 수치적 모델 및 상술된 일렬방법을 통해 추정되는 파라미터에 근거한다. 예를 들어 2차 휨은 화상기의 방향에 관련하여 경사질 수 있는 평면의 이동을 보상할 수 있다.
전자 안정화법은 장면(예를 들어, 자동차의 정면에서 노면)에 존재하는 표면 이동 또는 화상기에 관련하여 지정되는 표면(이동차량으로부터 소정거리 이격되어있는 수직면)의 이동을 보상하는 데에 사용될 수 있다. 전자의 방법은 이동 및 장면의 표면에 대한 거리를 추정하며 이들 표면을 안정화하는 수단을 제공하는 한편, 후자의 방법은 화상기로부터 소정거리 이격되어 있는 "보이지 않는 장벽"을 지날 때 물체를 검출하는 수단을 제공한다. (이동차량의 정면에서 표면의 잔여의 이동모델에 근거한 안정화에 근거하여 검출이 행해지고, 이에 따라 일시적인 로우패스필터가 그 표면 근처에 있지 않은 장면에서의 모든 물체에 대해서는 이동이 번지게 된다.)
모델 근거 안정화는 노면과 같은 장면의 표면을 안정화하는 데에 사용될 수 있다. 이 경우, 화상기에 관련하는 표면의 이동이 결정되어야 하다. 이것은 알려진 모델 근거 변위 추정과정을 이용하여 행해진다. 이 기술은 표면형상 및 거리를 결정하는 수단으로 이전에 제안되어 왔다. 여기에서 화상시퀀스의 안정화시 이 기술을 이용하고 있다.
화상수단(10)은 외부 라디에이터에 의해 조명되는 관측영역내에서 물체로부터 반사되는 방사를 수용하는 구조체를 포함하고 있다. 다르게는, 화상수단(10)은 방사로 관측영역내에서 물체를 조명하는 수단과, 이 물체로부터 반사된 에코우(이 에코우는 또한 물체-거리정보를 제공할 수 있다)를 수용하는 수단을 포함하는 구조체를 가지고 있다. 더욱이, 화상수단(10)은 전자기의 임의의 파장부의 방사, 초음파 및/또는 다른 형태의 전파-에너지 스펙트럼에 응답할 수 있다. 아날로그-디지탈(A/D)변화기는 각 연속적인 프레임의 화상데이타를 디지탈형태로 변환하여 디지탈 처리장치로 처리된게 한다.
화상 와퍼(102) 및 (116)은 TRW사에서 제작된 TMC 2302 Image Manipulation Sequncer 및 TMC 2246 Image Filter로부터 형성되는 것이 바람직하다. Image Manipulation Sequnce는 출력화상의 어드레스가 부여된 소오스 화상의 어드레스를 생성하는 데에 사용된다. Image Filter는 지정된 입력화상 어드레스에 인접하여 입력화소가 부여된 출력화소값을 삽입한다. 입력화상은 삽입기가 필요로 하는 모든 인접한 화소의 연속적 판독을 가능하게 하도록 세그먼트되어 있는 표준메모리에 저장된다.
변형부는 관측된 화상변위와 외부 지정된 제어정보를 변환시킨다. 변형모듈은 텍사스, 달라스에 소재하는 텍사스 인스트루먼트사에 의해 제작된 TMS 320 C30 디지탈 신호처리 칩과 같은 일반적인 목적의 연산장치일 수 있다. 변형모듈은 몇개의 다른 안정화제어모듈을 포함하고 있는데, 각각 메모리에 저장된 연산코드에 의해 지정되어 있다. 예를들어, 이들은 감쇄된 이동안정화, 피이스와이즈 선형 안정화, 및 목표물 중앙에 놓는 것과 관련되는 안정화를 포함할 수 있다. 어느 순간에 사용되는 모듈은 시스템에의 외부입력에 의해 보통 지정된다. 변형모듈에의 다른 입력은, 변위 추정기에 의해 연산된 프레임 대 프레임 변위와, 위치지정기 모듈에 의해 연산된 목표물위치를 포함한다. 각 프레임시간에 변형모듈은 먼저 원하는 출력이동경로를 결정한 다음에, 필요한 변위가 입력프레임을 그 경로에 이동되게 한다. 변위 파라미터는 시스템의 출력으로서 와퍼에 제공된다. 입력은 변위추정기로부터의프레임 대 프레임 변위정보 및 외부모드 또는 다른 제어내역을 포함한다.
제 1갯수의 화소를 가지는 비교적 고 해상도의 화상이 넓은 관측영역을 유도하기 위해 처리되는 경우, 화상의 분해에 의한 화상분석이 Multiresolution Image Processing And Analysis 16권 20-51페이지 에서 Burt에 의해, 그리고 여기에서 화상분해 기술의 참조를 위해 언급되고 있는 미국 특허번호 제 4,692,806호에서 Anderson에 의해 개시되어 있다.
라플라시안 변환은 각 소오스화상을 많은 크기의 가우시안형 기본 기능의 정규 어레이로 분해하는 데에 사용되고, 가끔 피라미드변형의 기본기능이나 웨블릿으로 언급된다. 다해상도 피라미드는 화상에 대한 저해상도에서 분석되는 조악한 특성과 고해상도로 분석되는 미세 특성을 가능하게 한다. 피라미드의 각 샘플값은 대응하는 기본 기능과 결합된 크기를 대표한다. 제 14도에서, 소오스화상의 가우시안 및 라플라시안 피라미드의 발생을 위한 플로우챠트를 나타내고 있다. 가우시안 G(0)은 F1, 즉 가우시안 롤-오프(roll-off)를 가지는 로우패스필터에 의해 필터되며, F2에 의해 서브샘플되는 소오스화상으로, 각 열 및 교대의 열의 화소를 제거하고, 제 1의 레벨의 가우시안 G(1)을 형성한다. 하측 레벨의 가우시안 G(n)은 동일한 방법으로 연속 형성되게 된다. 피라미드의 각 레벨에서 가우시안에 대응하는 라플라시안 L(n)은 가우시안 피라미드의 다음 최하의 레벨에 서브샘플된 데이타를 회복하여(임의의 샘플F2'사이에서 제로값 샘플을 삽입한 다음에 삽입 필터 F1을 적용하여)형성된다. 이 방법으로 형성된 라플라시안은 감소-팽창(RE)라플라시안으로 알려져 있다. 다르게는, 라플라시안은 점선으로 나타낸 바와 같이, 서브샘플링 및 재삽입없이 형성될 수 있다. 이것은 필터-서브트랙트-데시메이트(FSD)라플라시안으로 칭해진다.
저 해상도의 화상을 생성하기 위해 화상을 분해하는 처리는 통상 가우시안 롤-오프를 가지는 밴드폭을 다르게 하는 복수의 로우-패스 필터를 사용하여 행해지고, 여기에서 참조로 언급되고 있는 미국 특허 출원 번호 07/805149에서와, 파리 Workshop for Machine Vision에서 기술되고 있으며, 프린세톤 피오 박스 센서사에 의해 판매되도 있는 PYR-1을 이용하여 효과적로 실행될 수 있다. PYR-1 피라미드 회로는 세 개의 디지트화된 입력 신호를 수신하여 두 개의 출력신호까지 제공한다. 입력 및 출력 데이타 채널은 파이프라인 처리를 제어하는 타이밍신호를 결합하고 있다. 이들 타이밍 신호는 회로의 처리 지연에 자동적으로 조절되어, 파이프라인시스템의 자동지연제어를 가능하게 한다. 이차원 필터를 실행하는 데에 사용되는 수평 지연 라인의 유효 길이는 타이밍신호에 의해 제어되어, 프로그램될 필요가 없다. 이 회로는 연속 가변의 수평 및 수직의 소거시간을 가지는 신호를 수신 및 처리한다. 비디오카메라로부터의 화상에 대해서, 수평 및 수직 동기신호는 타이밍신호를 제공한다. 이들 신호는 디지트화되어 디지탈 데이타신호와 결합되어 입력신호를 생성한다. 다르게는 디지탈 데이타신호는 타이밍신호가 프레임저장부 또는 보조장치에 의해 부가되는 경우에 프레임저장부에 의해 발생될 수 있다. 가우시안 로우패스 필터된 화상과 입력화상의 라플라시안기능(가우시안과 입력화상간의 차이)을 동시에 연산하는 데에 사용될 수 있는 회로는 두개의 평행 경로를 가지고 있다. 두 개의 평행 경로는 또한 피라미드변형을 연산하는 데에 사용될 수 있다.
제 15도에서, 예시의 PYR-1회로는 세 개의 입력 신호, IN1, IN2, IN3를 수신하고, 두 개의 출력신호, OUT1, OUT2를 제공할 수 있다. 이들 신호 각각은 최소한 8개의 데이타 비트와 두 개의 타이밍 비트를 포함하는 다수비트 디지탈 신호이다. 두 개의 타이밍 비트는 각각의 타이밍 신호를 이송한다. 하나의 신호, HA는 라인의 데이타가 유효(즉, 활성의 화상간격)할 때 논리 하이상태에 있고, 그렇지 않으면(즉, 수평소거간격)논리 로우상태에 있다. 다른 신호, VA는 필드의 데이타가 유효할 때 논리 하이상태에 있고, 그렇지 않으면(즉, 수직소거기간) 논리 로우상태에 있다.
회로는 5개의 주 요소를 포함하고 있다: 입력 산술논리부(ALU)(1104), 필터(1110)(제 1도에서 실선내로 나타냄), 멀티플렉서(1120), 클립 프로세서(1122) 및 출력 ALU(1124), 입력 지연소자(102)에 의해 동일하게 지연되는 신호 IN1, IN2는 ALU(1104)에 의해 조합되어 필터(1110)에 적용되는 신호, IN을 생성한다. 이 신호는 신호 IN1, IN2 중 하나일 수 있고, 이들의 합(IN1+IN2) 또는 이들의 차(IN1-IN2)일 수 있다.
필터(1110)는 각 차원에 하나와 다섯 개사이의 탭을 가지도록 구성될 수 있는 2차원 필터를 통해 ALU(1104)에 의해 제공된 신호를 처리한다. 필터는 여러 다른 형태의 화소값이 실재의 화상데이타를 둘러싸게 되어 있는 수직 에지 프로세서(1106) 및 수평 에지 프로세서(1108)를 포함한다. 프로세서(108)는 상부 및 저부 에지에서 화상에 경계화소의 라인을 효과적으로 부가하도록 입력신호를 처리한다. 부가하여, 삼상 게이트(112a-112d) 및 메모리(1114)와 관련하여 작용하여 네 개의 라인지연 화상신호를 콘볼루션 프로세서(1118)의 수직필터부에 제공하도록 사용되는 탭 지연라인을 실행하게 한다.
메모리(1114)는 2차원 필터의 수직부에 4 또는 8 라인 지연을 제공한다. 지연된 라인은 콘볼루션 프로세서(1118)에서 수직 및 수평으로 조합되어 필터(1110)을 완성한다. 필터(1110)에 의해 제공된 출력신호는 단일 정밀 신호를 라운딩 및 스케일링을 실행하고 높은 유효 비트(MSB)위치로서 필터된 데이타를 입력IN3를 경유해 제공된 낮은 유효 시트(LSB)부를 나타내는 필터된 데이타와 조합하여, 이중 정밀 출력신호를 생성하는 클립 프로세서(1122)에 의해 처리된다.
프로세서(1106)에 의해 처리된 프로세서(1122)의 출력신호 또는 ALU(1104)의 출력신호는, 출력신호OUT1으로 선택될 수 있다. 출력신호OUT2는 클립프로세서(1122)의 출력신호 또는 멀티플렉서(120)의 출력신호 또는 이들 두 신호를 조합한 ALU(1124)의 출력일 수 있다. 멀티플렉서(1120)에 의해 제공된 신호는 일정 값, K2, 입력신호 IN2나 수평 에지 프로세서(1108)에 의해 제공된 지연된 수평라인 신호들중 하나일 수 있다. 멀티플렉서(1120)는 입력신호 각각을 클립프로세서(1122)에 의해 제공된 신호에 일렬되게 하는 내부 보상지연부(도시생략)을 포함한다. 회로의 타이밍신호는 2상 입력 클럭신호, CLK 및 CLK2로부터 2상 메모리 클럭과 시스템 클럭신호CK를 생성하는 타이밍회로(1128)에 의해 생성된다.
회로기능은 제어입력채널 CBUS로부터의 사용자 명령을 수신하고 출력포트 CONT를 경유하여 회로의 다른 성분에 제어신호와 데이타값을 제공하는 제어회로(1130)를 경유하여 제어된다.
본 발명이 이미징시스템으로 구현되어 설명되고는 있지만, 본 발명은 나타낸 설명에만 제한되는 것이 아니다. 예를 들어, 본 발명은 하나의 소오스로부터의 화상 시퀀스 또는 다중소오스로부터의 화상 시퀀스를 포함할 수 있다. 본 발명의 영역에서 벗어나지 않고 청구범위내에서 여러가지 변형이 가능하게 된다.
본 발명이 화상의 변위의 추정치를 결정하는 데에 기준을 휘어지게 하는 것으로 설명되고 있지만, 화상 그 자체는 추정기에서 기준과 비교하도록 휘어질 수 있다. 변위의 최종 추정치는 다음에 화상을 휘어지게 하여 안정화된 출력화상을 형성하는 데에 사용될 수 있다. 제 16도에서, 시스템은, 기준이 아닌 현재의 화상이 변위의 추정치를 얻기 위해 휘어져 있도록 와퍼의 위치가 변경되는 것을 제외하고 제 6도의 시스템과 동일하다.

Claims (14)

  1. 디지털 형태의 연속 쌍의 이미지프레임 시퀀스에 응답하는 전자 이미지 안정화 방법에 있어서,
    (a) 제1 이미지 와퍼, 변위 추정기, 가산기 및 메모리를 포함하는 반복 동작의 피드백 루프를 이용하여 상기 시퀀스의 각 쌍의 이미지프레임에 의해 표현되는 이미지들 간의 최대에러 초기 추정변위를 최소에러 최종 추종변위로 감소시키는 단계;
    (b) 상기 최종 추정변위를 상기 메모리에 저장하는 단계;
    (c) 소정의 이미지 변환 모델에 따라 상기 메모리에 저장된 상기 최종 추정변위를 출력 변환 파라미터로 변환시키는 단계; 및
    (d) 제2 이미지 와퍼를 이용한 상기 출력 변환 파라미터에 따라 상기 연속 쌍의 이미지프레임 각각의 소정 이미지프레임을 휘게 하는 단계를 포함하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  2. 제1항에 있어서, 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음(then-current) 이미지프레임에 부합하고; 그리고 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임 이외 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임을 바로 앞서는 이미지프레임에 부합하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  3. 제1항에 있어서, 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임을 바로 앞서는 이미지프레임에 부합하고; 그리고 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임 이외 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임에 부합하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  4. 제1항에 있어서, 상기 시퀀스 내 상기 연속 쌍의 이미지프레임 각각은 소정 최저 해상도에서 소정 최고 해상도까지 다수의 해상도에서 가용하며; 그리고 상기 단계(a)는 상기 최저 해상도 이미지프레임에서 시작하여, 차례로 연속적으로 더 높은 각각의 해상도 이미지프레임에서 상기 반복 동작의 피드백 루프를 이용하여 각각의 최저 해상도 상의 이미지프레임에 의해 표현되는 이미지들 간의 최대에러 초기 추정변위를 각각의 최고 해상도 쌍의 이미지프레임에 의해 표현되는 최소에러 최종 추정변위로 감소시키는 단계를 포함하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  5. 제1항에 있어서, 상기 단계(a)는 현재 쌍의 이미지프레임을 앞서는 한 쌍의 이미지프레임에 의해 표현되는 이미지들 간의 최종 추정변위를 상기 현재 쌍의 이미지프레임의 초기 추정변위로 이용하는 단계를 포함하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  6. 제1항에 있어서, 상기 단계(c)는 부분적 선형경로를 형성하는 출력 변환 파라미터를 유도하는 소정의 이미지 변환 모델에 따라 상기 메모리에 저장된 상기 최종 추정변위를 상기 출력 변환 파라미터로 변환하는 단계를 포함하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  7. 제1항에 있어서, 상기 단계(c)는 이미지 차이를 완화하기 위하여 저역 필터링이 적용되는 소정의 이미지 변환 모델에 따라 상기 메모리에 저장된 상기 최종 추정변위를 출력 변환 파라미터로 변환하는 단계를 포함하는 것을 특징으로 하는 전자 이미지 안정화 방법.
  8. 디지털 형태의 연속 쌍의 이미지프레임 시퀀스에 응답하는 전자 이미지 안정화 장치에 있어서, 제1 이미지 와퍼, 변위 추정기, 가산기 및 메모리를 포함하여 상기 시퀀스의 각 쌍의 이미지프레임에 의해 표현되는 이미지들 간의 최대에러 초기 추정변위를 최소에러 최종 추종변위로 감소시키는 반복 동작의 피드백 루프; 상기 최종 추정변위를 상기 메모리에 저장시키는 저장수단; 소정의 이미지 변환 모델에 따라 상기 메모리에 저장된 상기 최종 추정변위를 출력 변환 파라미터로 변환시키는 변환수단; 및 제2 이미지 와퍼를 이용한 상기 출력 변환 파라미터에 따라 상기 연속 쌍의 이미지프레임 각각의 소정 이미지프레임을 휘게 하는 수단을 포함하는 것을 특징으로 하는 전자 이미지 안정화 장치.
  9. 제8항에 있어서, 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임을 저장하는 제1 이미지프레임 저장부; 및 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임 이외 이미지프레임을 저장하는 제2 이미지프레임 저장부를 더 포함하는 것을 특징으로 하는 전자 이미지 안정화 장치.
  10. 제9항에 있어서, 상기 제1 이미지프레임 저장부에 저장된 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임에 부합하고; 그리고 상기 제1 이미지프레임 저장부에 저장된 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임 이외의 상기 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임 바로 앞서는 이미지프레임에 부합하는 것을 특징으로 하는 전자 이미지 안정화 장치.
  11. 제9항에 있어서, 상기 제1 이미지프레임 저장부에 저장된 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임에 바로 앞서는 이미지프레임에 부합하고; 그리고 상기 제1 이미지프레임 저장부에 저장된 상기 연속 쌍의 이미지프레임 각각의 상기 소정 이미지프레임 이외의 상기 이미지프레임은 상기 시퀀스 내 그 쌍의 이미지프레임들 중 다음 이미지프레임에 부합하는 것을 특징으로 하는 전자 이미지 안정화 장치.
  12. 제8항에 있어서, 상기 시퀀스 내 상기 연속 쌍의 이미지프레임 각각을 소정의 최저 해상도에서 소정의 최고 해상도까지 다수의 해상도로 제공하는 피라미드 수단을 더 포함하며; 상기 반복 동작의 피드백 루프는 상기 소정의 최저 해상도 이미지프레임 상에서 동작함으로써 시작하고 차례로 각각의 연속적인 더 높은 해상도 이미지프레임 상에서 동작하여, 각 소정의 최저 해상도 쌍의 이미지프레임에 의해 표현되는 이미지들 간의 최대에러 초기 추정변위를 각 소정의 최고 해상도 쌍의 이미지프레임에 의해 표현되는 최소에러 최종 추정변위로 감소시키는 수단을 포함하는 것을 특징으로 하는 전자 이미지 안정화 장치.
  13. 제8항에 있어서, 상기 시퀀스 내 현재 쌍의 이미지프레임에 앞서는 한 쌍의 이미지프레임에 의해 표현되는 이미지들 간의 최종 추정변위를 상기 현재 쌍 이미지프레임의 초기 추정변위로서 상기 반복 동작의 피드백 루프에 제공하는 수단을 더 포함하는 것을 특징으로 하는 전자 이미지 안정화 장치.
  14. 제8항에 있어서, 소정의 이미지 변환 모델에 따라 상기 메모리에 저장된 상기 최종 추정변위를 출력 변환 파라미터로 변환하는 상기 변환수단은 부분적 선형경로를 형성하는 출력 변환 파라미터를 유도하는 수단 및 이미지 차이를 완화하는 데 유효한 상기 변환 파라미터를 유도하는 저역 필터 수단을 포함하는 것을 특징으로 하는 전자 이미지 안정화 장치.
KR1019950705473A 1993-06-04 1994-06-02 전자적 화상 안정화 장치 및 방법 KR100268311B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7181493A 1993-06-04 1993-06-04
US08/071814 1993-06-04
PCT/US1994/006032 WO1994030007A1 (en) 1993-06-04 1994-06-02 System and method for electronic image stabilization

Publications (2)

Publication Number Publication Date
KR960702974A KR960702974A (ko) 1996-05-23
KR100268311B1 true KR100268311B1 (ko) 2000-10-16

Family

ID=22103762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950705473A KR100268311B1 (ko) 1993-06-04 1994-06-02 전자적 화상 안정화 장치 및 방법

Country Status (7)

Country Link
US (1) US5629988A (ko)
EP (2) EP0701758B1 (ko)
JP (1) JP3734829B2 (ko)
KR (1) KR100268311B1 (ko)
DE (2) DE69426232T2 (ko)
ES (2) ES2258311T3 (ko)
WO (1) WO1994030007A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101799144B1 (ko) * 2012-02-06 2017-11-17 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 디지털 이미지 시퀀스 안정화 시스템 및 방법

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69332379T2 (de) * 1993-11-23 2003-07-10 Hewlett Packard Co Tintenwiedergabe
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
WO1997023993A2 (en) * 1995-12-21 1997-07-03 Philips Electronics N.V. Noise reduction in an image
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
US6249616B1 (en) 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6396961B1 (en) 1997-11-12 2002-05-28 Sarnoff Corporation Method and apparatus for fixating a camera on a target point using image alignment
US7843510B1 (en) 1998-01-16 2010-11-30 Ecole Polytechnique Federale De Lausanne Method and system for combining video sequences with spatio-temporal alignment
US6320624B1 (en) 1998-01-16 2001-11-20 ECOLE POLYTECHNIQUE FéDéRALE Method and system for combining video sequences with spatio-temporal alignment
US6211913B1 (en) 1998-03-23 2001-04-03 Sarnoff Corporation Apparatus and method for removing blank areas from real-time stabilized images by inserting background information
US6522325B1 (en) 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
EP1068730A4 (en) 1998-04-02 2005-03-30 Kewazinga Corp NAVIGATING TELE-ACTIVITY PROCESS AND SYSTEM WITH CAMERA LINE
US6067373A (en) * 1998-04-02 2000-05-23 Arch Development Corporation Method, system and computer readable medium for iterative image warping prior to temporal subtraction of chest radiographs in the detection of interval changes
US6459822B1 (en) 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
WO2001028405A2 (en) 1999-10-20 2001-04-26 The Trustees Of The University Of Pennsylvania Enhancement of images for ophthalmic disgnosis
CA2392530A1 (en) * 1999-11-24 2001-05-31 Inmotion Technologies Ltd. Coordination and combination of video sequences with spatial and temporal normalization
JP2003515827A (ja) * 1999-11-26 2003-05-07 モービルアイ インク 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法
US6099124A (en) * 1999-12-14 2000-08-08 Hidaji; Faramarz Ophthalmological system and method
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
US6757027B1 (en) 2000-02-11 2004-06-29 Sony Corporation Automatic video editing
US7136528B2 (en) * 2000-02-11 2006-11-14 Sony Corporation System and method for editing digital images
US7262778B1 (en) 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
US6993719B1 (en) 2000-02-11 2006-01-31 Sony Corporation System and method for animated character photo-editing interface and cross-platform education icon
US7307652B2 (en) 2000-03-10 2007-12-11 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
US7019773B1 (en) * 2000-05-25 2006-03-28 Prc Inc. Video mosaic
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
JP2002224982A (ja) * 2000-12-01 2002-08-13 Yaskawa Electric Corp 薄型基板搬送用ロボットおよび薄型基板検出方法
EP1354292B1 (en) * 2000-12-01 2012-04-04 Imax Corporation Method and apparatus FOR DEVELOPING HIGH-RESOLUTION IMAGERY
US6423720B1 (en) * 2001-02-01 2002-07-23 Duquesne University Of The Holy Ghost Pyrimidine compounds and methods for making and using the same
US6901173B2 (en) * 2001-04-25 2005-05-31 Lockheed Martin Corporation Scene-based non-uniformity correction for detector arrays
US6973218B2 (en) * 2001-04-25 2005-12-06 Lockheed Martin Corporation Dynamic range compression
US7103235B2 (en) 2001-04-25 2006-09-05 Lockheed Martin Corporation Extended range image processing for electro-optical systems
US6965379B2 (en) 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
FR2828314B1 (fr) * 2001-07-31 2003-12-12 Sagem Procede de stabilisation electronique des images d'une scene d'un appareil de prise de vues d'un systeme d'imagerie et procede d'harmonisation electronique de deux appareils de prise de vues de deux systemes d'imagerie
FR2828315B1 (fr) 2001-07-31 2005-08-05 Sagem Stabilisation des images d'une scene, correction des offsets de niveaux de gris, detection d'objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images
WO2003024095A1 (en) * 2001-09-07 2003-03-20 Intergraph Hardware Technologies Company Image stabilization using color matching
US7006665B2 (en) * 2002-01-18 2006-02-28 Lockheed Martin Corporation Adaptive, product control and stabilization sub-system for camera-based optical character recognition, and a method of operating the same
AU2003209553A1 (en) * 2002-03-13 2003-09-22 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US6925195B2 (en) * 2002-05-28 2005-08-02 Eastman Kodak Company Stabilization of three-dimensional images in a scannerless range imaging system
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
JP3859673B2 (ja) * 2002-09-17 2006-12-20 富士通株式会社 生体情報取得装置および生体情報による認証装置
US20040100565A1 (en) * 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
US20040100563A1 (en) 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US7876359B2 (en) * 2003-01-17 2011-01-25 Insitu, Inc. Cooperative nesting of mechanical and electronic stabilization for an airborne camera system
US7602415B2 (en) * 2003-01-17 2009-10-13 Insitu, Inc. Compensation for overflight velocity when stabilizing an airborne camera
US7298869B1 (en) * 2003-07-21 2007-11-20 Abernathy Donald A Multispectral data acquisition system and method
JP2005078528A (ja) * 2003-09-02 2005-03-24 Honda Motor Co Ltd 物体検出装置及び方法
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
JP3901173B2 (ja) * 2004-06-07 2007-04-04 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20050285947A1 (en) * 2004-06-21 2005-12-29 Grindstaff Gene A Real-time stabilization
US7463753B2 (en) * 2004-09-15 2008-12-09 Raytheon Company FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker
GB0423578D0 (en) * 2004-10-22 2004-11-24 Greenparrotpictures Ltd Dominant motion estimation for image sequence processing
DE102005000820B4 (de) * 2004-12-08 2007-07-05 Carl Zeiss Ag Verfahren zum Verbessern der Sehfähigkeit einer sehbehinderten Person und Sehhilfe
US7961966B2 (en) * 2005-01-04 2011-06-14 Etron Technology, Inc. Digitized image stabilization using energy analysis method
KR101249236B1 (ko) * 2005-01-12 2013-04-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 인식
US7489341B2 (en) * 2005-01-18 2009-02-10 Primax Electronics Ltd. Method to stabilize digital video motion
US20080152251A1 (en) * 2005-01-31 2008-06-26 Koninklijke Philips Electronics, N.V. Pyramidal Decomposition for Multi-Resolution Image Filtering
GB2425907A (en) * 2005-05-05 2006-11-08 Vitec Group Plc Improvements in or relating to camera mounting
GB2426074A (en) * 2005-05-05 2006-11-15 Vitec Group Plc Camera mounting with gyroscopic stablizer
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
GB2432071A (en) * 2005-11-04 2007-05-09 Autoliv Dev Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question
WO2007053075A2 (en) * 2005-11-04 2007-05-10 Autoliv Development Ab Infrared vision arrangement and image enhancement method
CA2636858C (en) * 2006-01-27 2015-11-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
CN101479765B (zh) 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
FR2903200B1 (fr) * 2006-06-29 2008-12-19 Thales Sa Stabilisation hybride d'images pour camera video
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8020441B2 (en) * 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US20100071467A1 (en) * 2008-09-24 2010-03-25 Invensense Integrated multiaxis motion sensor
US8141424B2 (en) * 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US20080165280A1 (en) * 2007-01-05 2008-07-10 Deever Aaron T Digital video stabilization with manual control
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
US8457410B2 (en) * 2007-02-14 2013-06-04 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
US7995800B2 (en) * 2007-02-28 2011-08-09 Imec System and method for motion detection and the use thereof in video coding
JP4389956B2 (ja) * 2007-04-04 2009-12-24 ソニー株式会社 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム
JP4926920B2 (ja) * 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
JP5213237B2 (ja) * 2008-04-17 2013-06-19 パナソニック株式会社 撮像位置判定方法及び撮像位置判定装置
US8081224B2 (en) * 2008-05-07 2011-12-20 Aptina Imaging Corporation Method and apparatus for image stabilization using multiple image captures
DE102009011032A1 (de) 2009-03-02 2010-09-09 Epiret Gmbh Mobile Video Trainingseinheit
US8314816B2 (en) * 2009-06-08 2012-11-20 Honeywell International Inc. System and method for displaying information on a display element
WO2011094346A1 (en) * 2010-01-26 2011-08-04 Hobbs Barry L Integrated concurrent multi-standard encoder, decoder and transcoder
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
JP2012054911A (ja) * 2010-08-05 2012-03-15 Panasonic Corp 撮像装置
US20120076403A1 (en) * 2010-09-23 2012-03-29 Oscar Nestares System and method for all-in-focus imaging from multiple images acquired with hand-held camera
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US20120328161A1 (en) * 2011-06-22 2012-12-27 Palenychka Roman Method and multi-scale attention system for spatiotemporal change determination and object detection
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US8761439B1 (en) 2011-08-24 2014-06-24 Sri International Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
US8760513B2 (en) 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
US9338352B2 (en) * 2011-12-30 2016-05-10 Flir Systems Ab Image stabilization systems and methods
US8774513B2 (en) * 2012-01-09 2014-07-08 General Electric Company Image concealing via efficient feature selection
JP6087671B2 (ja) * 2013-03-12 2017-03-01 キヤノン株式会社 撮像装置およびその制御方法
IL233684B (en) 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
US10554965B2 (en) 2014-08-18 2020-02-04 Google Llc Motion-compensated partitioning
US20170069103A1 (en) * 2015-09-08 2017-03-09 Microsoft Technology Licensing, Llc Kinematic quantity measurement from an image
EP3378221B1 (en) 2015-11-16 2022-01-12 Google LLC Stabilization based on accelerometer data
FR3047103B1 (fr) 2016-01-26 2019-05-24 Thales Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee
US10397600B1 (en) 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode
US10462457B2 (en) 2016-01-29 2019-10-29 Google Llc Dynamic reference motion vector coding mode
CN108510520B (zh) * 2018-02-13 2019-03-08 视辰信息科技(上海)有限公司 一种图像处理方法、装置及ar设备
CN110072064B (zh) * 2019-06-12 2020-07-03 睿魔智能科技（深圳）有限公司 一种图像拍摄方法、装置、设备以及存储介质
US10937232B2 (en) 2019-06-26 2021-03-02 Honeywell International Inc. Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames
CN113923369B (zh) * 2021-12-13 2022-03-15 北京海兰信数据科技股份有限公司 一种用于船舶的视频防抖方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4835532A (en) * 1982-07-30 1989-05-30 Honeywell Inc. Nonaliasing real-time spatial transform image processing system
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
US4703514A (en) * 1985-09-16 1987-10-27 Rca Corporation Programmed implementation of real-time multiresolution signal processing apparatus
GB2220319B (en) * 1988-07-01 1992-11-04 Plessey Co Plc Improvements in or relating to image stabilisation
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
GB9001468D0 (en) * 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5251271A (en) * 1991-10-21 1993-10-05 R. R. Donnelley & Sons Co. Method for automatic registration of digitized multi-plane images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101799144B1 (ko) * 2012-02-06 2017-11-17 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 디지털 이미지 시퀀스 안정화 시스템 및 방법

Also Published As

Publication number Publication date
EP0986252A1 (en) 2000-03-15
DE69434657D1 (de) 2006-05-04
ES2258311T3 (es) 2006-08-16
JPH08511137A (ja) 1996-11-19
DE69434657T2 (de) 2007-02-15
EP0986252B1 (en) 2006-03-08
WO1994030007A1 (en) 1994-12-22
EP0701758A1 (en) 1996-03-20
JP3734829B2 (ja) 2006-01-11
DE69426232T2 (de) 2001-05-17
DE69426232D1 (de) 2000-12-07
KR960702974A (ko) 1996-05-23
US5629988A (en) 1997-05-13
EP0701758B1 (en) 2000-11-02
ES2151550T3 (es) 2001-01-01

Similar Documents

Publication Publication Date Title
KR100268311B1 (ko) 전자적 화상 안정화 장치 및 방법
Morimoto et al. Evaluation of image stabilization algorithms
CN100544403C (zh) 图像稳定化系统及方法
KR101830804B1 (ko) 적응 필터링을 이용한 디지털 이미지 안정화 방법
US7221776B2 (en) Video stabilizer
JP3590631B2 (ja) 複数の画像を利用した高解像静止画像を創出する方法及び装置
US6285711B1 (en) Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
EP1578116B1 (en) Image processor
US6819778B2 (en) Method and system for tracking a fast moving object
US8130845B2 (en) Method and apparatus for estimating and compensating for jitter in digital video
US7956897B2 (en) Image combining device and imaging apparatus
US8743268B2 (en) Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
US20080246848A1 (en) Image stabilizing apparatus, image-pickup apparatus and image stabilizing method
US20130271666A1 (en) Dominant motion estimation for image sequence processing
Morimoto et al. Fast 3D stabilization and mosaic construction
US5943090A (en) Method and arrangement for correcting picture steadiness errors in telecine scanning
EP1956556A1 (en) Image processing method, image processing program, image processing device, and imaging device
US20120019677A1 (en) Image stabilization in a digital camera
JP2011188035A (ja) 撮像装置及びパノラマ画像合成方法並びにそのプログラム
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2009065283A (ja) 画像ぶれ補正装置
Tajbakhsh Real-time global motion estimation for video stabilization
JP2000123182A (ja) 画像追跡装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090706

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee