KR20070088528A - 영상 프로세서 및 영상 처리 프로그램 - Google Patents

영상 프로세서 및 영상 처리 프로그램 Download PDF

Info

Publication number
KR20070088528A
KR20070088528A KR1020077006412A KR20077006412A KR20070088528A KR 20070088528 A KR20070088528 A KR 20070088528A KR 1020077006412 A KR1020077006412 A KR 1020077006412A KR 20077006412 A KR20077006412 A KR 20077006412A KR 20070088528 A KR20070088528 A KR 20070088528A
Authority
KR
South Korea
Prior art keywords
image
compensation
group
grouped
images
Prior art date
Application number
KR1020077006412A
Other languages
English (en)
Other versions
KR100886298B1 (ko
Inventor
마사아키 사사키
신이치 마츠이
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20070088528A publication Critical patent/KR20070088528A/ko
Application granted granted Critical
Publication of KR100886298B1 publication Critical patent/KR100886298B1/ko

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

특징점들이 복수의 프레임의 영상으로부터 추출된다. 이전 프레임 영상의 흐림 방향 성분이 추출된 이전 프레임 영상의 특징점들을 참조하여 획득된 다음 프레임 영상의 움직임 벡터로부터 판별된다. 동일한 흐림 방향의 영상이 선택되고, 판별 결과에 기초한 복수의 프레임 영상으로부터 그룹화된다. 위치 보상을 실행한 이후, 그룹화된-합성 영상의 추가적인 합성이 각 그룹에 대하여 생성되어, 특징점들이 그룹화된 영상에 맞추어진다. 다음으로, 역변화필터 처리가 그룹화된-합성 영상 데이터에 적용되고, 그룹별로 분류된 흐림 방향 성분을 보상하는 손-흔들림 보상이 그룹별로 수행된다. 위치 보상을 할 때, 추가적인 합성이 손-흔들림-보상 영상에 대하여 발생되어, 각 그룹화된 합성 영상의 특징점들에 손-흔들림 보상이 수행되도록 한다.
영상 프로세서, 영상 처리, 손-흔들림 보상, 흐림 보상, 역변환필터, 카메라 보상, 디지털 카메라

Description

영상 프로세서 및 영상 처리 프로그램{IMAGE PROCESSOR AND IMAGE PROCESSING PROGRAM}
본 출원은 2004년 12월 24일에 출원된, 일본 특허 출원 제 2004-374269호에 기초하여 우선권의 이익을 청구하며, 그 전체 내용을 반영한다.
본 발명은 예를 들면 디지털 카메라 또는 디지털 비디오 카메라에 사용되기에 적합한 영상 프로세서와, 연관된 영상 처리 프로그램에 관한 것이다.
통상적으로, 영상 프로세서에 의해 손-흔들림 보상을 수행하는 기술은 디지털 카메라 또는 디지털 비디오 카메라의 분야에서 알려져 있다. "손-흔들림(hand-shake)"은 노출 동안 카메라 움직임에 대한 "카메라 흔들림"으로서 일반적으로 언급된다.
종래 기술에서, 예를 들면, "영상 합성 장치"란 명칭의 일본 특허 공개 제 2003-134385호는 서로 다른 광 노출을 갖는 복수의 영상을 캡처하는 장치를 개시한다. 이러한 영상에서, 전체 영상으로서 하나의 움직임 벡터(motion vector)는 하나의 영상과 다른 영상 사이에서 검출된다. 검출된 움직임 벡터에 기초하여, 프로세스(process)는 "피사체 흐림(object blur)" 또는 "손-흔들림"에 의해 발생된 영상에 흐림(움직임 흐림)이 있는지 여부를 판단한다. "손-흔들림"의 경우, 각 연속된 영상의 정렬 이후, 손-흔들림 보상이 실행되고 하나의 영상으로 중첩시켜, "손-흔들림"으로 발생된 시야각의 변위(displacement)에 상응하는 피사체, 배경 등의 위치 변위가 상쇄되도록 한다.
이외에, 피사체, 배경 등의 위치 변위가 상쇄되도록 각 연속된 영상을 중첩하는 손-흔들림 보상을 수행하기 위하여, 모든 단일의 중첩된 영상은, 손-흔들림을 포함하지 않고, 피사체와 배경 변위를 인지할 수 있는 샤프니스 레벨을 갖는 단시간 노출 영상으로서 캡처되어야 한다. 촬영 환경이 충분히 밝을 때, 이러한 요건들은 양립할 수 있지만, 광도가 불충분할 때 어느 하나는 포기될 수 있다.
그 외에, 손-흔들림 보상의 또 다른 방법으로서, 역변형 필터(inverse transform filter)를 흐려진 영상에 적용하여 흐림 부분이 덜 부각되도록 하는 기술이 또한 존재한다. 이러한 기술은 상술한 짧은 노출 영상 각각에 적용할 수 있지만, 문제점을 또한 갖고 있다.
한편, 상술한 바와 같이 불충분한 노출을 갖는 영상은 촬상장치로부터 많은 캐리드 노이즈(carried noise)를 포함한다. 다른 한편, 손-흔들림 보상을 위한 역변형 필터는 일반적으로 고빈도 영역을 강조하는 특징을 갖고, 그 결과 영상의 노이즈 성분이 강조된다. 따라서, 역변형 필터는 근본적인 해결을 제공하지 않는다.
본 발명은 상술된 종래 기술의 상황을 고려하여 도출되었다. 그에 따라서, 본 발명의 목적은 영상이 장시간 노출을 요구하는, 예를 들면 야간, 실내의 어두운 장소 등과 같은 환경에서 촬영된 경우에도, 손-흔들림 보상을 수행할 수 있는 영상 프로세서 및 연관된 영상 처리 프로그램을 제공하는 것이다.
상술된 목적을 달성하기 위하여, 본 발명에 따른 영상 프로세서는 복수의 연속적인 영상들에 공통적인 특징점들의 움직임으로부터, 각 영상에 대한 흐림 방향 성분을 판별하고, 동일한 흐림 방향 성분을 각각 포함하는 영상의 그룹을 제공하기 위한 그룹핑 수단; 영상 그룹 각각에 대해 그룹화된-합성 영상을 발생하는 그룹 합성영상 발생수단으로서, 위치 보상이 실행되고 중첩되어, 영상들의 특징점들이 그룹핑 수단에 의해 각각 그룹핑 되도록 하는 그룹 합성영상 발생수단; 및 그룹 합성영상 발생수단에 의해 발생된 영상 그룹 각각에 대한 그룹화된-합성 영상에 각각 상응하는 흐림 방향 성분을 보상하고, 손-흔들림-보상 영상을 발생하기 위한 보상영상 발생수단(47)으로서, 위치 보상이 실행되고 중첩되어, 각 그룹화된-합성 영상의 특징점들에 위치 보상이 각각 수행되도록 하는 보상 영상 발생수단을 포함한다.
본 발명의 이러한 목적과 다른 목적, 그리고 특징이 이하의 상세한 설명과 첨부되는 도면으로부터 더욱 명확해질 것이다. 그러나 도면은 이해를 돕기 위한 도시의 목적일 뿐, 본 발명의 범위를 제한하는 것은 아니다.
도 1은 본 발명의 하나의 바람직한 실시예의 구성을 도시하는 블록도이며;
도 2a-2b는 손-흔들림 방지 촬영의 경우에, 노출 형성을 설명하기 위한 도면이며;
도 3은 영상 처리부(40)의 구성을 도시하는 블록도이며;
도 4a-4b는 특징점(feature point) 추출을 설명하기 위한 도면이며;
도 5는 그룹핑 제어부(45)에 의해 실행되는 그룹핑 예를 도시하는 도면이며;
도 6은 손-흔들림 보상 처리의 동작을 도시하는 순서도이며;
도 7은 특징점 추출 처리의 동작을 도시하는 순서도이며; 그리고
도 8은 움직임 방향 분류 처리의 동작을 도시하는 순서도이다.
이하, 본 발명의 실시예가 도면을 참조하여 설명된다.
A. 구조
A-1. 전체 구조
도 1은 본 발명의 하나의 바람직한 실시예의 구조를 도시하는 블록도이다. 도 2a-2b는 손-흔들림(카메라 흔들림) 방지 촬영의 경우에, 노출 형성을 설명하기 위한 도면이다. 도 1을 참조하면, 동작부(10)는 파워 쉬프트, 셔터 키(key), 등과 같은 여러 동작 키를 포함하고, 키 스트로크 동작에 상응하는 키 이벤트가 발생되어 제어부(20)에 공급된다. 제어부(20)는, 동작부(10)로부터 입력되는 키 이벤트에 따라 각 부재를 제어하기 위한 제어 신호를 발생하는 중앙처리장치(CPU) 등으로 구성된다. 촬상부(30)는 촬상 렌즈 그룹을 포함하는 광학계와 예를 들면, 피사체 영상을 촬영하고, 소정의 프레임 구간에서 색상 영상 신호를 발생하는 고체촬상소자(CCD)등과 같은 색상 영상 센서를 포함하는 셔터 메커니즘을 갖는다. 공급된 제어 신호에 기초하여 설정된 셔터 속도 또는 노출에 따라 촬상하여 획득된 영상 신호가 제어부(20)로부터 출력된다.
예를 들면, 야간이나 실내의 어두운 장소 등과 같이, 장시간 노출을 요구하 는 환경에서 촬영될 때, 손-흔들림 방지 촬영이 실행되는데, 이는 도 2a의 정상 촬영 노출 횟수와는 대조적으로, 촬상부(30)는 단시간 노출을 △T N 회 반복하여, N 개 프레임의 영상 신호를 연속적으로 발생함으로써 실행된다(도 2b 참조). 총합(∑△T)이 하나의 프레임당 노출 시간(△T)을 나타낸다고 전제하면, 손-흔들림 방지 촬영의 경우에서의 전체 노출 시간(T)은 정상 촬영의 경우에서의 노출 시간(T)에 따른다. 이러한 손-흔들림 방지 촬영은 이후 기술된다.
영상 처리부(40)는 제어부(20)로부터 공급된 제어 신호에 따라서 다양한 형식의 영상 처리를 제공할 뿐 아니라, 촬상부(30)로부터 입력된 영상 신호를 휘도 성분과 색차 성분으로 구성되는 영상 데이터로 변환한다. 여기서 언급되는 다양한 형식의 영상 처리는 동작부(10)의 메뉴 키 동작에 의해 선택되는 촬영 모드에 상응하는 예를 들면, 화이트 밸런스 보정, 샤프니스, 컨트라스트 등과 같은 영상 품질 조정 처리와 하술될 손-흔들림 보상을 포함한다. 영상 처리부(40)가 실행하는 손-흔들림 보상처리는 이후 설명된다. 디스플레이부(50)는 영상 처리부(40)가 제어부(20)의 제어하에 출력하는 영상 데이터의 표시 화면을 표시하거나 또는, 영상 저장부(60)에 저장된 영상 데이터의 화면 표시를 표시한다. 영상 저장부(60)는 영상 처리부(40)가 제어부(20)의 제어하에 출력하는 영상 데이터를 기록한다.
A2. 영상 처리부(40)의 구성
도 3은 영상 처리부(40)의 구성을 도시하는 블록도이다. 도 4a-4b는 특징점추출을 설명하기 위한 도면이다. 도 5는 그룹핑 제어부(45)에 의해 실행되는 그룹핑 예를 도시하는 도면이다. 도 3을 시작으로, 구조는 영상 처리부(40)에 의해 실 행되는 손-흔들림 보상처리에 상응하는 기능적 요소를 도시한다. 신호처리부(41)는 촬상부(30)로부터 입력된 영상 신호를 휘도 성분과 색차 성분으로 구성되는 영상 데이터로 변환한다. 도 2b에 도시된 바와 같이, 예를 들면, 야간이나 실내의 어두운 장소 등과 같이, 장시간 노출을 요구하는 환경에서 촬영될 때, 영상 데이터의 N 개 프레임은 촬상부(30)로부터 신호처리부(41)로 연속적으로 공급된다.
특징점 추출부(42)는 신호처리부(41)로부터 연속적으로 공급된 영상 데이터의 N 개의 개별적인 프레임으로부터 복수의 특징점들을 각각 추출한다. 특징점은 주변 광도 또는 색상이 크게 변화하는 곳의 픽셀(사진 요소)을 나타낸다. 특히, 예를 들어 도 4a에 도시된 바와 같이, 촬상부(30)로부터 공급된 프레임 영상이 피사체로서 촬영된 노트북을 포함하는 영상(A)이라고 가정한다. 이러한 영상(A)에서, 피사체의 가장자리 부분(도면에서 검은 점으로 도시된) 등은 특징점으로서 추출된다. 추출된 특징점은 광도, 색상 등과 같은 파라미터를 갖고, 각각 독립적인 속성을 갖는 데이터로서 처리된다.
임시저장 메모리(43)는 특징점 추출부(42)로부터 추출된 복수의 특징점과 추출된 특징점 프레임의 영상 데이터를 하나의 세트로서 임시로 저장한다. 이러한 임시 저장소는 영상 처리부(40)에 포함된 개별 메모리가 될 수 있고, 상술된 영상 저장부(60)를 포함하는 메모리 영역의 부분을 사용하는데 있어서, 종류에 대해서는 문제되지 않는다.
움직임 검출부(44)는 임시저장 메모리(43)에 저장된 이전 프레임 영상의 특징점을 참조하여, 영상 처리부(40)로부터 출력되는 다음 프레임 영상("미래 프레 임(future frame)"으로 또한 알려진)의 움직임 벡터를 검출하고, 다음 프레임과 비교하여 이전 프레임이 어느 방향에서 흐려지는가를 판별한다.
도 4b에 도시된 바와 같이, 움직임 벡터 검출은 이전 프레임 영상에서의 특징점(P)와 다음 프레임 영상 상의 유사한 특징점 사이의 차이(dx, dy)에 대한 산출 처리이다. 즉, 특징점(P)과 동일한 속성을 갖는 유사한 특징점이 다음 프레임 상에 특징점(P)의 산출된 위치로부터 소정의 영역에 존재하는 경우이다. 산출된 위치에 상응하는 유사 특징점이 검색되지 않을 경우, 특징점들 중 다른 것을 사용하여 움직임 벡터가 검출된다. 움직임 검출부(44)에서 판별된 "흐림 방향"은, 속성으로서, 임시저장 메모리(43)로부터 판독된 이전 프레임 영상의 영상 데이터에 추가되고, 그룹핑 제어부(45)의 다음 단계로 출력된다.
그룹핑 제어부(45)는 속성으로서 "흐림 방향"이 할당되고 움직임 검출부(44)로부터 출력된 프레임의 영상 데이터에 관한 속성을 참조하여, 그룹핑을 실행한다. 본 발명의 바람직한 실시예에서, 기술의 간략화를 위해, 도 5에 도시된 바와 같이, 흐림 방향(θ)은 4 가지 그룹으로 나뉜다:
∏ / 8 ＜ θ ＜ 3 ∏ / 8 또는 9 ∏ / 8 ＜ θ ＜ 11 ∏ / 8,
3 ∏ / 8 ＜ θ ＜ 5 ∏ / 8 또는 11 ∏ / 8 ＜ θ ＜ 13 ∏ / 8,
5 ∏ / 8 ＜ θ ＜ 7 ∏ / 8 또는 13 ∏ / 8 ＜ θ ＜ 15 ∏ / 8, 그리고
15 ∏ / 8 ＜ θ ＜ ∏ / 8 또는 7 ∏ / 8 ＜ θ ＜ 9 ∏ / 8.
그룹보유 메모리(46)는 상술된 4 개의 그룹에 각각 상응하는 메모리 영역(1~4)를 구성하고, 그룹핑 제어부(45)에 의해 나뉘어진 그룹의 영상 데이터에 상 응하는 메모리 영역에 그룹 등록을 실행한다. 그룹보유 메모리(46)는 영상 처리부(40)에 구성된 개별 메모리가 될 수 있고, 상술된 영상 저장부(60)를 포함하는 메모리 영역의 부분을 사용하는데 있어서 종류에 대해서는 문제되지 않는다.
새로운 영상 데이터가 그룹보유 메모리(46)에 등록될 때, 영상 합성부(47)는 이전에 등록된 영상 데이터의 특징점 위치와 새로운 영상 데이터의 특징점 위치를 일치시키기 위해 위치 보상을 실행한 이후, 이전에 등록된 영상 데이터와 새로운 영상 데이터를 추가함으로써, 새로운 그룹화된-합성영상 데이터를 만든다. 따라서, 연속적으로 촬영된 각 영상 데이터의 모든 N 개의 프레임을 그룹핑하고, 그룹보유 메모리(46)에 그룹 등록이 실행되는 상황에서, 하나의 그룹화된-합성영상 데이터가 각 그룹에 각각 상응하는 메모리 영역에 최대한 저장된다.
부가하여, 연속적으로 촬영된 각 영상 데이터의 모든 N개의 프레임을 영상 합성부(47)에서 그룹핑하고, 그룹보유 메모리(46)에 그룹 등록이 실행될 때, 그룹보유 메모리(46)의 각 그룹으로부터, 각 그룹에 대한 그룹화된-합성영상 데이터가 판독된다. 다음에, 판독된 그룹화된-합성영상 데이터에 상응하는 방향의 역변형 필터링이 적용되고, 손-흔들림 보상이 그룹별로 실행된다. 이하, 영상 합성부(47)에 의해 실행되는 역변형 필터링의 개요가 설명된다.
이제, 예를 들어, 특징점(x0, y0)이 보상되는 것을 검토한다. 상술한 바와 같이, 영상 합성부(47)는 각 흐림 방향에 대한 하나의 그룹화된-합성영상 데이터를 생성하기 때문에, 현재의 x-축은 흐림 방향에 대하여 설정될 수 있고, 현재의 직각인 y-축은 본래로서의 특징점(x0, y0)에서 설정될 수 있다. 이러한 방식으로, 동일 한 처리가 각 y 값에 대하여 실행되기 때문에, 영상은 하나의 변수(x)로 표현될 수 있다. f(x)에 의해 표시되는 흐려지지 않은 영상, g(x)로 표시되는 흐려진 영상, 그리고 h(x)로 표시되는 영상의 흐림 조건(포인트 스프레드 펑션(PSF:Point Spread Function))을 가지고, 다음의 식(1)으로 표현할 수 있다.
g(x) = f(x) *h(x)
여기서, *는 컨벌루션(convolution) 연산을 지시한다.
F, G, H로 표시되는 f(x), g(x), h(x)의 퓨리에 변환(Fourier Transform)을 각각 실행할 때, 상기 식(1)은 다음 식(2)으로 표현될 수 있다.
G(u) = F(u) × H(u)
따라서, 단순 곱셈으로 표현된 상기 식(2)의 양측을 H(u)로 나누면 다음의 식(3)이 된다.
F(u) = G(u) / H(u)
영상의 흐림 조건(PSF)를 나타내는 h(u)가 알려질 때, 퓨리에 변환에 의한 흐려진 영상(G(u))을 퓨리에 변환의 흐림 조건(H(u))으로 나누는 상기 식(1)~(3)의 결과로서, 흐려지지 않은 영상(f(x))은 이러한 역퓨리에 변환을 실행함으로써 획득될 수 있다. 그에 따라, 역변환 필터(M(u))는 다음의 식(4)으로 표현될 수 있다.
M(u) = 1 / H(u)
다음으로, h(x)의 산출이 상세하게 설명된다. 예를 들어, 보상될 흐려진 영상이 5 개 픽셀의 흐려진-폭(blurred width)을 포함한다고 가정한다. 손-흔들림 속도가 노출 시간 동안 일정하다는 가정하에, 영상 데이터의 주어진 하나의 픽셀은 흐려지지 않은 영상의 5 개 픽셀 부분의 평균값으로 간주될 수 있다.
특히, |x| ＜ 2.5 인 경우, 흐림 조건(h(x))은 [1/5th]가 되고, |x| ≥ 2.5인 경우, 흐림 조건(h(x))은 [0]이 된다. 이러한 역변환 필터(M(u))는 상기 식(1)의 흐림 조건(h(x)) 특성을 대체함으로써 산출될 수 있다. 부가하여, 이러한 역변환 필터(M(u))는 이상적으로 노이즈 혼합을 고려시키지 않는다. 실제로, 위너 필터링(Wiener filtering)으로 잘 알려진 영상 복원 방법이 사용될 수 있다.
상술한 바와 같이, 영상 합성부(47)에 의해 각 흐림 방향에 대한 그룹화된-합성영상 데이터가 생성되기 때문에, 영상 데이터 상에 중첩된 CCD 노이즈 등이 균등화되고(equalized), 신호-대-노이즈(S/N) 비율이 향상된다. 또한, 상기 역변환 필터(M(u))를 사용한 역필터 처리를 실행하는 직접적 결과로서, 손-흔들림 보상이 효율적으로 실행될 수 있다.
이러한 방식으로, 그룹별로 역변환 필터링이 수행되는 각 그룹에 대한 그룹화된-합성영상 데이터에 관하여, 위치 보상이 수행된 이후, 영상 합성부(47)는 추가의 손-흔들림-보상된 합성영상 데이터를 발생하여, 각 특징점이 중첩되도록 한다. 다음으로, 제어부(20)를 경유하여 영상 표시가 디스플레이부(50)에 작동하거 나(도 1 참조), 또는 영상 데이터가 영상 저장부(60)에 저장된다.
B. 동작
도 6-8을 참조하여, 본 발명에 따른 바람직한 실시예에서 수행되는 손-흔들림 보상처리의 동작이 설명된다. 도 6은 영상 처리부(40)에 의해 수행되는 손-흔들림 보상처리의 동작 개요를 도시하는 순서도이다. 도 7은 특징점 추출부(42)에 의해 수행되는 특징점 추출처리의 동작을 도시하는 순서도이다. 도 8은 움직임 검출부(44), 그룹핑 제어부(45), 그리고 영상 합성부(47)에 의해 수행되는 움직임방향 분류처리의 동작을 도시하는 순서도이다.
제어부(20)로부터의 지시에 상응하여, 촬상부(30)가 단시간 노출을 △T N 회 반복하여, N 개 프레임의 영상 신호를 연속적으로 발생하는 손흔들림 방지 촬영(도 2a와 2b 참조)이 실행된다. 도 6에 도시된 바와 같이, 영상 처리부(40)는 손-흔들림 방지 촬영에 의해 발생된 N 개 프레임의 영상 신호에 관한 손-흔들림 보상처리를 적용한다.
특히, 단계(SA1)의 첫번째로, 촬상부(30)로부터 입력된 영상 신호가 영상 데이터로 변환된다. 다음으로, 단계(SA2)에서, 입력된 영상 데이터로부터 복수의 특징점을 추출하는 특징점 추출 처리가 실행된다. 특징점 추출 처리 구성이 단계(SB1-SB4)로서 도 7에 도시된다.
도 7의 단계(SB1,SB4)에서, 입력된 프레임 영상의 각 픽셀은 순차적으로 스캔되고, 주변 광도 또는 색상이 크게 변화되는 곳의 픽셀이 검색된다. 이러한 조건에 적용가능한 픽셀이 검색될 때, 단계(SB1)의 판별 결과는 "YES"가 된다. 프로세 스는 단계(SB2)로 진행되고, 적용가능한 픽셀들이 특징점으로서 추출된다. 추출된 특징점은 광도, 색상 등과 같은 파라미터를 포함하고, 독립적인 속성을 갖는 데이터로서, 추출용 영상 데이터와 함께 임시저장 메모리(43)에 각각 저장된다.
다음으로, 단계(SB3)에서, 프로세스는 추출하려는 프레임의 영상 데이터로부터, 소정 갯수의 특징점에 대한 추출이 완료되었는지를 판별한다. 소정 갯수의 특징점에 대한 추출이 완료되지 않으면, 판별 결과는 "NO"가 되고, 프로세스는 단계(SB4)로 진행하여, 픽셀 스캔을 계속한다. 반대로, 소정 갯수의 특징점에 대한 추출이 완료되면, 판별 결과는 "YES"가 되어 프로세스는 완료된다. 도 8에 도시된 움직임방향 분류처리가 도 6의 단계(SA3)를 경유해 수행된다.
움직임방향 분류처리가 수행될 때, 프로세스는 도 8의 단계(SC1)로 진행한다. 다음 프레임 영상의 움직임 벡터가 임시저장 메모리(43)에 저장된 이전 프레임 영상의 특징점을 참조하여 검출된다. 프로세스는 이전 프레임 영상이 다음 프레임 영상에 반하여 어느 방향으로 흐려졌는지를 판별한다. 판별된 "흐림 방향"은 임시저장 메모리(43)로부터 판독된 이전 프레임 영상의 영상 데이터에 속성으로서 추가되고, 그룹핑 제어부(45)의 다음 단계로 출력한다.
그룹핑 제어부(45)는 단계(SC2-SC4)를 수행하고, 영상 데이터에 추가된 속성을 참조하여, 흐림 방향(θ)에 상응하는 영상 데이터에 대하여, 그룹보유 메모리(46)에 그룹 등록을 실행한다. 특히, 흐림 방향(θ)이 ∏ / 8 ＜ θ ＜ 3 ∏ / 8 또는 9 ∏ / 8 ＜ θ ＜ 11 ∏ / 8일 때, 단계(SC2)의 판별 결과는 "YES"가 되고, 적용가능한 영상 데이터의 그룹 등록은 그룹보유 메모리(46)의 메모리 영역(1) 에 저장된다. 흐림 방향(θ)이 3 ∏ / 8 ＜ θ ＜ 5 ∏ / 8 또는 11 ∏ / 8 ＜ θ ＜ 13 ∏ / 8일 때, 단계(SC3)의 판별 결과는 "YES"가 되고, 적용가능한 영상 데이터의 그룹 등록은 그룹보유 메모리(46)의 메모리 영역(2)에 저장된다.
흐림 방향(θ)이 5 ∏ / 8 ＜ θ ＜ 7 ∏ / 8 또는 13 ∏ / 8 ＜ θ ＜ 15 ∏ / 8일 때, 단계(SC4)의 판별 결과는 "YES"가 되고, 적용가능한 영상 데이터의 그룹 등록은 그룹보유 메모리(46)의 메모리 영역(3)에 저장된다.
흐림 방향(θ)이 15 ∏ / 8 ＜ θ ＜ ∏ / 8 또는 7 ∏ / 8 ＜ θ ＜ 9 ∏ / 8일 때, 각 단계들(SC2-SC4)의 판별 결과는 "NO"가 되어, 적용가능한 영상 데이터의 그룹 등록은 그룹보유 메모리(46)의 메모리 영역(4)에 저장된다.
영상 합성부(47)는 단계(SC5-SC8)를 수행한다. 특히, 새로운 영상 데이터가 그룹보유 메모리(46)에 등록될 때, 영상 합성부(47)는 이전에 등록된 영상 데이터의 특징점의 위치와 새로운 영상 데이터의 특징점의 위치를 일치시키기 위한 위치 보상을 실행한 이후, 이전에 등록된 영상 데이터와 새로운 영상 데이터를 추가함으로써, 새로운 그룹화된-합성영상 데이터를 만든다. 연속적으로 촬영된 각 영상 데이터의 모든 N 개의 프레임을 그룹핑하는 상황에서, 그룹보유 메모리(46)에 그룹 등록은 실행되고, 단계(SC9)의 판별 결과는 "YES"가 되어 이 프로세스는 완료된다. 다음으로, 도 6에 도시된 단계(SA4)의 흐림 방향에 의한 필터 처리가 실행된다.
연속적으로 촬영된 각 영상 데이터의 모든 N 개 프레임을 그룹핑할 때, 그룹보유 메모리(46)에 그룹 등록은 실행되고, 영상 합성부(47)는 그룹보유 메모리(46)의 개별적인 그룹으로부터 각 그룹에 대한 그룹화된-합성영상 데이터를 판독한다. 다음으로, 처리는 그룹화된-합성영상 데이터에 상응하여 역필터 처리를 적용하고, 손-흔들림 보상이 그룹별로 실행된다. 이후, 프로세스는 그룹별로 역변환 필터링이 실행되는 각 그룹에 대한 그룹화된-합성 영상 데이터와 관련된 단계(SA5)로 진행한다. 위치 보상 수행 이후, 영상 합성부(47)는 추가의 손-흔들림-보상된 합성 영상 데이터를 발생하여, 각 특징점들이 중첩되도록 한다.
상술한 바와 같이, 본 발명의 바람직한 실시예에서, 특징점은 단시간 반복 노출에 의해 획득된 복수의 프레임의 각 영상으로부터 추출되고, 다음 프레임의 움직임 벡터는 추출된 이전 프레임 영상의 특징점을 참조하여 검출되고, 판별 결과를 제공하기 위해 검출된 움직임 벡터로부터 이전 프레임 영상의 흐림 방향이 판별된다. 이러한 판별 결과에 기초한 복수의 영상으로부터 동일한 흐림 방향의 영상을 선택하고 그룹핑하는 동안, 그룹핑된 합성 영상은 각 그룹에 대하여 위치 보상이 실행되면서 생성되고 중첩되어, 영상의 특징점들이 각각 그룹핑이 되도록 한다. 다음으로, 역변환 필터 처리가 그룹화된-합성 영상 데이터에 적용되고, 그룹별로 분류시킨 흐림 방향 성분을 보상하는 손-흔들림 보상이 그룹별로 수행된다. 각 그룹화된-합성 영상에 손-흔들림 보상이 각각 수행될 수 있도록, 위치 보상 및 중첩을 실행한 이후에 손-흔들림-보상 영상은 발생된다.
그러므로, 상기 노이즈 제거(노이즈 균등화)는 흐림 방향으로 배열된 그룹핑에 의해 흐림을 발생하지 않으면서, 방향의 정확성의 감소 없이 실행될 수 있다. 또한, 오직 요구된 방향에서만 효과적인 역변환 필터를 사용함으로써, 흐림을 발생하지 않는 방향에 역효과를 주지 않으면서 패이드(fade) 보정이 가능하다. 또한 노 이즈 제거 및 패이드 보정을 실행한 이후 영상을 중첩함으로써, 가시도의 손상없이 노출부족을 보상할 수 있는 직접적인 결과로서, 예를 들면 야간이나 실내의 어두운 영역 등과 같이 장시간 노출을 요구하는 환경에서 촬영된 영상의 경우에도 손-흔들림 보상이 실현될 수 있다.
최근에, 본 발명의 바람직한 실시예의 하나인 디지털 카메라용 처리 프로그램이 디지털 메모리(예를 들면, ROM 등)에 저장되기는 하지만, 이러한 처리 프로그램은 기록 매체 상에 기록된다. 제조, 판매 등과 같은 실행의 경우에, 오직 프로그램 자체만이 보호되어야 한다. 이러한 상황에서, 프로그램의 보호는 영상 처리 프로그램을 저장하는 기록 매체의 형태가 된다.
본 발명이 바람직한 실시예를 참조하여 설명되었지만, 본 발명의 영역은 그러한 기술 내용에 국한되지 않는다. 본 발명의 청구항과 동일한 의미 및 그 청구항 내에서 만들어지는 다양한 변형들은 본 발명의 영역에 속하는 것으로 간주한다.

Claims (4)

  1. 복수의 연속적인 영상들에 공통적인 특징점들의 움직임으로부터, 각 영상에 대한 흐림 방향(blurring direction) 성분을 판별하고, 상기 동일한 흐림 방향 성분을 각각 포함하는 영상의 그룹을 제공하기 위한 그룹핑 수단(42,44,45);
    상기 영상 그룹 각각에 대해 그룹화된-합성 영상을 발생하는 그룹 합성 영상 발생수단으로서, 위치 보상이 실행되고 중첩되어, 영상들의 상기 특징점들이 상기 그룹핑 수단에 의해 각각 그룹핑 되도록 하는 그룹 합성 영상 발생수단(47); 및
    상기 그룹 합성 영상 발생수단에 의해 발생된 상기 영상 그룹 각각에 대한 상기 그룹화된-합성 영상에 각각 상응하는 상기 흐림 방향 성분을 보상하고, 손-흔들림-보상 영상(compensated image)을 발생하기 위한 보상 영상 발생수단으로서, 위치 보상이 실행되고 중첩되어, 각 그룹화된-합성 영상의 상기 특징점들에 위치 보상이 각각 수행되도록 하는 보상 영상 발생수단(47)을 포함하는 것을 특징으로 하는 영상 프로세서.
  2. 소정의 시간 간격으로 반복적으로 촬영된 노출을 갖는 복수의 연속적인 프레임 영상으로부터, 특징점들을 추출하기 위한 추출수단(42);
    상기 추출수단에 의해 추출된 이전 프레임 영상의 상기 특징점들을 참조하여, 다음 프레임 영상의 움직임 벡터를 검출하고, 상기 검출된 움직임 벡터로부터 상기 이전 프레임 영상의 흐림 방향 성분을 판별하는 동작을 반복함으로써, 각 상 기 프레임 영상의 상기 흐림 방향 성분을 판별하기 위한 판별수단(44);
    상기 판별수단에 의해 판별된 각 상기 프레임 영상의 상기 흐림 방향 성분을 참조하여, 동일한 상기 흐림 방향 성분을 각각 포함하는 영상들의 그룹을 제공하기 위해, 영상을 선택하고 그룹핑하기 위한 그룹핑수단(45);
    상기 영상 그룹에 각각에 대해 그룹화된-합성 영상을 발생하기 위한 그룹 합성 영상 발생수단으로서, 위치 보상이 실행되고 중첩되어, 영상들의 상기 특징점들이 상기 그룹핑수단에 의해 각각 그룹핑되도록 하는 그룹 합성 영상 발생수단(45);
    역변환 필터링을 적용하고, 상기 영상그룹에 따라서, 상기 그룹 합성 영상 발생수단에 의해 발생된 각 그룹화된-합성 영상에 각각 상응하는 상기 흐림 방향 성분에 대한 보상으로서, 손-흔들림 보상을 실행하기 위한 보상수단(47); 및
    손-흔들림-보상 영상을 발생하기 위한 보상 영상 발생수단으로서, 위치 보상이 실행되고 중첩되어, 각 그룹화된-합성 영상의 상기 특징점들에 상기 보상수단에 의한 손-흔들림 보상이 각각 수행될 수 있도록 하는 보상 영상 발생수단(47)을 포함하는 것을 특징으로 하는 영상 프로세서.
  3. 복수의 연속적인 영상들에 공통적인 특징점들의 움직임으로부터, 각 영상에 대한 흐림 방향 성분을 판별하고, 상기 동일한 흐림 방향 성분을 각각 포함하는 영상의 그룹을 제공하기 위한 그룹처리 단계(SA2, SC1, SC2, SC3, SC4);
    상기 영상 그룹 각각에 대해 그룹화된-합성 영상을 발생하는 그룹 합성 영상 발생처리 단계로서, 위치 보상이 실행되고 중첩되어, 영상들의 상기 특징점들이 상 기 그룹처리 단계에 의해 각각 그룹핑 되도록 하는 그룹 합성 영상 발생처리 단계(SC5, SC6, SC7, SC8); 및
    상기 그룹 합성 영상 발생처리 단계에 의해 발생된 상기 영상 그룹 각각에 대한 상기 그룹화된-합성 영상에 각각 상응하는 상기 흐림 방향 성분을 보상하고, 손-흔들림-보상 영상을 발생하기 위한 보상 영상 발생처리 단계로서, 위치 보상이 실행되고 중첩되어, 각 그룹화된-합성 영상의 상기 특징점들에 위치 보상이 각각 수행되도록 하는 보상 영상 발생처리 단계(SA4, SA5)를 포함하는 것을 특징으로 하는 프로세서에 의해 수행되는 영상 처리 프로그램.
  4. 소정의 시간 간격으로 반복적으로 촬영된 노출을 갖는 복수의 연속적인 프레임 영상으로부터, 특징점들을 추출하기 위한 추출처리 단계(SA2);
    상기 추출처리 단계에 의해 추출된 이전 프레임 영상의 상기 특징점들을 참조하여, 다음 프레임 영상의 움직임 벡터를 검출하고, 상기 검출된 움직임 벡터로부터 상기 이전 프레임 영상의 흐림 방향 성분을 판별하는 동작을 반복함으로써, 각 상기 프레임 영상의 상기 흐림 방향 성분을 판별하기 위한 판별처리 단계(SC1, SC2, SC3, SC4);
    상기 판별처리 단계에 의해 판별된 각 상기 프레임 영상의 상기 흐림 방향 성분을 참조하여, 동일한 상기 흐림 방향 성분을 각각 포함하는 영상들의 그룹을 제공하기 위해, 영상을 선택하고 그룹핑하기 위한 그룹처리 단계;
    상기 영상 그룹에 각각에 대해 그룹화된-합성 영상을 발생하기 위한 그룹 합 성 영상 발생처리 단계로서, 위치 보상이 실행되고 중첩되어, 영상들의 상기 특징점들이 상기 그룹핑수단에 의해 각각 그룹핑되도록 하는 그룹 합성 영상 발생처리 단계(SC5, SC6, SC7, SC8);
    역변환 필터링을 적용하고, 상기 영상그룹에 따라서, 상기 그룹 합성 영상 발생처리 단계에 의해 발생된 각 그룹화된-합성 영상에 각각 상응하는 상기 흐림 방향 성분에 대한 보상으로서, 손-흔들림 보상을 실행하기 위한 보상처리 단계(SA4); 및
    손-흔들림-보상 영상을 발생하기 위한 보상 영상 발생처리 단계로서, 위치 보상이 실행되고 중첩되어, 각 그룹화된-합성 영상의 상기 특징점들에 상기 보상수단에 의한 손-흔들림 보상이 각각 수행될 수 있도록 하는 보상영상 발생처리 단계(SA5)를 포함하는 것을 특징으로 하는 프로세서에 의해 수행되는 영상 처리 프로그램.
KR1020077006412A 2004-12-24 2005-12-21 영상 프로세서 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 KR100886298B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004374269A JP4487191B2 (ja) 2004-12-24 2004-12-24 画像処理装置および画像処理プログラム
JPJP-P-2004-00374269 2004-12-24

Publications (2)

Publication Number Publication Date
KR20070088528A true KR20070088528A (ko) 2007-08-29
KR100886298B1 KR100886298B1 (ko) 2009-03-04

Family

ID=35709324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077006412A KR100886298B1 (ko) 2004-12-24 2005-12-21 영상 프로세서 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체

Country Status (7)

Country Link
US (1) US7496287B2 (ko)
EP (1) EP1828982B1 (ko)
JP (1) JP4487191B2 (ko)
KR (1) KR100886298B1 (ko)
CN (1) CN101076832B (ko)
DE (1) DE602005023653D1 (ko)
WO (1) WO2006068299A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021915A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101023946B1 (ko) * 2007-11-02 2011-03-28 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US7952614B2 (en) 2007-11-02 2011-05-31 Core Logic, Inc. Apparatus and method for digital image stabilization using object tracking
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
US9154806B2 (en) 2009-08-21 2015-10-06 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images using adaptive motion vector resolution
WO2017069406A1 (ko) * 2015-10-21 2017-04-27 삼성전자주식회사 영상 촬영 장치 및 방법
KR20190087119A (ko) * 2018-01-16 2019-07-24 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
US10904638B2 (en) 2014-01-24 2021-01-26 Eleven Street Co., Ltd. Device and method for inserting advertisement by using frame clustering

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4307430B2 (ja) * 2005-09-22 2009-08-05 三洋電機株式会社 手ぶれ検出装置
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
JP4423678B2 (ja) 2006-09-06 2010-03-03 カシオ計算機株式会社 撮像装置、撮影方法及びプログラム
JP4947576B2 (ja) * 2006-10-12 2012-06-06 京セラ株式会社 撮像装置、ぶれ補正方法及び撮像方法
KR101340035B1 (ko) * 2006-11-30 2013-12-10 삼성전자주식회사 디지털 영상 처리 장치의 영상 합성 방법
KR101357425B1 (ko) 2006-12-22 2014-02-11 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 흔들림 측정 시스템 및 흔들림 측정 방법
JP4884207B2 (ja) * 2006-12-28 2012-02-29 三星電子株式会社 撮像装置、撮像方法およびコンピュータプログラム
US8035692B2 (en) * 2007-03-30 2011-10-11 Fujifilm Corporation Image taking apparatus which forms an image of a subject on an imaging device to create image data representative of the subject
JP2008310418A (ja) * 2007-06-12 2008-12-25 Nikon Corp 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ
US8488901B2 (en) * 2007-09-28 2013-07-16 Sony Corporation Content based adjustment of an image
US8160309B1 (en) 2007-12-21 2012-04-17 Csr Technology Inc. Method, apparatus, and system for object recognition and classification
US8922672B2 (en) 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
WO2010100677A1 (ja) 2009-03-05 2010-09-10 富士通株式会社 画像処理装置およびぶれ量算出方法
JP5226600B2 (ja) * 2009-04-28 2013-07-03 富士フイルム株式会社 画像変形装置およびその動作制御方法
JP5300590B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
JP5300591B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
JP5131257B2 (ja) * 2009-08-27 2013-01-30 カシオ計算機株式会社 表示制御装置及び表示制御プログラム
US8478071B2 (en) * 2009-12-16 2013-07-02 Nvidia Corporation System and method for constructing a motion-compensated composite image
US8200076B2 (en) * 2010-05-19 2012-06-12 Eastman Kodak Company Estimating gender or age of a photographer
US8180209B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Determining camera activity from a steadiness signal
US8180208B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Identifying a photographer
US20130271584A1 (en) * 2011-02-17 2013-10-17 Orcam Technologies Ltd. User wearable visual assistance device
KR101657524B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
CN102609957A (zh) * 2012-01-16 2012-07-25 上海智觉光电科技有限公司 一种摄像装置画面偏移检测方法及系统
WO2013159333A1 (zh) * 2012-04-27 2013-10-31 厚图科技有限公司 撷取钻针表面影像的方法
JP6171371B2 (ja) 2013-02-05 2017-08-02 ノーリツプレシジョン株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP6055332B2 (ja) * 2013-02-12 2016-12-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP6345799B2 (ja) * 2014-03-19 2018-06-20 ソニー株式会社 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
JP6452414B2 (ja) 2014-12-03 2019-01-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
TWI681474B (zh) * 2015-05-08 2020-01-01 日商Ｊｓｒ股份有限公司 焊料電極的製造方法、焊料電極、積層體的製造方法、積層體、電子零件及射出成形焊料用感光性樹脂組成物
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
CN105096266B (zh) * 2015-06-16 2018-04-10 努比亚技术有限公司 一种信息处理方法及装置、终端
JP6618766B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
KR102457222B1 (ko) 2015-11-26 2022-10-21 삼성전자주식회사 이동 로봇 및 그 제어 방법
KR20170083275A (ko) 2016-01-08 2017-07-18 에스프린팅솔루션 주식회사 토너 카트리지, 이를 포함하는 화상형성장치 및 화상형성장치의 제어방법
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
CN107995432A (zh) * 2016-10-26 2018-05-04 努比亚技术有限公司 一种实现慢门拍照的方法和装置
US10410086B2 (en) 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
WO2020185543A1 (en) 2019-03-08 2020-09-17 Mevion Medical Systems, Inc. Collimator and energy degrader for a particle therapy system
CN112446229A (zh) * 2019-08-27 2021-03-05 北京地平线机器人技术研发有限公司 一种标志杆的像素坐标获取方法及装置
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69127850T2 (de) * 1990-04-29 1998-03-12 Canon Kk Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt
GB2316255B (en) 1996-08-09 2000-05-31 Roke Manor Research Improvements in or relating to image stabilisation
US6522785B1 (en) * 1999-09-24 2003-02-18 Sony Corporation Classified adaptive error recovery method and apparatus
JP3866957B2 (ja) 2001-10-23 2007-01-10 オリンパス株式会社 画像合成装置
US7221776B2 (en) * 2001-10-31 2007-05-22 Arcsoft, Inc. Video stabilizer
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
US7209601B2 (en) * 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023946B1 (ko) * 2007-11-02 2011-03-28 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US7952614B2 (en) 2007-11-02 2011-05-31 Core Logic, Inc. Apparatus and method for digital image stabilization using object tracking
KR101041366B1 (ko) * 2007-11-02 2011-06-14 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
WO2011021915A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
WO2011021915A3 (ko) * 2009-08-21 2011-06-16 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
US9154806B2 (en) 2009-08-21 2015-10-06 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding images using adaptive motion vector resolution
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
US10904638B2 (en) 2014-01-24 2021-01-26 Eleven Street Co., Ltd. Device and method for inserting advertisement by using frame clustering
WO2017069406A1 (ko) * 2015-10-21 2017-04-27 삼성전자주식회사 영상 촬영 장치 및 방법
KR20190087119A (ko) * 2018-01-16 2019-07-24 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법

Also Published As

Publication number Publication date
JP2006180429A (ja) 2006-07-06
WO2006068299A1 (en) 2006-06-29
US20070014554A1 (en) 2007-01-18
DE602005023653D1 (de) 2010-10-28
JP4487191B2 (ja) 2010-06-23
EP1828982A1 (en) 2007-09-05
US7496287B2 (en) 2009-02-24
EP1828982B1 (en) 2010-09-15
CN101076832A (zh) 2007-11-21
CN101076832B (zh) 2010-09-29
KR100886298B1 (ko) 2009-03-04

Similar Documents

Publication Publication Date Title
KR100886298B1 (ko) 영상 프로세서 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
CN101331754B (zh) 成像设备和成像方法
US7825969B2 (en) Image stabilization using multi-exposure pattern
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2010141653A (ja) 画像処理装置及び撮像装置
JP2013106149A (ja) 撮像装置、その制御方法、及びプログラム
JP2009147727A (ja) 撮像装置及び画像再生装置
KR20070048598A (ko) 촬상 장치, 촬상 방법, 및 프로그램
JP2010166558A (ja) 撮像装置
KR20100060140A (ko) 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법
JP4125331B2 (ja) 撮像装置及びその制御方法
JP2008277896A (ja) 撮像装置および撮像方法
JP5212046B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP2006080844A (ja) 電子カメラ
JP2009021909A (ja) 画像加算装置および方法並びにプログラム
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
CN111698389A (zh) 图像处理设备、摄像设备、图像处理方法以及存储介质
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP4622809B2 (ja) 撮像装置
JP2023002445A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2931718B2 (ja) 撮影装置
JP2022077591A (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150217

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 12