KR20090019197A - 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 - Google Patents

손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 Download PDF

Info

Publication number
KR20090019197A
KR20090019197A KR1020070083449A KR20070083449A KR20090019197A KR 20090019197 A KR20090019197 A KR 20090019197A KR 1020070083449 A KR1020070083449 A KR 1020070083449A KR 20070083449 A KR20070083449 A KR 20070083449A KR 20090019197 A KR20090019197 A KR 20090019197A
Authority
KR
South Korea
Prior art keywords
motion
block
motion vector
image
unit
Prior art date
Application number
KR1020070083449A
Other languages
English (en)
Other versions
KR101392732B1 (ko
Inventor
이창우
신윤철
최동범
남태욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070083449A priority Critical patent/KR101392732B1/ko
Priority to US12/045,837 priority patent/US8035690B2/en
Priority to RU2010106087/09A priority patent/RU2433563C1/ru
Priority to CN2008800222692A priority patent/CN101690236B/zh
Priority to PCT/KR2008/001436 priority patent/WO2009025434A1/en
Priority to EP08153979A priority patent/EP2028840B1/en
Publication of KR20090019197A publication Critical patent/KR20090019197A/ko
Application granted granted Critical
Publication of KR101392732B1 publication Critical patent/KR101392732B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

주움(zoom) 정보 및 포커스 정보를 이용하여 손떨림에 의한 영상의 전역 움직임 벡터를 추정하는 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치가 개시되어 있다. 본 발명은 영상 촬상 장치의 움직임 추정 방법에 있어서, 포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정; 촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정; 상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함한다.

Description

손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치{Apparatus and method for estimating motion by hand trembling, and image pickup device using the same}
본 발명은 영상 촬상 장치에 관한 것이며, 특히 주움(zoom) 정보 및 포커스 정보를 이용하여 손떨림에 의한 영상의 전역 움직임 벡터를 추정하는 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치에 관한 것이다.
대부분의 동영상 처리 기법에서는 인접하는 프레임(Frame)간에 나타나는 지역적인 물체의 움직임(local motion)만을 추정하여 보상하는 움직임 보상기법을 사용하고 있다. 그러나 실제 동영상 내에는 지역적인 움직임 뿐만 아니라 카메라의 줌(Zoom), 팬(Pan), 로테이션(Rotation) 등과 같이 영상전체에 영향을 미치는 움직임이 포함되어 있는 경우가 있다. 이러한 영상전체에 영향을 미치는 움직임을 전역 움직임(global motion)이라 한다. 통상적으로 카메라와 캠코더와 같은 영상 촬상 장치는 전역 움직임을 이용하여 프레임의 위치를 조정한다.
이러한 영상 촬상 장치는 영상 촬영시 조작자의 손떨림 및 주변 진동에 의해 시간 방향으로 촬영 영상의 공간적 위치가 변화한다.
통상적으로 움직이는 카메라로부터 획득한 영상에는 배경의 움직임과 물체의 움직임이 동시에 존재하므로 영상마다 전역 움직임을 계산하여 물체의 움직임을 검출한다.
종래의 전역 움직임 벡터 추정 방법은 영상 촬영 장치들이 제공하는 줌에 의해 전역 움직임 벡터를 찾기가 어려운 문제점이 발생한다.
도 1a는 줌 배율이 적을 때 촬영될 영상이고, 도 1b는 줌 배율이 높을 때 촬영될 영상이다.
장치의 손 떨림과 물체의 움직임이 동시에 발생한 경우 물체의 움직임은 도 1a의 피사체 영역(103)에서 찾을 수 있다.
따라서 손 떨림에 의한 움직임은 피사체 영역(103)을 제외한 모든 영역에서 나타나게 되고 또한 전체 영역 대비 상대적으로 큰 비율을 나타내게 된다. 그러나 도 1b와 같이 줌 배율이 커지게 되면 피사체 영역(104)은 전체 영역 대비 상대적으로 큰 비율을 나타내게 된다.
따라서 피사체의 움직임은 조작자의 의도된 카메라 움직임보다는 적은 빈도를 가지지만 줌 배율이 커지면 커질수록 전체 영상에서 피사체가 차지하는 비율이 커진다.
따라서 줌 배율이 커지게 되면 피사체에 의한 움직임이 전체 영역에서 크게 영향을 미치게 되어 손 떨림에 의한 전역 움직임 벡터를 선정하는 데 어려움이 발생한다.
본 발명이 해결하고자하는 과제는 카메라나 캠코더와 같은 영상 촬상 장치에서 줌 배율 정보 및 포커스 정보에 따라 블록 움직임 벡터에 대한 가중치를 설정하여 손 떨림에 의한 전역 움직임을 추정하는 손떨림에 의한 움직임 추정 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자하는 과제는 상기 손떨림에 의한 움직임 추정 장치 및 방법을 적용한 영상 촬상 장치를 제공하는 데 있다.
상기의 과제를 해결하기 위하여, 본 발명은 영상 촬상 장치의 움직임 추정 방법에 있어서,
포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정;
촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정;
상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함하는 것을 특징으로 한다.
상기의 다른 과제를 해결하기 위하여, 본 발명은 영상 촬상 기기의 움직임 추정 장치에 있어서,
포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;
촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;
상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 의하면, 포커스 정보와 줌 배율에 따라 손 떨림에 의한 움직임과 피사체의 움직임에 의한 비율이 달리지게 된다. 따라서 카메라나 캠코더와 같은 영상 촬상 장치에서 줌 배율 및 포커스 정보에 따라 블록 움직임 벡터에 대한 가중을 결정함으로써 손 떨림에 의한 움직임을 정확하게 추정할 수 있다. 또한 줌 배율에 따라 적응적으로 움직임 벡터를 찾음으로써 전역 벡터 추정시 피사체의 움직임에 의한 영향을 최소화할 수 있다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 2는 통상적인 촬상 이미지 정보를 설명하기 위한 3D 세계(World) 좌표계를 도시한 것이다.
3D 세계의 움직임이 2D 이미지 플레인에 투영되었을 때 영상 촬상 장치에서 제공하는 줌(zoom)에 의해 줌 배율과 이미지 플레인상의 피사체 크기는 선형적 관계를 갖는다.
도 2는 3D 세계(World) 좌표상의 어떤 물체(203)가 이미지 플레인(plane)(202)에 맺히는 정보를 나타낸다.
204는 줌에 의한 영향으로 생성되는 정보를 나타내며, 줌 배율의 변화에 따라 다음과 같은 수학 식 1과 같은 관계를 얻을 수 있다.
Figure 112007059965847-PAT00001
Figure 112007059965847-PAT00002
Figure 112007059965847-PAT00003
Figure 112007059965847-PAT00004
여기서 Z는 3차원 공간상에서 피사체의 깊이 정보이며, f는 줌 정보이다.
수학식 1로부터 물체가 이미지 플레인에 맺히는 위치(x, y)는 줌 정보(f)와 선형적인 관계가 있음을 알 수 있다.
따라서 물체가 이미지 플레인에 맺히는 위치(x, y)와 줌 정보(f)간의 선형적인 관계로 인해 전역 움직임 벡터를 추정하는 데 있어서 문제가 발생한다.
도 3a는 촬상 장치에서 촬영시 손떨림이 발생하였을 때 움직임 벡터의 빈도 수를 나타내는 그래프이다.
도 3b는 촬상 장치에서 줌 배율을 크게 설정했을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.
도 3a를 참조하면, x좌표는 움직임 벡터(mv)의 크기값을 나타내고, y좌표는 움직임 벡터의 빈도수(frequency)를 나타낸다. 303은 블록 단위 움직임 추정한 후 블록 단위의 움직임 벡터의 크기 분포를 나타낸다. 도 3a의 움직임 벡터의 크기 분포를 보면 x좌표축으로 한 개의 큰 피크와 또 다른 한 개의 작은 피크 값이 존재한다. 여기서 손 떨림에 의한 움직임은 영상의 전체 영역에 영향을 미치기 때문에 피크가 큰 mvx1(404)을 손 떨림에 의한 움직임 벡터로 피크가 적은 mvx2(405)를 물체의 움직임 벡터로 판단할 수 있다.
그러나 줌 배율을 크게 하거나 촬영 대상이 동일 선상의 깊이에 존재하지 않는 경우 전체 영역에 대비하여 물체가 영상에서 차지하는 비율이 커지게 된다. 따라서 촬영시 도 3b에 도시된 바와 같이 x좌표축으로 두 개의 피크가 생기게 된다. 따라서 두 개의 피크들 즉, mvx1(406), mvx2(408)중에서 어느 것이 손 떨림에 의한 움직임 벡터인지 판단하는데 있어 어려움을 갖게 된다.
도 4는 본 발명에 따른 영상 촬상 장치의 전체 블록도이다.
도 4의 영상 촬상 장치는 촬영 렌즈부(410), 포커스 측정부(420), 이미지 센서부(430), 디지털 이미지 안정화부(440), 제어부(450), 조작부(460)로 구성된다.
촬영 렌즈부(410)는 광학 렌즈 모듈을 이용하여 촬영하고자 하는 피사체상 을 이미지 센서부(430)의 입사면상에 결상시킨다.
이미지 센서부(430)는 CCD 또는 CMOS 타입이 있으며, 입사면상에 결상되는 피사체상을 촬상하여 해당 아날로그 RGB 신호를 출력한다.
조작부(460)는 오퍼레이터로부터 기능 선택 및 동작 제어에 관련된 조작 명령을 입력받는다. 특히, 조작부(460)는 조작자의 줌 변환 명령을 받아 제어부(460)에 인가한다.
포커스 측정부(420)는 주지의 기술을 이용하여 촬상된 영상의 영역들중에서 포커스된 위치를 측정하여 제어부(420)로 인가한다. 예를 들면, 포커스 측정부(420)는 주지의 촬상된 영상의 고주파 성분을 체크하여 포커스 정보를 판단한다.
제어부(450)는 조작부(460)를 통해 조작자의 줌 변환 정보를 수신하여 촬영 렌즈부(410)의 줌 배율 및 포커스를 조정하고, 포커스 측정부(420)로부터 포커스 정보를 수신한다. 일실시예로 제어부(450)는 특정 피사체를 촬영하여 광학 줌을 조작 했을 때 조작자가 얼마 만큼의 줌 배율이 적용되었는지를 디지털 이미지 안정화부(440)에 전해주게 된다. 그리고 제어부(450)는 영상에서 어느 위치에 포커스가 맞았는지를 디지털 이미지 안정화부(440)에 전해주게 된다.
디지털 이미지 안정화부(440)는 이미지 센서부(430)에서 입력되는 손 떨림 영상으로부터 전역 움직임 벡터들을 검출하고, 그 전역 움직임 벡터를 누적하여 안정화된 영상을 얻는다. 특히 디지털 이미지 안정화부(440)는 제어부(450)의 줌 배율 및 포커스 정보에 따라 블록 단위 움직임 벡터의 가중을 결정하고, 그 블록 단위 움직임 벡터의 가중에 근거하여 손 떨림에 의한 전역 움직임을 추출한다.
도 5는 도 4의 디지털 이미지 안정화부(440)의 상세도이다.
도 5의 디지털 이미지 안정화부는 블록 가중치 설정부(510), 블록 구획부(520), 움직임 추정부(530), 전역 움직임 검출부(540), 움직임 벡터 누적부(550), 손떨림 보정부(560)로 구성된다.
블록 가중치 설정부(510)는 포커스 정보 및 줌 배율 정보를 이용하여 블록 또는 영역 별로 서로 다른 움직임 벡터에 대한 가중치를 결정한다. 즉, 블록 가중치 설정부(510)는 포커스 정보에 의존적으로 미리 설정된 움직임 벡터의 가중 함수를 결정하고, 이어서 줌 배율 정보에 의존적으로 움직임 벡터의 가중 함수의 기울기를 변화시킨다. 이때 움직임 벡터의 가중 함수는 1차원 선형 함수 또는 2차원 선형 함수로 설정할 수 있다. 또한 줌 배율 또는 포커스 정보에 따른 블록별 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 미리 저장될 수 있다. 또한 블록별로 움직임 벡터에 대한 가중치 연산은 여러 실시예가 있을 수 있다.
블록 구획부(520)는 촬상된 영상 신호를 일정 단위의 블록 또는 영역으로 분할한다.
움직임 추정부(530)는 블록 정합 알고리듬을 이용하여 블록 구획부(520)에서 분할된 블록들 각각에 대해 움직임 벡터를 추정한다. 예를 들면, 움직임 추정부(530)는 인접한 프레임간의 시간적 상관성을 이용하여 참조 프레임(이전 프레임)의 블록과 현재 프레임의 블록간의 차를 계산하여 각 블록별로 움직임 벡터를 추정한다.
전역 움직임 검출부(540)는 시간 방향으로 흔들림이 발생한 영상을 교정하 기 위해 영상의 전역 움직임을 탐색한다. 따라서 전역 움직임 검출부(540)는 움직임 추정부(530)에서 추정된 각 블록별 움직임 벡터에 블록 가중치 설정부(510)에서 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 손떨림에 의한 전역 움직임 벡터를 검출한다.
움직임 누적부(550)는 전역 움직임 검출부(540)에서 검출된 전역 움직임 벡터를 누적한다.
손떨림 보정부(560)는 움직임 누적부(550)에서 누적된 전역 움직임 벡터를 이용하여 손 떨림을 보상하기 위해 프레임의 위치를 보정한다.
도 6은 본 발명에 따른 줌 배율에 따른 블록 단위의 움직임 벡터에 대한 가중 함수를 도시한 것이다.
도 6을 참조하면, x좌표는 x방향의 영상 공간 위치이고, y좌표는 움직임 벡터의 가중치이다. 603은 줌 배율이 없거나 작을 때 움직임 벡터의 가중함수이며, 604, 605, 606, 607은 줌 배율이 각각 1배, 3배, 8배, 10배에 해당하는 움직임 벡터 가중함수이다. 줌 배율이 1배, 3배, 8배, 10배로 커짐에 따라 피사체 움직임에 의한 영향을 줄이기 위하여 블록 단위의 영상에 설정되는 움직임 벡터의 가중 함수도 변화한다. 따라서 도 6에 도시된 바와 같이 줌 배율에 따라 블록 별로 서로 다른 움직임 벡터에 대한 가중치를 결정함으로써 줌 정보에 따른 움직임 추정을 적응적으로 수행할 수 있다. 이때 줌 배율에 따라 서로 다른 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 저장된다.
도 7a 및 7b는 본 발명에 따른 포커스 정보에 따른 움직임 벡터에 대한 가중 함수의 변화를 나타낸 그림이다.
도 7a 및 7b는 포커스가 맞추어진 영역에서 찾은 움직임 벡터에 큰 가중을 설정하게 되는 일 실시예를 도시한 것이다. 포커스 정보에 따라 서로 다른 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 저장된다.
도 7a를 참조하면, 701은 영상의 전체 영역을 나타내고, 702는 영상에서 포커스가 맞추어진 영역을 나타낸다. 따라서 영상 촬상 장치는 특정 피사체를 촬영했을 때 포커스가 맞추어진 중간 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 가중 함수(704)를 선택하게 된다.
따라서 영상에서 피사체 영상을 검출하여 피사체와 배경의 움직임 벡터에 대한 가중치를 결정한다.
도 7b를 참조하면, 706은 영상의 전체 영역을 나타내고, 705는 영상에서 포커스가 맞추어진 영역을 나타낸다. 따라서 영상 촬상 장치는 특정 피사체를 촬영했을 때 포커스가 맞추어진 외곽 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 가중 함수(708)를 선택하게 된다.
따라서 손 떨림에 의한 움직임 정보가 많은 영상의 외곽 지역은 줌 배율이 높아질 때 상대적으로 높게 설정됨으로써 전체 영상에서 피사체가 차지하는 비율이 커진다 하더라도 손 떨림에 의한 전역 움직임 벡터를 정확하게 추정할 수 있게 된다.
도 8은 본 발명에 따른 손떨림에 의한 움직임 추정 방법을 보이는 흐름도이다.
먼저, 특정 피사체를 촬영하여 광학 줌을 조작 했을 때 조작자가 조작한 줌 배율 정보를 추출한다(810 과정).
그리고 영상에서 어느 위치에 포커스가 맞았는지를 알려주는 포커스 정보를 추출한다(820 과정).
이어서, 포커스 정보 및 줌 배율 정보를 이용하여 영상의 블록 또는 영역 별로 서로 다른 움직임 벡터에 대한 가중치를 결정한다(830 과정). 이때 벡터의 크기 변화는 주움 배율에 의존해야 한다. 그리고 포커스가 맞는 위치에서의 움직임 벡터를 채용해야 한다.
따라서 촬영된 영상에서 움직임 벡터를 적용하기 위한 일 실시예로, 포커스 정보에 의존적으로 미리 설정된 움직임 벡터의 가중 함수를 결정하고, 이어서 줌 배율 정보에 의존적으로 움직임 벡터의 가중 함수의 기울기를 변화시킨다.
한편 촬상된 영상이 입력되면(840 과정) 그 영상을 일정 크기의 블록 또는 영역으로 분할한다(850).
이어서, 블록 매칭 알고리듬을 이용하여 분할된 블록들 각각에 대해 움직임 벡터를 추정한다(860 과정). 프레임 매칭 알고리듬은 현재 영상과 이전 영상을 일정 크기의 작은 블록으로 나누고 각각의 블록에 대해 움직임을 예측하여 움직임 벡터를 얻는다.
이어서, 추정된 각 블록별 움직임 벡터에 블록별로 서로 다른 움직임 벡터에 대한 가중치를 부여하여 전역 움직임을 검출한다(870 과정). 예를 들면, 가중치가 부여된 블록별 움직임 벡터들의 빈도수를 이용하여 히스토그램을 작성하고, 그 히 스토그램에서 빈도수가 가장 큰 움직임 벡터를 전역 움직임 벡터로 추정한다.
이어서, 전역 움직임 벡터를 누적하여 프레임 위치를 조정함으로써 영상의 손떨림을 보정한다(890 과정).
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.
또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 1a 및 도 1b는 줌 배율의 변화에 따라 촬영된 영상 화면을 도시한 것이다.
도 2는 통상적인 촬상 이미지 정보를 설명하기 위한 3D 세계(World) 좌표계를 도시한 것이다.
도 3a는 촬상 장치에서 촬영시 손떨림이 발생하였을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.
도 3b는 촬상 장치에서 줌 배율을 크게 설정했을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.
도 4는 본 발명에 따른 영상 촬상 장치의 블록도이다.
도 5는 도 4의 디지털 이미지 안정화부의 상세도이다.
도 6은 본 발명에 따른 줌 배율에 따른 블록 단위의 움직임 벡터에 대한 가중 함수를 도시한 것이다.
도 7a 및 7b는 본 발명에 따른 포커스 정보에 따른 움직임 벡터에 대한 가중 함수의 변화를 나타낸 그림이다.
도 8은 본 발명에 따른 손떨림에 의한 움직임 추정 방법을 보이는 흐름도이다.

Claims (15)

  1. 영상 촬상 장치의 움직임 추정 방법에 있어서,
    포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정;
    촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정;
    상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함하는 영상 촬상 장치의 움직임 추정 방법.
  2. 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은
    상기 포커스 정보에 의존적으로 움직임 벡터의 가중 함수를 결정하고,
    상기 줌 배율 정보에 의존적으로 상기 움직임 벡터의 가중 함수의 기울기를 변화시키는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  3. 제2항에 있어서, 상기 움직임 벡터의 가중 함수는 1차원함수 또는 2차원 함수로 설정하는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  4. 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은
    상기 포커스가 맞추어진 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  5. 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은
    영상에서 피사체 영역을 검출하여 피사체와 배경의 가중치를 결정하는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  6. 제1항에 있어서, 상기 줌 배율에 따라 상기 블록별로 서로 다른 움직임 벡터에 대한 가중치를 설정하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  7. 제1항에 있어서, 상기 포커스 정보에 따라 상기 블록별로 서로 다른 움직임 벡터에 대한 가중치를 설정하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  8. 제1항에 있어서, 상기 전역 움직임 추정 과정은
    상기 가중치가 부여된 블록별 움직임 벡터들의 빈도수를 계산하고,
    그 빈도수가 가장 큰 움직임 벡터를 전역 움직임 벡터로 추정하는 과정임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  9. 제1항에 있어서, 상기 줌 배율에 따라 서로 다른 움직임 벡터에 대한 가중치를 룩 -업 테이블로 저장하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  10. 제1항에 있어서, 상기 포커스 정보에 따라 서로 다른 움직임 벡터에 대한 가중치를 룩 -업 테이블로 저장하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
  11. 영상 촬상 기기의 움직임 추정 장치에 있어서,
    포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;
    촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;
    상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부를 포함하는 움직임 추정 장치.
  12. 제11항에 있어서, 상기 블록 가중치 설정부는
    줌 배율 및 포커스 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 저장한 룩 -업 테이블을 구비하는 것을 특징으로 하는 움직임 추정 장치.
  13. 제11항에 있어서, 상기 블록 가중치 설정부는
    포커스 정보에 의존적으로 움직임 벡터의 가중 함수를 결정하고,
    상기 줌 배율 정보에 의존적으로 상기 움직임 벡터의 가중 함수의 기울기를 변화시키는 것임을 특징으로 하는 움직임 추정 장치.
  14. 영상 촬상 장치에 있어서,
    이미지 신호를 생성하는 이미지 센서부;
    조작자의 줌 변환 정보를 수신하여 광 렌즈 모듈의 줌 배율 및 포커스를 조정하는 제어부;
    상기 제어부의 줌 배율 및 포커스 정보에 따라 블록 단위 움직임 벡터의 가중을 결정하고, 블록 단위 움직임 벡터의 가중에 근거하여 상기 센서부에서 생성된 이미지 신호의 전역 움직임을 추출하는 이미지 안정화부를 포함하는 영상 촬상 장치.
  15. 제14항에 있어서, 상기 이미지 안정화부는
    포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;
    촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;
    상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부;
    상기 움직임 누적부에서 누적된 전역 움직임 벡터를 바탕으로 손 떨림을 보상하는 손떨림 보정부를 구비하는 것을 특징으로 하는 영상 촬상 장치.
KR1020070083449A 2007-08-20 2007-08-20 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 KR101392732B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020070083449A KR101392732B1 (ko) 2007-08-20 2007-08-20 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
US12/045,837 US8035690B2 (en) 2007-08-20 2008-03-11 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
RU2010106087/09A RU2433563C1 (ru) 2007-08-20 2008-03-14 Устройство и способ для оценки перемещения вследствие дрожания рук и использующее их устройство получения изображений
CN2008800222692A CN101690236B (zh) 2007-08-20 2008-03-14 用于估计由手抖引起的运动的设备和方法及图像拾取装置
PCT/KR2008/001436 WO2009025434A1 (en) 2007-08-20 2008-03-14 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
EP08153979A EP2028840B1 (en) 2007-08-20 2008-04-02 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070083449A KR101392732B1 (ko) 2007-08-20 2007-08-20 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치

Publications (2)

Publication Number Publication Date
KR20090019197A true KR20090019197A (ko) 2009-02-25
KR101392732B1 KR101392732B1 (ko) 2014-05-08

Family

ID=40016127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070083449A KR101392732B1 (ko) 2007-08-20 2007-08-20 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치

Country Status (6)

Country Link
US (1) US8035690B2 (ko)
EP (1) EP2028840B1 (ko)
KR (1) KR101392732B1 (ko)
CN (1) CN101690236B (ko)
RU (1) RU2433563C1 (ko)
WO (1) WO2009025434A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348855B1 (ko) * 2012-10-30 2014-01-16 성균관대학교산학협력단 모션 센서를 이용한 탐색 영역을 감축하는 실시간 영상 안정화 방법, 장치 및 촬상 장치
US8724704B2 (en) 2010-02-17 2014-05-13 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation and image processing apparatus

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5298899B2 (ja) * 2009-02-03 2013-09-25 株式会社Ｊｖｃケンウッド 画像補正処理装置および画像補正処理方法
JP5740844B2 (ja) 2009-11-24 2015-07-01 株式会社リコー 撮像装置、画像処理方法、及び、コンピュータプログラム
KR20110068635A (ko) * 2009-12-16 2011-06-22 삼성전자주식회사 디지털 영상 처리 장치, 그 제어 방법 및 컴퓨터 판독가능 저장매체
CN102118559B (zh) * 2009-12-30 2012-10-03 华晶科技股份有限公司 利用移动侦测调整数字相机的拍摄条件的方法
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
KR101710624B1 (ko) 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
JP5759162B2 (ja) * 2010-12-16 2015-08-05 キヤノン株式会社 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
CN104580907B (zh) * 2014-12-31 2018-11-23 广东欧珀移动通信有限公司 一种防抖的拍照方法及装置
JP6086619B2 (ja) * 2015-03-27 2017-03-01 株式会社日立国際電気 符号化装置および符号化方法
CN105578061A (zh) * 2016-02-25 2016-05-11 广东欧珀移动通信有限公司 一种拍照防抖的方法、装置及移动终端
JP2022120683A (ja) * 2021-02-05 2022-08-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0358196B1 (en) 1988-09-09 1997-07-30 Canon Kabushiki Kaisha Automatic image stabilization device
KR100319034B1 (ko) 1993-06-29 2002-03-21 다카노 야스아키 손흔들림보정장치를가진비디오카메라
US6734901B1 (en) * 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
ES2276696T3 (es) 1999-09-21 2007-07-01 Koninklijke Philips Electronics N.V. Metodo de estimacion de movimiento global.
RU2197070C2 (ru) 2000-07-31 2003-01-20 Государственное унитарное предприятие "Конструкторское бюро приборостроения" Способ стабилизации изображения и устройство, его реализующее
US7050500B2 (en) 2001-08-23 2006-05-23 Sharp Laboratories Of America, Inc. Method and apparatus for motion vector coding with global motion parameters
US7079701B2 (en) 2001-09-07 2006-07-18 Intergraph Software Technologies Concealed object recognition
US7321626B2 (en) 2002-03-08 2008-01-22 Sharp Laboratories Of America, Inc. System and method for predictive motion estimation using a global motion predictor
EP1377040A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
EP1376471A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7646891B2 (en) * 2002-12-26 2010-01-12 Mitshubishi Denki Kabushiki Kaisha Image processor
JP4010254B2 (ja) 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
ATE409390T1 (de) 2003-12-23 2008-10-15 Nxp Bv Verfahren und system zum stabilisieren von videodaten
JP4404822B2 (ja) * 2004-08-31 2010-01-27 三洋電機株式会社 手ぶれ補正装置および撮像機器
JP4636887B2 (ja) * 2005-01-11 2011-02-23 キヤノン株式会社 光学機器
JP2006287814A (ja) * 2005-04-04 2006-10-19 Fuji Photo Film Co Ltd 撮像装置及び動きベクトル決定方法
JP2007033543A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮影装置
US8134603B2 (en) * 2005-08-12 2012-03-13 Nxp B.V. Method and system for digital image stabilization
CN100551057C (zh) 2005-12-29 2009-10-14 北京中星微电子有限公司 一种基于动态图像实现视频编码防抖的方法及编码器
JP4655957B2 (ja) * 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724704B2 (en) 2010-02-17 2014-05-13 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation and image processing apparatus
KR101348855B1 (ko) * 2012-10-30 2014-01-16 성균관대학교산학협력단 모션 센서를 이용한 탐색 영역을 감축하는 실시간 영상 안정화 방법, 장치 및 촬상 장치

Also Published As

Publication number Publication date
RU2010106087A (ru) 2011-08-27
KR101392732B1 (ko) 2014-05-08
CN101690236B (zh) 2013-05-15
EP2028840A2 (en) 2009-02-25
US20090051777A1 (en) 2009-02-26
EP2028840B1 (en) 2011-12-14
RU2433563C1 (ru) 2011-11-10
EP2028840A3 (en) 2010-10-13
US8035690B2 (en) 2011-10-11
CN101690236A (zh) 2010-03-31
WO2009025434A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
KR101392732B1 (ko) 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
US9854168B2 (en) One-pass video stabilization
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
JP4623111B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
KR20100107594A (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP2018151689A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
KR101830077B1 (ko) 화상처리장치, 그 제어 방법 및 기억매체
CN107018311B (zh) 移动信息取得装置、移动信息取得方法以及记录介质
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
US8036525B2 (en) Method and apparatus for motion compensation
JP5968379B2 (ja) 画像処理装置およびその制御方法
US20120019677A1 (en) Image stabilization in a digital camera
CN106454066B (zh) 图像处理设备及其控制方法
JP2019062340A (ja) 像振れ補正装置および制御方法
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP2019149717A (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体
JP2017212636A (ja) 画像処理装置、撮像装置および画像処理方法
JP2010079815A (ja) 画像補正装置
JP2022099120A (ja) 被写体追尾装置およびその制御方法
JP5610967B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2020086824A (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6