KR100415313B1 - 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 - Google Patents

동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 Download PDF

Info

Publication number
KR100415313B1
KR100415313B1 KR10-2001-0084212A KR20010084212A KR100415313B1 KR 100415313 B1 KR100415313 B1 KR 100415313B1 KR 20010084212 A KR20010084212 A KR 20010084212A KR 100415313 B1 KR100415313 B1 KR 100415313B1
Authority
KR
South Korea
Prior art keywords
optical flow
camera
camera motion
feature point
calculation
Prior art date
Application number
KR10-2001-0084212A
Other languages
English (en)
Other versions
KR20030054106A (ko
Inventor
전재춘
임영재
조성익
김경옥
양영규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0084212A priority Critical patent/KR100415313B1/ko
Priority to US10/098,430 priority patent/US6683677B2/en
Publication of KR20030054106A publication Critical patent/KR20030054106A/ko
Application granted granted Critical
Publication of KR100415313B1 publication Critical patent/KR100415313B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치는 동영상에서 광류를 계산하는데 있어 실시간적이며, 영상회전, 줌 현상이 발생하더라도 상관 정합과 시스템 모델을 이용하여 광류를 계산할 수 있도록 한 것으로, 입력되는 연속되는 영상(이전 영상과 현재 영상)의 특징점을 추출하는 특징점 추출 수단; 특정점 추출 수단에서 추출된 특징점을 이용하여 광류를 계산하는 광류 계산 수단; 광류 계산 수단에서 계산된 광류를 이용하여 카메라의 움직임을 계산하는 제1 카메라 움직임 계산 수단; 광류 계산 수단에서 계산된 광류 중 잘못된 광류를 제거한 후, 카메라의 움직임 정보를 재 계산하는 제2 카메라 움직임 계산 수단; 제2 카메라 움직임 계산 수단에서 계산된 카메라의 움직임에 따라 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차 정보를 추정하여 광류 계산 수단으로 제공하는 광류 위치 추정수단; 상기 제2 카메라 움직임 계산 수단에서 계산된 카메라의 움직임에 따라 가중치 계산 수단에서 제공되는 상관 정합, 위치 오차 정합, 에지 강도 정합의 가중치를 설정하여 광류 계산 수단으로 제공하는 가중치 계산 수단를 포함한다.

Description

동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치{computation apparatus of optical flow and camera motion using correlation and system modelon sequential image}
본 발명은 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치에 관한 것으로서, 특히 연속되는 동영상에서 광류를 구하여 카메라 움직임을 계산하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치에 관한 것이다.
기존에는 연속되는 동영상에서 특징점을 추출하여 광류를 계산하는 방법으로는, 그래디언트 기반(gradient based), 주파수 기반(frequency based), 코렐레이션 기반(correlation based)의 광류 계산 방법이있다.
그래디언트를 기반으로로 한 접근 방식은 대표적으로 Hron and Schunck 알고리즘이 있다.
이러한 방법은 영상 상에서 주변 픽셀 그레이(pixel gray) 값 변화, 영상 프레임(frame) 간의 그레이 값 변화량에 따른 값이 최소로 되는 픽셀점을 찾는 것이다. 이 알고리즘의 최대 단점은 현재 프레임에서 존재하는 그레이 값이 다음 프레임에서 존재해야 하며, 영상 상에서 물체가 조금이라도 움직임이 있어야 되기 때문에 빠른 카메라 움직임에 적용에 힘들어 실시간으로 시스템에 적용하기가 힘들다.
주파수 기반 광류 계산은, 가보르 필터(Gabor filter)와 같이 속도에 대한 밴드 패스 필터(band-fass filter)를 적용한 영상 상의 모든 픽셀값의 미분 값을 이용한 것이다. 이 방법 역시 그래디언트 기반의 방법에서의 단점과 동일한 단점을 가지고 있다.
코렐레이션 기반으로 하는 방법은 MPEG 영상에서 움직이는 물체를 찾아내는 방법에 적용되고 있다. 이 방법은 영상회전, 줌 현상이 발생 시에는 에러를 많이 포함하고 있어 이 현상이 발생시 보조적인 방법이 필요로 한다.
결국, 종래 기술에서는 동영상에서의 광류 계산 방법은, 영상의 모든 픽셀에 대하여 광류 계산을 하기 때문에 실시간적으로 계산이 불가능하며, 상관 정합을 이용한 광류 계산은 영상회전, 줌 현상 발생시에는 광류 계산시 에러가 발생되는 문제점을 안고 있다.
따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위하여 안출한 것으로, 본 발명의 목적은, 동영상에서 광류를 계산하는데 있어 실시간적이며, 영상회전, 줌 현상이 발생하더라도 상관 정합과 시스템 모델을 이용하여 광류를 계산할 수 있는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치를 제공함에 있다.
도 1은 본 발명에 따른 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치에 대한 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 특징점 추출부에 대한 상세 블록 구성을 나타낸 도면.
도 3은 도 1에 도시된 광류 계산부에 대한 상세 블록 구성을 나타낸 도면.
도 4는 도 1에 도시된 제1 카메라 움직임 계산부에 대한 상세 블록 구성을 나타낸 도면.
도 5는 도 1에 도시된 제2 카메라 움직임 계산부에 대한 상세 블록 구성을 나타낸 도면.
도 6은 도 1에 도시된 광류 위치 추정부에 대한 상세 블록 구성을 나타낸 도면.
도 7은 도 1에 도시된 가중치 계산부에 대한 상세 블록 구성을 나타낸 도면.
도 8은 도 5에 도시된 광류 제거부에서의 잘못된 광류 판정을 설명하기 위한 도면.
도 9는 도 1에 도시된 광류 위치 추정부에서의 위치 추정 방법을 적용하기 위한 시스템 모델로서, 코일 스프링 시스템에 카메라를 설치하여 실험한 예를 나타낸 도면.
*도면의 주요 부분에 대한 부호의 설명*
100 : 특징점 추출부 110 : 광류 계산부
120, 130 : 제1,2 카메라 움직임 계산부
140 : 광류 위치 추정부 150 : 가중치 계산부
상기한 목적을 달성하기 위한 본 발명은, 코렐레이션 기반으로 광류를 계산하고 영상 회전, 줌 현상이 발생 시에 이전 프레임에서 계산된 카메라 움직임과 시스템 모델식을 이용하여 이전 프레임에서 계산된 광류가 현재 프레임에 위치할 추정 값을 이용하는 방법을 사용하였다.
또한, 모든 픽셀의 광류 계산을 하게 되면 실시간 처리가 불가능하므로 SUSAN 에지 오퍼레이션을 이용하여 광류 수를 설정 값 이상으로 가지 않도록 하였다. 광류 계산 시에, 상관 정합값과 광류 위치 추정 값의 융합 방법은 CCD 카메라 움직임 중 광 축의 회전, 이동 값에 따라 상관 정합 가중치를 줄이는데 그 특징이 있다.
본 발명에 따른 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치의 일 측면에 따르면, 입력되는 연속되는 영상(이전 영상과 현재 영상)의 특징점을 추출하는 특징점 추출 수단; 상기 특정점 추출 수단에서 추출된 특징점을 이용하여 광류를 계산하는 광류 계산 수단; 상기 광류 계산 수단에서 계산된 광류를 이용하여 카메라의 움직임을 계산하는 제1 카메라 움직임 계산 수단; 상기 광류 계산 수단에서 계산된 광류 중 잘못된 광류를 제거한 후, 카메라의 움직임 정보를 재 계산하는 제2 카메라 움직임 계산 수단; 상기 제2 카메라 움직임 계산 수단에서 계산된 카메라의 움직임에 따라 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차 정보를 추정하여 상기 광류 계산 수단으로 제공하는 광류 위치 추정수단; 상기 제2 카메라 움직임 계산 수단에서 계산된 카메라의 움직임에 따라 가중치 계산 수단에서 제공되는 상관 정합, 위치 오차 정합, 에지 강도 정합의 가중치를 설정하여 상기 광류 계산 수단으로 제공하는 가중치 계산 수단를 포함한다.
상기 특징점 추출 수단은, 입력되는 연속 영상에서 에지 영상을 추출하는 SUSAN 에지 추출부; 상기 SUSAN 에지 추출부에서 추출된 에지 영상에서 설정된 마스크 사이즈 영역에서 가장 큰 값을 선택하여 일정 개수의 특징점을 추출하는 로컬 맥스부를 포함한다. 여기서, 상기 로컬 맥스부에서의 특징점 추출은, 아래의 수학식을 이용하는 것이다.
여기서, I는 그레이 값이고 T는 그레이 값의 차에 대한 스레솔드(threshold) 값이다. 그리고 G는 이전, 현재 영상에서 특징점 위치의 에지 강도 차이이다.
그리고, 상기 광류 계산 수단은, 상기 광류 위치 추정 수단에서 제공되는 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차 정보와, 가중치 계산 수단에서 제공되는 상관 정합, 위치 오차 정합, 에지 강도 정합의 가중치 및 상기 특징점 추출 수단에서 제공되는 이전, 현재 영상에서 특징점 위치의 에지 강도 차이값을 이용하여 에지의 연결 강도를 계산하는 융합부; 상기 융합부에서 제공되는 연결 강도값을 이용하여 연결 강도가 가장 큰 특징점들을 추출하여 상기 제1,2 움직임 계산 수단으로 제공하는 정합된 특징점 추출부를 포함한다. 여기서, 상기 융합부에서 에지의 연결 강도(E)의 계산은 아래의 수학식을 이용하는 것이다.
여기서, WG, WCl, WS는 각각 상관 정합, 위치 오차 정합, 에지 강도 정합 가중치, G는 특징점 추출 수단으로 부터 제공받은 이전, 현재 영상에서 특징점 위치의 에지강도 차이, Cl은 광류 위치 추정 수단으로부터 제공받은 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차, S는 특징점 추출 수단으로 부터 제공받은 이전, 현재 영상에서 특징점의 SUSAN 에지 강도 차이이다.
또한, 상기 제1 카메라 움직임 계산 수단은, 상기 광류 계산 수단으로 부터 제공받은 광류를 이용하여 카메라 투영식의 상수를 구하는 Pseudo 인버스 매트릭스 계산부와; 상기 Pseudo 인버스 매트릭스 계산부에서 제공되는 카메라 투영식의 상수를 이용하여 카메라 움직임을 분리한 후, 상기 제2 카메라 움직임 계산 수단으로 제공하는 카메라 움직임 계산부를 포함한다.
상기 제2 카메라 움직임 계산 수단은, 상기 제1 카메라 움직임 계산 수단에서 계산된 카메라 움직임 값을 이용하여 광류 방향 및 크기를 계산하는 광류 방향, 크기 계산부; 상기 광류 방향, 크기 계산부에서 계산된 광류 방향 및 크기에 따라상기 광류 계산 수단으로부터 제공받은 광류중에서 잘못된 광류를 제거하는 광류 제거부; 상기 광류 제거부에서 제거되지 않은 광류를 이용하여 카메라의 움직임을 재계산하여 상기 가중치 계산 수단과 광류 위치 추정 수단으로 각각 제공하는 카메라 움직임 계산부를 포함할 수 있다. 여기서, 상기 광류 방향, 크기 계산부에서 계산되는 광류 방향 및 크기는 아래의 수학식을 이용하는 것이다.
여기서, △t는 샘플링 타임(sampling time)이며, Tx, Ty, Tz, Ωz는 카메라 x,y,z축 이동, z축 회전, xt, yt는 현재 프레임 영상에서 위치, xave, yave는 기준이 되는 위치이다. 그리고, 상기 광류 제거부는, 상기 기준이 되는 광류의 방향(θ)과 xave, yave와의 거리(△)가 설정한 범위 밖에 있으면 잘못 정합된 광류로 판정하여 잘못된 광류를 제거한다.
상기 광류 위치 추정 수단은, 상기 제2 카메라 움직임 계산 수단에서 잘못된 광류 제거 후, 제공되는 광류와 계산된 카메라 움직임에 따라 아래의 수학식을 이용하여 카메라의 움직임을 추정하는 카메라 움직임 추정 계산부를 포함한다.
여기서,은 추정 카메라 움직임이다.
상기 가중치 계산 수단은, 제2 카메라 움직임 계산 수단으로부터 잘못된 광류 제거된 카메라 움직임을 이용하여 상관 정합 가중치 값을 계산하는 상관 정합 가중치 계산부; 상기 계산된 상관 정합 가중치 값과, 미리 설정된 위치 추정 고정 가중치값, 에지 강도 고정 가중치값을 각각 평활화한 후, 평활된 각각의 값을 광류 계산 수단으로 제공하는 가중치 정규화 계산부를 포함한다. 여기서, 상기 상관 정합 가중치 계산부에서 계산되는 상관 정합 가중치 값은 아래의 수학식을 이용한다.
여기서, WG,Init는 상관 정합 가중치 초기설정 값이다. 그리고, 상기 가중치 정규화 계산부에서 상관 정합 가중치값, 위치 추정 고정 가중치값, 에지 강도 고정 가중치값의 평활화는 아래의 수학식을 이용한다.
여기서, WCl,Init, WS,Init는 각각 위치추정, 에지강도 고정 가중치값이고, W1은 상관 정합 가중치값이다.
이하, 본 발명에 따른 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 살펴보기로 한다.
도 1은 본 발명에 따른 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치에 대한 블록 구성을 나타낸 도면으로서, 그 구성을 살펴보면, 영상 입력부를 통해 입력된 연속되는 영상(이전 영상과 현재 영상)의 특징점을 추출하는 특징점 추출부(100), 특정점 추출부(100)에서 추출된 특징점을 이용하여 광류를 계산하는 광류 계산부(110), 광류 계산부(110)에서 계산된 광류를 이용하여 카메라의 움직임을 계산하는 제1 카메라 움직임 계산부(120), 광류 계산부(110)에서 계산된 광류와 제1 카메라 움직임 계산부(120)에서 계산된 카메라 움직임 정보에서 잘못된 광류를 제거한 후, 카메라의 움직임 정보를 계산하는 제2 카메라 움직임 계산부(130), 제2 카메라 움직임 계산부(130)에서 계산된 카메라의 움직임에 따라 광류의 위치를 추정하는 광류 위치 추정부(140) 및 제2 카메라 움직임 계산부(130)에서 계산된 카메라의 움직임에 따라 가중치를 계산하는 가중치 계산부(150)를 포함할 수 있다.
이와 같은 각 구성들에 대한 세부 구성 및 그 상세 동작에 대하여 첨부한 도면을 참조하여 설명해 보기로 하자.
도 2는 도 1에 도시된 특징점 추출부에 대한 상세 블록 구성을 나타낸 도면이다
도 2에 도시된 바와 같이, 특징점 추출부(100)는 사람 눈으로 보았을 때, 현저하게 구분할 수 있는 코너 점, 즉 특징점을 일정 개수 추출하기 위하여 SUSAN 에지 구동부(101)와 로컬 맥스(Local Max)부(102)를 사용한다. SUSAN 에지 구동부(101)는 아래의 수학식 1을 이용하여 에지 영상에서 코너점을 찾게 된다.
여기서, I는 그레이 값이고 T는 그레이 값의 차에 대한 스레솔드(threshold) 값이다. 그리고 G는 이전. 현재 영상에서 특징점 위치의 에지 강도 차이이다.
상기 수학식 1에서 T가 크면 큰 그레이 값 변화가 있는 곳만 특징점으로 추출되고, T가 작으면 그레이 변화가 작은 곳에서도 특징점을 추출한다. 특징점을 선택하는 기준은 G 값에 달려있다. 일정한 개수의 특징점들을 구하기 위해서는 T 값을 고정시켜 지수함수 부분을 계산 후에 G 값을 변화시키면 된다.
SUSAN 에지 구동부(101)를 통해 얻어지는 에지 영상에서 코너점을 찾기 위해 로컬 맥스부(102)에서는 설정된 마스크 사이즈 영역에서 가장 큰 값을 선택하여 코너점, 즉 특징점을 추출하게 된다.
이전 프레임에서 계산된 코너점 수가 설정 범위보다 작게 되면 G 값을 감소시킨다. 감소시키더라도 특징점 수가 설정 범위에 들어오지 않으면 룩 업 테이블(Look up Table)로 설정되어 있는 T 값을 변화시키며 동시에 로컬 맥스부(102)에서 마스크 사이즈를 감소시켜서 많은 특징점을 추출하도록 도와준다.
이렇게 추출된 특징점의 위치와 그 위치의 에지 강도는 광류 계산부(110)로제공된다.
도 3은 도 1에 도시된 광류 계산부에 대한 상세 블록 구성을 나타낸 도면이다.
도 3에 도시된 바와 같이, 상기 광류 계산부(110)의 융합부(11)에서는 아래의 수학식 2를 이용하여 에지 연결 강도를 계산하게 된다.
즉, 상기 수학식 2에서 WG, WCl, WS는 각각 상관 정합, 위치 오차 정합, 에지 강도 정합 가중치이다. G는 특징점 추출부(100)로 부터 제공받은 이전, 현재 영상에서 특징점 위치의 에지강도 차이이다. 그리고, Cl은 광류 위치 추정부(140)로부터 제공받은 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차이다. S는 특징점 추출부(100)로 제공받은 이전, 현재 영상에서 특징점의 SUSAN 에지 강도 차이이다.
결국, 융합부(111)는 광류 위치 추정부(140)에서 제공되는 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차 정보와, 가중치 계산부(150)에서 제공되는 상관 정합, 위치 오차 정합, 에지 강도 정합의 가중치 및 특징점 추출부(100)에서 제공되는 이전, 현재 영상에서 특징점 위치의 에지강도 차이값을 이용하여 에지의 연결 강도 E를 계산하여 계산된 연결강도 값은 정합된 특징점 추출부(112)로 제공된다.
따라서, 정합된 특징점 추출부(112)에서는 융합부(112)에서 제공되는 연결 강도값(E)을 이용하여 연결 강도가 가장 큰 특징점들을 추출한다. 이 추출된 연결 강도가 가장 큰 특징점들은 제1 카메라 움직임 계산부(120)와 제2 카메라 움직임 계산부(130)로 각각 제공된다.
상기 제1 카메라 움직임 계산부(120)는 광류 계산부(110)로 부터 제공받은 광류를 카메라 투영과 시스템 모델에 의해 유도된 공식에 대입후 고전적인 리스트 스퀘어(Least Square)를 이용하여 카메라 움직임을 계산한다.
이렇게 계산된 카메라 움직임 신호는 제2 카메라 움직임 계산부(130)로 제공된다. 여기서, 제1 카메라 움직 계산부(120)에 대하여 도 4를 참조하여 살펴보자.
도 4는 도 1에 도시된 제1 카메라 움직임 계산부에 대한 상세 블록 구성을 나타낸 도면이다.
도 4에 도시된 바와 같이, 제1 카메라 움직임 계산부(120)의 Pseudo 인버스 매트릭스(inverse matrix) 계산부(121)는 광류 계산부(110)로 부터 제공받은 광류를 이용하여 카메라 투영식의 상수를 구한 후, 구해진 카메라 투영식의 상수값을 카메라 움직임 계산부(122)로 제공한다.
카메라 움직임 계산부(122)는 Pseudo 인버스 매트릭스(inverse matrix) 계산부(121)에서 제공되는 카메라 투영식의 상수를 이용하여 카메라 움직임을 분리한 후, 제2 카메라 움직임 계산부(130)로 제공한다.
도 5는 도 1에 도시된 제2 카메라 움직임 계산부(130)에 대한 상세 블록 구성을 나타낸 도면이다.
도 5에 도시된 바와 같이, 제2 카메라 움직임 계산부(130)는 제1 카메라 움직임 계산부(120)로부터 제공받은 카메라 움직임을 기반으로 광류 계산부(110)로부터 제공받은 광류중에서 잘못된 광류를 제거하게 된다. 카메라 움직임 값을 이용한 광류 방향, 크기 계산부(131)는 카메라 움직임 값을 카메라 투영식과 카메라 움직임 식을 융합한 아래의 수학식 3에 대입하여 광류 방향 및 크기를 계산한다.
여기서, △t는 샘플링 타임(sampling time)이며, Tx, Ty, Tz, Ωz는 카메라 x,y,z축 이동, z축 회전이다. xt, yt는 현재 프레임 영상에서 위치, xave, yave는 기준이 되는 위치이다. 계산된 광류를 이용한 잘못된 광류 제거부(132)는 도면 8과 같이 기준이 되는 광류의 방향(θ)과 xave, yave와의 거리(△)가 설정한 범위 밖에 있으면 잘못 정합된 광류로 판정하여 잘못된 광류를 제거한 후, 남은 광류를 카메라 움직임 계산부(133)로 제공한다. .
즉, 상기 광류 방향, 크기 계산부(131)에서 상기 수학식 3을 이용하여 계산된 광류중 잘못된 광류가 광류 제거부(132)에 의해 제거 된 후, 남은 광류는 카메라 움직임 계산부(133)에서 사용하여 카메라 움직임을 다시 계산한다.
계산된 카메라 움직임은 광류 위치 추정부(140)와 가중치 계산부(150)로 각각 제공한다.
도 6은 도 1에 도시된 광류 위치 추정부에 대한 상세 블록 구성을 나타낸 도면이다.
도 6에 도시된 바와 같이, 광류 위치 추정부(140)는 잘못된 광류 제거 후 카메라 움직임 계산부(130)로부터 제공받은 광류와 카메라 움직임을 system 카메라 투영과 카메라가 설치된 system의 model이 융합된 아래의 수학식 4를 이용하여 위치 추정을 하게 된다.
여기서,은 추정 카메라 움직임 으로써 카메라가 설치된 system의 model에서 구할 수 있으며, 도 9의 system의 경우 (수학식 5, system model을 이용한 카메라 움직임 추정 계산부(141))와 같다. 즉, 도 9는 광류 위치 추정부(140)에서의 위치 추정 방법을 적용하기 위한 코일 스프링 시스템에 카메라를 설치하여 실험한 예를 나타낸 도면이다.
여기서, m은 각각 system 무게(카메라 무게), g는 중력 가속도, Ks는 코일 스프링(coil spring) 상수, kb는 회전 코일 스프링(coil spring) 상수, Iz는 2차관성 모멘트이며, θz는 코일 스프링 비틀림 각도이다. (수학식 4)에서는 추정 위치로써 광류 계산부(110)로 제공한다.
도 7은 도 1에 도시된 가중치 계산부에 대한 상세 블록 구성을 나타낸 도면이다.
도 7에 도시된 바와 같이, 가중치 계산부(150)는 잘못된 광류 제거 후 제2 카메라 움직임 계산부(130)로부터 제공받은 카메라 움직임을 이용하여 상관 정합 가중치를 계산하고, 미리 설정된 위치 추정 고정 가중치 값, 에지 강도 고정 가중값을 광류 계산부(110)로 제공한다.
상관 정합 가중치 계산부(151)는 영상 회전 줌현상이 발생시에 상관 정합 값의 신뢰도가 떨어지기 때문에, 카메라 광축, 즉 z축의 회전과 이동이 발생시에 상관 정합 가중치를 (수학식 6)과 같이 떨어드리게 한다.
여기서, WG,Init는 상관 정합 가중치 초기설정 값이다. 도 7에서의 가중치 정규화 계산부(152)는 미리 설정된 위치 추정 고정 가중치값, 에지강도 고정 가중치 값 및 상관 정합 가중치 계산부(151)에서 계산된 상관 정합 가변 가중치 값(수학식 6)을 아래의 수학식 7을 이용하여 각각 평활화한 후, 평활화된 에지강도 가중치, 상관 정합 가중치, 위치 추정 가중치값을 각각 광류 계산부(110)로 제공한다.
여기서, WCl,Init, WS,Init는 각각 위치추정, 에지강도 고정 가중치이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 상기한 실시예 및 첨부된 도면에 의해 한정되는것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명에 따른 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치 및 그 방법은, 정확하고 빠른 광류 계산방법을 이용하여 CCD카메라가 설치된 시스템 움직임을 계산할 수 있는 것이다. 즉, 빠른 계산이 필요한 무인 카메라, 자율 주행 로봇, 자유 낙하 미사일, MPEG 영역에서의 움직임 추출 등에 적용할 수 있다.

Claims (13)

  1. 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치에 있어서,
    입력되는 연속되는 영상(이전 영상과 현재 영상)의 특징점을 추출하는 특징점 추출 수단;
    상기 특정점 추출 수단에서 추출된 특징점을 이용하여 광류를 계산하는 광류 계산 수단;
    상기 광류 계산 수단에서 계산된 광류를 이용하여 카메라의 움직임을 계산하는 제1 카메라 움직임 계산 수단;
    상기 광류 계산 수단에서 계산된 광류 중 잘못된 광류를 제거한 후, 카메라의 움직임 정보를 재 계산하는 제2 카메라 움직임 계산 수단;
    상기 제2 카메라 움직임 계산 수단에서 계산된 카메라의 움직임에 따라 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차 정보를 추정하여 상기 광류 계산 수단으로 제공하는 광류 위치 추정수단;
    상기 제2 카메라 움직임 계산 수단에서 계산된 카메라의 움직임에 따라 가중치 계산 수단에서 제공되는 상관 정합, 위치 오차 정합, 에지 강도 정합의 가중치를 설정하여 상기 광류 계산 수단으로 제공하는 가중치 계산 수단를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  2. 제1항에 있어서,
    상기 특징점 추출 수단은,
    입력되는 연속 영상에서 에지 영상을 추출하는 SUSAN 에지 추출부;
    상기 SUSAN 에지 추출부에서 추출된 에지 영상에서 설정된 마스크 사이즈 영역에서 가장 큰 값을 선택하여 일정 개수의 특징점을 추출하는 로컬 맥스부를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  3. 제2항에 있어서,
    상기 로컬 맥스부에서의 특징점 추출은, 아래의 수학식을 이용하여 추출하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
    여기서, I는 그레이 값이고 T는 그레이 값의 차에 대한 스레솔드(threshold) 값이다. 그리고 G는 이전. 현재 영상에서 특징점 위치의 에지 강도 차이이다.
  4. 제1항에 있어서,
    상기 광류 계산 수단은,
    상기 광류 위치 추정 수단에서 제공되는 이전 영상에서의 특징점 추정 위치와 현재 특징점 위치의 거리차 정보와, 가중치 계산 수단에서 제공되는 상관 정합, 위치 오차 정합, 에지 강도 정합의 가중치 및 상기 특징점 추출 수단에서 제공되는 이전, 현재 영상에서 특징점 위치의 에지 강도 차이값을 이용하여 에지의 연결 강도를 계산하는 융합부;
    상기 융합부에서 제공되는 연결 강도값을 이용하여 연결 강도가 가장 큰 특징점들을 추출하여 상기 제1,2 움직임 계산 수단으로 제공하는 정합된 특징점 추출부를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  5. 제4항에 있어서,
    상기 융합부에서의 에지의 연결 강도(E)의 계산은 아래의 수학식을 이용하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
    여기서, WG는 각각 상관 정합, WCl은 위치 오차 정합, WS는 에지 강도 정합 가중치, G는 특징점 추출 수단으로 부터 제공받은 이전, 현재 영상에서 특징점 위치의 에지강도 차이, Cl은 광류 위치 추정 수단으로부터 제공받은 이전 영상에서의특징점 추정 위치와 현재 특징점 위치의 거리차, S는 특징점 추출 수단로 부터 제공받은 이전, 현재 영상에서 특징점의 SUSAN 에지 강도 차이이다.
  6. 제1항에 있어서,
    상기 제1 카메라 움직임 계산 수단은,
    상기 광류 계산 수단으로 부터 제공받은 광류를 이용하여 카메라 투영식의 상수를 구하는 Pseudo 인버스 매트릭스 계산부와;
    상기 Pseudo 인버스 매트릭스 계산부에서 제공되는 카메라 투영식의 상수를 이용하여 카메라 움직임을 분리한 후, 상기 제2 카메라 움직임 계산 수단으로 제공하는 카메라 움직임 계산부를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  7. 제1항에 있어서,
    상기 제2 카메라 움직임 계산 수단은,
    상기 제1 카메라 움직임 계산 수단에서 계산된 카메라 움직임 값을 이용하여 광류 방향 및 크기를 계산하는 광류 방향, 크기 계산부;
    상기 광류 방향, 크기 계산부에서 계산된 광류 방향 및 크기에 따라 상기 광류 계산 수단으로부터 제공받은 광류중에서 잘못된 광류를 제거하는 광류 제거부;
    상기 광류 제거부에서 제거되지 않은 광류를 이용하여 카메라의 움직임을 재계산하여 상기 가중치 계산 수단과 광류 위치 추정 수단으로 각각 제공하는 카메라 움직임 계산부를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  8. 제7항에 있어서,
    상기 광류 방향, 크기 계산부에서 계산되는 광류 방향 및 크기는 아래의 수학식을 이용하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
    여기서, △t는 샘플링 타임(sampling time)이며, Tx, Ty, Tz, Ωz는 카메라 x,y,z축 이동, z축 회전, xt, yt는 현재 프레임 영상에서 위치, xave, yave는 기준이 되는 위치.
  9. 제8항에 있어서,
    상기 광류 제거부는,
    상기 기준이 되는 광류의 방향(θ)과 xave, yave와의 거리(△)가 설정한 범위 밖에 있으면 잘못 정합된 광류로 판정하여 잘못된 광류를 제거하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  10. 제1항에 있어서,
    상기 광류 위치 추정 수단은,
    상기 제2 카메라 움직임 계산 수단에서 잘못된 광류 제거 후 제공되는 광류와 계산된 카메라 움직임에 따라 아래의 수학식을 이용하여 카메라의 움직임을 추정하는 카메라 움직임 추정 계산부를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
    여기서,은 추정 카메라 움직임.
  11. 제1항에 있어서,
    상기 가중치 계산 수단은,
    상기 제2 카메라 움직임 계산 수단으로부터 잘못된 광류 제거된 카메라 움직임을 이용하여 상관 정합 가중치 값을 계산하는 상관 정합 가중치 계산부;
    상기 계산된 상관 정합 가중치 값과, 미리 설정된 위치 추정 고정 가중치값, 에지 강도 고정 가중치값을 각각 평활화한 후, 평활된 각각의 값을 광류 계산 수단으로 제공하는 가중치 정규화 계산부를 포함하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
  12. 제11항에 있어서,
    상기 상관 정합 가중치 계산부에서 계산되는 상관 정합 가중치 값은 아래의 수학식을 이용하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
    여기서, WG,Init는 상관 정합 가중치 초기 설정값이다.
  13. 제11항에 있어서,
    상기 가중치 정규화 계산부에서 상관 정합 가중치값, 위치 추정 고정 가중치값, 에지 강도 고정 가중치값의 평활화는 아래의 수학식을 이용하는 동영상에서 상관 정합과 시스템 모델을 이용한 광류와 카메라 움직임 산출 장치.
    여기서, WCl,Init, WS,Init는 각각 위치추정, 에지강도 고정 가중치값이고, W1은 상관 정합 가중치값이다.
KR10-2001-0084212A 2001-12-24 2001-12-24 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 KR100415313B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2001-0084212A KR100415313B1 (ko) 2001-12-24 2001-12-24 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치
US10/098,430 US6683677B2 (en) 2001-12-24 2002-03-18 Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0084212A KR100415313B1 (ko) 2001-12-24 2001-12-24 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치

Publications (2)

Publication Number Publication Date
KR20030054106A KR20030054106A (ko) 2003-07-02
KR100415313B1 true KR100415313B1 (ko) 2004-01-16

Family

ID=19717511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0084212A KR100415313B1 (ko) 2001-12-24 2001-12-24 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치

Country Status (2)

Country Link
US (1) US6683677B2 (ko)
KR (1) KR100415313B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853960B2 (en) 2017-09-14 2020-12-01 Samsung Electronics Co., Ltd. Stereo matching method and apparatus

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4159794B2 (ja) * 2001-05-02 2008-10-01 本田技研工業株式会社 画像処理装置及び方法
JP4392583B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
DE102004001572B4 (de) * 2004-01-12 2008-11-13 Daimler Ag Laufzeit-Kalibrierungsverfahren
US7433497B2 (en) * 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
KR100738522B1 (ko) * 2004-12-21 2007-07-11 삼성전자주식회사 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
WO2006074289A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
JP4689684B2 (ja) * 2005-01-21 2011-05-25 ジェスチャー テック，インコーポレイテッド 動作に基づくトラッキング
US8073290B2 (en) * 2005-02-03 2011-12-06 Bracco Imaging S.P.A. Method and computer program product for registering biomedical images
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
WO2006124935A2 (en) * 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
US20070280507A1 (en) * 2006-06-01 2007-12-06 Beddhu Murali Apparatus and Upwind Methods for Optical Flow Velocity Estimation
WO2008032376A1 (fr) * 2006-09-13 2008-03-20 Pioneer Corporation Dispositif et procédé de mesure de distance, et programme informatique
JP2010515170A (ja) * 2006-12-29 2010-05-06 ジェスチャー テック，インコーポレイテッド 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
US8964103B2 (en) * 2010-02-16 2015-02-24 Blackberry Limited Method and apparatus for reducing continuous autofocus power consumption
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
EP2601782A4 (en) 2010-08-02 2016-09-28 Univ Beijing REPRESENTATIVE MOVEMENT DATA FLOW EXTRACTION FOR EFFICIENT RECOVERY AND CLASSIFICATION OF VIDEO DATA
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
KR101227524B1 (ko) * 2011-08-10 2013-01-31 엘지전자 주식회사 영상 처리방법 및 영상 처리장치
CN102774325B (zh) * 2012-07-31 2014-12-10 西安交通大学 一种后视倒车辅助系统和形成后视障碍图像的方法
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
CN104616497B (zh) * 2015-01-30 2017-03-15 江南大学 公共交通紧急状况检测方法
WO2016165016A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis-panorama
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
CN106507129B (zh) * 2016-09-28 2020-01-14 浙江宇视科技有限公司 一种视频智能回放方法及设备
JP6841097B2 (ja) * 2017-03-09 2021-03-10 富士通株式会社 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム
US10262224B1 (en) * 2017-07-19 2019-04-16 The United States Of America As Represented By Secretary Of The Navy Optical flow estimation using a neural network and egomotion optimization
KR20200037657A (ko) 2018-10-01 2020-04-09 삼성전자주식회사 냉장고, 서버 및 냉장고의 객체 인식 방법
CN110415276B (zh) * 2019-07-30 2022-04-05 北京字节跳动网络技术有限公司 运动信息计算方法、装置及电子设备
CN111598927B (zh) * 2020-05-18 2023-08-01 京东方科技集团股份有限公司 一种定位重建方法和装置
CN111757100B (zh) * 2020-07-14 2022-05-31 北京字节跳动网络技术有限公司 相机运动变化量的确定方法、装置、电子设备和介质
CN114973175A (zh) * 2022-05-24 2022-08-30 深圳市航盛电子股份有限公司 运动物体检测方法、装置、终端设备以及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5030984A (en) * 1990-07-19 1991-07-09 Eastman Kodak Company Method and associated apparatus for minimizing the effects of motion in the recording of an image
JP2795148B2 (ja) * 1993-12-27 1998-09-10 日本電気株式会社 動画像処理方法および装置
US6211912B1 (en) * 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
JP2780658B2 (ja) * 1995-03-15 1998-07-30 日本電気株式会社 時空間フィルター、速度測定方法及び速度測定装置
US6108032A (en) * 1996-11-05 2000-08-22 Lockheed Martin Fairchild Systems System and method for image motion compensation of a CCD image sensor
US6052124A (en) * 1997-02-03 2000-04-18 Yissum Research Development Company System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene
US6788802B2 (en) * 1998-05-21 2004-09-07 Sanyo Electric Co., Ltd. Optical flow estimation method and image synthesis method
US6512537B1 (en) * 1998-06-03 2003-01-28 Matsushita Electric Industrial Co., Ltd. Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6303920B1 (en) 1998-11-19 2001-10-16 Sarnoff Corporation Method and apparatus for detecting salient motion using optical flow
US6507661B1 (en) * 1999-04-20 2003-01-14 Nec Research Institute, Inc. Method for estimating optical flow

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853960B2 (en) 2017-09-14 2020-12-01 Samsung Electronics Co., Ltd. Stereo matching method and apparatus

Also Published As

Publication number Publication date
KR20030054106A (ko) 2003-07-02
US6683677B2 (en) 2004-01-27
US20030117611A1 (en) 2003-06-26

Similar Documents

Publication Publication Date Title
KR100415313B1 (ko) 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치
JP3253962B2 (ja) センサの動きとシーン構造を決定する方法及びイメージ処理システム
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
US9767568B2 (en) Image processor, image processing method, and computer program
CN105141807B (zh) 视频信号图像处理方法和装置
WO2004111687A3 (en) Target orientation estimation using depth sensing
KR20120138627A (ko) 안면 추적 장치 및 방법
KR20090114471A (ko) 이미지 내에서 3차원 오브젝트의 포즈를 결정하는 방법 및 장치와 오브젝트 트래킹을 위해 적어도 하나의 키 이미지를 생성하는 방법 및 장치
JP5001930B2 (ja) 動作認識装置及び方法
JP2021082316A5 (ko)
JP7418315B2 (ja) 対象の再特定の方法
JP2005339288A (ja) 画像処理装置及びその方法
JP2007088644A (ja) 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
KR100769461B1 (ko) 스테레오 비전 시스템
CN112648994B (zh) 基于深度视觉里程计和imu的相机位姿估计方法及装置
JP2002342762A (ja) 物体追跡方法
JP6558831B2 (ja) オブジェクト追跡装置、方法およびプログラム
US10764500B2 (en) Image blur correction device and control method
Wang et al. Efficient visual tracking by probabilistic fusion of multiple cues
JP2000028354A (ja) ３次元画像処理装置
JPH1055446A (ja) 物体認識装置
JP2580516B2 (ja) 実時間３次元運動測定装置およびその方法
CN113344981A (zh) 位姿数据处理方法、装置及电子设备
KR101042171B1 (ko) 입체영상 카메라의 관심물체 주시각 제어방법 및 장치
JP2001092978A (ja) 人物像の姿勢推定装置および人物像の姿勢推定プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121206

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131209

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee