KR20080016605A - 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체 Download PDF

Info

Publication number
KR20080016605A
KR20080016605A KR1020077028388A KR20077028388A KR20080016605A KR 20080016605 A KR20080016605 A KR 20080016605A KR 1020077028388 A KR1020077028388 A KR 1020077028388A KR 20077028388 A KR20077028388 A KR 20077028388A KR 20080016605 A KR20080016605 A KR 20080016605A
Authority
KR
South Korea
Prior art keywords
tracking
feature point
evaluation
semi
point
Prior art date
Application number
KR1020077028388A
Other languages
English (en)
Other versions
KR100929085B1 (ko
Inventor
신이치 마츠이
아키라 하마다
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20080016605A publication Critical patent/KR20080016605A/ko
Application granted granted Critical
Publication of KR100929085B1 publication Critical patent/KR100929085B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

입력된 화상(10,11)에서 특징점을 검출하는 화상 처리 장치(12)는 광학 흐름 검출부(13)를 포함한다. 광학 흐름 검출부는: 픽셀이 어느 방향으로 이동되든 픽셀치가 크게 변화하는 풀 특징점으로써 검출하는 풀 특징점 검출부; 및 픽셀이 화상의 특정 방향으로 이동될 시 픽셀 치가 거의 변화하지 않지만 다른 방향으로 이동될 시 픽셀 치가 크게 변화하는 세미 특징점으로써 검출하는 세미 특징점 검출부와 같은 역할을 한다. 이는 화상의 모든 부분으로부터 치우침 없이 특징점을 추출가능케하고, 화상이 합성될 시 정렬의 정확도를 향상시킨다.
화상, 화상 처리 장치, 풀 특징점, 세미 특징점, 풀 특징점 검출부, 세미 특징점 검출부, 광학 흐름 검출부，RANSAC부, 화상 합성부

Description

화상 처리 장치 및 화상 처리 프로그램{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING PROGRAM}
본 출원은 2005년 8월 2일에 제출된 우선 일본 특허 출원 제 2005-223702 호에 기반하여 우선권의 이익을 청구하며, 전체내용은 참조로서 여기에 병합된다.
본 발명은 화상 처리 장치에 관한 것이다. 특히, 본 발명은 CCD와 CMOS 등의 촬상 장치를 이용하여 피사체를 전기적으로 촬영하는 디지털 카메라 등의 촬상 장치에 적용한 화상 처리 장치에 관한 것이다.
디지털 카메라 등의 촬상 장치를 이용하여 야경 등이 어두운 피사체를 촬영하는 경우，조리개의 개방이나 셔터 속도를 지연시키는 것 외에, 촬영 감도，즉, CCD나 CMOS 등의 촬상 장치의 신호 증폭도를 높이는 것이 효과적이다. 그러나, 촬영 감도를 너무 올리는 경우, 촬상 장치의 내부 잡음 등의 노이즈가 증가하고 화질또한 떨어지게 된다.
따라서，예를 들면，일본 공개 특허 출원 제 2004-357040 호는 연이어 촬영된 복수의 화상을 합성시켜, 노이즈를 감소시키는 기술(이하 종래 기술이라 칭함)을 개시한다. 이는 동일한 피사체가 연이어 촬영된 복수의 화상을 중합시키고 합성하는 경우, 무작위 노이즈 성분이 평균화되면서, 합성된 화상의 피사체 부분은 화 상 수에 비례하여 증가하는 것에 근거한 것이다. 이는 감소한 노이즈 및 향상된 촬영 감도를 가능케 하여, 어두운 피사체의 촬영 성능을 향상시킬 수 있다.
한편, 어두운 피사체를 촬영한 경우 셔터 속도는 일반적으로 느리기 때문에, 카메라 흔들림이 일어날 수 있다. 게다가, 동일한 피사체의 화상이 연이어 촬영되는 경우, 미세한 이동도 각각의 촬영 시점에서 일어날 수 있다.
따라서, 단지 "동일한 피사체가 연이어 촬영된 복수의 화상을 중합시키고 합성한다는 것"만으로는 불충분하고, 중합시키는 정밀도가 향상되는 것, 즉, 피사체 화상의 정확한 정렬이 실행되는 것이 필요하다. 이 점에 대해, 종래 기술은 동일한 피사체가 연이어 촬영된 복수의 화상으로부터 "특징점"을 추출하고, 정렬(즉, 좌표 변환)을 실행시켜서, 이 화상들로부터 특징점이 서로 중합되는 것을 명시하였다.
종래 기술에서, "특징점"은 "휘도가 높은 점"으로 명시했다. 그러나, 픽셀이 어느 방향으로 이동하는 경우, 픽셀 값이 현저하게 변화하기 때문에, 이는 일반적으로 이동 벡터(즉, 광학 흐름)가 판별될 수 있는 점에 관한 것이다.
그러나, 상술된 종래 기술은 개설될 문제점을 가진다.
도 18은 종래 기술의 불편함을 설명하기 위한 피사체의 일례를 도시한 도면이다. 이 피사체는 배경으로 하늘(1)，좌측에 다수의 창(2)이 있는 빌딩(3)，우측에 전신주(4)，그리고 도면의 위에서 우측 하부까지 전신주(4)에 걸친 전선(5, 6)을 포함한다. 도면의 좌측 상의 파선 프레임(7)은 화상을 합성시키는데 불편하지 않은 촬영 구도(이하，제 １ 구도(7)라 칭함)，도면의 상측의 파선 프레임(８)은 불편이 생기는 촬영 구도(이하，제 2 구도(8)라 칭함)를 나타낸다.
도 19(a)는 제 １ 구도(７)의 특징점을 도시한 도면이고, 도 19(b)는 제２ 구도(8)의 특징점을 도시한 도면이다. 상술된 종래기술은 화상내의 고휘도를 가진 점을 특징점으로써 추출한다. 따라서, 고 휘도를 가진 점, 즉, 빌딩(3)의 외벽 구석과, 창(2)의 구석 등은 제 1 구조(7)와 제 2 구조(8) 양 구조내의 특징점으로써 추출된다(도면의 흑색원 참조).
제 1 구도(7)와 제 2 구도(8)의 차이는 특징점의 치우침에 있다. 즉，제 1 구도(7)가 각 특징점이 화면 내에 고르게 배치되어 있는 반면, 제 2 구도(8)는 각 특징점이 화면 내의 일부(즉, 이 도면의 좌측 하부 구석)에 치우쳐 배치되고 있다는 점에서 서로 다르다.
이 예에서, 동일한 피사체가 연이어 촬영된 복수의 화상이 합성되는 경우, 정렬은 원칙적으로 화상의 일부(화상의 중앙 등)에서만 실행되어야 한다. 그러나, 실질적인 관점에 있어서, 촬영 렌즈의 주변 수차에 의한 화상의 왜곡, 화상 해상도의 한계, 광원의 변동, 피사체 자체의 변형 등 정렬의 미세한 에러가 들어가는 요인(이하에서 정렬 에러 요인이라 칭함)이 많이 있기 때문에, 정렬은 화상내의 다양한 점에서 필수적이다.
상술된 점에서, 제 1 구도(7)와 제 2 구도(8)를 주목하면, 특징점은 제 1 구도(7)의 화상 내에 치우침 없게 존재하기 때문에, 복수의 화상이 합성될 시, 불편함 없이 정렬은 실행될 수 있다. 한편, 특징점이 제 2 구도(8)의 화상 내에 일부에만 존재하기 때문에, 복수의 화상이 합성될 시, 정확한 정렬은 해당 부분(특징점이 존재한 부분)에서만 가능해진다. 따라서, 나머지 부분(즉, 하늘(1)과 전선(5,6)이 보이는 부분)에 관해서는，멀게 떨어진 특징점의 정보를 참고하여 간접적으로 정렬하여야 한다. 따라서 상기의 정렬 에러 요인은 나머지 부분(즉, 하늘(1)과 전선(5,6)이 보이는 부분)에 잘못된 정렬을 일으키는 문제점을 가진다.
그러므로, 본 발명의 제 1 목적은 화상의 모든 부분으로부터 치우침 없게 특징점을 추출할 수 있는 화상 처리 장치를 제공하는 것이다.
본 발명의 제 2 목적은 화상의 모든 부분에서 피사체를 정확하게 추적할 수 있는 화상 처리 장치를 제공하는 것이다.
본 발명의 제 3 목적은 화상이 합성될 시 화상의 모든 부분에서 정확하게 정렬이 이루어질 수 있도록 하는 화상 처리 장치를 제공하는 것이다.
상술된 목적을 이루기 위해서는, 본 발명의 관점에 따라서, 픽셀치가 여러 방향에서 크게 변화하는 점을 풀 특징점으로서 검출하는 풀 특징점 검출부; 픽셀치가 특정 방향에서 거의 변화가 없지만, 다른 방향에서 크게 변화하는 점을 세미 특징점으로서 검출하는 세미 특징점 검출부; 제 1 화상과 제 2 화상 사이에서 풀 특징점을 추적하는 제 1 추적부; 세미 특징점을 추적하는 제 2 추적부; 및 제 1 추적부와 제 2 추적부에 의해 획득된 추적 결과에 기초하여, 입력된 화상을 정렬하는 정렬부를 포함하는 화상 처리 장치를 제공한다.
본 발명의 또 다른 관점에 따라서, 제 2 추적부의 추적 방향은 픽셀치가 크게 변화하는 방향만이다.
본 발명의 또 다른 관점에 따라서, 정렬부는 제 1 추적부와 제 2 추적부에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가부를 더 포함하고, 그리고 정렬부는 평가부에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택한다.
본 발명의 또 다른 관점에 따라서, 평가부는 세미 특징점에 관한 평가보다 풀 특징점에 관한 평가에 비중을 부여한다.
본 발명의 또 다른 관점에 따라서, 정렬부로 정렬된 복수의 화상으로부터 하나의 화상을 합성하는 가산부를 더 포함하는 화상 처리 장치를 제공한다.
본 발명의 신규 특징은 첨부된 도면과 함께 같이 이해할 시 다음의 상세한 설명으로부터 더 명백해질 것이다. 그러나, 도면은 설명을 위한 예시의 목적일 뿐 본 발명에 국한되지 않는 것을 이해해야 한다.
도 1은 본 발명의 실시예에서 화상 처리 장치의 개략 구성도;
도 2는 특징점 추출부(13b)의 동작 순서도;
도 3은 소정의 제약 조건의 설명도;
도 4는 루프(loop)(A)의 개념도(1/2);
도 5는 루프(A)의 개념도(2/2);
도 6은 루프(B)의 개념도(1/4);
도 7은 루프(B)의 개념도(2/4);
도 8은 루프(B)의 개념도(3/4);
도 9는 루프(B)의 개념도(4/4);
도 10은 특징점 추적부(13c)의 동작 순서도;
도 11a 내지 도 11e는 풀(full) 특징 및 세미(semi) 특징의 개념도;
도 12는 무특징(featureless) 방향의 성분을 무시한 세미 특징의 개념도;
도 13a 내지 도 13b는 무특징 방향의 움직임이 특징 방향으로만 제약된 세미 특징의 개념도 및 추적 결과를 도시한 도면;
도 14는 RANSAC부(14)의 동작 순서도;
도 15는 공급 계산의 동작 순서도;
도 16은 풀 특징 및 세미 특징의 정합 판별 개념도;
도 17은 조합된 프로그램의 동작 순서도;
도 18은 종래 기술 분야의 불편함을 설명하기 위한 피사체의 일례도; 및
도 19a 및 도 19b는 제 1 구도(7)와 제 2 구도(8)의 특징점을 도시한 도면.
이하，본 발명의 실시예를 도면을 참조하여 설명하다. 이하의 설명에 있어서 다양한 세부의 특정 또는 일례 및 수치, 문자 및 다른 기호의 예시는 본 발명의 사상을 명료하게 하기 위한 참고일 뿐, 본 발명의 사상은 모두 또는 전부에 의해 국한되지 않는다. 또한, 주지의 방법, 주지의 순서, 주지의 구조 및 주지의 회로 등(이하 '주지 사항'이라 칭함)에 관한 상세한 설명은 생략하겠지만, 이는 설명을 간결하게 하기 위함이고 이 주지 사항 모두 또는 일부를 의도적으로 배제하는 것은 아니다. 이러한 주지 사항은 본 발명의 출원시점으로 당업자가 알 수 있는 점이기 때문에, 다음 설명에 포함됨은 물론이다.
도 1은 본 실시예의 화상 처리 장치의 개략 구성도이다. 이 도면에 있어，기준 화상(10) 및 추적되는 화상(11)은 동일한 피사체가 연이어 촬영된 복수의 화상이다. ２ 장의 화상(기준 화상(10) 및 추적되는 화상(11))이 본 실시예에서 일례로 사용되지만, 화상의 이 매수는 화상 합성에 필요한 최저의 수를 의미한다. 게다가,“동일한 피사체가 연이어 촬영된 복수의 화상”은: 몇 번에 걸친 노말 셔터 동작으로 각각 촬영된 화상; 연속하게 촬영된 화상, 즉, 한 번의 셔터 동작에 인해 연이어 촬영된 복수의 화상; 또는 동영상 촬영의 각 프레임 중 하나를 칭한다.
화상 처리 장치(12)는 광학 흐름 검출부(13)，RANSAC부(14) 및 화상 합성부(15)를 포함한다. 게다가, 광학 흐름 검출부(13)는 화상 피라미드 생성부(13a)， 특징점 추출부(13b) 및 특징점 추적부(13c)를 포함한다. RANSAC부(14)는 랜덤 선택부(14a)，H 계산부(14b) 및 공급 계산부(14c)를 포함한다. 화상 합성부(15)는 가산부(15a) 및 대응 위치 계산부(15b)를 포함한다.
광학 흐름 검출부(13)의 화상 피라미드 생성부(13a)는 기준 화상(10)과 추적되는 화상(11)을 취득하고，이러한 화상들의 해상도를 단계적으로 감소시켜, 저-해상 화상에서 고-해상 화상으로 계층화된 화상(즉, 화상 피라미드)을 생성한다. 광학 흐름 검출부(13)의 특징점 추출부(13b)는 종래의 "특징점", 즉，픽셀이 어느 방향으도도 움직이지 않을 시 픽셀치의 변화가 큰 점을 추출하며, 여기서 이점은 "풀 특징점" 또는 "풀 특징"이라 칭한다. 게다가, 특징점 추출부(13b)는 픽셀치가 특정 방향에 대해서는 거의 변화가 없지만 다른 방향으로 변화가 큰 점을 추출한다. 여기서 이 점은 "세미 특징점" 또는 "세미 특징" 이라 칭한다.
풀 특징점의 일례는, 클리핑(clipping) 창에 수용된 소형 물체, 큰 물체의 모서리, 어느 방향으로도 움직이고도 변화한 특정 모양 등이다. 한편，세미 특징의 일례는, 구석을 제외한 큰 물체의 에지, 좁은 선형 물체, 한 방향으로만 변화하는 패턴 등이며, 그리고 세미 특징은 전형적으로 직선의 점이다. 특징점이 창에 의해 국소적으로 포착된 경우, 큰 반경의 원 아크 상의 점, 곡률이 작은 곡선의 점 등도 세미 특징점에 포함된다.
세미 특징에 있어，픽셀치의 변화가 큰 방향은 "특징 방향"이라 칭한다. 이 특징 방향은 하술된 "최대 고유치의 고유 벡터 방향" 과 동일하다. 게다가, 세미 특징에 있어서도，픽셀치의 변화가 작은 방향은 "무특징 방향" 이라 칭한다. 무특징 방향은 하술된 "최소 고유치의 고유 벡터 방향"과 동일하다.
광학 흐름 검출부(13)의 특징점 추적부(13c)는 특징점 추출부(13b)로 추출한 풀 특징점 및 세미 특징점의 추적 처리를 실행하고, 그 추적 결과를 RANSAC부(14)에 출력한다.
RANSAC부(14)의 랜덤 선택부(14a)는 추적된 특징점의 세트(즉, 풀 특징점의 세트 및 세미 특징점의 세트)를 무작위로 선택한다. H 계산부(14b)는 선택된 특징점의 세트에 대응한 좌표 변환식의 후보를 계산한다. 게다가, 공급 계산부(14c)는 식에 따라 변환된 특징점(즉, 모든 풀 특징점 및 세미 특징점)을 추적 결과와 어느 정도 일치하는지를 평가한다. 평가는 예를 들면, 공급 수, 즉, 차이가 특정 거리내에 있는 특징점(즉, 적합점)의 수에 기초하여 구현된다. RANSAC부(14)는 이러한 동작을 반복하고，최적으로 평가된 값을 판별하기 위해 사용된 좌표 변환식을 최종 결과로서 화상 합성부(15)에 출력한다.
RANSAC부(14)에 의해 출력된 좌표 변환식에 따라서, 화상 합성부(15)의 대응 위치 계산부(15b)는 기준 화상(10)과 추적되는 화상(11)과의 정렬에 필요한 대응 위치 계산을 실행한다. 대응 위치 계산의 결과에 기초하여, 가산부(15a)는 픽셀 마다기준 화상(10)에 대응하여 변환된 기준 화상(10) 및 추적되는 화상(11)을 가산함으로써, 또는 평균화함으로써 합성(합성 화상(16))을 생성하고, 합성 화상(16)을 출력한다.
특징점의 추출(검출)을 설명한다.
도 ２는 특징점 추출부(13b)의 동작 순서도를 도시한 도면이다. 이 순서도는 순차적으로 실행된 3 개의 루프를 포함한다. 제 1 루프(이하에서 루프(A)라 칭함)는 특징의 평가점(즉, 특정 간격의 좌표)마다 반복적으로 실행되는 루프이다. 루프(A)가 실행될 때마다, 변화 공분산 행렬(G)(이하，단지 행렬(G)라고 칭함)의 ２개의 고유치를 계산한다(단계 S1).
행렬(G)의 ２개의 고유치에 관하여 설명한다. 후보 특징점(즉, 평가점) 주위의 특정 창은 생성되고, 창내의 각점은 동일한 움직임을 가지는 조건을 만족한다고 가정한 경우, 다음 두 식은 창 내에 점(pij)이 성립된다:
Figure 112007087522825-PCT00001
Figure 112007087522825-PCT00002
[수학식 25]가 이항될 시, 다음 식과 같이 된다:
Figure 112007087522825-PCT00003
여기서 ｆ(pij)는 기준 화상(10)을 나타내고，ｆ(ｐi + dx , j+ dy)는 추적되는 화상(11)을 나타낸다. 이 스칼라 식은 동일한 흐름(flow)(dx,dy)T에 관하여 모든 점 (pij)에 대해 근사적으로 성립될 수 있다. 창 크기가 N×N 픽셀이라 가정하는 경우, 미지수는 (dx,dy)T에 제시된 2 차원이면서, 식의 수는 (과잉으로 된)N2이다. 따라서, 최소 제곱해가 구해지게 된다. 일반적으로, 에러(즉, 잔여 에러)(||Ax-b||)를 최소화하는 x는 일반 식(ATAx=ATb)의 해이다. 여기서, ATA는 N×2 행렬과 2×N 행렬의 곱이다. 다음 식이 정해지게 되는 경우:
Figure 112007087522825-PCT00004
ATA는 다음과 같이 2×2 행렬의 합 형태로 직접 변형될 수 있다:
Figure 112007087522825-PCT00005
p의 픽셀 잔여치가 e(p)로 실행되는 경우, 식의 우측 항은 다음과 같이 표기할 수 있다:
Figure 112007087522825-PCT00006
그리고 다음 식이 구해진다:
Figure 112007087522825-PCT00007
e는 동일 평가점에서 2 개의 화상(기준 화상(10)과 추적되는 화상(11)) 사이의 픽셀치 차의 크기를 나타내고, 미지 벡터(d)는 동일한 평가점의 움직임(즉, 추적 벡터)를 나타낸다.
다음으로 행렬(G)의 고유치의 성질에 대해 설명한다. 우선，２ 개의 고유치는 모두 음값을 가지지 않는다. 게다가，행렬(G)의 고유치 중 １개라도 ０에 근접하면，０에 근접한 고유치에 대한 고유 벡터의 섭동이 커진다. 따라서, [수학식 31]은 안정적으로 풀 수 없다. 실제, 창내의 픽셀치가 특정 방향에 대해 거의 한결 같이 된 경우, 이 상태(즉, 행렬(G)의 고유치 중 하나가 0에 명백하게 근접한 상태)는 생성된다. 에러가 간주되는 경우, 이 문제는 개구(aperture) 문제로서 언급되고, 최소 고유치가 클수록, [수학식 31]은 보다 안정적으로 구해질 수 있다는 것을 의미한다. 게다가, 행렬(G)의 고유치는 창내의 각 점의 변화를 고유 벡터 방향에 투영함으로써, 판별된 길이의 제곱 합이다. 큰 쪽의 고유치(즉, 최대 고유치)에 대응한 고유 벡터는 합을 최대화시키는 방향을 가진다. 반면, 작은 쪽의 고유치(즉, 최소 고유치)에 대응한 고유 벡터는 이 방향에 직교한 방향(합을 최소화시키는 방향)을 가진다.
본 발명에서 제안된 특유의 "세미 특징"에 대해서도，풀 특징과 동일한 알고리즘이 적용된다. 그러나, 다음 [수학식 32]에 제시된 소정의 제약조건을 가산함으로써 풀 특징의 [수학식 31]의 ｄ가 구해질 수 있다는 점에서 알고리즘은 다르다:
Figure 112007087522825-PCT00008
도 ３은 소정의 제약 조건의 설명도이다. 이 도면과 [수학식 32]에서, ｄ는 추적 벡터를，1/λ은 변화의 조정량을，그리고 u는 단위 고유 벡터를 일컫는다. uTe는 단위 고유벡터(ｕ)와 잔여 벡터(e)의 내적，즉，단위 고유벡터(ｕ)의 방향에 대한 잔여 벡터(ｅ)의 성분(스칼라량)을 일컫는다. [수학식 32]를 사용함으로써, (행렬(G)가 종속적으로 선형이기 때문에 확정되지 않은 해를 제공하는) 이전 [수학식 31]이 최대 고유치(λ)의 단위 고유치(u)의 방향에 제약될 시 대표해가 구해질 수 있다.
여기에서, 제약은 상술된 제약에 국한되지 않고, 예를 들면，움직임 벡터의 무특징 방행은 세미 특징의 추적 결과로부터 무시(또는 미지이거나, 확정되지 않거나 자유)될 수 있어서, 특징 방향의 성분만을 유효하도록 하게 할 수 있다. 대안적으로, 세미 특징점이 추적되는 경우, 무특징 방향에서의 움직임은 상수(예를 들면, 0)로 설정될 수 있고, 특징 방향의 움직임만으로 제약하고 블록 일치 방법 등으로 검색될 수도 있다.
이 외에, 세미 특징점에 관해서，예를 들면，픽셀이 특정 방향으로 이동할 시 픽셀치가 최대로 변화된 방향에서 변화의 크기(또는 변화율의 크기)가 세미 특징점을 순위를 매기기 위해 사용된 평가치로서, 사용될 수 있다. 즉, 적어도 하나의 방향에 대해서 명확한 차이가 나타나는 평가점은 세미 특징점으로서 선택될 수 있다.
게다가, 세미 특징점이 선택되는 경우, 픽셀이 특정 방향으로 이동될 시 픽셀치가 최대로 변화된 방향으로 변화의 크기(또는 변화율의 크기)를, 픽셀치가 최소로 변화된 방향으로 변화의 크기(또는 변화율의 크기)를 나눔으로써 비율이 구해지게 된 픽셀은 세미 특징 후보로부터 제외될 수 있다. 대안적으로, 평가치는 픽셀에 대해 감소될 수도 있다.
게다가, 세미 특징점이 제거될 시, 변화의 크기를 평가하는 방법으로써, 이전 [수학식 29]의 행렬(G)의 고유치가 사용될 수 있다. 즉, 픽셀이 특정 방향으로 이동될 시, 픽셀치가 최대로 변화되는 방향으로 변화의 크기는 최대 고유치로서 설 정될 수 있고, 픽셀이 특정 방향으로 이동될 시, 픽셀치가 최소로 변화되는 방향으로 변화의 크기는 최소 고유치로서 설정될 수도 있다.
게다가, 최대 곡률(의 근사치)은 세미 특징점에 대한 변화의 크기를 평가하기 위한 방법으로써 사용될 수 있다.
좌표(x, y)에 관한 픽셀치(휘도)의 주곡률(k1, k2)은 평균화된 근접한 픽셀치를 직접적으로 2 차 차이를 사용하거나 근접한 픽셀들을 다항식 근사에 적용하여 계수를 사용하여 각 방향을 조사함으로써 유도될 수 있거나 또는 평균화된 곡률(h=(k1 + k2)/2, 가우스 곡률은 K=k1k2) 사이의 관계와, 픽셀치(휘도)의 1 차 미분치(Px, Py) 및 2 차 미분치(Pxx, Pyy, Pxy)(수학식 33 및 34 참고)을 사용함으로써 유도될 수 있다. 상술된 식에서 미분치를 계산하기 위한 방법으로써, 평활화(smoothing) 후의 근접한 픽셀로부터 차이를 구하는 방법 또는 근접한 픽셀 치를 다항식 근사에 적용하여 판별된 계수를 사용하여 미분치를 구하는 방법이 사용될 수 있다.
Figure 112007087522825-PCT00009
Figure 112007087522825-PCT00010
게다가，세미 특징점이 선택되는 경우, 또 다른 특징점(즉, 풀 특징점 또는 세미 특징점)과의 최소 거리는 풀 특징점들 사이의 최소 거리보다도 크게 될 수 있다. 많은 경우에 있어서, 비교적 가까운 거리에 있는 2 개의 세미 특징점은 동일한 물체의 동일한 방향으로 에지에 속한다. 따라서, 고유벡터는 선형 종속성이 강하고, 화상 전체의 움직임을 제약한 조건으로써 중복된다. 이는 세미 특징점의 증가가 큰 효과를 가지지 못할 뿐만 아니라, RANSAC의 적용, 최소 제곱 방법 등은 문제를 일으킬 수 있기 때문이다.
도 4 및 도 5는 루프(A)의 개념도이다. 우선, 도４에 도시된 바와 같이, 특정 크기(예를 들면，7×7 픽셀 내지 31×31 픽셀)의 창(17)이 적용되어 기준 화상(10)에 초기 위치의 평가점(18)이 설정된다. 다음으로, 루프(A)를 매번 반복한 때마다，창(17)은 소정량(예를 들면，1/2 창폭)씩 이동된다. 최종적으로 창(17)이 기준 화상(10)의 최종 픽셀에 이르면, 루프(A)는 종료된다.
도 2를 참조하면, 제 ２ 루프(이하，루프(B)라고 칭함)는 루프(A) 후에 실행된 루프이다. 루프(B)가 매번 실행될 시, 최소 고유치가 최대인 평가점은 "풀 특징 점"으로서 선택되고(단계 S2), 그리고 선택된 평가점 이외의 다른 인접한 평가점은 평가 후보로부터 제외된다(단계 S3). 고유치가 특정치 이상이고 특징점의 수가 미달(즉, 특징점의 수는 소정의 수보다 작음)되는 한, 루프(B)는 연속된다.
도 ６ 내지 도９는 루프(B)의 개념도이다. 우선，도６에 도시된 바와 같이, 기준 화상(10)의 각 평가점의 고유치 데이터는 순차적으로 서로 비교되고, 그리고，도 7에 도시된 바와 같이, 최소 고유치가 최대인 평가점을 "풀 특징점"으로서 선 택된다. 본 실시예에서, 위에서 ３번째 선과 좌측에서 ７번째 선 상에 있는 평가점이 풀 특징점(19)으로서 편의상 선택된다. 다음으로, 도 8에 도시된 바와 같이, 선택된 풀 특징점(19)의 주위의 일정 범위(20)내((특징 평가점 사이의 거리의 몇 배 정도내)에 존재하는 평가점(파선원으로 도시됨)은 제외된다. 다음으로, 도 9에서 도시된 바와 같이, 나머지 평가점 중에서 최소 고유치가 최대인 평가점은 "풀 특징점"으로서 선택된다. 본 실시예에서, 위에서 6번째 선과 우측에서 5번째 선 상에 있는 평가점이 선택된다. 이하에서, 이 동작은 풀 특징점 모두가 선택되도록 반복된다.
도 2를 참조하면, 루프(B)에 관한 처리가 완료된 후, 특징점의 수가 미달(즉, 특징점의 수는 소정의 수보다 작음)되었는지 판별한다(단계 S4). 특징점의 수가 미달이 아닌 경우, 흐름은 그 자체로 종료된다. 특징점의 수가 미달된 경우, 특징점들 사이의 거리 임계치(도 8의 특정 범위(20)의 영역)는 2 배가되고(단계 S5), 그 후 제 3 루프(이하에서 루프(C)라 칭함)가 실행된다. 루프(C)에서, 루프를 매번 실행할때 마다 고유치가 소정치 이상인 중에서 최대 고유치가 가장 큰 평가점을 "세미 특징점"으로서 선택하는 선택 처리(단계 S6)와, 선택된 평가점 외의 다른 근접한 평가점을 평가 후보로부터 제외하는 처리(단계 S7)를 반복한다. 평가치가 특정치 이상이고 특징점의 수가 미달되는 한 루프는 계속되고, 그 후 순서도는 종료된다.
상술된 바와 같이, 종래의 특징점, 즉, 픽셀이 어느 방향으로 이동될 시 픽셀치가 크게 변화되는 "풀 특징점"을 검출하는 처리 이외에, 풀 특징점이 충분하지 않을 경우, 본 실시예에 따른 특징점 추출부(13b)는 픽셀이 한 방향으로 이동될 시 픽셀치는 거의 변화가 없고 다른 방향으로 이동될 시 크게 변화는 "세미 특징점"을 검출한다.
특징점 추적(즉, 추적)에 관하여 설명한다.
도 10은 특징점 추적부(13c)의 동작 순서도를 도시한 도면이다. 이 순서도는 제 １ 루프(이하，루프(D)라 칭함)와, 루프(D)의 내부에서 네스팅(nesting)한 제 ２의 루프(이하，루프(E)라 칭함)를 포함한다.
일단 순서도가 시작되면, 우선, 글로벌(global) 움직임 검색이 실행되고(단계 S11)，그 후 루프(D)가 개시된다. 글로벌 움직임 검색에 있어서, 기준 화상(10)과 추적되는 화상(11)의 쌍방의 축소 화상(예를 들면，1/4 화상)이 생성된다. 다음으로, 기준 화상(10)의 중심부에 구비된 창에 대해서 창 잔여 에러가 가장 작은 위치는 글로벌 움직임 벡터를 판별하기 위해 블록 일치를 사용하여 추적되는 화상(11)내에서 검색된다. 글로벌 움직임 벡터는 이하에서 초기 벡터로 설정된다. 따라서, 움직임이 클 경우에도, 그리고 검색 방향이 제약되어 세미 특징을 추적하는 실제 방향으로부터 빗나갈지라도, 2 개의 에지는 일치된다. 반복은 ２ 차원 제곱 행렬(Z)과 잔여 벡터를 곱함으로써 실행된다(즉, 상기 창 잔여치와 창 변화치를 곱함으로써 판별된 2 차원 벡터).
２ 차원 정방 행렬(Z)은 풀 특징의 대해 행렬(G)의 역행렬(G-1)이며, 종래와 다르지 않지만 세미 특징의 경우，２ 차원 정방 행렬(Z)은 행렬(G)의 최소놈(norm) 역행렬(G-)이다. 구체적으로，방정식은 최대 고유치(λ)와, 이에 대응하는 고유벡터(u=(ux uy)T)를 사용하여 다음과 같은 식으로 된다:
Figure 112007087522825-PCT00011
이 [수학식 35]은 이전 [수학식 32]과 동일하다.
루프(D)는 기준 화상(10)의 특징점마다 실행된다. 이 루프(D)에서, 움직임 벡터는 상기의 글로벌 움직임 벡터에 의해 초기화되고(단계 S12), 그리고 움직임 벡터의 특징이 "풀 특징" 인지를 판별한다(단계 S13). 풀 특징인 경우, "G-1"는 ２ 차원 정방 행렬(Z)로 설정되고(단계 S14)，풀 특징이 아닌 경우，즉，세미 특징인 경우, "G-1"는 ２ 차원 정방 행렬(Z)로 설정된다(단계 S15).
다음에，루프(E)를 실행한다. 이 루프(E)에서, 에러 벡터(E)는 계산되고(단계 S16)，Ze는 추적 벡터(d)로 설정되고(단계 S17)，그리고 움직임 벡터는 갱신된다(즉, d 가산)(단계 S18). 그 후, 루프(E)는 해의 갱신 거리가 임계치(즉, 허용 오차를 나타내는 소정의 미소치)이하가 될 때까지 반복된다. 해의 갱신 거리가 임계치 이하가 되면, 처리는 루프(E)에서 나오고, 상기 처리는 특징점 루프 종단이 될 때까지 반복된다.
상술된 바와 같이，본 실시예의 추출(검출)과 추적에 따라서，풀 특징점에 외에 세미 특징점도 추출되고 추적된다. 그러므로, 예를 들면, 풀 특징의 부재 영역(비-검출영역)이 화면의 일부에 존재할지라도 부재 영역은 세미 특징점에 의해 보충될 수 있다. 즉，본 실시예에 따라서, 픽셀이 한 방향으로 이동될 시 픽셀치는 거의 변화가 없지만 픽셀이 다른 방향으로 이동될 시에는 현저하게 변화하는 점은, 풀 특징점으로서 종래기술 분야에서 파기되고 검출되지 않은 평가점들 중 "세미 특징점"으로서 검출될 수 있다. 세미 특징점을 이용함으로써, 화면 전체에 대한 특징점(즉, 풀 특징점 및 세미 특징점)을 다룰 수가 있다. 그 결과, 정확한 정렬에 대한 특징점 부재 부분은 종래 기술분야에서 어려움이 있을지라도, 화면 비정렬은 피사체 상의 세미 특징점을 이용함으로써 정확하게 수정될 수 있다.
도 11a 내지 11e는 풀 특징과 세미 특징의 개념도이다. 도 11a에서, 2 개의 구석을 가진 제 1 피사체(23)와 선형 상인 제 2 피사체(24)는 화상(22)에 나타나게 된다. 이미 상술한 바와 같이, 풀 특징점은, 픽셀이 어느 방향으로 이동될 시 픽셀치가 현저하게 변화하는 평가점으로 언급하고, 그리고 세미 특징점은, 픽셀이 한 방향으로 이동될시 픽셀치가 거의 변화하지 않지만 픽셀이 다른 방향으로 이동될 시 픽셀치가 크게 변화하는 평가점으로 언급한다. 그러므로, 화상(22)에 있어서, 제 1 피사체(23)의 2 개의 구석은 풀 특징점(흑색 원)(25)이고, 그리고 제 1 피사체의 각 에지의 선형부의 여러 점과, 제 2 피사체(24)의 선형부의 여러 점은 세미 특징점(백색 원)(26)이다.
즉, 도 11b에 도시된 바와 같이, 풀 특징점(25)은 픽셀이 여러 방향으로 이동될 시 픽셀치가 크게 변화하는 점으로 언급한다(이 도면에서, 대표 일례로써, 방 향은 45 도 간격으로 백색 표기된 화살표로서 도시). 도 11c 내지 11e에 도시된 바와 같이, 세미 특징점(26)은, 픽셀이 특정 방향(즉, 선(27 내지 29)을 따른 방향)으로 이동될 시 거의 변화가 없고 픽셀이 다른 방향(즉, 선(27 내지 29)과 직교한 방향)으로 이동될 시 크게 변화하는 점으로 언급한다.
게다가, 예를 들면, 움직임 벡터의 무특징 방향의 성분은 세미 특징점의 추적 결과에 기초하여 무시(또는 미지, 부정 또는 자유)될 수 있고, 그리고 특징 방향의 성분만이 유효하다고 간주될 수 있다. 이를 행함으로써, 무특징 방향의 평가점의 움직임은 제외될 수 있고, 에러는 세미 특징점이 종래의 알고리즘을 사용하여 검출될 시 제거될 수 있다.
도 12는 무 특징 방향의 성분을 무시한 세미 특징의 개념도이다. 이 도면에 있어서, 실선 화살표(30, 31) 각각은 풀 특징점(25)과 세미 특징(26)의 추적 결과의 움직임 벡터이다. 풀 특징점(25)의 추적 알고리즘은 종래의 것과 같을 수도 있다. 그러나 세미 특징점(26)에 대해서, 추적 결과는 무특징 방향의 대응 움직임 벡터(31)를 투영함으로써 판별된 벡터(32)이다.
게다가, 세미 특징점이 추적될 시, 세미 특징점은 상수(예를 들면, ０)로서 설정된 무특징 방향의 움직임으로 특징 방향으로만 제약되어 검색될 수 있다. 특징 방향만의 평가점의 검색은 검색을 안정화시킬 수 있으며, 검색을 신속하게 이룰 수 있으며, 그리고 처리가 매번 반복되어 일어나는 확대된 비정렬에 의해 야기된 오차 추적을 감소시킬 수도 있다.
도 13(a)은 무특징 방향의 움직임은 특징 방향의 움직임만으로 제약된 세미 특징의 개념도이다. 이 도면에 있어서，실선 화살표(30, 33) 각각은 풀 특징점(25)과 세미 특징(26)의 추적 결과의 움직임 벡터이다. 세미 특징점(26)에 대한 움직임 벡터(33)에 대해서, 해는 처음부터 특징 방향만으로 구해진다. 즉, 도 12에서 도시된 움직임 벡터(32)와 도 13에서 도시된 움직임 벡터는 실질적으로 동일하다.
도 13b는 추적 결과를 도시한 것으로써, 움직임에 대응한 2 개의 화상(기준 화상(10)과 추적되는 화상(11))을 중합시킴으로써 생성된 합성 화상(16)을 나타내는 도면이다. 도면에서 ×인 기호는 추적 결과를 나타낸다. 이 도면으로부터 명확하게 나타낸 바와 같이, 풀 특징점의 부재 영역(비-검출 영역)이 화면 일부에 존재하는 경우라도, 부재 영역은 세미 특징점에 의해 보충될 수 있다. 따라서, 전체 화면에 걸쳐 특징점(풀 특징점(25) 및 세미 특징점(26))을 구현할 수 있다. 그 결과, 화면의 비정렬은, 정확한 정렬이 종래 기술 분야에서 어려웠던 도 19b의 특징점 부재부(즉, 전선(5, 6)이 나타나는 부분)라도 피사체(즉, 본 실시예의 전선(5, 6)) 상에 세미 특징점을 사용하여 정확하게 수정될 수 있다.
세미 특징점에 대해서, 픽셀이 특정 방향으로 이동될 시 픽셀치가 최적으로 변화하는 방향의 변화의 크기(또는 변화율의 크기)는 세미 특징점의 순위를 매김으로써 평가된 값으로서 사용될 수 있다. 즉, 명확한 차이가 적어도 한 방향으로 나타나는 평가점은 세미 특징점으로서 선택될 수 있다. 이를 행함으로써, 단방향 움직임에서 움직임을 구하기가 쉬워지며, 그리고 명확한 차이를 제공하는 점은 세미 특징점으로서 선택될 수 있다.
게다가, 세미 특징점이 선택되는 경우, 픽셀이 특정 방향으로 이동될 시 픽 셀치가 최적으로 변화하는 방향의 변화의 크기(또는 변화율의 크기) 대비 픽셀치가 최고로 변화하는 방향의 변화의 크기(또는 변화율의 크기)의 변화율이 작은 픽셀은 세미 특징 후보로부터 제외될 수 있다. 대안적으로, 픽셀의 평가치는 감소될 수 있다. 이를 행함으로써, 단방향 에지 상에 존재하지 않은 평가점(예를 들면, 노이즈가 많이 생성된 평탄부의 점)의 세미 특징에 포함된 오차를 방지할 수 있다.
게다가，공지된 변화방법에서 추적이 이용된 행렬(G)를 사용하여, 픽셀이 특정 방향으로 이동될 시 픽셀치가 최적으로 변화하는 방향의 변화의 크기는 G의 최대 고유치로서 설정될 수 있고, 픽셀이 특정 방향으로 이동될 시 픽셀치가 최소로 변화하는 방향의 변화의 크기는 G의 최소 고유치로서 설정될 수 있다. 이를 행함으로써, 세미 특징점이 추적에서 사용된 정렬(G)로부터 검출될 수 있기 때문에, 계산량은 절약된다. 또한, 이에 기초한 평가된 값을 사용하여 특징점이 순위가 매겨지기 때문에, 추적의 안정성은 확보된다.
게다가, 세미 특징점에 대한 변화의 크기를 평가하는 방법으로써, 최대 곡율(의 근사치)도 사용될 수 있다. 이를 행함으로써, 이에 기초한 평가된 값을 사용하여 특징이 순위가 매겨지기 때문에, 추적의 안정성은 확보된다.
게다가, 세미 특징점이 선택되는 경우, 다른 특징점(풀 특징점 또는 세미 특징점)과의 최소 거리는, 풀 특징점들 사이의 최소 거리보다도 크게 설정될 수 있다. 이를 행함으로써，제약으로써 무의미한 특징의 증가를 방지할 수 있다.
게다가，상기의 [수학식 32]가 세미 특징에 적용될 수 있다. 이를 행함으로써, 특징 추출 및 풀 특징 추적을 위해 사용된 계수와 동일한 행렬(G)의 계수에 기 초하여, 세미 특징점을 추적할 수 있기 때문에 계산량이 절약된다.
상술한 바와 같이, 변화 방법은 특징점을 검출하기 위해 사용되지만. 방법은 이에 국한되지 않고, 블록 일치 등의 다른 방법도 사용될 수 있다. 대안적으로, 특징점을 선택하거나 특징점의 순위를 매기는 대신, 특징점은 단지 풀 특징점과 세미 특징점으로 분류될 수 있다.
대응 위치 계산부(15b)(도 ２ 참조)로 사용되는 정렬용 좌표 변환은, 투영 변환(호모그래피:homography)(이하에서 호모그래피이라 칭함)(자유도(8))，아핀 변환(자유도 (6))，유클리드 유사 변환(자유도(3))，강제 변환(자유도(3))，평행 이동 등(자유도(2))의 모델을 포함한다. 자유도가 작은 변환은 적용 범위가 좁아지지만, 계산 부하가 감소되는 이점과, 에러에 의한 불안정성이 감소되는 이점 등이 있다. 그러므로 편리하게 적절한 변화가 선택된다.
일반적으로，좌표 변환식은 정방향(기준 화상(10)에서 추적되는 화상(11)으로)또는 역방향(추적되는 화상(11)에서 기준 화상(10)으로) 중 어느 한 방향으로 판별될 수 있다.(역변환은 하나의 변환으로부터 용이하게 판별될 수 있다.) 본 실시예에서, 특징 검출은 기준 화상(10)의 좌표계에서 판별된다. 그러므로, 이하에서의 처리가 역방향(즉, 추적되는 화상(11)에서 기준 화상(10)으로)의 변환을 구하기 위해 적용된다는 점，즉, 기준 화상(10)의 좌표계에 적용된다는 점에서 올바르다. 그러나, 정방향(기준 화상(10)에서 추적되는 화상(11)으로)의 변환이 판별된 경우에도, 많은 경우에 있어서 이후에 기술한 처리를 그대로 적용할 수도 있다. 이는 평행 이동 모델과 같은 회전 성분을 포함하지 않는 모델과, 그 밖의 회전 성분(회 전이 작다고 가정한 경우)을 포함한 모델이라도 동일한 변환이 있을 수 있어서, 각 방정식은 근사적으로 성립되기 때문이다. 따라서, 설명은 일반화될 수 있어서, 기준 화상(10)과，추적되는 화상(11) 중 하나는 제 1 화상(I1)이라고 칭하고 다른 하나는 제２ 화상(I2)라고 칭한다.
본 실시예에서, 좌표변환의 계수(즉, 파라미터)는 RANSAC(즉, 랜덤 샘플 콘센서스)에 기초하여 판별된다. RANSAC는 파라미터를 측정하는 방법 중에 하나다. 이 방법은 소수의 점에서 측정된 파라미터용 후보를 판별하고, 판별된 측정 후보를 점의 수에 적용하고, 측정에 적합한 점의 수, 적합의 정확도, 즉, 공급 수를 계산하여 공급 수가 많은 측정 후보를 최종 측정결과로서 채택하는 방법이다.
도 14는 RANSAC부(14)의 동작 순서도이다. 이 순서도는 제 １ 루프(이하，루프(F)라고 칭한다)와, 루프(F)의 내부에서 네스팅(nesting)한 제 ２ 루프(이하，루프(G))를 포함한다.
이 순서도를 시작하면, 우선 루프(F)는 소정의 횟수로 실행된다. 루프(F)에서, 우선，네스팅된 루프(G)가 실행된다. 루프(G)에서, 특징점은 무작위하게 선택되고(단계 S21). 그리고 그 특징의 타입이 판별된다(단계 S22). 다음으로，무작위하게 선택된 특징점은 "풀 특징"이고, 2 개의 조건이 생성된다(후술된 [수학식 37] 및 [수학식 38] 참조)(단계 S23). 특징점이 "세미 특징"인 경우, 1 개의 조건이 생성된다(후술된 [수학식 39] 참조)(단계 S24). 다음으로，루프(G)는 8 개의 조건이 준비될 때까지 반복된다. ８ 개의 조건이 준비된 후, 방정식은 변환식(호모그래피 행렬(H))을 구하기 위해 풀린다(단계 S25). 다음으로, 호모그래피의 변환의 왜곡(H의 왜곡)의 크기는 검출되고(단계 S26)，그리고 왜곡이 작은 경우에서만 하술된 "공급 계산"이 실행된다(단계 S27). 동시에, 공급수가 현재 최대 공급수를 초과하는지가 판별되고(단계 S28), 최대수를 초과하는 경우, 최대 공급수는 갱신되고, H는 보존된다(단계 S29). 루프 종단이 이를 시, 보존된 최적의 H는 출력되고(단계 S 30), 순서도가 종료된다.
여기에서, 풀 특징점과 세미 특징점은 광학 흐름 검출부(13)에 의해 추출과 추적되고，각 세미 특징점의 특징 방향을 나타내는 단위 벡터 u=(ux, uy)T는 예를 들면，행렬(G)의 최대 고유치에 대응한 단위 벡터(ux 2＋uy 2 =１)로서 발견된다.
여기에서, 호모그래피 모델이 시용될 시 호모그래피 행렬(H)을 구하는 방정식은 다음과 같이 열벡터로서 정렬된 H=(hij)를 만족하는 각 요소로 나열된다:
Figure 112007087522825-PCT00012
특징점 추적처리는 제 2 화상(I2)의 좌표(x, y)와 대응하는 제 1 화상(I1)의 좌표(x, y)를 가지는 경우, 다음 [수학식 37] 및 [수학식 38]에서 도시된 바와 같이 2 개의 선형 조건은 풀 특징점마다 생성된다:
Figure 112007087522825-PCT00013
Figure 112007087522825-PCT00014
또한，다음 [수학식 39]에서 표기된 바와 같이 하나의 선형 조건은 세미 특징점마다 생성된다:
Figure 112007087522825-PCT00015
8 개의 조건이 준비되는 경우, 방정식은 호모그래피 행렬(H)를 구하기 위해 가우스 소거법으로 푼다. 대안적으로, 최소 제곱해는 ８ 개 이상의 방정식으로부터 구해질 수 있다. 즉，８개 또는 그 이상의 조건이 다음과 같이 행벡터에 나열된 [수학식 40]을 풀어 H의 성분은 판별된다:
Figure 112007087522825-PCT00016
이를 행함으로써, 호모그래피 행렬을 구체적으로 판별할 수 있다.
본 실시예에서, 호모그래피의 왜곡(H의 왜곡)이 검출되고, 예를 들면， 다음과 같다: 화상의 경계 ４ 점의 좌표가 FH로 이동될 시，변환 전후의 사각형의 측비 와 90°로부터의 벗어난 각도(즉, 왜곡)는 조사된다. 변환 후의 사각형이 원래의 사각형과 현저하게 다른 경우, 공급 계산(단계 S 27)은 생략되고, 그 후 처리는 다음 후보에 대한 처리로 즉시 이동된다.
상술된 바와 같이, 공급 계산 전에, 세미 특징점을 포함하는 계산된 호모그래피 행렬(H)에 대한 판별된 변환(즉, 길이 또는 각도의 왜곡이 특정 한도내에 있는 경우를 검출)의 왜곡을 검출하는 처리가 들어가게 되어 비정상적 호모그래피(H)가 제외된다. 이는 동일한 직선 또는 평한 직선에 존재하는 복수의 세미 특징점으로부터 판별된 H가 악-조건(즉, 대부분 선형 종속)으로 되어 있고, 이 악조건은 풀 특징점만으로부터 판별된 악조건(3 개 이상의 점은 동일 직선 상에 정렬됨)보다 더 잘 일어나기 쉽기 때문이다.
호모그래피 이외에 좌표 변환식에 관하여, ２ 개의 모델(즉, 평행 이동 모델，유클리드 근사 모델)을 설명한다.
우선，평행 이동 변환의 모델은, 다음 [수학식 41]에 표기된 좌표변환이다:
Figure 112007087522825-PCT00017
다음은 [수학식 42]이다:
Figure 112007087522825-PCT00018
다음 [수학식 43]에 표기된 바와 같이 2 개의 선형 조건(즉, 방정식)이 풀 특징점마다 판별된다:
Figure 112007087522825-PCT00019
다음 [수학식 44]에 표기된 바와 같이 1 개의 선형 조건(즉, 방정식)이 세미 특징점마다 판별된다:
Figure 112007087522825-PCT00020
이 변환의 자유도는 2이기 때문에, 방정식은 ２ 개 이상의 조건을 준비함으로써 풀릴 수 있다.
게다가, 유클리드 유사 모델은 다음 [수학식 45]에 표기된 바와 같이 좌표변환이다:
Figure 112007087522825-PCT00021
다음은 [수학식 46]이다:
Figure 112007087522825-PCT00022
다음 [수학식 47]에 표기된 바와 같이 2 개의 선형 조건(즉, 방정식)이 풀 특징점마다 판별된다:
Figure 112007087522825-PCT00023
다음 [수학식 48]에 표기된 바와 같이 1 개의 선형 조건(즉, 방정식)이 세미 특징점마다 판별된다:
Figure 112007087522825-PCT00024
이 변환의 자유도는 ４이기 때문에, 방정식은 ４개 이상의 조건을 준비함으로써, 풀릴 수 있다.
도 15는 공급 계산의 동작 순서도이다. 이 순서도에서, 공급수가 초기화된 후(단계 S31), 루프(이하에서 루프(H)라 칭함)는 추적된 특징점에 대해 실행되고(단계 S32), 특징의 타입이 판별된다(단계 S33). 다음으로, 특징 타입이 "풀 특징"인 경우, 풀 특징에 대한 적합점 판별이 실행되고(단계 S34), 그리고 점이 모든 특징 적합점인 경우, 비중 "2"는 공급수에 가산된다(단계 S35). 반면, 특징 타입이 "세미 특징"인 경우, 세미 특징에 대한 적합점 판별은 실행되고(단계 S36), 그리고 점이 세미 특징 적합점인 경우, 풀 특징 적합점보다 작은 비중 "1"은 공급수에 가산된다(단계 S37). 다음으로, 공급수는 갱신되고(단계 S38), 그리고 루프 종단이 이르렀을 경우, 공급수는 되돌아가고(단계 S39), 그 흐름은 종료된다.
상술된 바와 같이, 본 실시예에서, 좌표 변환식이 계산되는 경우, 특징방향의 각 벡터를 투영시킴으로써 생성된 1-차원 제약(상기 [수학식 37] 내지 [수학식 39])은 추적된 움직임 벡터를, 판별된 좌표변환에 의해 생성된 오프셋 벡터와 비교하기 위한 제약으로써 설정된다. 이를 행함으로써, 풀 특징점이 있지 않은 경우에도, 좌표 변환식은 세미 특징점이 다양한 특징 방향에 존재하는 한 안정되게 풀릴 수 있다.
본 실시예에 따라서, RANSAC는 좌표변화의 정확성을 평가하고 확인하기 위한 방법으로서 사용된다. 그러나, 이 방법에 국한되지 않는다. 여러 방법은 추적된 움직임 벡터와 판별된 좌표 변환에 의해 생성된 오프셋 벡터의 비교가 각 벡터가 특징 방향에 투영되는 1-차원 비교가 되는 한 사용될 수 있다. 좌표 변화식이 세미 특징점을 사용하여 평가되고 확인될 시, 이 방법들 중 어느 방법도 에러를 제거할 수 있다.
도 16은 풀 특징과 세미 특징의 정합 판별 개념도이다. 이 도면에 있어，풀 특징점(25)이 구석에 존재하고 세미 특징점(26)이 에지에 존재하는 경우, 추적함으로써 판별된 움직임 벡터(34, 35)은 실선으로 나타나고, 그리고 후보좌표변환에 기초한 오프셋 벡터(36, 37)는 파선으로 나타난다. 세미 특징점(26)에 있는 굵은 화살표(26)는 특징 방향의 단위벡터(38)이다. 풀 특징점(25)에 대해서, 단지 필요한 것은 2 개의 벡터(34, 36)에 의해 이동되어 판별된 목적 좌표가 특정 거리에 있는 여부를 판별하기 위함 뿐이다. 한편, 세미 특징(26)은 2 개의 벡터(35, 37)의 방향 과 크기 모두가 이 경우에 있어 서로 다르지만, 방향과 크기가 특징 방향에서 투영될 시 실질적으로 동일하다(즉, 특징방향의 단위 벡터(38)를 가진 내적이 계산되는 경우). 그러므로, 세미 특징(26)의 추적은 좌표 변환을 정합시킨다고 판별된다.
벡터의 비교는 창내의 픽셀치의 비교보다 작은 계산량을 요구한다. 그러므로, 세미 특징점이 RANSEC에 대해 사용되는 경우, 점은 적합점으로써 판별될 수 있고, 추적된 움직임 벡터와, 좌표 변환식에 의해 이동되어 판별된 목적 좌표를 향한 오프셋 벡터는 비교를 위해 특징 방향으로 투영되고, 그 비교 결과, 2 개의 벡터는 실질적으로 동일하다. 이를 행함으로써, RANSEC의 루프 수를 증가시킬 수 있어서, 보다 나은 변환식의 검색을 실행할 수가 있다.
특징 방향에 투영을 사용하지 않은 대안적 방법으로써, 픽셀치를 비교함으로써 정합 판별을 실행할 수 있다. 세미 특징점이 RANSEC를 위해 사용될 시, 세미 특징점 주위의 창내에 픽셀치가 제 1 화상(I1)과 제 2 화상(I2) 사이에서 비교되어 그 사이의 차이가 작은 경우, 점은 적합점으로써 판별된다.(차이 절대치의 합, 차이 제곱 합 등은 차이도로써 계산될 수 있다.) 이를 행함으로써, 시각적으로 눈에 띄는 이중 화상은 픽셀치에 근거한 비교에 의해 제외될 수 있다.
게다가, RANSAC의 공급 계산에 있어，공급수로써, 세미 특징의 적합점의 NS보다 강한(즉, 큰) 2Nf + NS 등의 비중치는 풀 특징점 적합점 Nf의 수를 위해 사용될 수 있다. 이를 행함에 있어서, 풀 특징과 세미 특징 사이의 정보량의 차이에 대응하는 적합한 중량감을 부여할 수 있어, 풀 특징과의 일치성을 향상시킨다. 게다 가, 풀 특징이 2-차원 정보를 가지는 반면 세미 특징은 1-차원 정보만을 가진다. 그러므로, 풀 특징의 수와 세미 특징의 수는 거의 동일하고, 높은 정확성을 가진 풀 특징을 우선화하여 보다 안정된 변환식을 선택할 수 있다.
본 발명은 CPU의 운영에 있어 상술된 흐름의 조합 프로그램으로써 실행될 수도 있다. 도 17은 조합된 프로그램의 동작 순서도이다. 이 순서도에서, 화상 피라미드 생성부가 초기화된 후(단계 S41), 특징점의 추출(단계 S42), 특징점의 추적(단계 S43), RANSAC(단계 S44), 대응 위치 계산(단계 S45) 및 가산(단계 S46)은 실행되고 그 흐름은 종료된다.
본 발명은 서로 일부 겹쳐지는 여러 화상을 연결하여 큰 영역을 구현한 1 장의 화상을 합성하는 파노라마 합성에 적용될 수도 있다. 블록 일치 등에 의해 2 장의 화상의 중복 영역을 검출한 후, 좌표변환은 본 발명에 따른 방법을 사용하여 중복된 범위내에 특징점을 추출하고 추적함으로써 판별될 수 있다. 주목할 점은 합성 처리에 있어서, 경계 부분이 눈에 띄지 않기 위해서는 단지 픽셀치의 평균화를 사용하는 것보다 혼합 처리 등을 실행하는 것이 바람직하다.
게다가, 본 발명은 동영상 촬영시 카메라 흔들림의 보정(즉, 카메라 흔들림의 전자 보정)에 적용될 수도 있다. 즉, 동영상이 촬영되고 재생되는 경우, 카메라 흔들림에 의해 야기된 전체 화면의 움직임 벡터는 계산되어, 각 프레임 또는 필드는 움직임 벡터를 제거시키기 위해 변화된다. 이를 행함으로써, 카메라 흔들림은 감소되고 동영상은 안정하게 생성될 수 있다. 더 구체적으로, 본 발명의 방법에 따라서 특징점을 추출하고 추적한 후에 화면을 지배하는 움직임 벡터는 평행 이동 모 델 등의 좌표변환을 사용하여 판별된다. 가산에 의한 합성 화상 대신, 신규 프레임 또는 필드는 평행 이동하고 판별된 움직임 벡터에 의해 생성된 화상으로 순차적으로 치환될 수 있다. 이를 행함으로써, 카메라 흔들림이 감소된 동영상은 생성될 수 있다.
또한, 본 발명의 바람직한 실시예인 화상 처리 장치의 컴퓨터 프로그램 제품은 화상 처리 장치의 메모리(예를 들면, ROM 등)에 저장되지만, 이 처리 프로그램은 컴퓨터 판독가능 매체에 저장되고, 프로그램만의 제조, 판매 등의 경우에서 보호될 수도 있다. 이 경우에서, 특허를 가진 프로그램을 보호하기 위한 방법은 컴퓨터 프로그램 제품이 저장된 컴퓨터-판독가능 매체의 형태에 의해 실현될 수 있다.
본 발명은 바람직한 실시예를 참조하여 기술하였지만, 본 기재의 설명만으로 국한되는 것이 아니며 첨부된 청구함의 기술 사상내에 있는 모든 실시예를 포함할 수 있다.

Claims (24)

  1. 픽셀치가 여러 방향에서 크게 변화하는 점을 풀 특징점으로서 검출하는 풀 특징점 검출부(13b);
    픽셀치가 특정 방향에서 거의 변화가 없지만, 다른 방향에서 크게 변화하는 점을 세미 특징점으로서 검출하는 세미 특징점 검출부(13b);
    제 1 화상과 제 2 화상 사이에서 상기 풀 특징점을 추적하는 제 1 추적부(13c);
    상기 세미 특징점을 추적하는 제 2 추적부(13c); 및
    상기 제 1 추적부와 상기 제 2 추적부에 의해 획득된 추적 결과에 기초하여, 입력된 화상을 정렬하는 정렬부(15b)를 포함함을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 제 2 추적부의 추적 방향은 픽셀치가 크게 변화하는 방향만임을 특징으로 하는 화상 처리 장치.
  3. 제 1 항에 있어서,
    상기 정렬부는 상기 제 1 추적부와 상기 제 2 추적부에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가부(15b)를 더 포함하고, 그리고
    상기 정렬부는 상기 평가부에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택함을 특징으로 하는 화상 처리 장치.
  4. 제 3 항에 있어서,
    상기 평가부는 상기 세미 특징점에 관한 평가보다 상기 풀 특징점에 관한 평가에 비중을 부여함을 특징으로 하는 화상 처리 장치.
  5. 제 1 항에 있어서,
    상기 정렬부로 정렬된 복수의 화상으로부터 하나의 화상을 합성하는 가산부(15a)를 더 포함함을 특징으로 하는 화상 처리 장치.
  6. 제 1 항에 있어서,
    상기 제 2 추적부의 추적 방향은 픽셀치가 크게 변화하는 방향만임을 특징으로 하는 화상 처리 장치.
  7. 제 1 항에 있어서,
    상기 정렬부는 상기 제 1 추적부와 상기 제 2 추적부에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가부(15b)를 더 포함하고, 그리고
    상기 정렬부는 상기 평가부에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택함을 특징으로 하는 화상 처리 장치.
  8. 제 7 항에 있어서,
    상기 평가부는 상기 세미 특징점에 관한 평가보다 상기 풀 특징점에 관한 평가에 비중을 부여함을 특징으로 하는 화상 처리 장치.
  9. 픽셀치가 여러 방향에서 크게 변화하는 점을 풀 특징점으로서 검출하는 풀 특징점 검출 단계(S2);
    픽셀치가 특정 방향에서 거의 변화가 없지만, 다른 방향에서 크게 변화하는 점을 세미 특징점으로서 검출하는 세미 특징점 검출 단계(S6);
    제 1 화상과 제 2 화상 사이에서 상기 풀 특징점을 추적하는 제 1 추적 단계(S11,S12,S13,S14,S16,S17,S18);
    상기 세미 특징점을 추적하는 제 2 추적 단계(S11,S12,S13,S15,S16,S17,S18); 및
    상기 제 1 추적 단계와 상기 제 2 추적 단계에 의해 획득된 추적 결과에 기초하여, 입력된 화상을 정렬하는 정렬 단계(S32)를 포함함을 특징으로 하는 화상 처리 방법.
  10. 제 9 항에 있어서,
    상기 제 2 추적 단계의 추적 방향은 픽셀치가 크게 변화하는 방향만임을 특 징으로 하는 화상 처리 방법.
  11. 제 9 항에 있어서,
    상기 정렬 단계는 상기 제 1 추적 단계와 상기 제 2 추적 단계에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가 단계(S34,S36)를 더 포함하고, 그리고
    상기 정렬 단계는 상기 평가 단계에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택함을 특징으로 하는 화상 처리 방법.
  12. 제 11 항에 있어서,
    상기 평가 단계는 상기 세미 특징점에 관한 평가보다 상기 풀 특징점에 관한 평가에 비중을 부여함을 특징으로 하는 화상 처리 방법.
  13. 제 9 항에 있어서,
    상기 정렬 단계로 정렬된 복수의 화상으로부터 하나의 화상을 합성하는 가산 단계(S46)를 더 포함함을 특징으로 하는 화상 처리 방법.
  14. 제 9 항에 있어서,
    상기 제 2 추적 단계의 추적 방향은 픽셀치가 크게 변화하는 방향만임을 특징으로 하는 화상 처리 방법.
  15. 제 9 항에 있어서,
    상기 정렬 단계는 상기 제 1 추적 단계와 상기 제 2 추적 단계에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가 단계(S34,S36)를 더 포함하고, 그리고
    상기 정렬 단계는 상기 평가 단계에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택함을 특징으로 하는 화상 처리 방법.
  16. 제 15 항에 있어서,
    상기 평가 단계는 상기 세미 특징점에 관한 평가보다 상기 풀 특징점에 관한 평가에 비중을 부여함을 특징으로 하는 화상 처리 방법.
  17. 컴퓨터-판독가능 매체에 저장된 화상 처리 프로그램용 컴퓨터 프로그램 제품으로써, 상기 컴퓨터 프로그램 제품은:
    픽셀치가 여러 방향에서 크게 변화하는 점을 풀 특징점으로서 검출하는 풀 특징점 검출 단계(S2);
    픽셀치가 특정 방향에서 거의 변화가 없지만, 다른 방향에서 크게 변화하는 점을 세미 특징점으로서 검출하는 세미 특징점 검출 단계(S6);
    제 1 화상과 제 2 화상 사이에서 상기 풀 특징점을 추적하는 제 1 추적 단계(S11,S12,S13,S14,S16,S17,S18);
    상기 세미 특징점을 추적하는 제 2 추적 단계(S11,S12,S13,S15,S16,S17,S18); 및
    상기 제 1 추적 단계와 상기 제 2 추적 단계에 의해 획득된 추적 결과에 기초하여, 입력된 화상을 정렬하는 정렬 단계(S32)를 포함하는 컴퓨터 프로그램 제품.
  18. 제 17 항에 있어서,
    상기 제 2 추적 단계의 추적 방향은 픽셀치가 크게 변화하는 방향만인 컴퓨터 프로그램 제품.
  19. 제 17 항에 있어서,
    상기 정렬 단계는 상기 제 1 추적 단계와 상기 제 2 추적 단계에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가 단계(S34,S36)를 더 포함하고, 그리고
    상기 정렬 단계는 상기 평가 단계에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택하는 컴퓨터 프로그램 제품.
  20. 제 19 항에 있어서,
    상기 평가 단계는 상기 세미 특징점에 관한 평가보다 상기 풀 특징점에 관한 평가에 비중을 부여하는 컴퓨터 프로그램 제품.
  21. 제 17 항에 있어서,
    상기 정렬 단계로 정렬된 복수의 화상으로부터 하나의 화상을 합성하는 가산 단계(S46)를 더 포함하는 컴퓨터 프로그램 제품.
  22. 제 17 항에 있어서,
    상기 제 2 추적 단계의 추적 방향은 픽셀치가 크게 변화하는 방향만인 컴퓨터 프로그램 제품.
  23. 제 17 항에 있어서,
    상기 정렬 단계는 상기 제 1 추적 단계와 상기 제 2 추적 단계에 의해 획득된 추적 결과에 기초하여, 계산된 좌표 변환식의 정확성을 평가하는 평가 단계(S34,S36)를 더 포함하고, 그리고
    상기 정렬 단계는 상기 평가 단계에 의해 획득된 판단에 기초하여 좌표 변환식을 추가적으로 고르고 선택하는 컴퓨터 프로그램 제품.
  24. 제 23 항에 있어서,
    상기 평가 단계는 상기 세미 특징점에 관한 평가보다 상기 풀 특징점에 관한 평가에 비중을 부여하는 컴퓨터 프로그램 제품.
KR1020077028388A 2005-08-02 2006-07-13 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체 KR100929085B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00223702 2005-08-02
JP2005223702A JP4595733B2 (ja) 2005-08-02 2005-08-02 画像処理装置
PCT/JP2006/314329 WO2007015374A2 (en) 2005-08-02 2006-07-13 Image processing apparatus and image processing program

Publications (2)

Publication Number Publication Date
KR20080016605A true KR20080016605A (ko) 2008-02-21
KR100929085B1 KR100929085B1 (ko) 2009-11-30

Family

ID=37709018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077028388A KR100929085B1 (ko) 2005-08-02 2006-07-13 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체

Country Status (7)

Country Link
US (1) US8036491B2 (ko)
EP (1) EP1932114A2 (ko)
JP (1) JP4595733B2 (ko)
KR (1) KR100929085B1 (ko)
CN (1) CN101208721B (ko)
TW (1) TWI371979B (ko)
WO (1) WO2007015374A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101120855B1 (ko) * 2010-08-31 2012-03-16 삼성메디슨 주식회사 대상체의 움직임 주기에 기초하여 초음파 공간 합성 영상을 제공하는 초음파 시스템 및 방법
US9378544B2 (en) 2012-03-15 2016-06-28 Samsung Electronics Co., Ltd. Image processing apparatus and method for panoramic image using a single camera

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
WO2005093654A2 (en) 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
JP5630957B2 (ja) * 2006-05-19 2014-11-26 日産化学工業株式会社 ハイパーブランチポリマー及びその製造方法
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
JP5034733B2 (ja) * 2007-07-13 2012-09-26 カシオ計算機株式会社 特徴点追跡装置及びプログラム
US8600189B2 (en) * 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
JP5365969B2 (ja) * 2007-11-13 2013-12-11 富士ゼロックス株式会社 画像処理装置及びプログラム
JP4497216B2 (ja) * 2008-03-03 2010-07-07 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
KR101303494B1 (ko) * 2008-04-30 2013-09-03 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
JP4771186B2 (ja) * 2008-06-20 2011-09-14 国立大学法人静岡大学 移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体
JP4547639B2 (ja) * 2008-08-26 2010-09-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4964852B2 (ja) * 2008-09-24 2012-07-04 富士フイルム株式会社 画像処理装置、方法及びプログラム
US8462987B2 (en) * 2009-06-23 2013-06-11 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions
JP5269707B2 (ja) * 2009-07-01 2013-08-21 富士フイルム株式会社 画像合成装置及び方法
JP5644097B2 (ja) * 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8509482B2 (en) * 2009-12-21 2013-08-13 Canon Kabushiki Kaisha Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
GB2478164A (en) * 2010-02-26 2011-08-31 Sony Corp Calculating misalignment between a stereoscopic image pair based on feature positions
JP5653104B2 (ja) * 2010-07-16 2015-01-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN101957995A (zh) * 2010-10-14 2011-01-26 华中科技大学 一种图像中关联像素点的检测提取方法及其应用
TWI410893B (zh) * 2010-11-22 2013-10-01 Univ Chang Gung 影像對位系統及其方法
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
GB2489931A (en) * 2011-04-08 2012-10-17 Sony Corp Analysis of 3D video to detect frame violation within cropped images
US9305361B2 (en) 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
TWI469062B (zh) 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
JP5907755B2 (ja) * 2012-02-24 2016-04-26 三菱電機株式会社 画像位置合わせ装置及び画像位置合わせ方法
JP5413625B2 (ja) * 2012-03-09 2014-02-12 カシオ計算機株式会社 画像合成装置及びプログラム
EP2648157A1 (en) * 2012-04-04 2013-10-09 Telefonaktiebolaget LM Ericsson (PUBL) Method and device for transforming an image
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
JP5888153B2 (ja) * 2012-07-06 2016-03-16 三菱電機株式会社 画像レーダ装置および信号処理装置
CN102929288B (zh) * 2012-08-23 2015-03-04 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
CN108337073B (zh) 2012-12-18 2021-03-05 Lg电子株式会社 在无线通信系统中接收ack/nack的方法和基站
CN103426184B (zh) 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
JP6304619B2 (ja) * 2013-12-26 2018-04-04 住友ゴム工業株式会社 像振れ補正システム、プログラム及び方法
US9305326B2 (en) 2013-12-26 2016-04-05 Industrial Technology Research Institute Apparatus and method for tile elimination
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치
US9491452B2 (en) * 2014-09-05 2016-11-08 Intel Corporation Camera calibration
CN105196292B (zh) * 2015-10-09 2017-03-22 浙江大学 一种基于迭代变时长视觉伺服控制方法
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
TWI743477B (zh) * 2019-05-07 2021-10-21 威盛電子股份有限公司 圖像處理裝置及圖像處理的方法
CN110188777B (zh) * 2019-05-31 2023-08-25 东莞先知大数据有限公司 一种基于数据挖掘的多周期钢轨伤损数据对齐方法
US10955241B2 (en) * 2019-06-26 2021-03-23 Aurora Flight Sciences Corporation Aircraft imaging system using projected patterns on featureless surfaces
JP2022186156A (ja) * 2021-06-04 2022-12-15 富士通株式会社 特徴量算出プログラム、特徴量算出方法および情報処理装置
CN116137665A (zh) * 2021-11-17 2023-05-19 深圳市中兴微电子技术有限公司 增强图片的生成方法、装置、存储介质及电子装置
CN114650453B (zh) * 2022-04-02 2023-08-15 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848121A (en) * 1996-10-28 1998-12-08 General Electric Company Method and apparatus for digital subtraction angiography
JP2815045B2 (ja) * 1996-12-16 1998-10-27 日本電気株式会社 画像特徴抽出装置，画像特徴解析装置，および画像照合システム
US6909794B2 (en) * 2000-11-22 2005-06-21 R2 Technology, Inc. Automated registration of 3-D medical scans of similar anatomical structures
US20020167537A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
US6781591B2 (en) * 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
US7409108B2 (en) * 2003-09-22 2008-08-05 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration of 2D/3D medical images
JP2006203717A (ja) * 2005-01-24 2006-08-03 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101120855B1 (ko) * 2010-08-31 2012-03-16 삼성메디슨 주식회사 대상체의 움직임 주기에 기초하여 초음파 공간 합성 영상을 제공하는 초음파 시스템 및 방법
US9378544B2 (en) 2012-03-15 2016-06-28 Samsung Electronics Co., Ltd. Image processing apparatus and method for panoramic image using a single camera

Also Published As

Publication number Publication date
EP1932114A2 (en) 2008-06-18
TW200723894A (en) 2007-06-16
JP4595733B2 (ja) 2010-12-08
WO2007015374A3 (en) 2007-11-01
KR100929085B1 (ko) 2009-11-30
TWI371979B (en) 2012-09-01
CN101208721A (zh) 2008-06-25
JP2007041752A (ja) 2007-02-15
US8036491B2 (en) 2011-10-11
US20070031004A1 (en) 2007-02-08
WO2007015374A2 (en) 2007-02-08
CN101208721B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
KR100929085B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체
US6393162B1 (en) Image synthesizing apparatus
JP5074322B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US8588546B2 (en) Apparatus and program for producing a panoramic image
US8126206B2 (en) Image processing apparatus, image processing method, and program
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
US7729563B2 (en) Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US6785427B1 (en) Image matching using resolution pyramids with geometric constraints
JP4755490B2 (ja) ブレ補正方法および撮像装置
JP5179398B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
Cho et al. Affine motion based CMOS distortion analysis and CMOS digital image stabilization
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
WO2012133371A1 (ja) 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US20030202701A1 (en) Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow
JP2019207611A (ja) 画像処理装置、画像処理プログラム、画像処理方法
KR102173244B1 (ko) Surf 특징점 추적 기반 영상 안정화 시스템
JP7110397B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4240666B2 (ja) 画像合成方法および画像表示方法
KR101028171B1 (ko) 3차원 원근투영법에 기초하여 카메라에 투영된 사각형 문서에 대한 가로대 세로 비를 결정하는 방법
Shukla et al. Unsteady camera zoom stabilization using slope estimation over interest warping vectors
JP6525693B2 (ja) 画像処理装置及び画像処理方法
JP2024034231A (ja) 画像処理装置およびその制御方法
JP2010041418A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131031

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141112

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151113

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 11