KR100551826B1 - 다수의 이미지 센서로부터의 이미지 융합 방법 - Google Patents

다수의 이미지 센서로부터의 이미지 융합 방법 Download PDF

Info

Publication number
KR100551826B1
KR100551826B1 KR1020040030016A KR20040030016A KR100551826B1 KR 100551826 B1 KR100551826 B1 KR 100551826B1 KR 1020040030016 A KR1020040030016 A KR 1020040030016A KR 20040030016 A KR20040030016 A KR 20040030016A KR 100551826 B1 KR100551826 B1 KR 100551826B1
Authority
KR
South Korea
Prior art keywords
image
feature
fusion
images
extracted
Prior art date
Application number
KR1020040030016A
Other languages
English (en)
Other versions
KR20050104663A (ko
Inventor
고진신
Original Assignee
삼성탈레스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사 filed Critical 삼성탈레스 주식회사
Priority to KR1020040030016A priority Critical patent/KR100551826B1/ko
Publication of KR20050104663A publication Critical patent/KR20050104663A/ko
Application granted granted Critical
Publication of KR100551826B1 publication Critical patent/KR100551826B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B27—WORKING OR PRESERVING WOOD OR SIMILAR MATERIAL; NAILING OR STAPLING MACHINES IN GENERAL
    • B27D—WORKING VENEER OR PLYWOOD
    • B27D5/00—Other working of veneer or plywood specially adapted to veneer or plywood
    • B27D5/006—Trimming, chamfering or bevelling edgings, e.g. lists
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26D—CUTTING; DETAILS COMMON TO MACHINES FOR PERFORATING, PUNCHING, CUTTING-OUT, STAMPING-OUT OR SEVERING
    • B26D1/00—Cutting through work characterised by the nature or movement of the cutting member or particular materials not otherwise provided for; Apparatus or machines therefor; Cutting members therefor
    • B26D1/01—Cutting through work characterised by the nature or movement of the cutting member or particular materials not otherwise provided for; Apparatus or machines therefor; Cutting members therefor involving a cutting member which does not travel with the work
    • B26D1/12—Cutting through work characterised by the nature or movement of the cutting member or particular materials not otherwise provided for; Apparatus or machines therefor; Cutting members therefor involving a cutting member which does not travel with the work having a cutting member moving about an axis
    • B26D1/14—Cutting through work characterised by the nature or movement of the cutting member or particular materials not otherwise provided for; Apparatus or machines therefor; Cutting members therefor involving a cutting member which does not travel with the work having a cutting member moving about an axis with a circular cutting member, e.g. disc cutter
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26D—CUTTING; DETAILS COMMON TO MACHINES FOR PERFORATING, PUNCHING, CUTTING-OUT, STAMPING-OUT OR SEVERING
    • B26D5/00—Arrangements for operating and controlling machines or devices for cutting, cutting-out, stamping-out, punching, perforating, or severing by means other than cutting
    • B26D5/20—Arrangements for operating and controlling machines or devices for cutting, cutting-out, stamping-out, punching, perforating, or severing by means other than cutting with interrelated action between the cutting member and work feed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26D—CUTTING; DETAILS COMMON TO MACHINES FOR PERFORATING, PUNCHING, CUTTING-OUT, STAMPING-OUT OR SEVERING
    • B26D7/00—Details of apparatus for cutting, cutting-out, stamping-out, punching, perforating, or severing by means other than cutting
    • B26D7/18—Means for removing cut-out material or waste
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26D—CUTTING; DETAILS COMMON TO MACHINES FOR PERFORATING, PUNCHING, CUTTING-OUT, STAMPING-OUT OR SEVERING
    • B26D7/00—Details of apparatus for cutting, cutting-out, stamping-out, punching, perforating, or severing by means other than cutting
    • B26D7/26—Means for mounting or adjusting the cutting member; Means for adjusting the stroke of the cutting member
    • B26D7/2628—Means for adjusting the position of the cutting member
    • B26D7/2635—Means for adjusting the position of the cutting member for circular cutters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B32—LAYERED PRODUCTS
    • B32B—LAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B38/00—Ancillary operations in connection with laminating processes
    • B32B38/10—Removing layers, or parts of layers, mechanically or chemically
    • B32B38/105—Removing layers, or parts of layers, mechanically or chemically on edges

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Forests & Forestry (AREA)
  • Wood Science & Technology (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 융합에 관한 것으로, 특히 적은 계산량을 이용하여 정확한 이미지의 융합을 수행하기 위한 방법에 관한 것으로, 계산량이 적으면서 정확한 이미지 융합의 결과물을 제공하기 위하여 특징 레벨 융합 방법과 화소 레벨 융합 방법을 혼용한 개선된 이미지 융합 방법을 제공하는데 그 목적이 있으며, 다수의 이미지 센서로부터 입력된 이미지에 대한 이미지 융합 방법에 있어서, 서로 다른 이미지 센서들로부터 각각의 이미지를 입력받는 제 1 단계; 상기 입력된 각각의 이미지로부터 피라미드 영상을 통한 특징 영상을 각각 추출하는 제 2 단계; 상기 추출된 각각의 특징 영상에 대해 영역별로 우세한 영상을 선택하여 결합한 결합 영상을 만드는 제 3 단계; 및 상기 제 2 단계에서 각각의 이미지에서 추출된 특징 영상을 제외한 각각의 이미지 영역을 화소 단위로 결합하여 평균하여, 상기 제 3 단계의 결합 영상과 융합시키는 제 4 단계를 포함하는 것을 특징으로 한다.
이미지 융합, 라플라시안, 윤곽선, 이미지 정렬

Description

다수의 이미지 센서로부터의 이미지 융합 방법{Image Fusion Method for Multiple Image Sonsor}
도 1a 내지 도 1c는 정렬된 이미지를 융합하기 위한 종래의 이미지 융합 방법에 대한 일실시예 설명 예시도.
도 2 는 본 발명에 사용되는 가우시안 피라미드(Gaussian Pyramid) 이미지의 예시도.
도 3 은 본 발명에 사용되는 라플라시안 피라미드(Laplacian Pyramid) 이미지의 예시도.
도 4 는 본 발명에 따른 이미지 융합 방법에 대한 일실시예 동작 흐름도.
본 발명은 이미지 융합에 관한 것으로, 특히 적은 계산량을 이용하여 정확한 이미지의 융합을 수행하기 위한 방법에 관한 것이다.
최근, 다수의 이미지 센서로부터의 이미지 융합은 각각의 단일 이미지 센서 들로부터의 이미지 정보를 결합시키고, 복합된 각각의 이미지 센서의 이미지 정보에 대한 데이터베이스로부터 목적에 맞는 데이터의 가공을 수행하도록 하여, 보다 정확하고 다양한 활용도를 가지는 이미지 정보를 획득하게 하는 기술로 여러 분야에서 연구가 되고 있다. 특히, 이와 같이 개선된 정확성들과 더욱 정교한 특정 요소 정보들을 구축하기 위해 다수의 이미지 센서로부터의 이미지 융합 기술에 대한 기술적 중요도가 날로 증대되고 있다.
여기서, 다수의 이미지 센서로부터의 이미지 융합이라는 것은 각각의 단일 이미지 센서의 고유한 파장 대역에서 획득한 이미지에서 각 파장의 특징 정보를 사용 목적에 맞게 최적의 정보를 추출하여, 하나의 이미지에 많은 정보를 융합하는 것을 말한다. 이와 같은 다수의 이미지 센서로부터의 이미지 융합의 기술 관련 분야로는 컴퓨터 비젼, 자동 물체 검출 및 식별분야, Navigation, 지능형 Robotics, Remote Sensing 분야, 의료기기 등 다양하다.
이와 같은 이미지 융합은 전체적으로 크게 3단계로 대별할 수 있다. 여기서, 3단계라 하면, 제 1 단계는 각 이미지 센서의 입력 이미지에 대한 처리를 수행하는 단계이고, 제 2 단계는 각각의 이미지 센서로부터의 입력 이미지의 각 화소에 대한 정렬(정합, Alignment, Registration)을 수행하는 단계이며, 제 3 단계는 정렬된 이미지들을 융합처리하는 단계를 말한다.
특히, 이미지 융합을 위한 과정에 있어서, 각 이미지에 대한 정렬이 정확히 되지 않은 상태에서 이미지의 합성을 수행하면 도리어 이미지 개선되는 것 보다는 이미지의 왜곡 현상이 더 심해지게 된다. 이런 현상 때문에 이미지의 정렬(정합, Alignment, Registration) 방법에 대한 연구가 중요한 토픽(Topic)으로 대두 되고 있다.
이하에서는 이미지의 정렬에 대한 종래의 기술에 대해 살펴보기로 한다.
각각 다른 특징을 갖는 이미지 센서(EO, IR, Radar 등)로부터 얻은 이미지에서는 각 픽셀에 일치되는 밝기 값의 상관 관계는 대부분 매우 복잡하다.
즉, 하기의 <표 1>에서 보여지는 바와 같이, 각 파장에 따른 광 흐름 레벨(photon flux level)이 차이가 많이 나서 각각의 센서에 따른 이미지가 포함하고 있는 정보는 다양한 변수를 가질 수 밖에 없다.
VIS NIR MWIR LWIR
파장대(um) 0.4-0.78 0.78-1.0 3-5 8-12
맑은 대낮 1.5 x 1017 1 x 1017 2 x 1013 2 x 1017
달빛하의 밤 1.5 x 1011 - 2 x 1013 2 x 1017
별빛하의 밤 1.5 x 109 9 x 109 2 x 1013 2 x 1017
<표 1>에 도시된 바와 같이, 가시광선 대역의 센서에서는 존재하는 특징(feature)이 적외선 영역 센서에서는 존재하지 않는다. 또한, 적외선 영역 센서에서 존재하는 것이 가시광선 대역의 센서에서는 존재하지 않거나 미약한 신호 데이타로 나타난다. 이것은 각각 다른 센서에서 얻은 두개의 이미지는 각각 이미지의 특징점에 대한 연관성을 알기가 난해하다. 실제로 각각의 이미지에 대한 특징점에 대한 매칭 작업은 전 처리과정에 많은 단계의 작업을 수행한 후 이미지를 등록(registration)할 수 있다.
도 1a 내지 도 1c는 정렬된 이미지를 융합하기 위한 종래의 이미지 융합 방법에 대한 일실시예 설명 예시도이다.
영상융합의 방법은 일반적으로 화소 단위 융합, 특징(Feature) 단위 융합, 결정(Decision) 단위 융합의 3가지로 구별 한다.
도 1a 는 화소 단위 융합 방법에 대한 일실시예 설명 예시도이다.
우선, 다수의 이미지 센서(102-1 내지 102-N)를 통해 물체(101)에 대한 이미지를 입력받는다. 그리고, 입력된 이미지는 화소 레벨 융합부(103)를 통해 각각의 픽셀 별로 융합이 이루어진다. 그리고, 특징 추출부(104)에서는 융합된 이미지로부터 특징을 추출하고, 식별부(105)에서는 특징이 추출된 이미지에 대한 식별 과정을 통해 이미지 융합의 결과(106)를 생성한다.
도 1b 는 특징 단위 융합 방법에 대한 일실시예 설명 예시도이다.
우선, 다수의 이미지 센서(102-1 내지 102-N)를 통해 물체(101)에 대한 이미지를 입력받는다. 그리고, 다수의 특징 추출부(107-1 내지 107-N)에서는 각각의 이미지 센서(102-1 내지 102-N)로부터의 입력된 이미지로부터 특징을 추출한다. 그리고, 각각의 특징 추출부(107-1 내지 107-N)에서 추출된 특징에 따라 특징 레벨 융합부(108)를 통해 각각의 특징 별로 융합이 이루어진다. 그리고, 융합된 이미지로부터 식별부(109)에서는 식별 과정을 통해 이미지 융합의 결과(110)를 생성한다.
도 1c 는 결정 단위 융합 방법에 대한 일실시예 설명 예시도이다.
우선, 다수의 이미지 센서(102-1 내지 102-N)를 통해 물체(101)에 대한 이미지를 입력받는다. 그리고, 다수의 특징 추출부(107-1 내지 107-N)에서는 각각의 이 미지 센서(102-1 내지 102-N)로부터의 입력된 이미지로부터 특징을 추출한다. 그리고, 각각의 특징 추출부(107-1 내지 107-N)에서 추출된 특징에 따라 각각의 식별부(111-1 내지 111-N)에서 식별 과정을 수행한다. 그리고, 식별 과정을 통해 각각의 이미지 센서(102-1 내지 102-N)로부터 입력된 이미지에 대한 식별이 이루어진 상태에서 결정 레벨 융합부(112)에서는 결정 과정을 통해 이미지 융합의 결과(113)를 생성한다.
그러나, 이와 같은 각각의 방법에 의한 이미지 융합은 계산량이 과도하게 많아지거나(화소 레벨 융합), 특징을 찾을 수 없는 부분에서의 손실이 발생하는 등(특징 레벨 융합, 결정 레벨 융합)의 문제점이 발생한다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 계산량이 적으면서 정확한 이미지 융합의 결과물을 제공하기 위하여 특징 레벨 융합 방법과 화소 레벨 융합 방법을 혼용한 개선된 이미지 융합 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은, 저주파 정보를 포함하는 특징 영상을 가지게 되고 이에 따라 선명한 특징 영상의 추출이 가능해지도록 비선명화 마스크 처리(Unsharp masking)를 한 피라미드 영상을 이용한 이미지 융합 방법을 제공하는데 또다른 목적이 있다.
상기의 목적을 달성하기 위한 본 발명은, 다수의 이미지 센서로부터 입력된 이미지에 대한 이미지 융합 방법에 있어서, 서로 다른 이미지 센서들로부터 각각의 이미지를 입력받는 제 1 단계; 상기 입력된 각각의 이미지로부터 피라미드 영상을 통한 특징 영상을 각각 추출하는 제 2 단계; 상기 추출된 각각의 특징 영상에 대해 영역별로 우세한 영상을 선택하여 결합한 결합 영상을 만드는 제 3 단계; 및 상기 제 2 단계에서 각각의 이미지에서 추출된 특징 영상을 제외한 각각의 이미지 영역을 화소 단위로 결합하여 평균하여, 상기 제 3 단계의 결합 영상과 융합시키는 제 4 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
대부분의 이미지는 화소 값의 크기(밝기)로만 이미지를 단순히 표현하는 것이 일반적이다. 그러나, 이미지의 일반적인 특성은 주변 픽셀 간에 상호 많은 상관관계를 가진다. 이것을 이용하면 단순히 픽셀 값만으로 부호화하기보다는 픽셀 상관 관계를 이용한 부호화를 이용하면 많은 활용도를 가지는 정보로 사용할 수가 있다.
따라서, 본 발명의 실시예에서는 한 픽셀의 주변값에 대한 단순처리로 다단계 이미지를 이용하여 이미지의 광역적(global) 특성과 지역적(local) 특성을 가지는 피라미드 이미지에 대해 알아보기로 한다. 이와 같은 피라미드의 이미지를 이용하면, 비교적 적은 연산으로 윤곽선(edge) 성분 등 이미지 융합에 효과적인 정보로 사용할 수 있도록 되어 있어, 실시간 처리 하드웨어 구현에 매우 유리함을 알수 있다.
도 2 는 본 발명에 사용되는 가우시안 피라미드(Gaussian Pyramid) 이미지의 예시도이다.
도시된 바와 같은 다단계 이미지를 생성할 때, 원본 이미지에 대한 저주파 통과 영상을 생성하면서 하부 샘플링(Sub Sampling) 이미지를 얻어서 사용한다.
즉, 최초의 이미지(g0)에서 샘플 밀도(Sample Density)와 해상도(Resolution)를 작게 하면서 축소된 1차 이미지(g1)를 얻는다. 그리고, 비슷한 방법으로 2차 이미지(g2)는 1차 이미지(g1)의 하부 샘플링으로 얻어지는 이미지이다. 이때, 저주파 통과 필터의 가중치 함수를 조정함에 따라 고주파 필터링 정도가 달라지며, 여기서 사용되는 가중치 함수가 가우시안(Gaussian) 분포와 비슷한 형상을 가지고 있어, 이를 가우시안 피라미드 이미지라고 한다.
도 3 은 본 발명에 사용되는 라플라시안 피라미드(Laplacian Pyramid) 이미지의 예시도이다.
여기서, 라플라시안 피라미드의 값은 원 이미지(g0)에서 가우시안 영상(g1)을 뺀 것이 라플라시안 이미지로 생성된다. 이것은 비교적 단순한 방법이지만 하드 웨어 구성이 용이하고, 실시간 구현에 매우 편리한 방법의 윤곽선(edge) 추출 방법이 된다.
이식에서 0<i<N 레벨에서의 라플라시안 피라미드의 생성 식은 <수학식 1>과 같다.
Li = gi - EXPAND(gi+1)
= gi - gi+1,1
여기서, Li는 라플라시안 이미지이고, gi는 가우시안 이미지이다.
도 2 (a)~(d)와 도 3 (a)~(d)를 이용하여 이를 설명하면, 우선 원본 이미지(g0)인 도 2(a)에서 1차 이미지인 도 2(b)를 같은 크기로 확대한 후 빼면 첫번째 라플라시안 이미지인 도 3(a)가 된다. 이와 같은 방법을 도 2(b) 내지 도 3(d)간에 적용할 수 있다.
도 4 는 본 발명에 따른 이미지 융합 방법에 대한 일실시예 동작 흐름도이다.
본 발명에 따른 이미지 융합 방법은 특징 영상에 대해서는 각각의 특징 영상 별로 우세한 영상을 취하고, 특징 영상을 제외한 영역에 대해서는 화소 단위의 영상 융합을 취함으로써 계산량을 줄이면서 융합 영상의 정확도를 얻을 수 있다.
도 4에 도시된 바에 따르면 우선, 다수의 이미지 센서로부터 각각 이미지를 획득한다. 본 발명의 실시예에서는 2개의 이미지 센서로부터 이미지가 수신됨을 알 수 있다.
이와 같이 수신된 제 1 이미지(41)와 제 2 이미지(42)를 피라미드 영상을 통한 특징 추출 과정(43, 44)을 통해 각각의 특징 영상(A, B)을 추출한다. 그리고, 추출된 각각의 특징 영상(A, B)에 대해 동일한 가중치를 적용한다(45).
그리고, 가중치가 적용된 각각의 특징 영상(A, B)에서 각각의 위치별로 우세한 특징 영상을 선택한다(46).
그리고, 각각의 위치별로 선택된 우세한 특징 영상을 결합한 결합 영상을 생성한다(47).
이상의 43 내지 47 과정을 통해 특징 영상에 대한 이미지 결합을 수행한다(C).
한편, 수신된 각각의 이미지(A, B)로부터 특징 영상이 아닌 부분에 있어서는 상기의 43 내지 47 과정을 통해서는 융합 영상을 얻어낼 수가 없다. 즉, 특징 영상과 같이 우세 유무를 판별할 수 없기 때문에 어떤 영역을 선택할 것인지를 알 수 없게 된다.
따라서, 43 과정과 44 과정에서 특징 영상 A, B를 제외한 나머지 영역에 대해서는 특징 영상이 제외된 영상 A'와 B'의 평균 영상을 취하여 상기의 47 과정을 통해 생성된 특징 영상에 대한 이미지 융합 영상(C)과 결합함으로써 최종의 융합 영상(D)을 생성한다(48).
이상의 이미지 융합 과정에 있어서, 라플라시안 피라미드 이미지가 중요한데, 이와 같은 라플라시안 피라미드는 고주파 성분을 원 영상에서 하부 샘플링하면 서 저주파 필터를 통과한 영상과의 차로서 구해진다. 그러나, 이것은 필연적으로 영상의 중요 성분을 잃어버리는 결과를 가져온다. 또한, 윤곽선의 성분을 추출하는데 있어서 상기에서와 같이 중요 성분을 잃어버리는 결과에 따른 한계를 내포하고 있다.
따라서, 영상 융합을 위해서는 원 영상의 정보를 가급적 많이 포함한 각각의 고주파 영역, 저주파 영역의 영상으로 구분하여, 각각 영상의 장점을 선택해서 새로운 영상으로 합성하는 것이 필요하므로 일반적인 라플라시안 피라미드 영상을 획득하는 방법에 있어서 개선이 필요하다.
본 발명의 실시예에서는 라플라시안 피라미드에서 비선명화 마스크 처리를 적용하고, 보다 원 영상에 충실한 고주파 영역을 획득하기 위한 적응적 가중치(Adaptive Weight)를 가미하는 개선된 영상 융합 방법을 제안한다.
여기서, 비선명화 마스크 처리는 원 영상을 "A"로 나타낸 확대 인자를 곱하여 나타내는 것으로 고주파 증대 또는 고주파 강조 필터의 정의를 만든다. 그에 대해서는 <수학식 2>에서 살펴보기로 한다.
High boost = A(Original) - Lowpass
= (A-1)(Original ) + (Original - Lowpass)
= (A-1)(Original) + Highpass
<수학식 2>는 일반적인 비선명화 마스크 처리의 일반적인 식이다. 여기서, A=1 의 값은 표준적인 고역 통과 결과를 만든다. 그리고, A>1 일 때, 원 영상 일부 분이 고역 통과 결과에 첨가 되는데 그것은 부분적으로 고역 통과 필터 처리 연산에서 잃어버린 저주파 요소들을 복구한다. 그 결과, 고주파 증대된 영상이 원 영상의 정보를 좀 더 포함 할 수 있도록 만든다.
그리고, 그 원 영상의 모서리 개선은 A의 값에 달려있다. <수학식 2>에서의 첫째줄처럼 원 영상으로부터 저주파의 영상을 A 가중치를 가지고 처리되는 방법을 비선명화 마스크 처리(Unsharp masking)이라고 하며, 일반적 적용은 <수학식 3>과 같이 수행한다.
Figure 112004018086764-pat00001
여기에서 L(j, k)는 고주파 영역 영상이고, G(j, k)는 원영상(orignal image), GL(j, k)는 저주파 통과 영역 영상이다. 그리고, c은 가중치(Weight) 상수로 일반적으로 "3/5" 에서 "5/6" 범위를 가진다.
그리고, <수학식 3>은 다른 방법으로 표시하면, <수학식 4>와 같이 표현된다.
Figure 112004018086764-pat00002
이미지 융합의 최대 목적은 원 영상(original image)의 각각 장점을 최대한 취하여 합성하는데 있으므로 원 영상의 정보를 최대한 유지하는 것이 매우 중요하 다.
따라서, <수학식 4>에서 원 영상에 최대한 충실하기 위해 피라미드 윤곽선 영상과 원 영상을 적응적 가중치(Adaptive Weight) 값을 가지는 항으로 원 영상 G(j, k)와 고주파 영상 L(j, k)의 곱 영상을 구한다. 이것으로 다운 샘플링(Down Sampling)으로 인한 영상의 정보 상실에 대한 영상의 보상이 어느 정도 복구하는 효과가 발생된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 이미지의 융합에 있어서 계산량이 많지 않은 특징 레벨 융합과 계산량이 많지만 정확한 화소 레벨 융합을 결합하여, 특징을 추출할 수 있는 영역에 있어서는 특징 추출을 통한 이미지 융합을 수행하고, 특징을 추출할 수 없는 영역에 있어서는 화소 레벨 융합을 수행하여 계산량을 크게 늘이지 않으면서 정확한 이미지의 융합이 가능해지도록 하는 효과가 있다.
또한, 본 발명은, 특징 추출에 있어서, 비선명화 마스크 처리(Unsharp masking)를 한 피라미드 영상을 이용함으로써, 저주파 정보를 포함하는 특징 영상을 가지게 되고 이에 따라 선명한 특징 영상의 추출이 가능해 지는 효과가 있다.

Claims (4)

  1. 다수의 이미지 센서로부터 입력된 이미지에 대한 이미지 융합 방법에 있어서,
    서로 다른 이미지 센서들로부터 각각의 이미지를 입력받는 제 1 단계;
    상기 입력된 각각의 이미지로부터 피라미드 영상을 통한 특징 영상을 각각 추출하는 제 2 단계;
    상기 추출된 각각의 특징 영상에 대해 영역별로 우세한 영상을 선택하여 결합한 결합 영상을 만드는 제 3 단계; 및
    상기 제 2 단계에서 각각의 이미지에서 추출된 특징 영상을 제외한 각각의 이미지 영역을 화소 단위로 결합하여 평균하여, 상기 제 3 단계의 결합 영상과 융합시키는 제 4 단계를 포함하는 다수의 이미지 센서로부터의 이미지 융합 방법.
  2. 제 2 항에 있어서,
    상기 피라미드 영상은, 상기 입력된 이미지로부터 고주파 성분을 추출하기 위한 라플라시안 피라미드 영상인 것을 특징으로 하는 다수의 이미지 센서로부터의 이미지 융합 방법.
  3. 제 3 항에 있어서,
    상기 라플라시안 피라미드 영상에 비선명화 마스크 처리(Unsharp masking)를 함으로써 정보량이 많은 특징을 추출하도록 하는 것을 특징으로 하는 다수의 이미지 센서로부터의 이미지 융합 방법.
  4. 제 1 항에 있어서,
    상기 제 3 단계는,
    상기 추출된 각각의 특징 영상에 대해 동일한 가중치를 적용하는 제 5 단계;
    상기 가중치가 적용된 특징 영상에서 각각의 영역별로 우세한 영상을 선택하는 제 6 단계; 및
    상기 선택된 각각의 영역별로 우세한 영상들을 결합하여 결합 영상을 만드는 제 7 단계를 포함하는 것을 특징으로 하는 다수의 이미지 센서로부터의 이미지 융합 방법.
KR1020040030016A 2004-04-29 2004-04-29 다수의 이미지 센서로부터의 이미지 융합 방법 KR100551826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040030016A KR100551826B1 (ko) 2004-04-29 2004-04-29 다수의 이미지 센서로부터의 이미지 융합 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040030016A KR100551826B1 (ko) 2004-04-29 2004-04-29 다수의 이미지 센서로부터의 이미지 융합 방법

Publications (2)

Publication Number Publication Date
KR20050104663A KR20050104663A (ko) 2005-11-03
KR100551826B1 true KR100551826B1 (ko) 2006-02-13

Family

ID=37282158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040030016A KR100551826B1 (ko) 2004-04-29 2004-04-29 다수의 이미지 센서로부터의 이미지 융합 방법

Country Status (1)

Country Link
KR (1) KR100551826B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104199B1 (ko) 2010-04-20 2012-01-09 국방과학연구소 가시광선 및 적외선 영상신호 융합장치 및 그 방법
CN103942768A (zh) * 2013-01-18 2014-07-23 诺基亚公司 图像融合的方法和装置
KR20190099725A (ko) 2018-02-19 2019-08-28 한화테크윈 주식회사 영상 처리 장치 및 방법
KR20190109138A (ko) 2018-03-16 2019-09-25 한화테크윈 주식회사 감시 시스템 및 그 동작 방법
KR20190120660A (ko) 2018-04-16 2019-10-24 한화테크윈 주식회사 영상 처리 장치 및 방법
KR20190130404A (ko) 2018-05-14 2019-11-22 한화테크윈 주식회사 영상 제공 장치 및 방법
KR20200011200A (ko) 2018-07-24 2020-02-03 한화테크윈 주식회사 영상 제공 장치 및 방법
KR20200094259A (ko) 2019-01-29 2020-08-07 주식회사 유니크 이종센서 기반 dwd 경고 시스템 및 이를 이용한 이종센서 기반 dwd 경고 방법
KR20200094257A (ko) 2019-01-29 2020-08-07 주식회사 유니크 공간 정렬을 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
KR20200094256A (ko) 2019-01-29 2020-08-07 주식회사 유니크 프레임 동기화를 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
KR20200094258A (ko) 2019-01-29 2020-08-07 주식회사 유니크 이종센서 기반 능동형 스마트 시트 제어 시스템과 이를 이용한 이종센서 기반 능동형 스마트 시트 제어 방법
US10904423B2 (en) 2018-03-16 2021-01-26 Hanwha Techwin Co., Ltd. Image providing apparatus and method
KR20230036343A (ko) 2021-09-07 2023-03-14 인천대학교 산학협력단 고화질 영상 융합 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440826B1 (ko) * 2013-02-05 2014-09-23 광주과학기술원 이미지 정합 방법 및 이미지 정합 장치
KR102263590B1 (ko) 2021-04-09 2021-06-10 주식회사 에스아이에이 이미지 정합 방법

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104199B1 (ko) 2010-04-20 2012-01-09 국방과학연구소 가시광선 및 적외선 영상신호 융합장치 및 그 방법
CN103942768A (zh) * 2013-01-18 2014-07-23 诺基亚公司 图像融合的方法和装置
US9501852B2 (en) 2013-01-18 2016-11-22 Nokia Technologies Oy Method and apparatus for image fusion
CN103942768B (zh) * 2013-01-18 2017-05-24 诺基亚技术有限公司 图像融合的方法和装置
KR20190099725A (ko) 2018-02-19 2019-08-28 한화테크윈 주식회사 영상 처리 장치 및 방법
US10904423B2 (en) 2018-03-16 2021-01-26 Hanwha Techwin Co., Ltd. Image providing apparatus and method
KR20190109138A (ko) 2018-03-16 2019-09-25 한화테크윈 주식회사 감시 시스템 및 그 동작 방법
KR20190120660A (ko) 2018-04-16 2019-10-24 한화테크윈 주식회사 영상 처리 장치 및 방법
KR20190130404A (ko) 2018-05-14 2019-11-22 한화테크윈 주식회사 영상 제공 장치 및 방법
KR20200011200A (ko) 2018-07-24 2020-02-03 한화테크윈 주식회사 영상 제공 장치 및 방법
KR20200094259A (ko) 2019-01-29 2020-08-07 주식회사 유니크 이종센서 기반 dwd 경고 시스템 및 이를 이용한 이종센서 기반 dwd 경고 방법
KR20200094257A (ko) 2019-01-29 2020-08-07 주식회사 유니크 공간 정렬을 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
KR20200094256A (ko) 2019-01-29 2020-08-07 주식회사 유니크 프레임 동기화를 이용한 다중 ir 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법
KR20200094258A (ko) 2019-01-29 2020-08-07 주식회사 유니크 이종센서 기반 능동형 스마트 시트 제어 시스템과 이를 이용한 이종센서 기반 능동형 스마트 시트 제어 방법
KR20230036343A (ko) 2021-09-07 2023-03-14 인천대학교 산학협력단 고화질 영상 융합 장치

Also Published As

Publication number Publication date
KR20050104663A (ko) 2005-11-03

Similar Documents

Publication Publication Date Title
KR100551826B1 (ko) 다수의 이미지 센서로부터의 이미지 융합 방법
JP5458905B2 (ja) 画像におけるシャドーの検知装置および検知方法
CN108090888B (zh) 基于视觉注意模型的红外图像和可见光图像的融合检测方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
US7528991B2 (en) Method of generating a mask image of membership of single pixels to certain chromaticity classes and of adaptive improvement of a color image
CN109410171B (zh) 一种用于雨天图像的目标显著性检测方法
CN110163219A (zh) 基于图像边缘识别的目标检测方法
CN106294705A (zh) 一种批量遥感影像预处理方法
CN111462027B (zh) 基于多尺度梯度和抠图的多聚焦图像融合方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
Zhan et al. Quantitative analysis of shadow effects in high-resolution images of urban areas
CN116109535A (zh) 一种图像融合方法、设备及计算机可读存储介质
Zhang et al. Salient target detection based on the combination of super-pixel and statistical saliency feature analysis for remote sensing images
CN110910394A (zh) 影像模组的解像力测量方法
Gupta et al. Fast single image haze removal method for inhomogeneous environment using variable scattering coefficient
KR100551825B1 (ko) 통계적 상관 관계를 이용한 영상의 정렬 방법
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法
CN111080560B (zh) 一种图像的处理与识别方法
CN111291747B (zh) 一种复杂场景下基于深度图的彩色小目标检测方法
CN110163874B (zh) 基于同质区域分割的双边滤波算法
Shen et al. A holistic image segmentation framework for cloud detection and extraction
JP6950376B2 (ja) 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム
Zheng An exploration of color fusion with multispectral images for night vision enhancement
Liu et al. A Classification-Aware HSI Denoising Model With Neural Adversarial Network

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180126

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 15