KR101007409B1 - 영상 융합 처리 장치 및 방법 - Google Patents

영상 융합 처리 장치 및 방법 Download PDF

Info

Publication number
KR101007409B1
KR101007409B1 KR1020100049208A KR20100049208A KR101007409B1 KR 101007409 B1 KR101007409 B1 KR 101007409B1 KR 1020100049208 A KR1020100049208 A KR 1020100049208A KR 20100049208 A KR20100049208 A KR 20100049208A KR 101007409 B1 KR101007409 B1 KR 101007409B1
Authority
KR
South Korea
Prior art keywords
image
images
fusion
detected
transformation matrix
Prior art date
Application number
KR1020100049208A
Other languages
English (en)
Inventor
박장한
Original Assignee
삼성탈레스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사 filed Critical 삼성탈레스 주식회사
Priority to KR1020100049208A priority Critical patent/KR101007409B1/ko
Application granted granted Critical
Publication of KR101007409B1 publication Critical patent/KR101007409B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 융합 처리 장치 및 방법에 관한 것으로, 특히 스테레오 영상 시스템 기반에서 서로 다른 파장 대역의 센서 정보를 융합하여 표적을 탐지하는 영상 융합 처리 장치 및 방법에 관한 것이다. 이를 위해 본 발명은 영상 융합 처리 방법에 있어서, 제1 센서로 입력된 제1 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제1 영상의 윤곽선을 검출하는 과정과, 상기 검출된 제1 영상의 윤곽선에 인접한 미리 정해진 크기의 제1 영역을 선택하는 과정과, 제2 센서로 입력된 제2 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제2 영상의 윤곽선을 검출하는 과정과, 상기 검출된 제2 영상의 윤곽선에 인접한 미리 정해진 크기의 제2 영역을 선택하는 과정과, 상기 제1 및 제2 영역에 위치한 특징점을 대응점으로 선별하여 초기 변환 행렬을 생성하고, 상기 생성된 초기 변환 행렬을 이용하여 상기 제1 영상을 상기 제2 영상의 위치로 변환하는 과정과, 정규화 상호 정보를 기반으로 상기 위치가 변환된 제1 영상과 상기 제2 영상과 비교하여 정합도를 측정하여 상기 제1 및 제2 영상을 융합하는 과정을 포함한다.

Description

영상 융합 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE FUSION SIGNAL FOR IMPROVEMENT OF TARGET DETECTION}
본 발명은 영상 융합 처리 장치 및 방법에 관한 것으로, 특히 스테레오 영상 시스템 기반에서 서로 다른 파장 대역의 센서 정보를 융합하여 표적을 탐지하는 영상 융합 처리 장치 및 방법에 관한 것이다.
일반적으로 스테레오 영상시스템기반의 영상 융합 처리 기법은 인간 시각 체계의 거리 추출 능력을 자동화하기 위한 컴퓨터 시각 분야 중 하나로서 표적의 특징인 깊이(depth) 정보를 이용하여 표적의 깊이 정보와 거리 정보를 추출할 수 있다. 이러한 깊이 정보와 거리 정보는 영상 탐지/추적/인식 시스템의 주요 파라미터로 사용할 수 있다. 이때, 거리 정보를 얻기 위한 기본단계는 영상 획득, 특징 추출, 스테레오 영상 융합, 변위 추정, 변위로부터의 거리계산 등으로 이루어지는데, 여기서 가장 중요한 파라미터는 특징으로 사용될 융합요소의 선택과 그 요소에 적절한 융합 전략을 구하는 것이다. 각 센서의 LOS(line of sight) 및 시야각(Field Of View; FOV)이 차이 나는 경우에 스테레오 영상 시스템 기반 영상 융합(image registration)은 반드시 이루어져야 한다.
영상 융합은 같은 장면이나 물체에 대한 두 개 이상의 영상들의 위치 관계를 대응 시켜주는 과정으로써 다중 센서를 이용한 융합시스템에서 핵심적인 부분을 차지한다. 영상 융합의 대상이 되는 영상들은 단일 센서를 이용하여 시차를 두어 획득한 영상들, 서로 다른 시점에서 획득한 영상들, 혹은 서로 다른 여러 개의 센서로부터 획득된 특성이 다른 영상들에 이르기까지 다양하다.
일반적으로 융합하고자 하는 2D(2 Dimension) 영상들은 각각의 해당 픽셀 좌표계 상에서 독립적으로 표현이 되어 있기 때문에 서로 다른 환경(시점, 시야각 등)에서 획득된 영상들은 상대적으로 위치 관계가 어긋나 있게 되고 이를 하나의 좌표계로 정렬시켜 주는 영상 융합 과정이 필요하다. 또한 다중 센서로 획득된 영상들의 경우, 센서 고유의 특성 차이로 인해 영상 픽셀의 밝기 값 정보가 현저히 차이가 나기 때문에 특별한 주의가 필요하다. 따라서 다양한 다중 센서 영상들에 대해 강인하면서도 정확한 영상 융합 기법이 요구된다. 또한 물체 인식 및 추적 시스템, 자동화 감시 시스템 등의 다중 센서 영상의 실시간 처리가 요구되는 많은 분야에서는 영상 융합 기법의 강인성 및 정확성 뿐만 아니라 고속 알고리즘의 필요성이 크게 부각되고 있다.
이러한 융합 방법론 관점에서 영상 융합은 크게 두 가지로 분류될 수 있다. 하나는 특징 기반 융합 기법이고 다른 하나는 영상 기반 융합 기법이다. 특징기반 융합 기법은 융합 하고자 하는 두 영상의 특징량을 추출하고, 추출된 특징량 간의 대응 관계를 설정하여 두 영상을 정렬 시키는 반면, 영상 기반 융합 기법은 영상 전체 픽셀의 밝기 값의 분포를 이용하는 방법으로써 최적화 기법을 통해 사전에 정의된 유사성 척도가 최대, 또는 최소가 되는 수렴 포인트를 찾는 방법이다.
이러한 영상 융합 기술은 현재 활발하게 연구되고 있다. 특히, 민간 산업 중에는 CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Position Emission Tomography) 등의 상호 보완적인 영상 정보들을 융합하여 보다 더 정밀하고 정확한 진단을 내릴 수 있는 도구로써 이용하고 있고, 국방 산업에서는 전하 결합 소자(Charge-Coupled Device, CCD)와 적외선(Infrared, IR) 센서 등 서로 다른 파장 대역의 센서 정보를 융합하여 물체 인식 및 추적 시스템의 신뢰성 및 정확성을 높이는데 이용하는 경우가 있다. 그 외에도 자동화 감시 시스템 및 로봇 등 실생활의 많은 응용 분야에서도 해당 연구가 활발히 진행되고 있다.
도 1은 종래 영상 기반 융합 방법을 나타낸 예시도이다.
도시된 바와 같이, 종래 영상 기반 융합은 도 1a와 같이 전하 결합 소자(Charge-Coupled Device, CCD) 영상에서 대응점을 검출하고, 도 1b와 같이 적외선 영상에서 대응점을 검출하여 융합하는 것으로서, 도 1a 및 도 1b에서 대응점(파란색 점)이 영상의 특징을 나타낸다.
이러한 종래 영상 기반 융합 기법은 CCD 영상(도 1a)과 적외선 영상(도 1b)이 입력되면, 각각에서 최소 4 점 이상의 대응점들이 수동으로 주어지게 되며 이 초기 대응점을 바탕으로 초기 변환 행렬(transform matrix)을 계산한다. CCD 영상을 이 변환 행렬을 이용하여 업데이트 및 변환시키면 적외선 영상과 비슷한 위치에 놓이게 되며, 정규화 상호 정보(Normalized Mutual Information NMI) 기반으로 얼마나 융합이 잘 이루어졌는지 판별하게 된다. 만약, NMI 수치가 수렴하였으면, 융합이 이루어진 것으로 보고, 수렴하지 않았다면 상관도가 커지는 방향으로 변환 행렬 H를 업데이트하고 다시 같은 과정을 반복하여 최종 H를 구하게 된다.
1) 변환 모델
도면 1에서 사용된 변환 모델은 2D 원근적 변환(projective transform) 모델이다. 이 모델은 평면 영상을 핀홀(pinhole) 카메라로 바라본다고 할 때 발생할 수 있는 왜곡을 정확하게 표현할 수 있기 때문에 영상 융합에서 널리 쓰인다. 이 변환 모델을 이용하면 임의의 사변형을 직사각형으로 매핑할 수 있다. 변환 행렬을 H 라고 했을 때 동차 좌표계에서 원근적 변환은 하기 <수학식 1>과 같이 표현이 가능하다.
Figure 112010033767348-pat00001
상기 <수학식 1>에서 행렬 H는 3D를 2D로 투영시키기 위한 행렬로서, 이를 비동차 좌표계로 나타내게 되면 CCD 영상에서 (x,y)였던 점은 적외선 영상에서 하기 <수학식 2>와 같이 좌표 (x',y') 으로 변환된다.
Figure 112010033767348-pat00002
2) NMI 융합 기준
종래 영상 기반 융합 방법에 따른 두 영상 즉, 도 1a와 도 1b의 융합이 얼마나 잘 이루어졌는지 판단하기 위해서 정규 상호 정보(Normalized Mutual Information, NMI)를 이용한다. 먼저 상호 정보란 정보 이론에 근간을 둔 유사성 척도로써 A의 확률 분포, B의 확률 분포, A와 B의 결합 확률 분포를 각각 PA(a), PB(b), PAB(a,b)로 나타낸다고 했을 때 하기 <수학식 3>과 같다.
Figure 112010033767348-pat00003
이때, 두 영상의 상호 정보 I(A,B)를 엔트로피로 표현했을 때 하기 <수학식 4>와 같다.
Figure 112010033767348-pat00004
영상융합 과정에서 모든 엔트로피 값은 두 영상의 중첩되는 영역에 대하여 계산하기 때문에 이를 보완하기 위해 상호 정보를 결합 엔트로피로 정규화한 정규 상호 정보를 사용하며, 종래 두 영상(A, B)의 상호 정보량은 하기 <수학식 5>로 표현된다.
Figure 112010033767348-pat00005
도 2는 종래 영상 기반 융합 방법을 나타낸 순서도이다.
도시된 바와 같이, 종래 영상 기반 융합 방법은 제1 및 제2 센서로부터 제1 및 제 2 영상이 입력되면, 입력된 제1 및 제2 영상에서 최소 4개 이상의 대응점들이 지정되게 되는데, 이러한 대응점을 이용하여 초기 변환 행렬을 생성한다(S201, S203). 상기 제 1 및 제 2 센서는 영상을 융합하기 위한 센서로서, CCD와 IR이 있다. 이러한 CCD와 IR을 통해 촬영된 영상을 CCD 영상과 IR 영상이라 한다. 이러한 CCD 영상과 IR 영상에는 Harris 검출기를 통해 최소 4개 이상의 대응점을 추출할 수 있으며, 이러한 대응점을 이용하여 초기 변환 행렬(H)를 생성한다. 초기 변환 행렬(H)이 생성되면, 생성된 초기 변환 행렬을 이용하여 제1 영상(예: CCD 영상)을 업데이트하고 변환시킨다(S205). 이처럼 제1 영상을 초기 변환 행렬을 이용하여 변환시키면, IR 영상과 비슷한 위치에 놓이게 되어 융합할 수 있다. 이처럼, 비슷한 위치에 놓이면, 제1 영상과 제2 영상과 정규화 상호 정보(Normalized Mutual Information)를 기반으로 하여 제1 영상과 제2 영상을 비교하여 융합도를 측정한다(S207). 측정된 융합도가 수렴되면, 제1 및 제2 영상을 융합하여 디스플레이한다(S209, S211). 만일, 상기 과정(S209)에서 측정된 융합도가 수렴되지 않으면, 즉, 미리 결정된 임계값보다 적으면 상기 과정(S203)에서 생성된 초기 변환 행렬을 업데이트하고, 업데이트된 초기 변환 행렬을 잉요하여 제 1영상을 변환시키는 과정(S205)로 회귀한다(S213).
그런데, 이러한 종래 영상 기반 융합 방법은 밝기가 확연히 차이나는 두 영상을 융합할 때, 융합이 잘 성립되지 않는 문제점이 있으며, 2D 원근적 모델을 적용하기 위해 윤곽선 정보와 겹쳐서 영상 왜곡 정도를 파악할 수 없는 문제점이 있다.
본 발명은 상술한 종래 문제점을 해결하기 위하여 스테레오 영상 시스템 기반에서 서로 다른 파장 대역의 센서 정보를 융합하여 표적을 탐지하는 영상 융합 처리 장치 및 방법을 제공한다.
또한, 본 발명은 상술한 종래 문제점을 해결하기 위하여 스테레오 영상 시스템 기반의 표적 탐지 향상을 위한 영상 융합 신호처리에서 서로 다른 파장 대역의 CCD 영상과 IR 영상을 융합할 때, IR 영상에서 얻지 못하는 특징 정보를 CCD 영상에서 획득하여 주간에 표적 정보를 향상시키는 영상 융합 처리 장치 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 영상 융합 처리 장치에 있어서, 제1 센서로 입력된 제1 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제1 영상의 윤곽선을 검출하는 제1 검출부와, 상기 검출된 제1 영상의 윤곽선에 인접한 미리 정해진 크기의 제1 영역을 선택하는 제1 영역 선택부와, 제2 센서로 입력된 제2 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제2 영상의 윤곽선을 검출하는 제2 검출부와, 상기 검출된 제2 영상의 윤곽선에 인접한 미리 정해진 크기의 제2 영역을 선택하는 제2 영역 선택부와, 상기 제1 및 제2 영역에 위치한 특징점을 대응점으로 선별하여 초기 변환 행렬을 생성하고, 상기 생성된 초기 변환 행렬을 이용하여 상기 제1 영상을 상기 제2 영상의 위치로 변환하고, 정규화 상호 정보를 기반으로 상기 위치가 변환된 제1 영상과 상기 제2 영상과 비교하여 정합도를 측정하여 상기 제1 및 제2 영상을 융합하는 융합부를 포함한다.
또한, 상술한 바를 달성하기 위한 본 발명은 영상 융합 처리 방법에 있어서, 제1 센서로 입력된 제1 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제1 영상의 윤곽선을 검출하는 과정과, 상기 검출된 제1 영상의 윤곽선에 인접한 미리 정해진 크기의 제1 영역을 선택하는 과정과, 제2 센서로 입력된 제2 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제2 영상의 윤곽선을 검출하는 과정과, 상기 검출된 제2 영상의 윤곽선에 인접한 미리 정해진 크기의 제2 영역을 선택하는 과정과, 상기 제1 및 제2 영역에 위치한 특징점을 대응점으로 선별하여 초기 변환 행렬을 생성하고, 상기 생성된 초기 변환 행렬을 이용하여 상기 제1 영상을 상기 제2 영상의 위치로 변환하는 과정과, 정규화 상호 정보를 기반으로 상기 위치가 변환된 제1 영상과 상기 제2 영상과 비교하여 정합도를 측정하여 상기 제1 및 제2 영상을 융합하는 과정을 포함한다.
상술한 바와 같이, 본 발명에 따른 영상 융합 처리 방법은 스테레오 영상 시스템 기반에서 밝기가 학연히 차이가 나는 두 영상이라 하더라도 상호 정보량을 이용하여 융합을 수행했을 경우 대응 관계가 잘 성립되어 표적을 쉽게 탐지할 수 있는 효과가 있으며, 2D 원근적 모델을 적용하기 위해 윤곽선 정보와 겹치게 함으로써 영상 왜곡 정도를 쉽게 파악할 수 있을 뿐만 아니라 두 영상을 융합할 수 있는 효과가 있다.
도 1은 종래 영상 기반 융합 방법을 나타낸 예시도.
도 2는 종래 영상 기반 융합 방법을 나타낸 순서도.
도 3은 본 발명의 실시 예에 따른 영상 융합 처리 장치를 나타낸 블럭도.
도 4는 본 발명의 실시 예에 따른 적외선 영상의 윤곽선으로 CCD 영상을 겹친 영상을 나타낸 예시도.
도 5는 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상의 대응점을 선별한 결과를 나타낸 예시도.
도 6은 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상에서 추출된 대응점을 나타낸 예시도.
도 7은 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상에서 왜곡 정도를 파악하기 위해 윤곽선의 겹침을 나타낸 예시도.
도 8은 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상을 융합한 결과를 나타낸 예시도.
도 9는 본 발명의 실시 예에 따른 영상 융합 처리 방법을 나타낸 순서도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 스테레오 영상 시스템 기반에서 표적 탐지 향상을 위한 영상 융합 신호 처리에 관한 것으로서, 서로 다른 파장 대역의 센서 정보를 융합하여 주/야간으로 물체를 인식하고 추적을 가능하게 하는 기술로서 영상 융합 시스템에서 해심이 되는 기술 분야이다. 이러한 본 발명에 따른 영상 융합 처리 장치 및 방법을 상세히 설명한다.
도 3은 본 발명의 실시 예에 따른 영상 융합 처리 장치를 나타낸 블럭도이다.
도시된 바와 같이, 본 발명은 영상을 촬영하는 제1 센서(301) 및 제2 센서(307)와, 제1 센서(301)로부터 촬영된 영상에서 적어도 하나 이상의 특징점을 추출하고, 추출된 특징점을 이용하여 촬영된 영상에서 표적의 윤곽선을 검출하는 제1 검출부(303)와, 검출된 윤곽선에 인접한 미리 정해진 크기의 영역을 선택하는 제1 영역 선택부(305)와, 상기 제2 센서(307)로부터 촬영된 영상을 상기 제1 센서(301)로부터 촬영된 영상보다 큰 수의 특징점을 검출하고, 검출된 특징점을 이용하여 촬영된 영상에서 표적의 윤곽선을 검출하는 제2 검출부(309)와, 검출된 윤곽선을 통해서 특징점마다 미리 정해진 영역을 선택하는 제2 영역 선택부(311)와, 상기 제1 영역 선택부(305)와 상기 제2 영역 선택부(311)에서 각각 선택된 영역을 상호 정보를 기반으로하여 정합하여 초기 대응점을 지정하고, 지정된 초기 대응점을 이용하여 초기 변환 행렬을 계산하고, 상기 제1 센서(301)에서 촬영된 영상을 상기 초기 변환 행렬을 이용하여 업데이트하고 변환시켜 상기 제2 센서에서 촬영된 영상과 비슷한 위치에 놓고, 정규 상호 정보를 이용하여 정합이 잘 이우러졌는지 판별하는 융합부(313)와, 융합이 잘 이루어졌으면, 융합된 영상을 디스플레이하는 출력부(315)를 포함한다. 즉, 상기 융합부(313)는 정규화 상호 정보를 기반으로 변환된 제1 영상과 제2 영상을 비교하여 정합도를 측정하여 융합한다. 융합시, 측정된 정합도가 임계 범위로 수렴되면 융합하지만, 임계 범위로 수렴되지 않으면, 상기 초기 변환 행렬을 업데이트한다.
이하, 도 3을 참조하여 본 발명의 실시 예에 따른 영상 융합 처리 장치를 상세히 설명하면 다음과 같다.
본 발명에 따른 영상 융합 처리 장치(300)는 적어도 2개 이상의 센서들로부터 촬영된 영상을 융합하는 장치이다. 이를 위해 본 발명에 따른 제1 센서(301)는 전하 결합 소자(Charge-Coupled Device, CCD)에 의한 영상 즉, CCD 영상을 촬영하는 장치이며, 제2 센서(307)는 적외선(Infrared, IR)을 이용한 영상 즉, IR 영상을 촬영하는 장치이다.
이와 같이, 제1 센서 및 제2 센서(301, 307)로부터 CCD 영상 및 적외선 영상이 촬영되면, 제1 및 제2 검출부(303, 309)는 촬영된 CCD 영상에서 적어도 하나 이상의 대응점들이 추출되도록 특징점을 검출한다. 특징점을 검출하기 위해 Harris 검출기를 이용한다. 그리고, 특징점이 검출되면, 편미분 연산자를 이용하여 검출된 특징점에 해당되는 윤곽선을 검출한다. 윤곽선이 검출되면, 제1 및 제2 영역 선택부(305, 311)는 각 특징점마다 제1 및 제2 영상의 윤곽선에 인접한 미리 정해진 크기의 영역을 선택한다. 상기 미리 정해진 영역은 가로 세로 33×33 크기의 블로으로 이루어진 영역이다. 이와 같이, 제 1 센서(301)와 제2 센서(307)에서 촬영된 CCD 영상 및 적외선 영상은 기하학적인 특성 즉, 모서리, 코너등과 같은 특징점들을 가지며, 특징점의 위치는 비슷한 분포를 가지며, 이에 따라 양쪽 영상에서 코너 점들과 모서리 점들이 검출된다. 이러한 두 센서가 비슷한 방향을 바라보고 있다고 가정할 경우, 타켓은 두 영상에서 비슷한 크기, 비슷한 회전각을 가지게 되므로 크기 불면 변환에서와 같이 크기 변화나 회전 변화가 없다.
또한, 제2 검출부(309)는 제2 센서(307)로부터 촬영된 적외선 영상에서 특징점을 검출하는데, 적외선 영상에서 검출된 특징점은 CCD영상에서 검출된 영상의 약 1.5배를 갖는다. 그리고, 특징점이 검출되면, 편미분 연산자를 이용하여 검출된 특징점에 해당되는 윤곽선을 검출한다.
도 4는 본 발명의 실시 예에 따른 적외선 영상의 윤곽선으로 CCD 영상을 겹친 영상을 나타낸 예시도이다.
도시된 바와 같이, 도 4는 적외선 영상의 윤곽선으로 CCD 영상에 겹친 영상을 나타낸 예시도로서, 두 영상간에 겹침을 확인할 수 있다. 상기 제2 검출부(309)은 적외선 영상에서 상당한 밝기의 차이가 있는 곳, 즉, 물체의 경계, 픽셀 값의 불연속, 및 픽셀 미분 값의 불연속 점에 존재하는 윤곽선을 검출한다. 그리고, 제2 영역 선택부(311)는 검출된 윤곽선을 토대로 미리 정해진 영역을 선택한다.
이 때, 두 센서가 동일한 방향을 바라보고 있다고 할 때 어떤 물체는 두 영상에서 비슷한 크기, 비슷한 회전각을 가지게 되므로 영상 대조를 통해 크기 변화나 회전 변화에 대해서 고려할 필요가 없다. 따라서 기본적인 편미분 연산자로 Gradient를 사용하여 윤곽선 정보를 검출한다.
윤곽선이 검출되면, CCD 영상 및 적외선 영상에서 검출된 특징점들 간의 대응 관계를 밝히기 위해서 검출된 윤곽선 주변의 영역을 서로 비교하고, 비슷한 패치를 갖는 특징점 쌍을 찾는다. 이러한, 영역은 미리 정해지며, 가로 세로 33×33의 픽셀로 이루어진 영역이다. 동일한 센서로부터 얻어진 영상을 정합하는 경우에는 SAD(Sum of Absolute Difference), MAD(Mean of Absolute Difference)등의 블록 정합 방식 또는 SIFT(Scale Invariant Feature Transform) 기법의 descriptor 등을 사용하여 정합을 수행할 수 있다. 그러나, 이종 센서의 경우, 밝기 값의 대응 관계가 불분명하기 때문에 밝기값을 비교하는 대신 확률적인 접근법을 사용해야 한다. 따라서 본 발명에서는 특징점에서 나온 패치를 이용하여 상호 정보(mutual information)을 구하고 그 값이 가장 큰 것을 대응점으로 판별한다.
예를 들어, 특징점 f1, f2가 있다고 할 때, 이들 f1, f2을 중심으로 한 33×33 크기의 블록을 패치(patch)로 정하고, 각각 B1, B2라고 한다. 이때, 두 특징 점 f1, f2의 유사성을 B1, B2의 상호 정보량으로 표시하면 아래 <수학식 6>으로 표현할 수 있다.
Figure 112010033767348-pat00006
상기 <수학식 6>에서 a, b은 픽셀 위치를 나타내며, PA(a)과 PB(b)는 각각 패치 B1의 히스토그램, B2의 히스토그램으로부터 구하고, PAB(a,b)는 B1, B2로 구성한 결합 히스토그램으로부터 구한다.
이러한 상호 정보량을 구하는 과정은 모든 특징점에 걸쳐서 수행된다. 즉, 어떤 특징점 f가 있고, 일정 거리 안에 있는 특징점이 n개가 있다고 가정하면, n개의 특징점에 대해 상호 정보량을 모두 구한다. 그리고, 구해진 상호 정보량들 중에서 가장 큰 상호 정보량이 그 다음으로 큰 상호 정보량보다 1.5배 이상이 될 때, 신뢰성 있는 정합이 이루어진 것으로 보고 해당되는 특징점 쌍을 대응점으로 선별한다. 대응점을 선별한 예시도는 도 5와 같으며, 후술한다. 그리고, 이러한 특징점 쌍을 4개 이상 구하고, 이를 바탕으로 초기 변환 행렬 H를 생성한다. 그리고, 만일, (x,y), (x',y')가 서로 대응되는 점이라고 하면 아래 <수학식 7>로 표현된다.
Figure 112010033767348-pat00007
상술한 <수학식 7>을 이용하면 초기 변환 행렬은 아래 <수학식 8>과 같이 구할 수 있다.
Figure 112010033767348-pat00008
제1 및 제2 영역 선택부(305, 311)에서 영역이 각각 선택되면, 융합부(313)는 상호 정보(mutual imformation)를 기반으로하여 정합을 수행하며, 정합이 수행되면, 초기 대응점이 지정된다. 초기 대응점이 지정되면, 대응 위치를 판별하기 위해 지정된 초기 대응점을 이용하여 상술한 바와 같이, 초기 변환 행렬(H)을 생성한다. 이러한 생성된 초기 변환 행렬(H)을 이용하여 CCD 영상을 업데이트하고, 초기 변환 행렬(H)을 이용하여 변환시켜서 적외선 영상과 비슷한 위치에 놓는다. 상기 적외선 영상은 CCD 영상과 마찬가지로 특징점을 검출하고, 윤곽선을 검출하고, 미리 정해진 영역을 선택하는 과정을 수행한다. 이와 같이, CCD 영상이 변환되면, 정규화 상호 정보(Normalized Mutual Information, NMI)에 따라서 변환된 CCD 영상과 상기 제2 센서(307)에서 촬영된 적외선 영상의 정합도를 측정하여 정합이 잘 이루어졌는지 판별한다. 만일, 정규화 상호 정보의 수치가 수렴되면, 정합이 잘 이루어진 것을 의미한다. 그러나, 만일, 수렴하지 않았다면 상관도가 커지는 방향으로 초기 변환 행렬(H)을 업데이트하고, CCD 영상을 변환하는 과정을 반복하여 최종 변환 행렬을 계산한다.
도 5는 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상의 대응점을 선별한 결과를 나타낸 예시도이다.
도시된 바와 같이, 제1 센서 및 제2 센서에서 촬영된 CCD 영상(도 5a) 및 적외선 영상(도 5b)을 융합하기 위해서는 대응되는 점을 선별해야만 한다. 다시 말하면, 제1 센서와 제2 센서가 표적을 촬영할 시, 촬영되는 위치가 서로 다르기 때문에, 표적과 표적의 주변에 위치한 사물들간의 각도 및 거리가 다르게 된다. 이러한 상황에서 CCD 영상 및 적외선 영상을 융합하기 위해서는 도시된 바와 같이, 동일한 특징점들 끼리 융합해야한다. 이와 같이, 동일한 특징점들끼리 융합함으로써, 도 5a 및 도 5b와 같이 밝기가 확연히 차이가 나는 두 영상이라 하더라고, 상호 정보량을 이용하여 정합을 수행했을 경우 대응 관계가 잘 성립된다.
도 6은 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상에서 추출된 대응점을 나타낸 예시도이다.
도시된 바와 같이, 상호 정보량을 이용하여 동일한 특징점들끼리 융합이되면, CCD 영상과 적외선 영상에서 대응점을 추출할 수 있다.
도 7은 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상에서 왜곡 정도를 파악하기 위해 윤곽선의 겹침을 나타낸 예시도이다.
도시된 바와 같이, 2D 원근적 모델을 적용하기 위해 윤곽선 정보와 겹침으로써 영상 왜곡 정도를 파악할 수 있다.
도 8은 본 발명의 실시 예에 따른 CCD 영상과 적외선 영상을 융합한 결과를 나타낸 예시도이다.
도시된 바와 같이, 본 발명에 따른 CCD 영상과 적외선 영상에서 특징점을 검출하여 윤곽선을 검출하고, 검출된 윤곽선에서 소정 영역을 선택하고, 선택된 영역에서 특징점을 대응점으로 선별하여 융합함으로써 CCD 영상과 적외선 영상을 융합할 수 있다.
도 9는 본 발명의 실시 예에 따른 영상 융합 처리 방법을 나타낸 순서도이다.
이하, 도 9를 참조하여 본 발명의 실시 예에 따른 영상 융합 처리 방법을 상세히 설명하면 다음과 같다.
본 발명에 따른 제1 센서에서 촬영된 제1 영상 즉, CCD 영상이 입력되면, 입력된 제1 영상의 특징점을 검출하고, 검출된 특징점을 이용해 윤곽선을 검출한다(S901, S903). 본 발명은 특징점을 검출하기 위해 Harris 검출기를 이용한다. 그리고, 특징점이 검출되면, 편미분 연산자를 이용하여 검출된 특징점에 해당되는 윤곽선을 검출한다. 이와 같이, 윤곽선이 검출되면, 검출된 윤곽선을 통해서 미리 정해진 영역을 선택한다(S905). 미리 정해진 영역은 일정한 크기를 갖는 블록으로서, 예로 33×33의 크기를 갖는다. 마찬가지로, 제2 센서에서 촬영된 제2 영상 즉, 적외선 영상이 입력되면, 입력된 제2 영상의 특징점을 검출하고, 검출된 특징점을 이용해 윤곽선을 검출한다(S907, S909). 검출된 윤곽선을 통해서 미리 정해진 영역을 선택한다(S911). 제1 및 제2 영상의 선택된 영역에서 특징점을 대응점으로 선별한다(S913). 선별되는 대응점은 최소 4개 이상을 가지며, 이러한 선별된 대응점을 이용하여 초기 변환 행렬을 생성한다(S915). 초기 변환 행렬을 이용하여 제1 영상을 업데이트하고 변환시킨다(S917). 이와 같이, 초기 변환 행렬을 이용하여 제1 영상을 변환시키면, 변환된 제1 영상은 적외선 영상과 비슷한 위치에 놓이게 되어 서로 융합할 수 있다. 그리고, 변환된 제1 영상을 정규화 상호 정보를 기반으로하여 제2 영상과 비교하여 정합도를 측정한다(S919). 측정된 정합도가 수렴되면, 제1 및 제2 영상을 융합하여 디스플레이한다(S921, S923). 만일, 상기 과정(S921)에서 측정된 정합도가 수렴되지 않으면, 상기 과정(S915)에서 생성된 초기 변환 행렬을 업데이트하고, 상기 과정(S917)으로 회귀한다.

Claims (8)

  1. 영상 융합 처리 장치에 있어서,
    제1 센서로 입력된 제1 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제1 영상의 윤곽선을 검출하는 제1 검출부와,
    상기 검출된 제1 영상의 윤곽선에 인접한 미리 정해진 크기의 제1 영역을 선택하는 제1 영역 선택부와,
    제2 센서로 입력된 제2 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제2 영상의 윤곽선을 검출하는 제2 검출부와,
    상기 검출된 제2 영상의 윤곽선에 인접한 미리 정해진 크기의 제2 영역을 선택하는 제2 영역 선택부와,
    상기 제1 및 제2 영역에 위치한 특징점을 대응점으로 선별하여 초기 변환 행렬을 생성하고, 상기 생성된 초기 변환 행렬을 이용하여 상기 제1 영상을 상기 제2 영상의 위치로 변환하고, 정규화 상호 정보를 기반으로 상기 위치가 변환된 제1 영상과 상기 제2 영상과 비교하여 정합도를 측정하여 상기 제1 및 제2 영상을 융합하는 융합부를 포함하며,
    상기 융합부는
    상기 측정된 정합도가 미리 결정된 임계 범위로 수렴되면, 상기 제1 및 제2 영상의 위치 관계를 대응하여 상기 제1 및 제2 영상을 융합하며,
    상기 정합도는 하기 <수학식 9>를 통해 계산되며,
    <수학식 9>
    Figure 112010063958714-pat00020

    상기 <수학식 9>에서 a, b은 제1 및 제2 영상의 픽셀 위치를 나타내며, PA(a)는 상기 제1 영상의 픽셀 위치에 해당되는 제1 영상의 특징점을 중심으로 미리 정해진 크기를 갖는 패치(patch)의 제1 히스토그램으로부터 구해진 확률 분포를 나타내고, PB(b)는 상기 제2 영상의 픽셀 위치에 해당되는 제2 영상의 특징점을 중심으로 미리 정해진 크기를 갖는 패치(patch)의 제2 히스토그램으로부터 구해진 확률 분포를 나타내고, PAB(a,b)는 상기 제1 및 제2 히스토그램을 결합한 히스토그램으로부터 구해진 확률 분포를 나타내는 것을 특징으로 하는 영상 융합 처리 장치.
  2. 제1 항에 있어서, 상기 융합부는
    상기 측정된 정합도가 상기 미리 결정된 임계 범위로 수렴되지 않으면 상기 초기 변환 행렬을 업데이트하는 영상 융합 처리 장치.
  3. 제2 항에 있어서, 상기 융합부는
    상기 업데이트된 초기 변환 행렬을 이용하여 상기 제1 영상을 업데이트한 후, 상기 제2 영상의 위치로 변환하는 영상 융합 처리 장치.
  4. 삭제
  5. 영상 융합 처리 방법에 있어서,
    제1 센서로 입력된 제1 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제1 영상의 윤곽선을 검출하는 과정과,
    상기 검출된 제1 영상의 윤곽선에 인접한 미리 정해진 크기의 제1 영역을 선택하는 과정과,
    제2 센서로 입력된 제2 영상으로부터 적어도 하나 이상의 특징점을 검출하고, 검출된 특징점을 이용해 상기 제2 영상의 윤곽선을 검출하는 과정과,
    상기 검출된 제2 영상의 윤곽선에 인접한 미리 정해진 크기의 제2 영역을 선택하는 과정과,
    상기 제1 및 제2 영역에 위치한 특징점을 대응점으로 선별하여 초기 변환 행렬을 생성하고, 상기 생성된 초기 변환 행렬을 이용하여 상기 제1 영상을 상기 제2 영상의 위치로 변환하는 과정과,
    정규화 상호 정보를 기반으로 상기 위치가 변환된 제1 영상과 상기 제2 영상과 비교하여 정합도를 측정하고, 상기 측정된 정합도가 미리 결정된 임계 범위로 수렴되면 상기 제1 및 제2 영상의 위치 관계를 대응하여 상기 제1 및 제2 영상을 융합하는 과정을 포함하며,
    상기 정합도는 하기 <수학식 10>을 통해 계산되며,
    <수학식 10>
    Figure 112010063958714-pat00021

    상기 <수학식 10>에서 상기 a, b은 제1 및 제2 영상의 픽셀 위치를 나타내며, PA(a)는 상기 제1 영상의 픽셀 위치에 해당되는 제1 영상의 특징점을 중심으로 미리 정해진 크기를 갖는 패치(patch)의 제1 히스토그램으로부터 구해진 확률 분포를 나타내고, PB(b)는 상기 제2 영상의 픽셀 위치에 해당되는 제2 영상의 특징점을 중심으로 미리 정해진 크기를 갖는 패치(patch)의 제2 히스토그램으로부터 구해진 확률 분포를 나타내고, PAB(a,b)는 상기 제1 및 제2 히스토그램을 결합한 히스토그램으로부터 구해진 확률 분포를 나타내는 것을 특징으로 하는 과정을 포함하는 영상 융합 처리 방법.
  6. 제5 항에 있어서, 상기 측정된 정합도가 상기 미리 결정된 임계 범위로 수렴되지 않으면 상기 초기 변환 행렬을 업데이트하는 과정을 포함하는 영상 융합 처리 방법.
  7. 제6 항에 있어서, 상기 업데이트된 초기 변환 행렬을 이용하여 상기 제1 영상을 업데이트한 후, 상기 제2 영상의 위치로 변환하는 영상 융합 처리 방법.
  8. 삭제
KR1020100049208A 2010-05-26 2010-05-26 영상 융합 처리 장치 및 방법 KR101007409B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100049208A KR101007409B1 (ko) 2010-05-26 2010-05-26 영상 융합 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100049208A KR101007409B1 (ko) 2010-05-26 2010-05-26 영상 융합 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101007409B1 true KR101007409B1 (ko) 2011-01-14

Family

ID=43616123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100049208A KR101007409B1 (ko) 2010-05-26 2010-05-26 영상 융합 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101007409B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101194405B1 (ko) 2012-02-06 2012-10-31 삼성탈레스 주식회사 복수의 이종 센서들을 이용한 표적 탐지 방법
KR101202215B1 (ko) 2012-01-12 2012-11-16 삼성탈레스 주식회사 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템
CN104021536A (zh) * 2014-06-16 2014-09-03 西北工业大学 一种自适应的sar图像和多光谱图像融合方法
KR101570856B1 (ko) 2014-05-16 2015-11-24 큐렉소 주식회사 조직 위치 검출 방법 및 이를 이용하는 장치
CN108416735A (zh) * 2018-03-19 2018-08-17 深圳市深图医学影像设备有限公司 基于几何特征的数字化x线图像的拼接方法及装置
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN111950501A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备
CN114257703A (zh) * 2021-12-14 2022-03-29 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN116680557A (zh) * 2023-08-03 2023-09-01 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于煤层气钻井工程的实时监测系统及其方法
CN117934571A (zh) * 2024-03-21 2024-04-26 广州市艾索技术有限公司 一种4k高清的kvm坐席管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050007504A (ko) * 2003-07-08 2005-01-19 대한민국(서울대학교 총장) 특징점 정합 및 기본 함수 추정 방법
KR20050058085A (ko) * 2003-12-11 2005-06-16 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100591608B1 (ko) 2005-03-18 2006-06-20 전남대학교산학협력단 영상 정합시 대응점 검색방법
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050007504A (ko) * 2003-07-08 2005-01-19 대한민국(서울대학교 총장) 특징점 정합 및 기본 함수 추정 방법
KR20050058085A (ko) * 2003-12-11 2005-06-16 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100591608B1 (ko) 2005-03-18 2006-06-20 전남대학교산학협력단 영상 정합시 대응점 검색방법
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101202215B1 (ko) 2012-01-12 2012-11-16 삼성탈레스 주식회사 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템
KR101194405B1 (ko) 2012-02-06 2012-10-31 삼성탈레스 주식회사 복수의 이종 센서들을 이용한 표적 탐지 방법
KR101570856B1 (ko) 2014-05-16 2015-11-24 큐렉소 주식회사 조직 위치 검출 방법 및 이를 이용하는 장치
CN104021536A (zh) * 2014-06-16 2014-09-03 西北工业大学 一种自适应的sar图像和多光谱图像融合方法
CN108416735A (zh) * 2018-03-19 2018-08-17 深圳市深图医学影像设备有限公司 基于几何特征的数字化x线图像的拼接方法及装置
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN111950501A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备
CN111950501B (zh) * 2020-08-21 2024-05-03 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备
CN114257703A (zh) * 2021-12-14 2022-03-29 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN114257703B (zh) * 2021-12-14 2023-12-01 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN116680557A (zh) * 2023-08-03 2023-09-01 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于煤层气钻井工程的实时监测系统及其方法
CN116680557B (zh) * 2023-08-03 2023-10-27 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于煤层气钻井工程的实时监测系统及其方法
CN117934571A (zh) * 2024-03-21 2024-04-26 广州市艾索技术有限公司 一种4k高清的kvm坐席管理系统
CN117934571B (zh) * 2024-03-21 2024-06-07 广州市艾索技术有限公司 一种4k高清的kvm坐席管理系统

Similar Documents

Publication Publication Date Title
KR101007409B1 (ko) 영상 융합 처리 장치 및 방법
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
CN107615334B (zh) 物体识别装置以及物体识别系统
CN107993258B (zh) 一种图像配准方法及装置
JP5951043B2 (ja) 画像計測装置
CN113643436B (zh) 一种深度数据拼接融合方法及装置
KR101275823B1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
CN107679542B (zh) 一种双摄像头立体视觉识别方法及系统
JP4193342B2 (ja) ３次元データ生成装置
Gan et al. A photogrammetry-based image registration method for multi-camera systems–with applications in images of a tree crop
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
JP6585668B2 (ja) 物体検出装置
Hamzah et al. A pixel to pixel correspondence and region of interest in stereo vision application
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR101705330B1 (ko) 스테레오 카메라 이미지에서 물체의 기울어진 각도를 찾기 위한 특징점 선택 방법
KR101645451B1 (ko) 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
CN111383255A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR102445865B1 (ko) 영상기반 토목 구조물 실시간 변위 계측 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
Boleček et al. Fast method for reconstruction of 3D coordinates
SrirangamSridharan et al. Object localization and size estimation from RGB-D images
CN116665034B (zh) 一种基于边缘特征的立体匹配及火焰空间定位方法
JP2013190938A (ja) ステレオ画像処理装置
CN111080689B (zh) 确定面部深度图的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 10