KR101326095B1 - 영상융합장치 및 그 방법 - Google Patents

영상융합장치 및 그 방법 Download PDF

Info

Publication number
KR101326095B1
KR101326095B1 KR1020110124502A KR20110124502A KR101326095B1 KR 101326095 B1 KR101326095 B1 KR 101326095B1 KR 1020110124502 A KR1020110124502 A KR 1020110124502A KR 20110124502 A KR20110124502 A KR 20110124502A KR 101326095 B1 KR101326095 B1 KR 101326095B1
Authority
KR
South Korea
Prior art keywords
image
error
fusion
images
transformation matrix
Prior art date
Application number
KR1020110124502A
Other languages
English (en)
Other versions
KR20130058480A (ko
Inventor
성기열
김도종
곽동민
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020110124502A priority Critical patent/KR101326095B1/ko
Publication of KR20130058480A publication Critical patent/KR20130058480A/ko
Application granted granted Critical
Publication of KR101326095B1 publication Critical patent/KR101326095B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 명세서는, 오프라인 상태에서 시험 영상을 통해 추출된 변환행렬을 근거로 복수의 영상을 정합하고, 상기 정합된 복수의 영상을 융합하는 영상융합장치 및 영상융합방법을 제공한다.
이를 위하여, 일 실시예에 따른 영상융합방법은, 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하는 단계; 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하는 단계; 및 상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 단계를 포함하되, 상기 변환행렬은, 시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되는 것일 수 있다.

Description

영상융합장치 및 그 방법{Apparatus for uniting images and method thereof}
본 명세서는 복수의 영상(또는 이미지)을 융합하는 영상융합장치 및 그 제어 방법에 관한 것이다.
가시영상 센서 및 열 영상 센서와 같이 파장대역이 서로 다른 센서를 적용하여 주·야간 감시를 하는 시스템에서는 운용 환경이나 조건에 따라 용도와 목적에 맞게 각각의 센서를 선택적으로 활용할 수 있다. 그러나 군사용 장비인 경우에는 연막, 화염 및 복잡한 배경 조건 등 다양한 전장 환경 하에서 영상의 개선과 표적에 대한 높은 식별성이 요구되므로 각각의 센서를 독립적으로 사용하는 것과 함께 두 개의 센서로부터의 영상을 융합하여 전시함으로서 정보 활용도를 최대화하는 것이 이를 위한 접근방법 중 하나로 제시되고 있다.
영상융합 처리는 동일한 영상에 대한 정보 활용도를 높이기 위하여 파장대역이 서로 다른 영상센서(가시영상 및 열영상)로부터 획득된 2개의 영상을 하나의 영상으로 결합하는 과정이며, 두 개의 센서에 대한 영상융합을 위해서는 광학적 동기화(Optical Synchronization), 기구적 동기화(Mechanical Synchronization) 및 전기적 동기화(Electrical Synchronization)를 통한 정합(Registration) 과정이 필수적으로 요구된다. 영상 정합은 서로 다른 위치(또는 시점)에서 동일한 장면에 대해 이종 센서로부터 획득된 영상을 일치시키는 과정이다. 광학적 동기화는 두 영상센서의 배율을 동일하게 하는 것인데, 일반적으로 검출기나 렌즈 재질의 특성차이에 따른 광학계 왜곡 등으로 인하여 발생하는 배율오차를 최소화하도록 설계/제작하여야 한다. 기구적 동기화는 영상 센서의 기구적인 배치를 통하여 광축을 일치시키는 것으로 공통 광학계를 사용하여 광 경로를 공유하도록 함으로서 두 센서의 광축을 일치시키는 것이 가능하나, 내부적으로 광투과율의 손실을 감수하고 파장대역 별 광 분리기를 사용하여야하므로 영상의 화질이 저하되고 추가 렌즈 사용에 따른 비용 및 크기가 증가되는 단점이 있다. 따라서 일반적으로 두 개의 센서를 공간적으로 최대한 가까운 거리에 장착하여 무한원점에 광축을 정렬하는 하는 방법을 적용하는데, 이와 같은 방법은 각각의 대역 영상의 화질향상과 비용절감 및 시스템을 소형화할 수 있는 장점은 있지만, 시차효과(Parallax Effect)로 인하여 광축의 완전한 일치가 되지 않으므로 영상 정합이 어려운 단점이 있다.
전기적 동기화는 두 센서로부터 동일한 시점의 영상이 출력되도록 하는 것으로 기준신호를 이용하여 두 센서의 영상 프레임을 동기화하는 것이 가능하다. 일반적으로 휴대용 감시장비의 경우에는 비용과 소형화를 고려하여 공통 광학계를 적용하는 것 보다 두 센서를 최대한 가깝게 배치하여 광축을 평행하게 정렬하는 방법을 적용하고, 또한 광학계의 설계, 제작, 조립 과정에서도 오차가 발생할 수 있으므로 완전한 기구적 동기화 및 광학적 동기화가 불가능한 실정이다. 따라서 영상 융합을 위해서는 두 영상 프레임의 전기적 동기화뿐만 아니라 각 센서들이 장착된 위치에 따른 공간적 이격거리(광축 불일치), 광학적 특성(배율오차, 광학계 왜곡) 차이를 고려한 동기화 처리로 두 영상간의 오차를 최소화 할 필요가 있다. 이러한 오차는 소프트웨어적인 영상처리를 통하여 정합을 수행하게 된다. 영상정합은 기준영상에 대해 다른 영상을 화소단위로 대응시키는 함수에 의해 변환을 수행하는 것이며, 이러한 변환 함수는 센서의 특성, 획득된 영상 장면의 기하학적 배치에 따라 복잡한 형태를 나타내므로 적절한 모델로 근사화가 필요하다. 이러한 모델을 기반으로 영상을 최적으로 일치시키는 변환계수를 구하는 것이 영상정합의 목적이다.
기존에는 각각의 영상센서로부터 입력되는 두 영상에서 특징점과 윤곽선을 검출하여 제한된 영역에서 변환계수를 산출하여 정합을 수행하는 방식이 제안되었으나, 야외환경에서 운용 중에 모든 화소단위로 영상정합을 수행하기 위하여 변환 계수를 구하는 것은 많은 계산량으로 인하여 실시간 수행을 위한 고가의 전용 하드웨어를 적용한 시스템 구성을 필요로 하며, 연산처리를 위한 고 전력을 요구하게 되므로 휴대용 장비에 적합하지 않다. 따라서, 저비용 저전력을 요구하는 휴대용 감시장치에서는 특징점, 윤곽선 등을 검출하기 위한 전용 하드웨어의 추가 구성없이 이중대역 영상센서의 정보를 실시간으로 정합하고 융합하기 위한 최적의 시스템 구성방법이 요구된다.
본 명세서는 오프라인 상태에서 시험 영상을 통해 추출된 변환행렬을 근거로 복수의 영상을 정합하고, 상기 정합된 복수의 영상을 융합하는 영상융합장치 및 영상융합방법을 제공하는 데 그 목적이 있다.
상기 목적들을 달성하기 위한 본 명세서에 따른 영상융합방법은, 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하는 단계; 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하는 단계; 및 상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 단계를 포함하되, 상기 변환행렬은, 시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되는 것일 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상오차를 고려한 계수는, 상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고, 상기 대응점은, 4개 이상일 수 있다.
본 명세서와 관련된 일 예로서, 상기 제 3 영상을 생성하는 단계는, 상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하는 단계; 및 상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정하는 단계를 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정하는 단계는, 상기 제 3 영상의 임의의 좌표 (x, y)에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표 (w, z)를 구하는 단계; 상기 변환 좌표 (w,z)의 주변 화소점인 NW, NE, SW 및 SE를 선정하는 단계; 및 상기 NW, NE, SW 및 SE에 해당하는 화소값 및 선형보간 수식을 근거로 상기 (x, y)에 해당하는 화소값인 f(w,z)를 결정하는 단계를 포함하되, 상기 선형보간 수식은, 이고, 상기 f1은
Figure 112011093788225-pat00002
이고, 상기 f2는
Figure 112011093788225-pat00003
이고,
Figure 112011093788225-pat00004
인 것일 수 있다.
본 명세서와 관련된 일 예로서, 상기 제 1 영상 및 제 4 영상은, 열 영상 센서를 통하여 획득된 영상이고, 상기 제 2 영상 및 제 5 영상은, 가시 영상 센서를 통하여 획득된 영상일 수 있다.
상기 목적들을 달성하기 위한 본 명세서에 따른 영상융합장치는, 영상을 입력 받는 입력부; 상기 입력부를 통하여 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하고, 상기 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하고, 상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 제어부를 포함하되, 상기 변환행렬은, 시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되는 것일 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상오차를 고려한 계수는, 상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고, 상기 대응점은, 4개 이상일 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는, 상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하고, 상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정함으로써 상기 제 3 영상을 생성할 수 있다.
본 명세서에 개시된 일 실시예에 따르면, 오프라인 상태에서 시험 영상을 통해 추출된 변환행렬을 근거로 복수의 영상을 정합하고, 상기 정합된 복수의 영상을 융합하는 영상융합장치 및 영상융합방법을 제공한다.
특히, 본 명세서에 개시된 영상융합장치에 따르면, 오프라인 상태에서 시험 영상을 통해 변환행렬을 추출하고, 실제 야외 환경에서 실시간 영상융합을 수행함에 있어서, 상기 추출된 변환행렬을 근거로 영상정합 및 영상융합을 수행하기 때문에, 전용 하드웨어의 추가 구성없이 이중대역 영상센서(예를 들어, 가시영상 센서 및 열 영상 센서)의 정보를 실시간으로 정합하고 융합할 수 있는 이점이 있다.
도 1은 본 명세서에 개시된 실시예들에 따른 영상융합장치의 구성을 나타내는 블럭도이다.
도 2는 본 명세서에 개시된 일 실시예에 따른 영상융합장치의 외형 설계도이다.
도 3은 본 명세서에 개시된 제 1 실시예에 따른 영상융합방법을 나타내는 순서도이다.
도 4는 본 명세서에 개시된 제 2 실시예에 따른 선형보간을 통한 영상정합과정을 나타내는 순서도이다.
도 5는 본 명세서에 개시된 제 2 실시예에 따른 선형보간을 통한 영상정합과정을 나타내는 개념도이다.
본 명세서에 개시된 기술은 복수의 영상(또는 이미지)을 융합하는 영상융합장치 또는 영상융합방법에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 복수 영상을 융합할 수 있는 모든 영상표시 시스템, 광학 시스템 및 시스템의 제어 방법, 영상을 표시할 수 있는 휴대장치 및 휴대장치의 제어방법, 그 외 영상과 관련된 애플리케이션을 실행할 수 있는 장치 및 장치의 제어방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에 개시된 실시예들에 따른 영상융합장치는, 다중대역 영상센서를 이용한 원거리 표적탐지 시 영상에 대한 정보 활용도 증대를 위한 영상융합 시스템 및 그 방법에 관한 것으로 특히, 가시영상과 열영상 센서를 적용한 소형 휴대용 감시장치의 실시간 영상 정합 및 융합 방법에 관련된 것이다. 원거리 표적 탐지를 위한 소형 휴대용 감시장비의 운용을 고려하여 가시영상과 열 영상 센서를 근접 배치하여 광축을 평행하게 정렬하는 조준선의 공간동기화 처리와, 가시영상과 열 영상의 신호입력시간 동기화 처리를 수행한다. 이러한 동기화 처리 후 가시영상과 열 영상 간의 구성오차를 광축 불일치에 따른 병진(Translation)오차, 광학 특성에 따른 배율(Scale)오차, 광학계 장착 시의 회전(Rotation)오차 등의 잔여오차로 모델링하여 기하학적으로 보정 후 영상 융합 처리를 하는데 그 절차는 다음과 같이 이루어질 수 있다.
먼저, 1단계로 오차 모델 변수추정은 실험실 환경에서 입력된 가시영상과 열영상에 대해 육안으로 대응점을 식별하여 모델기반의 오프라인 처리로서 추정하여 그 결과를 영상 정합을 위한 변환계수로서 기억장치에 저장할 수 있다.
다음으로, 2단계로는 영상 정합처리 단계로서 저장된 변환계수를 이용하여 전장환경에서 입력되는 열영상에 대한 실시간 선형변환을 통하여 가시영상을 기준으로 정합 및 보간 처리를 수행할 수 있다.
다음으로, 3단계는 영상융합 단계로서 정합 처리된 열 열상과 가시영상의 밝기성분을 가중합 처리를 통하여 융합을 수행할 수 있다.
다음으로, 4단계에서는 융합된 영상을 전시하는 것으로 가중합 처리된 밝기성분과 색조성분을 이용하여 융합영상을 생성할 수 있다.
가시영상과 열 영상을 적용한 이중대역 광학시스템에서 두 영상 간의 구성 오차를 세 개의 오차 성분으로 모델링하기 위하여 기본적으로 광학계의 설계 및 제작 오차에 기인한 가시영상과 열영상 간의 배율오차에 따른 시계오차와 광학계의 장착과정에서 발생할 수 있는 영상센서의 광축 회전오차를 최소화할 필요가 있을 수 있다.
또한, 열영상과 가시영상 센서를 근접 배치함으로서 광축 이격거리를 최소화하여 광축 이격거리에 따른 병진오차를 최소화할 수 있다.
본 명세서에 개시된 실시예들에 따른 융합영상장치에 따르면, 상기 세 가지 오차 성분이 최소화될 수 있는 이중대역 광학시스템(또는 영상융합장치)의 설계가 가능할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 융합영상장치에 따르면, 가시영상 및 열 영상의 정합을 위해, 상기 융합영상장치는, 광학계 설계값을 이용한 주요 변수특성의 분석을 통하여 두 센서간의 상대적인 광축이격, 회전오차 및 배율오차를 고려한 모델링을 수행하고, 실험실 환경에서 대응점 설정, 영상변환 계수 추정 및 저장을 오프라인으로 수행하고, 실제 야외 환경에서 영상이 입력되면 기 저장된 변환계수를 이용하여 가시영상을 기준으로 열 영상을 실시간으로 변환한 후 두 개의 영상을 융합할 수 있다.
본 명세서에 개시된 실시예들에 따른 영상융합장치에 대한 설명
본 명세서에 개시된 실시예들에 따른 영상융합장치는, 영상을 입력받는 입력부, 상기 입력부를 통하여 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하고, 상기 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하고, 상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 제어부를 포함할 수 있다.
또한, 상기 변환행렬은, 시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되는 것일 수 있다.
또한, 상기 영상오차를 고려한 계수는, 상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고, 상기 대응점은, 4개 이상인 것일 수 있다.
또한, 상기 제어부는, 상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하고, 상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정함으로써 상기 제 3 영상을 생성하는 것일 수 있다.
또한, 상기 제어부는, 상기 제 2 영상의 화소 위치에서 밝기성분과 선형 보간을 통하여 변환된 제 3 영상의 동일한 위치에서의 화소값을 운용자의 선택에 의한 가중치를 적용하여 융합처리하여, 융합 영상을 생성할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따르면, 상기 제 1 영상 및 제 4 영상은, 열 영상 센서를 통하여 획득된 영상이고, 상기 제 2 영상 및 제 5 영상은, 가시 영상 센서를 통하여 획득된 영상일 수 있다.
도 1은 본 명세서에 개시된 실시예들에 따른 영상융합장치의 구성을 나타내는 블럭도이다.
도 1을 참조하면, 본 명세서에 개시된 실시예들에 따른 영상융합장치(100)는 복수의 영상을 융합하기 위하여 제어부(110) 및 입력부(120)을 포함할 수 있다.
또한, 상기 영상융합장치(100)는 복수의 영상을 융합하기 위하여 영상 또는 상기 융합과 관련된 다양한 정보를 저장하는 메모리부(130)를 더 포함할 수 있다.
또한, 상기 영상융합장치(100)는 영상을 촬영하는 하나 이상의 카메라(미도시)를 포함할 수 있다.
예를 들어, 상기 영상융합장치(100)는 제 1 카메라 및 제 2 카메라를 구비할 수 있거, 상기 제 1 카메라는 열 영상 센서를 통하여 영상을 촬영하고, 상기 제 2 카메라는, 가시 영상 센서를 통하여 영상을 촬영할 수 있다.
이외에도, 상기 영상융합장치(100)는 복수의 영상을 융합하기 위한 다양한 구성요소를 더 포함할 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
먼저, 상기 제어부(110)는 복수의 영상에 대하여 실시간 영상융합을 수행하기 전에, 상기 영상융합에 사용되는 변환행렬을 추출할 수 있다.
상기 제어부(110)는 상기 변환행렬을 추출하기 위해, 상기 입력부(120)을 통하여 시험 영상인 제 4 영상 및 제 5 영상을 획득할 수 있다.
상기 제어부(110)는 상기 획득된 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상 간의 영상오차를 고려한 계수가 포함되도록 상기 변환행렬을 추출할 수 있다.
변형된 실시예에 따르면, 상기 시험영상에 대한 대응점 설정 및 변환행렬 추출은 별도의 외부장비를 통하여 수행될 수 있다. 예를 들어, 상기 대응점 설정 및 상기 변환행렬의 추출은 상기 영상융합장치와 유선 또는 무선으로 연결된 외부 서버 또는 전산시스템(예를 들어, PC등)을 통하여 수행될 수 있다.
본 명세서에 개시된 실시예들에 따르면, 상기 영상오차를 고려한 계수는, 상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고, 상기 대응점은, 4개 이상일 수 있다.
또한, 상기 제 1 영상 및 제 4 영상은, 열 영상 센서를 통하여 획득된 영상이고, 상기 제 2 영상 및 제 5 영상은, 가시 영상 센서를 통하여 획득된 것일 수 있다.
본 명세서에 개시된 실시예들에 따르면, 상기 제어부(110)는 상기 추출된 변환행렬을 근거로 복수의 영상에 대한 영상융합을 수행할 수 있다.
상기 제어부(110)는 상기 입력부(120)를 통하여 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하고, 상기 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하고, 상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성할 수 있다.
또한, 상기 제어부(110)는 상기 제어부는, 상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하고, 상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정함으로써 상기 제 3 영상을 생성할 수 있다.
상기 입력부(120)는 상기 영상융합장치(100)의 내부에 구비된 카메라로부터 복수의 영상을 입력받을 수 있다.
예를 들어, 상기 입력부(120)는 상기 변환행렬을 추출하기 위한 시험 영상인 상기 제 4 영상 및 상기 제 5 영상을 상기 영상융합장치(100)의 내부에 구비된 카메라로부터 입력받을 수 있다.
또한, 예를 들어, 상기 입력부(120)는 실시간 영상융합의 대상 영상인 상기 제 1 영상 및 상기 제 2 영상을 입력받을 수 있다.
전술한 바와 같이, 상기 제 1 영상 및 제 4 영상은 열 영상 센서를 구비한 카메라로부터 획득된 영상일 수 있고, 상기 제 2 영상 및 제 5 영상은 가시 영상 센서를 구비한 카메라로부터 획득된 영상일 수 있다.
상기 메모리부(120)는 상기 영상융합에 사용되는 복수의 영상을 저장할 수 있다. 또한, 최종적으로 복수의 영상이 융합된 융합 영상을 저장할 수 있다.
또한, 상기 메모리부(130)는 상기 영상융합에 사용되는 변환행렬, 융합처리과정에서 발생되는 다양한 정보를 저장할 수 있다. 예를 들어, 상기 다양한 정보는, 상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표, 상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 결정된 상기 제 3 영상의 각 화소점에 해당하는 화소값등을 저장할 수 있다.
이외에도 상기 영상융합에 사용되는 다양한 정보가 상기 메모리부(130)에 저장될 수 있음이 본 기술분야의 당업자에게 자명하다.
도 2는 본 명세서에 개시된 일 실시예에 따른 영상융합장치의 외형 설계도이다.
도 2를 참조하면, 영상융합의 대상이 되는 영상이 가시영상 및 열 영상인 경우, 상기 가시영상 및 열 영상 간의 구성오차를 회전, 병진 및 배율오차로 모델링이 가능하도록 가시영상 및 열 영상센서를 적용한 소형 휴대용 감시장치(또는 영상융합장치)의 외형 설계도가 도시되었다. 가시영상 광학계(210) 및 열 영상 광학계(220)를 최대한 가깝게 배치하고 광축을 평행하게 정렬하여 광축 이격에 따른 오차를 최소화하도록 설계하는 것이 중요할 수 있다.
제 1 실시예
본 명세서에 개시된 제 1 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 1 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.
도 3은 본 명세서에 개시된 제 1 실시예에 따른 영상융합방법을 나타내는 순서도이다.
도 3을 참조하면, 본 명세서에 개시된 제 1 실시예에 따른 영상융합방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 상기 영상융합장치는 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득할 수 있다(S110).
다음으로, 상기 영상융합장치는 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성할 수 있다(S120).
다음으로, 상기 영상융합장치는 상기 제 2 영상 및 상기 제 3 영상이 융합된 융합 영상을 생성할 수 있다(S130).
상기 변환행렬은, 시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되는 것일 수 있다.
또한, 상기 영상오차를 고려한 계수는, 상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고, 상기 대응점은, 4개 이상인 것일 수 있다.
상기 변환행렬은 영상융합에 앞서 상기 제 1 영상 및 상기 제 2 영상에 대한 영상정합을 위한 행렬일 수 있다. 상기 영상정합은 상기 두 영상 간의 배율, 병진 및 회전 오차를 감소시켜 상기 영상융합이 효율적으로 이루어지도록 하는 역할을 할 수 있다.
이하에서는 상기 제 1 영상 및 제 4 영상이 열 영상 센서를 통하여 획득된 영상이고, 상기 제 2 영상 및 제 5 영상이 가시 영상 센서를 통하여 획득된 영상인 경우를 일 실시예로써 설명한다.
상기 영상융합장치는 먼저 오프라인 상태(시험상태 또는 실시간 영상융합동작을 하지 않는 상태)에서 영상정합을 위한 변환행렬(Transform Matrix)을 생성하기 위해 공간적으로 이격된 두 센서로부터 가시영상과 열영상의 시험영상을 획득할 수 있다.
상기 두 영상에서 대응점이 수동으로 설정될 수 있다. 변환 모델은 회전, 병진(x, y 방향), 배율 효과를 고려한 4 개의 변수 추정을 위하여 대응점이 4개 이상으로 설정될 수 있다.
가시영상을 기준으로 열 영상의 모든 화소의 좌표를 변환하기 위하여 두 영상에서 설정된 대응점을 이용하여 병진오차(Translation), 배율오차(Scale) 및 회전오차(Rotation)를 고려한 어파인변환 계수를 아래와 같은 수학식 1을 이용하여 추정할 수 있다.
Figure 112011093788225-pat00005
여기서 Sx, Sy는 배율오차에 대한 계수, θ는 회전오차에 대한 계수, δx, δy는 병진오차에 대한 계수이다.
상기 영상융합장치는 실제 야외환경에서 가시영상과 열영상 센서로부터 영상이 입력되면, 오프라인 상태에서 추정하여 저장된 각 오차에 대한 변환계수를 적용하여 열 열상의 변환을 수행할 수 있다.
제 2 실시예
본 명세서에 개시된 제 2 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 2 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.
본 명세서에 개시된 제 2 실시예에 따른 영상융합방법은, 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하는 단계, 변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하는 단계 및 상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 단계를 포함하되, 상기 변환행렬은, 시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고, 상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되는 것일 수 있다.
또한, 제 2 실시예에 따르면, 상기 영상오차를 고려한 계수는, 상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고, 상기 대응점은, 4개 이상일 수 있다.
또한, 제 2 실시예에 따르면, 상기 제 3 영상을 생성하는 단계는, 상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하는 단계 및 상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정하는 단계를 포함할 수 있다.
또한, 제 2 실시예에 따르면, 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정하는 단계는, 상기 제 3 영상의 임의의 좌표 (x, y)에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표 (w, z)를 구하는 단계, 상기 변환 좌표 (w,z)의 주변 화소점인 NW, NE, SW 및 SE를 선정하는 단계 및 상기 NW, NE, SW 및 SE에 해당하는 화소값 및 선형보간 수식을 근거로 상기 (x, y)에 해당하는 화소값인 f(w,z)를 결정하는 단계를 포함하되, 상기 선형보간 수식은
Figure 112011093788225-pat00006
이고, 상기 f1은
Figure 112011093788225-pat00007
이고, 상기 f2는
Figure 112011093788225-pat00008
이고,
Figure 112011093788225-pat00009
이다.
또한, 제 2 실시예에 따르면, 상기 제 1 영상 및 제 4 영상은, 열 영상 센서를 통하여 획득된 영상이고, 상기 제 2 영상 및 제 5 영상은, 가시 영상 센서를 통하여 획득된 영상일 수 있다.
상술한 바와 같이, 선형보간을 통한 영상정합과정을 수행하는 이유는, 변환계수에 의하여 원 영상의 각 화소의 변환 위치는 화소가 존재하지 않는 임의의 위치에 대응될 수도 있기 때문이다.
따라서, 변환계수 행렬의 역변환을 통하여 원 영상의 주변 화소값을 추출하고, 변환된 영상의 각 화소(또는 화소점)에 해당하는 화소값이 상기 주변 화소값의 선형보간을 적용하여 결정되도록 할 수 있다.
또한, 상기 영상융합장치는, 상기 제 2 영상의 화소 위치에서 밝기성분과 선형 보간을 통하여 변환된 제 3 영상의 동일한 위치에서의 화소값을 운용자의 선택에 의한 가중치를 적용하여 융합처리하여, 융합 영상을 생성할 수 있다.
도 4는 본 명세서에 개시된 제 2 실시예에 따른 선형보간을 통한 영상정합과정을 나타내는 순서도이다.
도 4를 참조하면, 본 명세서에 개시된 제 2 실시예에 따른 선형보간을 통한 영상정합과정은 다음과 같은 단계로 이루어질 수 있다.
먼저, 상기 영상융합장치는 상기 제 3 영상의 각 화소점에 해당하는 좌표에
변환행렬의 역행렬을 곱하여 역변환된 좌표를 구할 수 있다(S210).
다음으로, 상기 영상융합장치는 제 1 영상에서 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 제 3 영상의 각 화소점에 해당하는 화소값을 결정할 수 있다(S220).
이하에서는 도 5를 참조하여 선형보간을 통한 영상정합과정이 자세히 기술된다.
도 5는 본 명세서에 개시된 제 2 실시예에 따른 선형보간을 통한 영상정합과정을 나타내는 개념도이다.
도 5를 참조하면, 변환계수 행렬의 역변환을 이용하여 변환 영상에서의 화소값을 처리하는 방법을 나타낸다.
변환계수에 의하여 원 영상의 각 화소에 대한 계산된 변환위치는 임의의 위치에 대응하게 되므로(도 5(a)) 실제 구현에서는 변환행렬의 역변환을 통하여 원 영상의 주변 화소값의 선형보간을 적용하여 결정할 수 있다.
변환된 영상에서의 화소값을 결정하기 위하여 역변환에 의하여 원 영상에 대응되는 위치를 (w, z)라고 할 때 이웃하는 4개의 화소값(NW, NE, SW, SE)의 가중합으로 (w, z)에서의 화소값 f(w, z)를 결정한다. 상기 (w, x)가 변환 영상에서의 (x, y)로부터 역변환된 경우, 상기 f(w, z)는 변환 영상에서 (x, y)에 해당하는 화소값이 될 수 있다(도 5(b)).
2차원 영상에서 임의의 위치 (w, z)에서의 화소값 f(w, z)는 아래와 같은 수학식 2을 통하여 1차원 선형보간을 3회 적용하여 구할 수 있으며, 여기서,
Figure 112011093788225-pat00010
이다.
Figure 112011093788225-pat00011
Figure 112011093788225-pat00012
Figure 112011093788225-pat00013
본 명세서에 개시된 실시예들에 따른 영상융합장치 및 영상융합방법에 따르면, 다중대역 영상센서의 정합을 위해 세 개의 오차 성분으로 모델링이 가능하도록 광학계를 구성할 수 있고, 오프라인에서 미리 계산된 영상 변환계수를 이용하여 연속적으로 입력되는 복수의 영상(예를 들어, 가시영상 및 열영상)에 대해 실시간 정합과정을 통하여 융합하며, 융합된 영상을 복원, 전시할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따르면, 영상 정합처리 과정을 수행함으로서 융합영상에서도 공간적으로 일치된 상태에서 복수의 영상(예를 들어, 가시영상 및 열영상)의 특성을 동시에 관측하여 연막, 화염 및 복잡한 배경 조건 등 다양한 전장환경에서 실시간으로 원거리 표적에 대한 식별성이 향상될 수 있다.
본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
100: 영상융합장치 110: 제어부
120: 입력부 130: 메모리부

Claims (8)

  1. 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하는 단계;
    변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하는 단계; 및
    상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 단계를 포함하되,
    상기 변환행렬은,
    시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고,
    상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되고,
    상기 제 3 영상을 생성하는 단계는,
    상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하는 단계; 및
    상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정하는 단계를 포함하는 것을 특징으로 하는 영상융합방법.
  2. 제1항에 있어서, 상기 영상오차를 고려한 계수는,
    상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고,
    상기 대응점은,
    4개 이상인 것인 영상융합방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정하는 단계는,
    상기 제 3 영상의 임의의 좌표 (x, y)에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표 (w, z)를 구하는 단계;
    상기 변환 좌표 (w,z)의 주변 화소점인 NW, NE, SW 및 SE를 선정하는 단계; 및
    상기 NW, NE, SW 및 SE에 해당하는 화소값 및 선형보간 수식을 근거로 상기 (x, y)에 해당하는 화소값인 f(w,z)를 결정하는 단계를 포함하되,
    상기 선형보간 수식은,
    Figure 112013048291046-pat00014
    이고,
    상기 f1은
    Figure 112013048291046-pat00015
    이고,
    상기 f2는
    Figure 112013048291046-pat00016
    이고,
    Figure 112013048291046-pat00017
    인 것인 영상융합방법.
  5. 제1항에 있어서, 상기 제 1 영상 및 제 4 영상은,
    열 영상 센서를 통하여 획득된 영상이고,
    상기 제 2 영상 및 제 5 영상은,
    가시 영상 센서를 통하여 획득된 영상인 것인 영상융합방법.
  6. 영상을 입력 받는 입력부;
    상기 입력부를 통하여 영상 융합의 대상 영상인 제 1 영상 및 제 2 영상을 획득하고,
    변환행렬을 근거로 상기 제 1 영상을 변환하여 제 3 영상을 생성하고,
    상기 제 2 영상 및 제 3 영상이 융합된 융합 영상을 생성하는 제어부를 포함하되,
    상기 변환행렬은,
    시험 영상인 제 4 영상 및 제 5 영상에서 서로 대응되는 하나 이상의 대응점을 설정하고,
    상기 대응점을 근거로 상기 제 4 영상 및 상기 제 5 영상간의 영상오차를 고려한 계수가 포함되도록 추출되고,
    상기 제어부는,
    상기 제 3 영상의 각 화소점에 해당하는 좌표에 상기 변환행렬의 역행렬을 곱하여 역변환된 좌표를 구하고,
    상기 제 1 영상에서 상기 역변환된 좌표 주위에 존재하는 적어도 하나의 화소점에 대응하는 화소값을 근거로 상기 제 3 영상의 각 화소점에 해당하는 화소값을 결정함으로써 상기 제 3 영상을 생성하는 것을 특징으로 하는 영상융합장치.
  7. 제6항에 있어서, 상기 영상오차를 고려한 계수는,
    상기 제 4 영상 및 상기 제 5 영상간의 배율오차, 병진오차 및 회전오차를 고려한 계수이고,
    상기 대응점은,
    4개 이상인 것인 영상융합장치.
  8. 삭제
KR1020110124502A 2011-11-25 2011-11-25 영상융합장치 및 그 방법 KR101326095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110124502A KR101326095B1 (ko) 2011-11-25 2011-11-25 영상융합장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110124502A KR101326095B1 (ko) 2011-11-25 2011-11-25 영상융합장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130058480A KR20130058480A (ko) 2013-06-04
KR101326095B1 true KR101326095B1 (ko) 2013-11-07

Family

ID=48857741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110124502A KR101326095B1 (ko) 2011-11-25 2011-11-25 영상융합장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101326095B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183906B1 (ko) * 2014-06-11 2020-11-27 한화테크윈 주식회사 영상 융합 방법 및 시스템
KR102235018B1 (ko) * 2019-06-21 2021-04-01 국방과학연구소 해상도가 다른 영상을 정합하는 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051716B1 (ko) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051716B1 (ko) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법

Also Published As

Publication number Publication date
KR20130058480A (ko) 2013-06-04

Similar Documents

Publication Publication Date Title
US8599264B2 (en) Comparison of infrared images
US9654704B2 (en) Apparatus and method for multispectral imaging with three dimensional overlaying
US8482599B2 (en) 3D modeling apparatus, 3D modeling method, and computer readable medium
CN103776542B (zh) 热像诊断装置和热像诊断方法
US8786718B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
EP3447730A1 (en) Three-dimensional reconstruction method
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
EP3128482A1 (en) Method for calibration of a stereo camera
JP5600954B2 (ja) 検査システム、その方法及びプログラム
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
KR101326095B1 (ko) 영상융합장치 및 그 방법
JP2010217984A (ja) 像検出装置及び像検出方法
KR102078877B1 (ko) 트리오 영상장치를 통한 태양광 모듈 열화상 촬영 시스템
JP5310890B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2005275789A (ja) 三次元構造抽出方法
CA2831664C (en) Stereoscopic measurement system and method
JP5967470B2 (ja) 検査装置
CN109429018B (zh) 影像处理装置和方法
CA2828598C (en) Stereoscopic measurement system and method
US20190058869A1 (en) Stereoscopic image-capturing apparatus
KR20160082659A (ko) 다채널 연속 촬영 영상을 이용한 구조물의 입체적인 진동 자동 측정 방법
JP2021141533A (ja) 姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、ならびにプログラム
CN116433769A (zh) 空间校准方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7