KR101578825B1 - 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템 - Google Patents
항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템 Download PDFInfo
- Publication number
- KR101578825B1 KR101578825B1 KR1020150122572A KR20150122572A KR101578825B1 KR 101578825 B1 KR101578825 B1 KR 101578825B1 KR 1020150122572 A KR1020150122572 A KR 1020150122572A KR 20150122572 A KR20150122572 A KR 20150122572A KR 101578825 B1 KR101578825 B1 KR 101578825B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- aerial
- photographing
- time information
- module
- Prior art date
Links
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- H04N5/232—
-
- B64C2201/123—
-
- B64C2201/127—
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템에 관한 것으로, 수집이미지DB(100), 지형기복 대비모듈(400), 제어모듈(500), 촬영자세 조정모듈(300)을 포함해 동작하면서 비행체가 촬영하는 위치에 대한 기존의 지형 기복 데이터와 현재 측량한 지형 기복 데이터를 비교해서 측방향 촬영 여부를 판단하고, 측방향 촬영으로 확인되면 카메라의 촬영자세를 조정해서, 비행체의 운항 자세에 상관없이 정확한 항공촬영을 실현할 수 있는 효과가 있다.
Description
본 발명은 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템에 관한 것이다.
주지된 바와 같이, 항공촬영 기술과 항공측정 기술 및 항공이미지 편집 처리 기술은 수치지도 제작을 위해 반드시 선행해야 할 작업 기술이다. 특히 항공촬영과 항공측정의 경우, 기류에 영향을 받아 심한 흔들림을 일으키며 빠르게 이동하는 비행체에서 촬영과 측정을 수행하는 장치가 지상을 안정적으로 촬영 및 측정할 수 있어야 하고, 상기 장치가 촬영 및 측정한 결과데이터도 정밀하게 보정해서 수치지도의 배경이미지로 완성할 수 있어야 하므로, 고도의 기술이 요구됐다.
항공촬영 및 항공측량은 일반적인 광학 항공촬영, 디지털 항공촬영, 항공 라이다 측량 등을 통해 이루어진다. 여기서 항공촬영은 도 1(항공촬영과 항공측량 기술을 활용해 생성한 항공촬영이미지를 보인 이미지)의 (a)도면에서 보인 바와 같이 디지털 항공촬영으로 지상을 촬영한 것이고, 항공측량은 도 1의 (b)도면에서 보인 바와 같이 항공 라이다 측량으로 지상을 측량한 것이다. 참고로, 항공 라이다 측량은 비행체에 항공레이저측량 시스템을 탑재하여 레이저를 주사하고, 그 지점에 대한 3차원 위치좌표를 취득하는 측량방법으로 정의하고 있으며, 레이저 거리측정기, GPS 안테나와 수신기, INS(관성항법장치) 등으로 구성된 시스템으로 규정한다.
도 1에서 보인 바와 같이 항공촬영이미지의 지형 기복이 음영으로 정확히 표현되어서, 이용자는 2D의 항공촬영이미지만으로도 항공촬영이미지의 지형을 쉽게 파악할 수 있다. 이는 항공 라이다 측량을 통해 수집한 라이다데이터는 DEM(digital Elevation Model) 처리를 통해서 지형 기복 표현을 위한 DEM 이미지를 완성할 수 있기 때문이다.
그런데, 항공촬영은 물론 항공 라이다 측량은 모두 지상 라이다 측량과는 달리 운항 중인 비행체에서 지상을 연속해 촬영 및 측량해야 하므로, 지상에 대한 연직 촬영이 부정확해지는 문제가 있었다. 또한, 상기 연직 촬영 지점의 주변 지역 촬영은 카메라 또는 레이저가 비행체를 중심으로 기울어진 자세로 수행하므로, 카메라 또는 레이저의 기울어진 촬영각도에 의해서 촬영 대상 또한 기울어지게 자세로 촬영되는 문제가 있었다. 물론 상기 문제는 DEM이 적용된 항공촬영이미지가 실제 지형과는 시각적으로 다른 형상을 이루며 출력하게 되는 문제가 있었다.
이러한 문제를 해소하기 위해서 특허등록번호 제10-0875524호(이하 '선행기술')는 지상을 촬영하는 카메라(130)가 고정대(120)와 고정관(110)을 매개로 비행체에 설치되어서, 비행체의 비행 자세에 상관없이 카메라(130)가 항상 연직을 촬영하도록 자세를 조정하는 기술을 제안했다.
그러나, 선행기술의 카메라 촬영자세 조정 방식은 고정대(120)와 고정관(110) 간의 자체 마찰과 카메라의 자중에 의한 관성으로 인해서 안정한 연직 촬영 자세를 보장할 수 없고, 비행체의 속도변화와 선회 등에 의해서 카메라의 촬영 자세가 오히려 불안정하게 되는 문제가 있었다.
물론 이러한 문제는 3차원 항공촬영이미지 생성을 위한 지형 기복 데이터 수집에 방해를 주어서 정밀한 수치지도를 제작할 수 없게 하는 원인이 되었다.
선행기술문헌 1. 특허등록번호 제10-0875524호(2008.12.23 공고)
이에 본 발명은 상기와 같은 문제를 해소하기 위해 발명된 것으로서, 비행체가 촬영하는 위치에 대한 기존의 지형 기복 데이터와 현재 측량한 지형 기복 데이터를 비교해서 측방향 촬영 여부를 판단하고, 측방향 촬영으로 확인되면 카메라의 촬영자세를 조정해서, 비행체의 운항 자세에 상관없이 정확한 항공촬영을 실현할 수 있도록 하는 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템의 제공을 해결하고자 하는 기술적 과제로 한다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
항공 라이다 장치가 수집한 지형 기복 데이터의 반사시간정보가 해당 위치에 링크된 이전 항공촬영이미지를 저장하는 수집이미지DB(100),
제어모듈(500)을 통해서 비행체(AP)의 GPS모듈(20)로부터 GPS정보를 수신하면, 항공 라이다 장치와 항공카메라로 구성된 수집장치(30)에서 지형 기복 데이터의 반사시간정보가 링크된 신규 항공촬영이미지를 수신하고, 수집이미지DB(100)에서 상기 GPS정보의 이전 항공촬영이미지를 검색하고, 이전 항공촬영이미지와 신규 항공촬영이미지에 각각 링크한 반사시간정보를 확인하고, 이전 항공촬영이미지의 중심점(CP1)의 반사시간정보에 맞춰서 신규 항공촬영이미지 내 중심점(CP2)의 반사시간정보를 보정한 후에 상기 보정 배율에 맞춰서 신규 항공촬영이미지의 반사시간정보를 보정하고, 이전 항공촬영이미지의 반사시간정보와 신규 항공촬영이미지의 반사시간정보 간의 일치율을 확인해서 지정기준 미만의 일치율이면 이전 항공촬영이미지와 신규 항공촬영이미지가 다른 지형인 것으로 간주하고 제어모듈(500)에 신호를 전달하되, 신규 항공촬영이미지 내 보정한 반사시간정보들 중에서 이전 항공촬영이미지의 반사시간정보와 동일하며 연속하게 배열된 개수를 확인해서, 상기 개수가 지정기준 이상의 일치율이면 해당하는 반사시간정보가 위치한 범위를 신규 항공촬영이미지와 이전 항공촬영이미지의 동일범위(SZ)로 설정하고, 동일범위(SZ)의 중심점(SP)을 확인해서 이전 항공촬영이미지의 중심점(CP1)과의 횡축거리(X1)와 종축거리(Y1)를 확인하고, 신규 항공촬영이미지의 중심점(CP2)과 중심점(SP) 간의 횡축거리(X2)와 종축거리(Y2)를 각각 확인해서 제어모듈(500)로 전달하되, 중심점(CP1, SP) 간 횡축거리(X1)와 종축거리(Y1)는 이전 항공촬영이미지에 규칙적으로 배열된 반사시간정보의 GPS정보를 통해 확인하고, 중심점(CP2, SP) 간 횡축거리(X2)와 종축거리(Y1)는 동일범위(SZ) 내 반사시간정보의 GPS정보를 통해 확인하는 지형기복 대비모듈(400),
GPS모듈(20)로부터 GPS정보를 수신해서 지형기복 대비모듈(400)에 전달하고, 지형기복 대비모듈(400)로부터 횡축거리(X1, X2)와 종축거리(Y1, Y2)를 수신하고, 고도확인모듈(40)로부터 비행체(AP)의 고도(H)를 확인하고, 촬영자세 조정모듈(300)의 기준대(310)와 제1,2수평대(340, 350) 간의 길이(H')를 확인해서 수집장치(30)의 조정거리(D')를 연산하고, 조정거리(D')에 맞춰 촬영자세 조정모듈(300)을 제어하는 제어모듈(500), 및
수집장치(30)가 관통하는 환형상의 지지체(311)와, 지지체(311)를 관통해 배치된 수집장치(30)를 향해서 방사형으로 돌출된 탄성의 지지봉(312)과, 지지봉(312)의 말단에 형성된 구 형상의 피봇(313)을 구비한 기준대(310); 수집장치(30)의 외면에 설치되며 피봇(313)을 회전가능하게 수용하는 오목홈(322a)을 갖춘 연결체(321)와, 수집장치(30)의 상방으로 인출하게 설치되는 주체(323)와, 주체(323)의 상단에 설치되는 반구 형상의 걸림대(324)를 구비한 행거(320); 비행체(AP)에 고정되고 주체(323)가 관통하는 구멍(332)를 구비한 제1본체(331)와, 구멍(332)을 중심으로 마주하도록 제1본체(331)에 설치되며 제어모듈(500)의 제어를 받아 동작하는 한 쌍의 제1구동모터(333)와, 구멍(332)을 중심으로 마주하도록 제1본체(331)에 설치되는 베어링(334)을 구비한 서포터(330); 주체(323)가 관통하는 구멍(342)을 구비한 제2본체(341)와, 구멍(342)을 중심으로 마주하도록 제2본체(341)에 설치되며 제어모듈(500)의 제어를 받아 동작하는 한 쌍의 제2구동모터(343)와, 구멍(332)을 중심으로 마주하도록 제2본체(341)에 설치되는 한 쌍의 제1스크류(344)와, 제2본체(341)의 저면에 설치되어서 서포터(330)의 베어링(334)과 이동가능하게 맞물리는 제1받침체(345)와, 구멍(342)을 중심으로 마주하도록 제2본체(341)에 설치되는 베어링(346)을 구비한 제1수평대(340); 주체(323)가 관통하고 걸림대(324)가 걸리도록 직경보다 작은 직경의 구멍(352)을 구비한 제3본체(351)와, 구멍(352)을 중심으로 마주하도록 제3본체(351)에 설치되되 제1스크류(344)과 교차하게 배치되는 한 쌍의 제2스크류(353)와, 제3본체(351)의 저면에 설치되어서 제2본체(340)의 베어링(346)과 이동가능하게 맞물리는 제2받침체(354)를 구비한 제2수평대(350);로 이루어진 촬영자세 조정모듈
을 포함하는 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템이다.
상기의 본 발명은, 비행체가 촬영하는 위치에 대한 기존의 지형 기복 데이터와 현재 측량한 지형 기복 데이터를 비교해서 측방향 촬영 여부를 판단하고, 측방향 촬영으로 확인되면 카메라의 촬영자세를 조정해서, 비행체의 운항 자세에 상관없이 정확한 항공촬영을 실현할 수 있는 효과가 있다.
도 1은 항공촬영과 항공측량 기술을 활용해 생성한 항공촬영이미지를 보인 이미지이고,
도 2는 본 발명에 따른 수집시스템의 구성을 도시한 블록도이고,
도 3은 본 발명에 따른 수집시스템의 동작 과정을 순차 도시한 플로차트이고,
도 4는 본 발명에 따른 수집시스템이 설치된 비행체의 항공촬영 모습을 개략적으로 도시한 정면도이고,
도 5는 본 발명에 따른 수집시스템이 촬영하는 지상 모습을 개략적으로 도시한 도면이고,
도 6은 도 5의 'T1'와 'T2'의 촬영범위를 확대해 도시한 도면이고,
도 7은 본 발명에 따른 수집장치의 동작으로 촬영범위가 변경하는 모습을 개략적으로 도시한 도면이고,
도 8은 본 발명에 따른 수집장치가 항공촬영 중에 동작하는 모습을 개략적으로 도시한 도면이고,
도 9는 본 발명에 따른 수집장치의 모습을 도시한 분해 사시도이고,
도 10은 본 발명에 따른 수집장치의 동작 모습을 도시한 측면도이다.
도 2는 본 발명에 따른 수집시스템의 구성을 도시한 블록도이고,
도 3은 본 발명에 따른 수집시스템의 동작 과정을 순차 도시한 플로차트이고,
도 4는 본 발명에 따른 수집시스템이 설치된 비행체의 항공촬영 모습을 개략적으로 도시한 정면도이고,
도 5는 본 발명에 따른 수집시스템이 촬영하는 지상 모습을 개략적으로 도시한 도면이고,
도 6은 도 5의 'T1'와 'T2'의 촬영범위를 확대해 도시한 도면이고,
도 7은 본 발명에 따른 수집장치의 동작으로 촬영범위가 변경하는 모습을 개략적으로 도시한 도면이고,
도 8은 본 발명에 따른 수집장치가 항공촬영 중에 동작하는 모습을 개략적으로 도시한 도면이고,
도 9는 본 발명에 따른 수집장치의 모습을 도시한 분해 사시도이고,
도 10은 본 발명에 따른 수집장치의 동작 모습을 도시한 측면도이다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
이하, 본 발명을 실시하기 위한 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.
도 2는 본 발명에 따른 수집시스템의 구성을 도시한 블록도인 바, 이를 참고해 설명한다.
본 발명에 따른 수집시스템은 지형 기복 데이터가 링크된 항공촬영이미지를 저장하는 수집이미지DB(100)와, 현재 촬영 및 측량(이하 '촬영')한 지형 기복 데이터가 링크된 항공촬영이미지를 저장하는 항공촬영이미지DB(200)와, 수집장치(30)의 촬영 자세를 조정하는 촬영자세 조정모듈(300)과, 수집장치(30)가 수집한 지형 기복 데이터와 수집이미지DB(100)의 지형 기복 데이터를 대비하는 지형기복 대비모듈(400)과, 상기 장치들(100, 200, 300, 400)의 동작을 제어하는 제어모듈(500)을 포함한다.
한편, 본 발명에 따른 수집시스템과 연동하는 수집장치(30)는 항공카메라와 항공 라이다 장치로 구성되고, 항공카메라의 자세 조정에 맞춰서 항공 라이다 장치의 레이저 조사 자세도 함께 조정된다. 따라서 항공촬영이미지 내 특정 픽셀 위치에는 항상 동일한 레이저 측량코드의 반사시간정보가 링크된다. 참고로, 본 실시 예의 항공 라이다 장치는 측량 지점에 상관없이 항상 동일한 방향으로 레이저를 조사해서 지형 기복에 따른 반사시간정보를 수집하는데, 본 발명에 따른 수집시스템에서 항공 라이다 장치와 항공카메라는 레이저 조사 자세와 촬영 자세가 동일하므로, 전술한 바와 같이 항공카메라가 촬영한 항공촬영이미지 내 특정 픽셀 위치에는 항상 동일한 레이저 측량코드의 반사시간정보가 링크된다.
수집시스템의 각 구성을 좀 더 구체적으로 설명한다.
수집이미지DB(100)는 항공 라이다와 항공카메라 등의 수집장치(30)가 이전에 각각 수집한 지형 기복 데이터와 항공촬영이미지를 서로 링크해 저장한다. 여기서 지형 기복 데이터인 항공 라이다의 반사시간정보는, 전술한 바와 같이 항공촬영이미지의 동일한 픽셀 위치에 링크된다.
항공촬영이미지DB(200)는 현재 수집한 반사시간정보를 해당 항공촬영이미지의 지정된 픽셀 위치에 링크해서 저장한다.
촬영자세 조정모듈(300)은 수집장치(30)의 촬영각도를 조정해서 비행체의 운항 자세에 상관없이 항상 지정한 지형 대상을 촬영할 수 있게 한다. 이때, 수집장치(30)를 구성하는 항공카메라와 항공 라이다 장치는 항상 함께 움직이면서 동일 방향으로 동일 위치를 촬영한다.
지형기복 대비모듈(400)은 현재 위치에서 촬영한 지형 기복 데이터와 이전에 동일 위치에서 촬영한 지형 기복 데이터를 서로 비교해서 수집장치(30)의 자세 조정 필요 여부와 자세 조정 범위를 확인한다.
제어모듈(500)은 속도모듈(10)로부터 비행체의 운항 속도를 확인하고, GPS모듈(20)로부터 비행체의 현재 위치를 확인하며, 고도확인모듈(40)로부터 비행체의 고도를 확인한다. 또한, 이렇게 확인한 정보들을 지형기복 대비모듈(400)에 전달해서 지형기복 대비모듈(400)이 수집장치(30)의 자세 조정 필요 여부와 자세 조정 범위를 확인하게 한다. 또한, 지형기복 대비모듈(400)로부터 자세 조정 범위를 전달받아 촬영자세 조정모듈(300)의 동작을 제어한다.
도 3은 본 발명에 따른 수집시스템의 동작 과정을 순차 도시한 플로차트이고, 도 4는 본 발명에 따른 수집시스템이 설치된 비행체의 항공촬영 모습을 개략적으로 도시한 정면도이고, 도 5는 본 발명에 따른 수집시스템이 촬영하는 지상 모습을 개략적으로 도시한 도면이고, 도 6은 도 5의 'T1'와 'T2'의 촬영범위를 확대해 도시한 도면이고, 도 7은 본 발명에 따른 수집장치의 동작으로 촬영범위가 변경하는 모습을 개략적으로 도시한 도면이고, 도 8은 본 발명에 따른 수집장치가 항공촬영 중에 동작하는 모습을 개략적으로 도시한 도면인 바, 이를 참고해 설명한다.
S10; 운항 위치 및 상태 확인 단계
본 발명에 따른 수집시스템 및 수집장치(30)를 갖춘 비행체(AP)가 항공촬영이미지를 수집하기 위해서 운항을 시작한다.
수집 대상 지역에 도착하면 수집장치(30)는 지상 촬영을 시작한다. 한편, 속도모듈(10)과 GPS모듈(20)과 고도확인모듈(40)은 비행체(AP)의 현재 속도와 위치 및 고도를 측정한다. 제어모듈(500)은 속도모듈(10)과 GPS모듈(20)과 고도확인모듈(40)이 측정한 속도정보, GPS정보, 고도정보를 실시간으로 수신하면서 수집장치(30)가 촬영하는 신규 항공촬영이미지의 촬영 지역, 고도 및 속도 등의 상태를 확인한다.
S20; 지형 기복 데이터 검색 단계
제어모듈(500)은 수집장치(30)가 신규 항공촬영이미지를 촬영하면, 촬영 시점의 GPS정보를 지형기복 대비모듈(400)에 전달한다. 지형기복 대비 모듈(400)은 수집장치(30)로부터 신규 항공촬영이미지를 전달받고, 수집이미지DB(100)에서 상기 GPS정보의 이전 항공촬영이미지를 검색한다.
S30; 이미지 대비 단계
지형기복 대비모듈(400)은 신규 항공촬영이미지와 이전 항공촬영이미지를 서로 비교해서, 신규 항공촬영이미지가 지정된 지점을 촬영한 것인지를 확인한다.
도 4에서 보인 바와 같이, 비행체(AP)는 운항 중에 심한 흔들림을 일으켜서 수집장치(30)의 촬영 각도가 변경할 수 있고, 이로 인해서 수집장치(30)의 촬영 구역이 'T1'와 'T2' 등 다양할 수 있다. 하지만, 수치지도 제작을 위해 해당 위치에서 촬영해야 할 촬영 구역은 'T1'이며, 수집이미지DB(100)에 저장된 이전 항공촬영이미지는 'T1' 촬영 구역이다. 지형기복 대비모듈(400)은 해당 위치에서 'T1' 촬영 구역의 이전 항공촬영이미지를 기준으로 신규 항공촬영이미지의 유효성 여부를 확인한다.
신규 항공촬영이미지와 이전 항공촬영이미지 간의 대비 순서를 좀 더 구체적으로 설명한다.
전술한 바와 같이, 지형기복 대비모듈(400)은 제어모듈(500)로부터 비행체(AP)의 GPS정보를 수신하면, 수집장치(30)로부터 현재 촬영한 신규 항공촬영이미지를 수신하고, 수집이미지DB(100)에서 상기 GPS정보에 촬영한 이전 항공촬영이미지를 검색한다. 여기서 신규 항공촬영이미지와 이전 항공촬영이미지는 모두, 항공카메라가 촬영한 이미지와 항공 라이다 장치가 수집한 반사시간정보가 서로 링크된다.
참고로, 본 실시 예에서 이전 항공촬영이미지의 촬영 구역은 'T1'이고, 신규 항공촬영이미지의 촬영 구역은 'T2'이며, 따라서 이전 항공촬영이미지와 항공촬영이미지는 서로 다른 촬영 구역이다.
계속해서, 지형기복 대비모듈(400)은 이전 항공촬영이미지와 신규 항공촬영이미지에 각각 링크한 레이저 측량코드(P11, P11', P12, P12')의 반사시간정보를 확인하고, 아울러 이전 항공촬영이미지의 중심점(CP1)과 신규 항공촬영이미지의 중심점(CP2) 각각의 반사시간정보도 확인한다.
계속해서, 지형기복 대비모듈(400)은 이전 항공촬영이미지의 중심점(CP1)의 반사시간정보에 맞춰서 신규 항공촬영이미지의 중심점(CP2)의 반사시간정보를 보정하고, 보정 배율에 맞춰서 레이저 측량코드(P11, P11', P12, P12')의 반사시간정보를 모두 보정한다.
계속해서, 지형기복 대비모듈(400)은 보정한 반사시간정보 간의 일치율을 확인해서, 지정기준 이상의 일치율이면 신규 항공촬영이미지는 이전 항공촬영이미지에 맞는 정확한 촬영으로 간주하고, 지정기준 미만의 일치율이면 신규 항공촬영이미지는 부정한 촬영으로 간주하며, 후속 촬영을 위해서 수집장치(30)의 촬영자세 조정을 제어모듈(500)에 요구한다.
계속해서, 지형기복 대비모듈(400)은 신규 항공촬영이미지 내 레이저 측량코드(P11', P12')의 보정한 반사시간정보들 중에서 이전 항공촬영이미지의 반사시간정보와 동일하며 연속하게 배열된 레이저 측량코드(P11', P12')의 개수를 확인해서, 상기 개수가 지정기준 이상의 일치율이면 해당하는 레이저 측량코드(P11, P11', P12, P12')가 위치하는 범위를 신규 항공촬영이미지와 이전 항공촬영이미지의 동일범위(SZ)로 설정한다. 그러나 지정기준 미만의 일치율이면, 비행체(AP)의 운항 자세가 수집장치(30)의 촬영자세 조정이 불가능한 자세인 것으로 간주하고 후속 절차를 중단한다.
계속해서, 지형기복 대비모듈(400)은 동일범위(SZ)의 중심점(SP)을 확인하고, 이전 항공촬영이미지의 중심점(CP1)과 중심점(SP) 간의 횡축거리(X1)와 종축거리(Y1)를 확인하고, 신규 항공촬영이미지의 중심점(CP2)과 중심점(SP) 간의 횡축거리(X2)와 종축거리(Y2)를 각각 확인하며, 횡축거리(X1, X2) 및 종축거리(Y1, Y2)를 각각 제어모듈(500)에 전달한다.
S40; 수집장치 자세 조정 단계
제어모듈(500)은 지형기복 대비모듈(400)로부터 횡축거리(X1, X2)와 종축거리(Y1, Y2)를 수신하면, 해당 조정거리에 맞춰서 수집장치(30)의 촬영자세를 조정한다.
이를 좀 더 구체적으로 설명하면, 제어모듈(500)은 신규 항공촬영이미지의 촬영 구역(T2)이 이전 항공촬영이미지의 촬영 구역(T1)과 불일치함을 확인해서 수집장치(30)의 촬영자세 조정이 필요함을 판단했고, 수집장치(30)의 조정거리가 D'을 확인했다. 제어모듈(500)은 조정거리 D'를 연산하기 위해서 고도확인모듈(40)로부터 비행체(AP)의 고도(H)를 확인하고, 촬영자세 조정을 위해서 수집장치(30)가 동력을 받아 회전하는 중점인 "기준점"과, 수집장치(30)가 자세조정을 위해 동력을 받는 "조정점" 간의 길이(H')를 확인한다. 한편, 이전 항공촬영이미지는 이미 촬영 대상 위치가 확인되었으므로, 촬영 구역(T1)의 중심점(CP1)과 중심점(SP)의 위치좌표는 확인되고, 이를 기준으로 횡축거리(X1)와 종축거리(Y1)를 연산해서 확인할 수 있다. 계속해서, 신규 항공촬영이미지의 촬영 구역(T2)은 촬영 대상 위치는 불명확하나, 촬영 구역(T2)의 반사위치정보는 규칙적으로 정렬하게 배치되었고 위치좌표가 확인된 중심점(SP) 및 동일범위(SZ) 내 레이저 측량코드가 촬영 구역(T2) 내에 위치하므로, 이를 기준으로 신규 항공촬영이미지의 촬영 구역(T2)의 중심점(CP2)를 연산할 수 있다. 따라서 제어모듈(500)은 신규 항공촬영이미지의 중심점(CP2)과 중심점(SP)의 위치좌표를 통해서 횡축거리(X2)와 종축거리(Y2)를 연산할 수 있다. 결국, 제어모듈(500)은 이전 항공촬영이미지와 신규 항공촬영이미지 각각의 촬영 구역(T1, T2)에서 횡축거리(X1, X2)와 종축거리(Y1, Y2)를 연산하고, 이를 통해서 이전 항공촬영이미지의 중심점(CP1)과 신규 항공촬영이미지의 중심점(CP2) 간 실거리(D)를 확인한다.
이상 설명한 바와 같이, 제어모듈(500)은 고도(H), 길이(H'), 실거리(D)를 통해 조정거리(D')를 연산하고, 촬영자세 조정모듈(300)이 조정거리(D')만큼 수집장치(30)를 조정하게 제어한다.
S50; 데이터 수집 단계
제어모듈(500)의 제어를 받아서 촬영 자세가 조정된 수집장치(30)로부터 유효한 항공촬영이미지를 수집하고, 이렇게 수집한 항공촬영이미지를 항공촬영이미지DB(200)에 저장한다.
도 9는 본 발명에 따른 수집장치의 모습을 도시한 분해 사시도이고, 도 10은 본 발명에 따른 수집장치의 동작 모습을 도시한 측면도인 바, 이를 참고해 설명한다.
본 발명에 따른 촬영자세 조정모듈(300)은 비행체(AP)에 고정되는 기준대(310)와, 수집장치(30)를 기준대(310)에 연결하며 촬영자세 조정을 위해 동력을 받는 행거(320)와, 제1수평대(340)와 제2수평대(350)를 지지하는 서포터(330)와, 행거(320)에 횡방향으로 수평력을 가하는 제1수평대(340)와, 행거(320)에 종방향으로 수평력을 가하는 제2수평대(350)로 구성된다.
기준대(310)는 수집장치(30)가 관통하는 환형상의 지지체(311)와, 지지체(311)를 관통해 배치된 수집장치(30)를 향해서 방사형으로 돌출된 탄성의 지지봉(312)과, 지지봉(312)의 말단에 형성된 구 형상의 피봇(313)을 구비한다. 지지체(311)는 비행체(AP)에 고정되어서 수집장치(30)를 지지한다. 지지봉(312)은 수집장치(30)를 측면에서 가압해 지지하며, 촬영자세가 조정되는 수집장치(30)의 배치 자세에 따라 구부러지며 탄발하는 탄성 재질로 된다. 피봇(313)은 지지봉(312)의 가압으로도 수집장치(30)의 자세가 원활히 조정되도록 구 형상을 이룬다. 기준대(310)는 촬영자세 조정을 위해서 수집장치(30)가 동력을 받아 회전하는 중점인 "기준점"을 이룬다.
행거(320)는 수집장치(30)의 외면에 설치되며 피봇(313)을 회전가능하게 수용하는 오목홈(322a)을 갖춘 연결체(321)와, 수집장치(30)의 상방으로 인출하게 설치되는 주체(323)와, 주체(323)의 상단에 설치되는 반구 형상의 걸림대(324)를 구비한다. 연결체(321)는 수집장치(30)의 외면 둘레를 감싸도록 형성될 수도 있으나, 지지봉(312)과 만나는 지점만 형성될 수 있다. 오목홈(322a)은 피봇(313)을 회전가능하게 수용하며, 피봇(313)이 분리하지 않도록 감싸는 형상을 이루는 것이 바람직하다. 주체(323)는 수집장치(30)로부터 일정 길이 이상 인출하여서, 제1수평대(340)와 제2수평대(350)의 수평력을 주체(323)의 상단이 받게 한다. 본 실시 예에서 수집장치(30)는 기준대(310)에 연결해서 회전가능하게 하고 수집장치(30)가 아닌 주체(323)에 수평력을 가하는 이유는, 수집장치(30)의 촬영자세가 조정되어도 수집장치(30) 내 항공 라이다 장치의 레이저 거리 측정에 큰 변화가 없도록 하기 위함이다. 걸림대(324)는 제2수평대(350)의 제3본체(351)에 걸려서 수집장치(30)가 촬영자세 조정모듈(300)에 안정적으로 현수해 연동하도록 한다.
서포터(330)는 비행체(AP)에 고정되고 주체(323)가 관통하는 구멍(332)를 구비한 제1본체(331)와, 구멍(332)을 중심으로 마주하도록 제1본체(331)에 설치되는 한 쌍의 제1구동모터(333)와, 구멍(332)을 중심으로 마주하도록 제1본체(331)에 설치되는 베어링(334)을 구비한다. 제1본체(331)는 제1,2수평대(340, 350)를 지지하기 위해서 비행체(AP)에 고정되며, 중앙에는 주체(323)가 관통하도록 충분한 크기의 구멍(332)이 형성된다. 제1구동모터(333)는 제1수평대(340)의 제1스크류(344)를 길이방향으로 직선이동시키며, 이를 위해서 제1스크류(344)가 관통하는 너트(333a)를 회전시켜서 제1수평대(340)를 횡방향으로 이동시킨다. 베어링(334)은 횡방향으로 수평이동하는 제1수평대(340)가 서포터(330)에서 원활하게 이동하도록 지지한다.
제1수평대(340)는 주체(323)가 관통하는 구멍(342)을 구비한 제2본체(341)와, 구멍(342)을 중심으로 마주하도록 제2본체(341)에 설치되는 한 쌍의 제2구동모터(343)와, 구멍(332)을 중심으로 마주하도록 제2본체(341)에 설치되는 한 쌍의 제1스크류(344)와, 제2본체(341)의 저면에 설치되어서 서포터(330)의 베어링(334)과 이동가능하게 맞물리는 제1받침체(345)와, 구멍(342)을 중심으로 마주하도록 제2본체(341)에 설치되는 베어링(346)을 구비한다. 제2본체(341)는 제1본체(331) 상에 안착되어서 횡방향으로 수평이동하고, 제2구동모터(343)와 제1스크류(344)와 제1받침체(345)를 수용한다. 제2구동모터(343)는 제2수평대(350)의 제2스크류(353)를 길이방향으로 직선이동시키며, 이를 위해서 제2스크류(353)가 관통하는 너트(343a)를 회전시켜서 제2수평대(350)를 종방향으로 이동시킨다.
제2수평대(350)는 주체(323)가 관통하고 걸림대(324)가 걸리도록 직경보다 작은 직경의 구멍(352)을 구비한 제3본체(351)와, 구멍(352)을 중심으로 마주하도록 제3본체(351)에 설치되되 제1스크류(344)과 교차하게 배치되는 한 쌍의 제2스크류(353)와, 제3본체(351)의 저면에 설치되어서 제2본체(340)의 베어링(346)과 이동가능하게 맞물리는 제2받침체(354)를 구비한다. 참고로, 제1,2수평대(350)는 수집장치(30)가 자세조정을 위해 동력을 받는 "조정점"을 이룬다.
결국, 도 10의 (b)도면에서 보인 바와 같이, 제1수평대(340)는 제어모듈(500)의 제어를 받아 동작하는 제1구동모터(333)에 의해서 일정거리만큼 횡방향으로 수평이동하고, 제2수평대(350)는 제어모듈(500)의 제어를 받아 동작하는 제2구동모듈(343)에 의해서 일정거리만큼 종방향으로 수평이동해서 수집장치(30)의 촬영자세를 조정하고, 이를 통해서 잘못된 측방향 촬영자세의 수집장치(30)가 지정된 촬영자세로 촬영을 속행하도록 제어한다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100; 수집이미지DB 200; 항공촬영이미지DB 300;촬영자세 조정모듈
310; 기준대 311; 지지체 312; 지지봉
313; 피봇 320; 행거 321; 연결체
323; 주체 324; 걸림대 330; 서포터
331; 제1본체 332; 구멍 333; 제1구동모터
334; 베어링 340; 제1수평대 341; 제2본체
342; 구멍 343; 제2구동모터 344; 제1스크류
345; 제1받침체 350; 제2수평대 351; 제3본체
352; 구멍 353; 제2스크류 354; 제2받침체
400; 지형기복 대비모듈 500; 제어모듈
310; 기준대 311; 지지체 312; 지지봉
313; 피봇 320; 행거 321; 연결체
323; 주체 324; 걸림대 330; 서포터
331; 제1본체 332; 구멍 333; 제1구동모터
334; 베어링 340; 제1수평대 341; 제2본체
342; 구멍 343; 제2구동모터 344; 제1스크류
345; 제1받침체 350; 제2수평대 351; 제3본체
352; 구멍 353; 제2스크류 354; 제2받침체
400; 지형기복 대비모듈 500; 제어모듈
Claims (1)
- 항공 라이다 장치가 수집한 지형 기복 데이터의 반사시간정보가 해당 위치에 링크된 이전 항공촬영이미지를 저장하는 수집이미지DB(100),
제어모듈(500)을 통해서 비행체(AP)의 GPS모듈(20)로부터 GPS정보를 수신하면, 항공 라이다 장치와 항공카메라로 구성된 수집장치(30)에서 지형 기복 데이터의 반사시간정보가 링크된 신규 항공촬영이미지를 수신하고, 수집이미지DB(100)에서 상기 GPS정보의 이전 항공촬영이미지를 검색하고, 이전 항공촬영이미지와 신규 항공촬영이미지에 각각 링크한 반사시간정보를 확인하고, 이전 항공촬영이미지의 중심점(CP1)의 반사시간정보에 맞춰서 신규 항공촬영이미지 내 중심점(CP2)의 반사시간정보를 보정한 후에 상기 보정 배율에 맞춰서 신규 항공촬영이미지의 반사시간정보를 보정하고, 이전 항공촬영이미지의 반사시간정보와 신규 항공촬영이미지의 반사시간정보 간의 일치율을 확인해서 지정기준 미만의 일치율이면 이전 항공촬영이미지와 신규 항공촬영이미지가 다른 지형인 것으로 간주하고 제어모듈(500)에 신호를 전달하되, 신규 항공촬영이미지 내 보정한 반사시간정보들 중에서 이전 항공촬영이미지의 반사시간정보와 동일하며 연속하게 배열된 개수를 확인해서, 상기 개수가 지정기준 이상의 일치율이면 해당하는 반사시간정보가 위치한 범위를 신규 항공촬영이미지와 이전 항공촬영이미지의 동일범위(SZ)로 설정하고, 동일범위(SZ)의 중심점(SP)을 확인해서 이전 항공촬영이미지의 중심점(CP1)과의 횡축거리(X1)와 종축거리(Y1)를 확인하고, 신규 항공촬영이미지의 중심점(CP2)과 중심점(SP) 간의 횡축거리(X2)와 종축거리(Y2)를 각각 확인해서 제어모듈(500)로 전달하되, 중심점(CP1, SP) 간 횡축거리(X1)와 종축거리(Y1)는 이전 항공촬영이미지에 규칙적으로 배열된 반사시간정보의 GPS정보를 통해 확인하고, 중심점(CP2, SP) 간 횡축거리(X2)와 종축거리(Y1)는 동일범위(SZ) 내 반사시간정보의 GPS정보를 통해 확인하는 지형기복 대비모듈(400),
GPS모듈(20)로부터 GPS정보를 수신해서 지형기복 대비모듈(400)에 전달하고, 지형기복 대비모듈(400)로부터 횡축거리(X1, X2)와 종축거리(Y1, Y2)를 수신하고, 고도확인모듈(40)로부터 비행체(AP)의 고도(H)를 확인하고, 촬영자세 조정모듈(300)의 기준대(310)와 제1,2수평대(340, 350) 간의 길이(H')를 확인해서 수집장치(30)의 조정거리(D')를 연산하고, 조정거리(D')에 맞춰 촬영자세 조정모듈(300)을 제어하는 제어모듈(500), 및
수집장치(30)가 관통하는 환형상의 지지체(311)와, 지지체(311)를 관통해 배치된 수집장치(30)를 향해서 방사형으로 돌출된 탄성의 지지봉(312)과, 지지봉(312)의 말단에 형성된 구 형상의 피봇(313)을 구비한 기준대(310); 수집장치(30)의 외면에 설치되며 피봇(313)을 회전가능하게 수용하는 오목홈(322a)을 갖춘 연결체(321)와, 수집장치(30)의 상방으로 인출하게 설치되는 주체(323)와, 주체(323)의 상단에 설치되는 반구 형상의 걸림대(324)를 구비한 행거(320); 비행체(AP)에 고정되고 주체(323)가 관통하는 구멍(332)를 구비한 제1본체(331)와, 구멍(332)을 중심으로 마주하도록 제1본체(331)에 설치되며 제어모듈(500)의 제어를 받아 동작하는 한 쌍의 제1구동모터(333)와, 구멍(332)을 중심으로 마주하도록 제1본체(331)에 설치되는 베어링(334)을 구비한 서포터(330); 주체(323)가 관통하는 구멍(342)을 구비한 제2본체(341)와, 구멍(342)을 중심으로 마주하도록 제2본체(341)에 설치되며 제어모듈(500)의 제어를 받아 동작하는 한 쌍의 제2구동모터(343)와, 구멍(332)을 중심으로 마주하도록 제2본체(341)에 설치되는 한 쌍의 제1스크류(344)와, 제2본체(341)의 저면에 설치되어서 서포터(330)의 베어링(334)과 이동가능하게 맞물리는 제1받침체(345)와, 구멍(342)을 중심으로 마주하도록 제2본체(341)에 설치되는 베어링(346)을 구비한 제1수평대(340); 주체(323)가 관통하고 걸림대(324)가 걸리도록 직경보다 작은 직경의 구멍(352)을 구비한 제3본체(351)와, 구멍(352)을 중심으로 마주하도록 제3본체(351)에 설치되되 제1스크류(344)과 교차하게 배치되는 한 쌍의 제2스크류(353)와, 제3본체(351)의 저면에 설치되어서 제2본체(340)의 베어링(346)과 이동가능하게 맞물리는 제2받침체(354)를 구비한 제2수평대(350);로 이루어진 촬영자세 조정모듈(300)
을 포함하는 것을 특징으로 하는 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150122572A KR101578825B1 (ko) | 2015-08-31 | 2015-08-31 | 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150122572A KR101578825B1 (ko) | 2015-08-31 | 2015-08-31 | 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101578825B1 true KR101578825B1 (ko) | 2015-12-21 |
Family
ID=55083908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150122572A KR101578825B1 (ko) | 2015-08-31 | 2015-08-31 | 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101578825B1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100870894B1 (ko) * | 2007-06-04 | 2008-11-28 | 연세대학교 산학협력단 | 선형 스캐닝 영상의 자동 영상기하 보정 방법 |
KR100875524B1 (ko) | 2008-05-21 | 2008-12-23 | 한국종합설계 주식회사 | 기준점 적용에 따른 영상도화 작업의 보정시스템 |
KR100898797B1 (ko) * | 2009-01-06 | 2009-05-21 | 중앙항업(주) | 항공라이다자료를 이용한 지형기복 정사영상의 제작방법 |
KR101192825B1 (ko) * | 2011-06-30 | 2012-10-18 | 서울시립대학교 산학협력단 | Gps/ins/영상at를 통합한 라이다 지오레퍼린싱 장치 및 방법 |
KR101214081B1 (ko) * | 2012-05-10 | 2013-01-10 | (주)원지리정보 | 항공촬영이미지와 수치정보를 합성 처리하는 영상도화 시스템 |
-
2015
- 2015-08-31 KR KR1020150122572A patent/KR101578825B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100870894B1 (ko) * | 2007-06-04 | 2008-11-28 | 연세대학교 산학협력단 | 선형 스캐닝 영상의 자동 영상기하 보정 방법 |
KR100875524B1 (ko) | 2008-05-21 | 2008-12-23 | 한국종합설계 주식회사 | 기준점 적용에 따른 영상도화 작업의 보정시스템 |
KR100898797B1 (ko) * | 2009-01-06 | 2009-05-21 | 중앙항업(주) | 항공라이다자료를 이용한 지형기복 정사영상의 제작방법 |
KR101192825B1 (ko) * | 2011-06-30 | 2012-10-18 | 서울시립대학교 산학협력단 | Gps/ins/영상at를 통합한 라이다 지오레퍼린싱 장치 및 방법 |
KR101214081B1 (ko) * | 2012-05-10 | 2013-01-10 | (주)원지리정보 | 항공촬영이미지와 수치정보를 합성 처리하는 영상도화 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3315414B1 (en) | Geo-location or navigation camera, and aircraft and navigation method therefor | |
US8666571B2 (en) | Flight control system for flying object | |
US9409656B2 (en) | Aerial photographing system | |
JP6878567B2 (ja) | 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 | |
KR101590530B1 (ko) | 자동 장면 교정 | |
JP5775632B2 (ja) | 飛行体の飛行制御システム | |
EP2527787B1 (en) | Aerial photograph image pickup method and aerial photograph image pickup apparatus | |
EP4016228A1 (en) | Systems and methods for visual target tracking | |
US10800344B2 (en) | Aerial photogrammetric device and aerial photogrammetric method | |
JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
KR102198193B1 (ko) | 회전식 다방향 항공촬영 카메라의 타깃별 촬영 초점 조정장치 | |
US11120260B2 (en) | Multiscopic whitetail scoring game camera systems and methods | |
KR101551380B1 (ko) | 지형정보의 다양한 변화에 따른 영상이미지 구현의 공간영상 도화시스템 | |
KR101450702B1 (ko) | 지상면의 연직촬영 유지를 통한 고정밀 항공촬영 편집방법이 적용된 시스템 | |
CN104067111A (zh) | 用于跟踪和监测目标对象上的差异的自动化系统和方法 | |
KR101540993B1 (ko) | 지상 구조물 변경에 따른 지형지물의 변화 감시 및 측지정보 변화율 측지시스템 | |
US11122209B2 (en) | Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium | |
KR101547910B1 (ko) | 위치정보와 촬영이미지 합성을 통한 영상처리 시스템의 운용방법 | |
US20070076096A1 (en) | System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system | |
US20210132195A1 (en) | Mobile apparatus and method for capturing an object space | |
KR101589925B1 (ko) | 영상도화용 지형이미지의 기준점 확인 처리가 가능한 공간영상도화시스템 | |
CN111733673B (zh) | 基于移动平台的路面不平度非接触测量方法及其装置 | |
JP2018146524A (ja) | 測量システム | |
KR101517824B1 (ko) | 지형지물의 위치변화를 반영하는 공간이미지의 도화처리 시스템 | |
KR101578825B1 (ko) | 항공촬영 시점을 기준으로 기복 지형을 감지해서 측방향 촬영을 자동 제어하는 3차원 항공촬영이미지 수집시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20181213 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20191202 Year of fee payment: 5 |