KR102314038B1 - 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법 - Google Patents

Abstract

다양한 실시예들에 따라서 특이 영역을 결정하는 방법, 온보드 맵을 생성하는 방법 및 착륙선의 방향을 결정하는 방법이 제공된다. 특이 영역을 결정하는 방법은 컴퓨팅 장치에 의해 수행되고, 관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하는 단계, 상기 관측 지역의 적어도 일부가 나타난 복수의 영상들 각각에 위치 정보를 라벨링하는 단계, 상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 컨벌루션 신경망 기반의 인공 신경망을 트레이닝하는 단계, 상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계, 및 상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계를 포함한다.

Description

인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법{Method for determining unusual area for optical navigation based on artificial neural network, apparatus for producing onboard map, and method for determining direction of lander}

본 발명은 인공 신경망 기반으로 광학적 항법을 위한 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법에 관한 것으로서, 더욱 구체적으로는 달, 화성, 목성 등과 같이 위성항법시스템이 존재하지 않는 행성에서 광학적 항법을 이용하기 위해 딥 러닝 기반으로 강건한(robust) 특이 영역을 결정하는 방법 및 컴퓨터 프로그램, 이와 같이 결정된 특이 영역을 포함하는 온보드 맵을 생성하는 장치, 이와 같이 생성된 온보드 맵을 이용하여 착륙선의 방향을 결정하는 방법에 관한 것이다.

우주시대가 다가오면서, 달, 화성, 목성 등과 같은 지구 외의 행성(이하, '행성'이라 지칭함)을 더욱 정밀하게 탐사하고려는 시도가 이루어지고 있다. 지구에서는 위성항법시스템을 이용하여 비교적 정확하게 자신의 위치를 알 수 있지만, 행성에서는 자신의 위치를 알 수 있는 방법이 제한적이다.

행성에서도 원하는 위치로 이동 또는 착륙하기 위해서는 우주선 또는 착륙선과 같은 비행체는 스스로의 위치를 알 수 있어야 한다. 행성의 지표면 사진을 지도 형태로 저장하고, 현재 위치에서 행성의 지표면을 촬영한 사진을 저장된 지도와 비교함으로써 현재 위치를 추정하는 광학적 항법 방식이 이용될 수 있다.

행성에는 지구와 달리 대기가 없기 때문에 지표면의 형태가 거의 변하지 않기 때문에, 지표면 사진을 기초로 자신의 위치를 추정하는 것이 가능하다. 그러나, 행성에는 지구와 달리 인공 랜드마크가 존재하지 않고 지형만 존재한다.

행성의 지표면에 형성된 크래이터(crater)들을 랜드마크와 같은 특이 영역으로 광학적 항법에서 이용하고 있지만, 행성의 극 지방에서와 같이 태양의 고도가 낮을 경우 산악 지형의 그림자가 길게 생기기 때문에 사진을 통해서는 크래이터가 식별되지 못할 수도 있다. 또한, 일부 지역들에서는 크래이터가 존재하지 않을 수도 있다. 또한, 비행체가 접근하는 방향에 따라서 사진의 방향은 달라지게 되므로, 이를 저장된 지도와 비교하는데 어려움이 발생한다.

태양의 위치나 비행체의 위치의 변화에도 다른 영역과 강건하게 구별될 수 있는 특이 영역을 결정할 수 있다면, 행성에서도 광학적 항법을 이용하여 자신의 위치를 정확하게 추정할 수 있다.

본 발명이 해결하고자 하는 과제는 태양의 위치 및 비행체의 위치 등의 변화에도 불구하고 광학적 항법을 위한 랜드마크로서 기능할 수 있는 행성의 지표면 상의 특이 영역들 또는 지형들을 결정하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 행성 주변을 비행하는 비행체나 행성의 착륙 지점에 착륙하고자 하는 착륙선에서 광학적 항법을 수행할 수 있도록 메모리에 탑재되는 온보드 맵을 생성하는 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 행성의 미리 설정된 착륙 지점에 착륙선이 착륙하기 위하여 온보드 맵과 카메라 영상을 이용하여 착륙선의 방향을 결정하는 방법을 제공하는 것이다.

상술한 기술적 과제들을 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 특이 영역 결정 방법은 컴퓨팅 장치에 의해 수행되며, 관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하는 단계, 상기 관측 지역의 적어도 일부가 나타난 복수의 영상들 각각에 위치 정보를 라벨링하는 단계, 상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 컨벌루션 신경망 기반의 인공 신경망을 트레이닝하는 단계, 상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계, 및 상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계를 포함한다.

일 예에 따르면, 상기 복수의 후보 영역들은 상기 관측 지역 내에 서로 중첩하지 않도록 분포될 수 있다.

다른 예에 따르면, 상기 복수의 후보 영역들은 미리 설정된 형상을 갖고, 상기 관측 지역 내에 서로 인접하게 배열될 수 있다.

또 다른 예에 따르면, 상기 복수의 후보 영역들은 제1 직경을 갖는 원형이고, 상기 관측 지역 내에 서로 인접하게 배열될 수 있다.

또 다른 예에 따르면, 상기 관측 지역을 촬영한 복수의 영상들은 상기 관측 지역 상에 주기를 갖는 궤도를 따라 비행하는 적어도 하나의 인공 위성에 의해 촬영된 위성 영상들을 포함할 수 있다.

또 다른 예에 따르면, 상기 관측 지역을 촬영한 복수의 영상들은 상기 관측 지역의 상공을 비행하는 비행체에 의해 촬영된 영상들을 포함할 수 있다.

또 다른 예에 따르면, 상기 관측 지역을 촬영한 복수의 영상들은 지구에서 상기 관측 지역을 촬영한 영상들을 포함할 수 있다.

또 다른 예에 따르면, 상기 관측 지역을 촬영한 복수의 영상들은 상기 관측 지역의 모델링된 지형, 상기 관측 지역에 대한 태양의 위치, 및 상기 관측 지역을 촬영하는 카메라의 포즈에 기초하여 생성된 합성 영상들을 포함할 수 있다.

또 다른 예에 따르면, 상기 특이 영역 결정 방법은 착륙선이 착륙할 착륙 지점 및 상기 착륙 지점에 착륙하기 위한 착륙 궤도를 결정하는 단계를 더 포함할 수 있다. 상기 관측 지역은 상기 착륙 궤도에 따라 결정될 수 있다.

또 다른 예에 따르면, 상기 특이 영역 결정 방법은 상기 관측 지역 상의 상기 착륙 궤도의 고도와 상기 착륙선에 탑재되는 카메라의 공간 해상도에 기초하여 상기 복수의 영상들을 확대 또는 축소하는 단계를 더 포함할 수 있다.

또 다른 예에 따르면, 상기 위치 정보는 상기 복수의 영상들 각각에 나타난 촬영 지역의 위치 좌표를 포함할 수 있다. 상기 각 영상에 라벨링되는 상기 촬영 지역의 위치 좌표에 기초하여 상기 각 영상에서의 상기 복수의 후보 영역들 각각의 영상 좌표가 추출될 수 있다.

또 다른 예에 따르면, 상기 위치 정보는 상기 각 영상에서의 상기 복수의 후보 영역들의 영상 좌표들을 포함할 수 있다.

또 다른 예에 따르면, 상기 라벨링하는 단계는 상기 복수의 영상들 각각에 상기 각 영상에 대응하는 시점에서의 상기 관측 지역에 대한 태양의 위치 및 상기 관측 지역에 대한 카메라의 포즈를 추가로 라벨링하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 인공 신경망을 트레이닝하는 단계는, 상기 위치 정보가 라벨링된 상기 영상들 중에서 제1 영상을 상기 인공 신경망에 입력하는 단계, 상기 인공 신경망의 출력으로서, 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 영상 좌표들을 수신하는 단계, 및 상기 제1 영상에 라벨링된 상기 복수의 후보 영역들의 영상 좌표들과 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 영상 좌표들 간의 차이가 최소화되도록 상기 인공 신경망을 트레이닝하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 인공 신경망을 트레이닝하는 단계는, 상기 인공 신경망의 출력으로서, 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 크기들을 수신하는 단계, 및 상기 복수의 후보 영역들의 크기들과 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 크기들 간의 차이가 최소화되도록 상기 인공 신경망을 트레이닝하는 단계를 더 포함할 수 있다.

또 다른 예에 따르면, 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계는 상기 복수의 후보 영역들 중 제1 후보 영역의 피탐색 성능을 평가하는 단계를 포함할 수 있다. 상기 제1 후보 영역의 피탐색 성능을 평가하는 단계는, 상기 관측 지역 중 적어도 일부가 나타난 복수의 테스트 영상들 각각을 상기 트레이닝된 인공 신경망에 입력하는 단계, 상기 트레이닝된 인공 신경망의 출력으로서, 상기 복수의 테스트 영상들 각각에서 상기 복수의 후보 영역들의 추정된 영상 좌표들을 수신하는 단계, 및 상기 트레이닝된 인공 신경망의 출력에 기초하여 F₁ 스코어를 산출하고, 상기 산출된 F₁ 스코어에 기초하여 상기 제1 후보 영역의 분류 성능을 결정하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 후보 영역의 피탐색 성능을 평가하는 단계는, 상기 각 테스트 영상에 라벨링된 상기 제1 후보 영역의 영상 좌표와 상기 각 테스트 영상에서의 상기 제1 후보 영역의 추정된 영상 좌표 간의 위치 차이를 기초로, 상기 제1 후보 영역의 정확도 성능을 결정하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 후보 영역의 피탐색 성능을 평가하는 단계는, 상기 복수의 테스트 영상들 각각에 라벨링된 상기 관측 지역에 대한 태양의 위치에 기초하여, 태양의 방위각과 고도에 따른 상기 제1 후보 영역의 분류 성능 및 정확도 성능을 각각 분류 성능 그래프 및 정확도 성능 그래프로 표시하는 단계를 더 포함할 수 있다.

또 다른 예에 따르면, 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계는 상기 복수의 후보 영역들 각각에 대한 분류 성능 그래프 및 정확도 성능 그래프에 기초하여 상기 특이 영역들을 결정하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 특이 영역 결정 방법은 착륙선이 착륙할 착륙 지점 및 상기 착륙 지점에 착륙하기 위한 착륙 궤도를 결정하는 단계를 더 포함할 수 있다. 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계는, 상기 복수의 후보 영역들 각각에 대한 분류 성능 그래프와 정확도 성능 그래프, 및 상기 착륙선의 1차 착륙 일시에 기초하여 상기 복수의 후보 영역들 중 적어도 일부를 제1 특이 영역들로 결정하는 단계, 상기 관측 지역 내에 상기 제1 특이 영역들을 포함하는 제1 온보드 맵을 생성하는 단계, 상기 복수의 후보 영역들 각각에 대한 분류 성능 그래프와 정확도 성능 그래프, 및 상기 착륙선의 2차 착륙 일시에 기초하여 상기 복수의 후보 영역들 중 적어도 일부를 제2 특이 영역들로 결정하는 단계, 및 상기 관측 지역 내에 상기 제2 특이 영역들을 포함하는 제2 온보드 맵을 생성하는 단계를 포함할 수 있다.

상술한 기술적 과제들을 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 컴퓨터 프로그램은 컴퓨팅 장치를 이용하여 전술한 특이 영역 결정 방법들을 실행시키기 위하여 매체에 저장된다.

상술한 기술적 과제들을 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 온보드 맵 생성 장치는 관측 지역의 적어도 일부가 나타난 복수의 영상들, 및 컨벌루션 신경망 기반의 인공 신경망을 저장하는 메모리, 및 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 상기 관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하고, 상기 복수의 영상들 각각에 위치 정보를 라벨링하고, 상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 상기 인공 신경망을 트레이닝하고, 상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하고, 상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하고, 상기 관측 지역 내에 상기 특이 영역들을 포함하는 상기 온보드 맵을 생성하도록 구성된다.

상술한 기술적 과제들을 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 착륙선의 방향을 결정하는 방법은 착륙선의 프로세서에 의해 수행되며, 착륙 궤적에 따라 비행하면서 미리 설정된 고도에서 미리 설정된 관측 지역을 촬영하여 관측 지역 영상을 생성하는 단계, 메모리에 저장된 온보드 맵의 상기 관측 지역 내의 특이 영역들을 상기 관측 지역 영상에서 탐색하는 단계, 및 상기 관측 지역 영상에서 탐색된 특이 영역들의 배치 방향과 상기 온보드 맵의 상기 특이 영역들의 배치 방향의 차이를 기초로 상기 탐사선의 방향을 결정하는 단계를 포함한다. 상기 온보드 맵은 관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하는 단계, 상기 관측 지역의 적어도 일부가 나타난 복수의 영상들 각각에 위치 정보를 라벨링하는 단계, 상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 컨벌루션 신경망 기반의 인공 신경망을 트레이닝하는 단계, 상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계, 상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 상기 특이 영역들로 결정하는 단계, 및 상기 관측 지역 내에 상기 특이 영역들을 포함하는 상기 온보드 맵을 생성하는 단계를 수행하는 컴퓨팅 장치에 의하여 생성된다.

본 발명에 따르면, 태양의 위치 및 비행체의 위치 등의 변화에도 불구하고 광학적 항법을 위한 랜드마크로서 기능할 수 있는 행성의 지표면 상의 특이 영역들 또는 지형들이 결정될 수 있다. 따라서, 달의 극지방과 같이 음영이 많은 지역에서도 다른 영역들 또는 지형들과 구별될 수 있는 특이 영역들 또는 지형들을 랜드마크로 이용할 수 있다.

행성 주변을 비행하는 비행체나 행성의 착륙 지점에 착륙하고자 하는 착륙선에서 광학적 항법을 수행할 수 있도록 메모리에 탑재되는 온보드 맵을 생성할 수 있다. 달에는 대기가 없기 때문에, 지형 변화가 거의 없으며, 온보드 맵은 반영구적으로 사용될 수 있다.

행성의 미리 설정된 착륙 지점에 착륙선이 착륙하기 위하여 온보드 맵과 카메라 영상을 이용하여 착륙선의 방향을 정확하게 결정할 수 있다.

도 1은 본 발명에 따라서 달 주변을 공전하는 궤도선 및 달의 착륙 지점에 착륙하는 착륙선을 예시적으로 도시한다.
도 2는 본 발명에 따라서 달의 착륙 지점에 착륙하는 착륙선을 예시적으로 도시한다.
도 3은 본 발명에 따른 착륙선의 내부 구성을 개략적으로 도시한다.
도 4는 본 발명에 따른 착륙선의 프로세서의 동작을 개략적으로 도시한다.
도 5는 본 발명에 따라서 달의 관측 지역의 영상들을 기초로 특이 영역들을 결정하고, 특이 영역들을 포함하는 온보드 맵을 생성하는 컴퓨팅 장치를 개략적으로 도시한다.
도 6a 내지 도 6c는 본 발명의 다양한 실시예들에 따른 관측 지역 내의 후보 영역들의 구성을 예시적으로 도시한다.
도 7은 본 발명에 따른 컴퓨팅 장치의 내부 구성을 개략적으로 도시한다.
도 8은 본 발명의 실시예들에 따른 제어부의 예시적인 블록도이다.
도 9은 본 발명의 일 실시예에 따른 데이터 학습부의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 데이터 인식부의 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 다양한 실시예들을 상세히 설명한다. 그러나 본 개시의 기술적 사상은 다양한 형태로 변형되어 구현될 수 있으므로 본 명세서에서 설명하는 실시예들로 제한되지 않는다. 본 명세서에 개시된 실시예들을 설명함에 있어서 관련된 공지 기술을 구체적으로 설명하는 것이 본 개시의 기술적 사상의 요지를 흐릴 수 있다고 판단되는 경우 그 공지 기술에 대한 구체적인 설명을 생략한다. 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 명세서에서 어떤 요소가 다른 요소와 "연결"되어 있다고 기술될 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 요소를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라 또 다른 요소를 더 포함할 수 있는 것을 의미한다.

일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.

광학적 지형 참조 항법(optical Terrain-Referenced Absolute Navigation)을 이용하여 비행하는 비행체는 비행 경로를 따라 적절한 랜드마크 정보가 필요하다. 비행체가 달과 같은 행성에 근접하여 비행하는 경우, 광학적 항법의 직관적인 랜드마크로서 크래이터가 선택될 수 있다. 그러나, 달의 하이랜드(highland) 지역의 경우, 넓은 음영 지역으로 인하여 크래이터를 신뢰성 있게 검출하기 어려우며, 크래이터들을 광학적 항법의 랜드마크로 기능하지 못할 수 있다.

본 발명은 거친 지형에서조차도 광학적 항법의 랜드마크들로 사용될 수 있는 특이 영역들 결정하는 방법을 제안한다. 본 발명은 광학적 항법의 랜드마크로서 결정된 특이 영역들을 이용하여 비행 계획을 결정하는 방법을 제안한다. 본 발명은 특이 영역들을 포함하는 온보드 맵을 생성하고 이를 이용하여 달 주변을 비행 또는 달에 착륙하는 방법을 제안한다.

좋은 랜드마크를 결정하기 위하여, 다양한 조명 환경 하에서도 비슷한 랜드마크 후보자들을 서로 구별할 수 있도록 컨벌루션 신경망(CNN) 기반의 객체 검출기가 트레이닝된다. 컨벌루션 신경망은 일년 내의 모든 날짜에 비행 경로들을 따라 랜드마크 검출 가능성을 예측하는데 사용된다. 검출 가능성이 높은 날짜가 결정될 수 있으며, 이를 참조로 미션 계획이 결정될 수 있다.

본 발명은 항법 위성이 존재하지 않는 달, 화성, 목성 등과 같은 행성의 지표면에서 광학적 항법을 위한 랜드마크로 기능할 수 있는 특이 영역들을 결정하고, 결정된 특이 영역들을 기초로 비행선 또는 착륙선에 탑재되는 온보드 맵을 생성하기 위한 것이다.

본 명세서의 상세한 설명에서는 본 발명의 용이한 이해를 위하여 달, 화성, 목성 등과 같은 지구 외 행성을 '달'로 통칭한다. 그러나, 본 발명은 달 주위를 탐사하거나 달에 착륙하기 위해서만 사용되는 것이 아니며, 화성이나 목성 등과 같은 다른 행성에 대하여도 본 발명의 균등 범위 내에서 적용될 수 있다.

또한, 본 명세서의 상세한 설명에서는 예시적으로 달에 착륙하기 위한 탐사선을 중심으로 설명하지만, 본 발명은 달 궤도를 비행하는 궤도선 또는 비행선에도 동일하게 적용될 수 있다.

본 명세서에서 컨벌루션 신경망(CNN) 기반의 인공 신경망을 트레이닝 한다는 것은 트레이닝 데이터를 이용하여 인공 신경망을 학습시킨다는 것과 실질적으로 동일한 의미이다. 또한, 본 명세서에서 포즈(pose)는 위치와 방향을 포함하는 개념이다. 예컨대, 착륙선의 포즈는 착륙선의 위치와 착륙선의 방향을 포함한다.

도 1은 본 발명에 따라서 달 주변을 공전하는 궤도선 및 달의 착륙 지점에 착륙하는 착륙선을 예시적으로 도시한다.

도 1을 참조하면, 궤도선(SC)은 달(M) 주변의 궤도(OR)를 따라 비행한다. 궤도선(SC)은 본 발명에 따라 생성된 온보드 맵을 메모리에 탑재할 수 있으며, 궤도선(SC)의 프로세서는 카메라를 통해 촬영한 지표면 영상과 온보드 맵에 기초하여 비행 방향 및/또는 자세(attitude)를 결정할 수 있다. 결정된 비행 방향 및/또는 자세가 계획한 비행 방향 및/또는 자세와 상이할 경우 스스로 수정할 수 있다.

착륙선(LL)은 미리 결정된 착륙 궤적(LT)을 따라 달(M)의 착륙 지점(LS)에 착륙할 수 있다. 착륙선(LL)은 착륙 지점(LS)까지 하강하면서 미리 정해진 관측 지역들(OA1, OA2, OA3)을 촬영할 수 있다. 착륙선(LL)은 본 발명에 따라 생성된 온보드 맵을 메모리에 탑재할 수 있으며, 착륙선(LL)의 프로세서는 관측 지역들(OA1, OA2, OA3)의 지표면 영상과 관측 지역들(OA1, OA2, OA3)의 온보드 맵에 기초하여 비행 방향 및/또는 자세(attitude)를 결정할 수 있다.

착륙선(LL)이 착륙 궤적(LT)을 따라 착륙하고 있지 않다면, 착륙 지점(LS)에 착륙할 수 있도록 착륙선(LL)은 착륙 방향 또는 자세를 스스로 수정할 수 있다.

온보드 맵에는 광학적 지형 참조 항법에 사용되는 랜드마크들로 기능할 수 있는 특이 객체들(또는 영역들)에 관한 정보가 저장된다. 특이 객체들(또는 영역들)은 관측 지역들(OA1, OA2, OA3) 각각에 대해 결정된다. 특이 객체들(또는 영역들)은 착륙 날짜에 따라 달라질 수 있다. 다른 예에 따르면, 착륙 예상 날짜에 따라 서로 다른 제1 특이 객체들(또는 영역들)과 제2 특이 객체들(또는 영역들)을 각각 포함하는 제1 및 제2 온보드 맵이 각각 생성되고 착륙선(LL)의 메모리에 저장될 수 있다. 제1 온보드 맵은 주위적으로 준비되고, 제2 온보드 맵은 예비적으로 준비된 것일 수 있다.

본 명세서에서 특이 객체(또는 영역)는 관측 지역(OA1, OA2, OA3)을 촬영한 영상에서 다양하게 변하는 환경에서도 다른 객체(또는 영역)과 구별될 수 있는 객체(또는 영역)을 의미한다. 특이 객체는 실제로 관측 지역(OA1, OA2, OA3) 내의 위치가 알려진 특정 영역에 대응하며, 관측 지역(OA1, OA2, OA3)을 촬영한 영상에서 이러한 특정 영역에 대응하는 특정 픽셀들의 집합으로 이해될 수 있다. 본 명세서에서 특이 객체는 관측 지역(OA1, OA2, OA3) 내의 특이 영역으로 지칭한다. 특이 영역은 해당 영역의 지형으로 인해 다른 영역들로부터 구별될 수 있다.

관측 지역(OA1, OA2, OA3)을 촬영한 영상에서 특이 객체는 달의 해당 관측 지역(OA1, OA2, OA3)에서의 태양의 위치(고도와 방위각)에 따라 결정되는 다양한 조명 조건 하에서도 다른 객체들과 구별될 수 있다.

착륙선(LL)에 탑재된 프로세서는 온보드 맵에 기록된 관측 지역(OA1, OA2, OA3) 내의 특이 객체들을 관측 지역(OA1, OA2, OA3)을 촬영한 영상에서 상관 관계 분석 또는 RANSAC 알고리즘을 통해 탐색함으로써 착륙선(LL)의 자세를 추정할 수 있다.

본 예에서, 관측 지역(OA1, OA2, OA3)이 3개인 것으로 예시되어 있지만, 이는 오로지 예시적이며, 4개 이상일 수 있으며, 2개 이하일 수도 있다. 관측 지역들(OA1, OA2, OA3) 중 어떤 하나의 관측 지역을 지칭할 때에는 관측 지역(OA)으로 표시한다.

도 2는 본 발명에 따라서 달의 착륙 지점에 착륙하는 착륙선을 예시적으로 도시한다.

도 2를 참조하면, 착륙선(LL)은 착륙 궤적(LT)을 따라 예컨대 15.24km의 고도에서 착륙 지점(LS)으로 하강할 수 있다. 착륙 지점(LS)은 남극(south pole)에 인접한 곳일 수 있다. 예컨대, 남위 89.98도 동경 0.02도일 수 있다. 이를 위하여, 착륙은 남위 74.958도 동경 0.02도에서 시작할 수 있다. 착륙선(LL)은 정확히 남쪽 방향으로 비행하면서 착륙 지점(LS)에 도달할 수 있다.

착륙 궤적(LT)에 따라 촬영할 수 있는 미리 설정된 관측 지역(OA1, OA3)을 촬영할 수 있다. 예컨대, 제1 관측 지역(OA1)은 착륙 궤적(LT)에 따라 10km 정도의 고도로 비행할 때 지나가는 지역이며, 제3 관측 지역(OA3)은 착륙 궤적(LT)에 따라 3km 정도의 고도로 비행할 때 지나가는 지역일 수 있다.

위의 예에서, 관측 지역들(OA1, OA3)은 남위 74.958도 내지 남위 89.98도 사이에 위치하고, 동경 0.02도에 위치할 수 있다. 예컨대, 제1 관측 지역(OA1)은 예컨대 남위 85.39도에 위치할 수 있다.

달(M)의 극지방은 태양(S)의 고도가 낮기 때문에 물이 존재할 가능성이 높고, 달(M)의 극지방에는 지구와 항상 통신이 가능한 산 봉우리 지형이 위치하기 때문에, 다른 지역에 비해 탐사 가치가 높다고 알려져 있다.

관측 지역들(OA1, OA3)의 위도가 높기 때문에, 태양(S)의 고도(θ)는 2도 이하, 예컨대, 0.330도 내지 1.898도 사이일 수 있다. 태양(S)의 방위각(φ)은 0도 내지 360도 사이일 수 있다.

도 3은 본 발명에 따른 착륙선의 내부 구성을 개략적으로 도시한다.

도 3을 참조하면, 착륙선(10)은 프로세서(11), 메모리(12), 카메라(13), 센서(14) 및 추력기(15)를 포함한다. 착륙선(10)은 별 추적기, 계획된 임무에 따른 장치 등과 같은 구성요소들을 더 포함할 수 있다. 착륙선(10)은 설계에 따라서 전술한 구성 요소 중 일부만을 포함할 수도 있다.

착륙선(10)은 예컨대 도 2에 도시된 달 착륙선(LL)일 수 있으며, 달(M)의 착륙 지점(LS)에 착륙하기 위해 착륙 궤적(LT)을 따라 비행할 수 있다.

프로세서(11)는 착륙선(10)의 전반적인 제어를 담당하며, 착륙선(10)이 착륙 궤적(LT)따라 비행하고 착륙 지점(LS)에 착륙할 수 있도록 착륙선(10)을 제어할 수 있다.

메모리(12)에는 프로세서(11)가 동작하기 위한 명령어들이 저장된다. 그 외에도 메모리(12)에는 착륙 궤적(LT)에 관한 정보가 저장된다. 메모리(12)에는 착륙선(10)이 착륙 지점(LS)에 착륙하기 위해 계획된 방향으로 비행하는지 착륙 궤적(LT)에서 계획된 자세를 유지하고 있는지를 결정하기 위해 관측 지역들(OA) 내의 특이 영역들을 포함하는 온보드 맵이 저장될 수 있다.

착륙선(10)은 달(M) 주변을 공전하다가 착륙 지점(LS)에 착륙하기 위해 착륙을 시작할 수 있다. 착륙 계획에 따라 설정된 착륙 일자가 결정되지만, 해당 착륙 일자에 착륙을 하지 못할 것을 대비하여 예비적으로 다른 착륙 일자들이 준비될 수 있다. 우선적으로 착륙을 시도할 착륙 일자는 제1 착륙 일자라고 지칭하고, 제1 착륙 일자에 착륙을 시도하지 못했을 경우 예비적으로 준비된 예비 착륙 일자는 제2 착륙 일자라고 지칭한다. 제2 착륙 일자 외에도 제3, 제4 착륙 일자들이 미리 결정되어 있을 수도 있다. 본 명세서에서, 착륙 일자는 단지 해당 날짜만을 의미하는 것이 아니라, 해당 일자의 착륙 시간을 포함하는 착륙 일시를 포함한다.

메모리(12)에는 제1 착륙 일자의 태양 고도에 따라 선택되는 제1 특이 영역들을 포함하는 관측 지역들(OA)의 제1 온보드 맵이 저장되고, 제2 착륙 일자의 태양 고도에 따라 선택되는 제2 특이 영역들을 포함하는 관측 지역들(O)의 제1 온보드 맵이 저장될 수 있다. 프로세서(11)는 제1 착륙 일자에는 제1 온보드 맵을 이용하고, 제2 착륙 일자에는 제2 온보드 맵을 이용할 수 있다. 제1 온보드 맵의 관측 지역(OA)과 제2 온보드 맵의 관측 지역(OA)은 서로 동일하지 않을 수도 있다. 또한, 제1 온보드 맵의 제1 특이 영역들과 제2 온보드 맵의 제2 특이 영역들은 동일할 수도, 일부만 동일할 수도, 모두 상이할 수도 있다.

카메라(13)는 착륙선(10)에 탑재되어, 달(M)의 지표면을 촬영할 수 있다. 카메라(13)는 착륙선(10)에 미리 설정된 위치에 장착되고, 미리 설정된 방향을 지향할 수 있다. 예컨대, 카메라(13)는 달(M)의 중심 방향을 지향하도록 설정될 수도 있고, 착륙선(10)에 대해 고정된 방향을 지향할 수도 있다.

카메라(13)는 2차원 카메라일 수 있으며, 흑백 영상을 생성할 수 있다. 다른 예에 따르면, 카메라(13)는 1차원 라인 카메라일 수도 있다. 카메라(13)는 컬러 영상을 생성하는 컬러 카메라일 수도 있다. 카메라(13)의 화각은 예컨대 80도일 수 있으며, 카메라(13)가 생성한 영상의 종횡비(aspect ratio)는 예컨대 1일 수 있다. 카메라(13)의 해상도는 예컨대 416 x 416일 수 있다.

카메라(13)는 프로세서(11)의 제어에 따라 달(M)의 지표면을 촬영하고 지표면 영상을 프로세서(11)에 제공할 수 있다.

센서(14)는 착륙선(10)의 상태를 감지할 수 있다. 예컨대, 센서(14)는 관성 센서, 가속도 센서, 중력 센서, 고도 센서, 온도 센서 중 적어도 하나를 포함할 수 있다. 센서(14)는 착륙선(10)의 고도를 감지할 수 있다. 센서(14)는 센싱된 값을 프로세서(11)로 제공할 수 있다.

추력기(15)는 프로세서(11)의 제어에 따라 착륙선(10)의 자세 또는 비행 방향을 변경하기 위한 힘을 제공할 수 있다.

도 4는 본 발명에 따른 착륙선의 프로세서의 동작을 개략적으로 도시한다.

도 3과 함께 도 4를 참조하면, 프로세서(11)는 메모리(12)에 저장된 착륙 절차 명령어들에 따라서 착륙선(10)이 관측 지역(OA) 상에 위치하는 것으로 판단되면 카메라(13)를 동작시켜서 달(M)의 지표면 영상(13p)을 획득할 수 있다. 프로세서(11)는 센서(14)를 통해 착륙선(10)의 고도를 감지함으로써 착륙선(10)이 관측 지역(OA) 상에 위치하는 것으로 판단할 수 있다.

프로세서(11)는 메모리(12)에 저장된 해당 관측 지역(OA)의 온보드 맵(12m)을 로딩하고, 관측 지역(OA)의 온보드 맵(12m)과 관측 지역(OA)의 지표면 영상(13p)을 비교할 수 있다. 프로세서(11)는 온보드 맵(12m)에 기록된 관측 지역(OA) 내의 특이 영역들(SRO)을 관측 지역(OA)의 지표면 영상(13p)에서 상관 관계 분석 또는 RANSAC 알고리즘을 통해 탐색할 수 있다. 지표면 영상(13p)에서 탐색된 특이 영역들(SRO)의 배치와 온보드 맵(12m) 상의 특이 영역들(SRO)의 배치를 비교함으로써, 프로세서(11)는 착륙선(10)의 현재 비행 방향 또는 자세를 결정할 수 있다.

다른 예에 따르면, 프로세서(11)는 사전에 트레이닝된 컨벌루션 신경망 기반의 객체 검출 모델을 포함할 수 있으며, 객체 검출 모델에 지표면 영상(13p)와 온보드 맵(12m)을 입력함으로써, 착륙선(10)의 현재 비행 방향 또는 자세를 결정할 수도 있다.

프로세서(11)는 감지된 현재 비행 방향 또는 자세를 미리 설정된 착륙 계획에 따른 방향 또는 자세와 비교하고, 만약 이들이 상이할 경우, 추력기(15)를 이용하여 착륙선(10)의 자세 또는 비행 방향을 수정할 수 있다. 따라서, 착륙선(10)은 미리 결정된 착륙 계획에 따라 미리 결정한 착륙 지점(LS)에 정확하게 착륙할 수 있다.

아래에서는 본 발명에 따라서 특이 영역들을 결정하는 방법 및 장치, 특이 영역들을 포함하는 온보드 맵을 생성하는 방법 및 장치에 대하여 설명한다.

도 5는 본 발명에 따라서 달의 관측 지역의 영상들을 기초로 특이 영역들을 결정하고, 특이 영역들을 포함하는 온보드 맵을 생성하는 컴퓨팅 장치를 개략적으로 도시한다.

도 5를 참조하면, 컴퓨팅 장치(100)에는 복수의 영상들(200)이 입력되고, 컴퓨팅 장치(100)는 복수의 영상들(200)에 기초하여 온보드 맵(300)을 생성한다.

영상들(200)은 달(M)의 관측 지역(OA)을 촬영한 영상들이다. 영상들(200) 중 일부는 관측 지역(OA) 전체를 포함할 수 있다. 다른 예에 따르면, 영상들(200) 중 일부는 관측 지역(OA) 중 일부만을 포함할 수도 있다. 즉, 관측 지역(OA) 중 일부만이 영상(200)에 나타날 수도 있다. 영상들(200)의 배율은 모두 일정할 수도 있고, 서로 상이할 수도 있다.

영상들(200)은 컴퓨팅 장치(100) 내의 컨벌루션 신경망 기반의 객체 검출 모델을 트레이닝하기 위한 트레이닝 영상들, 및 객체 검출 모델을 시험하여 특이 영역들을 결정하기 위한 테스트 영상들을 포함할 수 있다. 영상들(200)은 객체 검출 모델의 유효성을 검증하기 위한 검증 영상들을 더 포함할 수 있다. 본 명세서에서 컨벌루션 신경망 기반의 객체 검출 모델은 인공 신경망 또는 루나넷으로 지칭될 수 있다.

전술한 바와 같이 관측 지역(OA)은 미리 결정된 착륙 지점(LS) 및 착륙 지점(LS)에 착륙하기 위한 착륙 궤적(LT)을 기초로 결정된다. 착륙 지점(LS)에 착륙하기 위한 착륙 일자들도 미리 결정될 수 있다. 관측 지역(OA)은 미리 정확한 위치가 알려져 있다.

관측 지역(OA)은 임시로 결정될 수 있다. 관측 지역(OA) 내에 미리 설정한 개수의 특이 영역들(SRO)이 존재하지 않을 경우, 관측 지역(OA)은 변경될 수 있다. 다른 예에 따르면, 관측 지역(OA) 내에 미리 설정한 개수의 특이 영역들(SRO)이 존재하지 않을 경우, 후보 영역들(도 6의 CRO)의 구성이 변경될 수도 있다.

일 실시예에 따르면, 영상들(200)은 관측 지역(OA) 상에 주기를 갖는 궤도를 따라 비행하는 적어도 하나의 인공 위성에 의해 촬영된 위성 영상들을 포함할 수 있다. 영상들(200)은 관측 지역(OA)의 상공을 비행하는 비행체에 의해 촬영된 영상들을 포함할 수 있다. 영상들(200)은 지구에서 관측 지역(OA)을 촬영한 영상들을 포함할 수 있다.

다른 실시예에 따르면, 영상들(200)은 관측 지역(OA)의 모델링된 지형, 관측 지역(OA)에 대한 태양의 위치, 및 관측 지역(OA)을 촬영하는 카메라의 포즈에 기초하여 생성된 합성 영상들을 포함할 수 있다. 일 예에 따르면, 관측 지역(OA)에 대해 생성된 합성 영상들은 예컨대 수백 내지 수만 개일 수 있다.

관측 지역(OA)의 모델링된 지형은 관측 지역(OA) 상에 주기를 갖는 궤도를 따라 비행하는 적어도 하나의 인공 위성에 의해 촬영된 위성 영상들, 관측 지역(OA)의 상공을 비행하는 비행체에 의해 촬영된 영상들, 및 지구에서 관측 지역(OA)을 촬영한 영상들 중 적어도 하나를 기초로 생성될 수 있다.

관측 지역(OA)에 대한 태양의 위치는 관측 지역(OA)의 위치에 기초하여 미리 설정된 범위 내에서 설정될 수 있다. 합성 영상들은 관측 지역(OA)에 대한 태양의 위치를 미리 설정된 범위 내에서 변경하면서 생성될 수 있다.

관측 지역(OA)을 촬영하는 카메라의 포즈는 착륙 궤적(LT)에 기초하여 미리 설정된 범위 내에서 설정될 수 있다. 합성 영상들은 관측 지역(OA)을 촬영하는 카메라의 포즈를 미리 설정된 범위 내에서 변경하면서 생성될 수 있다. 예를 들면, 관측 지역(OA)에 대한 카메라의 위치를 변경하면서, 관측 지역(OA)을 바라보는 카메라의 방향도 함께 변경하면서 합성 영상들이 생성될 수 있다.

합성 영상들은 관측 지역(OA)을 실측한 3차원 지형에 기초하여 생성될 수 있다. 합성 영상들은 모델링된 지형의 표면 반사도 및 재질에 기초하여 생성될 수 있다. 합성 영상들은 모델링된 대기 모델에 기초하여 생성될 수 있다. 합성 영상들은 카메라의 해상도, 시야 범위, 및 렌즈 중 적어도 하나에 기초하여 생성될 수 있다.

예를 들면, 합성 영상들은 관측 지역(OA)의 실측 3차원 지형 또는 모델링된 지형, 모델링된 표면 반사도 및 재질, 모델링된 대기 모델, 관측 지역(OA)에 대한 태양의 위치포즈, 및 관측 지역(OA)을 촬영하는 카메라의 포즈위치와 지향 방향, 해상도, 시야 범위, 및 렌즈 중 적어도 일부에 기초하여 생성될 수 있다.

컴퓨팅 장치(100)는 관측 지역(OA)과 관측 지역(OA) 내의 복수의 후보 영역들(도 6의 CRO)을 결정할 수 있다. 컴퓨팅 장치(100)는 영상들(200)에 기초하여 객체 검출 모델을 생성하고, 객체 검출 모델을 이용하여 관측 지역(OA) 내의 다른 후보 영역들(CRO)에 비해 특히 피탐색 성능이 높은 특이 영역들(도 4의 SRO)을 결정할 수 있다. 컴퓨팅 장치(100)는 관측 지역(OA) 내에 위와 같이 결정된 특이 영역들(SRO)을 포함하는 온보드 맵(300)을 생성할 수 있다. 온보드 맵(300)은 전술한 바와 같이 예컨대 도 3의 착륙선(10)의 메모리(12)에 저장되어, 착륙선(10)이 달(M)의 착륙 지점(LS)에 정확하게 착륙하는데 이용될 수 있다.

아래에서 컴퓨팅 장치(100)의 내부 구성 및 동작에 대하여 더욱 자세히 설명한다. 컴퓨팅 장치(100)를 자세히 설명하기에 앞서, 관측 지역(OA)의 후보 영역들에 대하여 먼저 설명한다.

도 6a 내지 도 6c는 본 발명의 다양한 실시예들에 따른 관측 지역(OA) 내의 후보 영역들의 구성을 예시적으로 도시한다.

도 6a를 참조하면, 일 실시예에 따른 관측 지역(OA) 내의 후보 영역들(CRO1, CRO2, ..., CROi)가 예시적으로 도시된다. 후보 영역들(CRO1, CRO2, ..., CROi)은 후보 영역들(CRO)로 지칭될 수 있다.

후보 영역들(CRO)은 관측 지역(OA) 내에 사용자에 의해 선택될 수 있다. 후보 영역들(CRO)은 관측 지역(OA) 내에 서로 중첩하지 않도록 분포될 수 있다. 도 6a에는 후보 영역들(CRO)이 직사각형으로 예시되어 있지만, 이는 예시적이며 원형, 삼각형, 육각형, 비정형 다각형일 수도 있다. 후보 영역들(CRO) 중 적어도 일부는 기울어질 수도 있다. 후보 영역들(CRO)은 서로 다른 형상을 가질 수 있다.

사용자는 관측 지역(OA)의 정확한 위치를 알고 있으므로, 후보 영역들(CRO)의 정확한 위치도 알고 있다. 후보 영역들(CRO)이 직사각형인 경우, 후보 영역(CRO)을 특정하기 위하여, 중심 위치, 가로 길이, 세로 길이, 기울기 중 적어도 하나가 결정될 수 있다.

도 6a에는 5개의 후보 영역들(CRO)이 예시적으로 도시되지만, 후보 영역들(CRO)의 개수는 4개 이하이거나 6개 이상일 수도 있다. 하지만, 후보 영역들(CRO)의 개수는 미리 설정된 개수 이상일 수 있다. 여기서 미리 설정된 개수는 착륙선이 촬영한 지표면 영상에서 탐색된 특이 영역들의 배치를 기초로 착륙선의 자세를 결정할 수 있도록 3개 이상일 수 있다. 미리 설정된 개수가 크게 설정될수록 착륙선의 자세 정확도는 높아지지만, 지표면 영상에서 모두 검출되지 않을 수도 있으므로, 10개 이상으로 너무 크게 설정되지 않을 수 있다.

도 6b를 참조하면, 다른 실시예에 따른 관측 지역(OA) 내의 후보 영역들(CRO1, CRO2, ..., CROi)가 예시적으로 도시된다. 후보 영역들(CRO1, CRO2, ..., CROi)은 후보 영역들(CRO)로 지칭될 수 있다.

후보 영역들(CRO)은 모두 미리 설정된 형상을 갖고, 관측 지역(OA) 내에 서로 인접하게 배열될 수 있다. 도 6b의 예에서 후보 영역들(CRO)은 정육각형인 것으로 도시되어 있지만, 이는 예시적이며, 예컨대, 사각형, 삼각형, 마름모 등의 다른 형상을 가질 수 있다.

후보 영역들(CRO)은 관측 지역(OA) 내에서 서로 경계가 맞닿도록 배열될 수 있다. 그러나, 후보 영역들(CRO) 사이에 빈 공간이 존재할 수도 있다. 관측 지역(OA) 중에서 후보 영역들(CRO)이 아닌 영역은 배경 영역으로 지칭될 수 있다. 후보 영역들(CRO)이 직사각형인 경우, 배경 영역은 존재하지 않을 수도 있다.

관측 지역(OA) 중 테두리 영역에는 후보 영역들(CRO)이 설정되지 않고, 배경 영역으로 남겨둘 수 있다. 착륙선이 관측 지역(OA)을 촬영하려고 하더라도, 착륙선의 자세에 따라 관측 지역(OA) 중 일부만이 촬영될 수 있다. 즉, 관측 지역(OA) 중 테두리 영역의 일부가 촬영되지 않을 수 있다. 이러한 점을 고려할 때, 특이 영역들(SRO)은 관측 지역(OA)의 테두리 영역에 위치하지 않는 것이 유리할 수 있다. 이를 위하여, 관측 지역(OA) 중 테두리 영역에는 후보 영역들(CRO)이 설정되지 않을 수 있다.

후보 영역들(CRO)은 모두 동일한 크기와 동일한 형상을 가질 수 있다. 이 경우, 중심 위치와 하나의 길이만으로 후보 영역들(CRO)이 특정될 수 있다. 하나의 길이는 중심점과 꼭지점 간의 거리, 한 변의 길이, 또는 서로 마주보는 꼭지점 간의 거리 중 하나로 설정될 수 있다.

도 6b에는 39개의 후보 영역들(CRO)이 예시적으로 도시되지만, 후보 영역들(CRO)의 개수는 이보다 적거나 많을 수 있다. 도 6b와 같이 후보 영역들(CRO)을 설정한 경우에 미리 설정된 개수의 특이 영역들(SRO)이 발견되지 않으며, 후보 영역들(CRO)의 위치, 개수, 형상, 배치 중 적어도 하나를 변경한 후, 컴퓨팅 장치(100)는 변경된 후보 영역들(CRO) 중에서 미리 설정된 개수의 특이 영역들(SRO)을 다시 찾을 수 있다.

도 6c를 참조하면, 또 다른 실시예에 따른 관측 지역(OA) 내의 후보 영역들(CRO1, CRO2, ..., CROi)가 예시적으로 도시된다. 후보 영역들(CRO1, CRO2, ..., CROi)은 후보 영역들(CRO)로 지칭될 수 있다.

후보 영역들(CRO)은 모두 미리 설정된 반지름을 갖는 원형이고, 관측 지역(OA) 내에 서로 인접하게 배열될 수 있다. 후보 영역들(CRO)은 관측 지역(OA) 내에서 서로 경계가 맞닿도록 배열될 수 있다. 그러나, 후보 영역들(CRO)은 서로 이격하여 배열될 수도 있다. 관측 지역(OA) 중 테두리 영역에는 후보 영역들(CRO)이 설정되지 않을 수 있다.

후보 영역들(CRO)은 모두 동일한 반지름을 가질 수 있다. 이 경우, 중심 위치와 반지름 길이만으로 후보 영역들(CRO)이 특정될 수 있다.

도 6c에는 69개의 후보 영역들(CRO)이 예시적으로 도시되지만, 후보 영역들(CRO)의 개수는 이보다 적거나 많을 수 있다. 도 6c와 같이 후보 영역들(CRO)을 설정한 경우에 미리 설정된 개수의 특이 영역들(SRO)이 발견되지 않으며, 후보 영역들(CRO)의 위치, 개수, 형상, 배치 중 적어도 하나를 변경한 후, 컴퓨팅 장치(100)는 변경된 후보 영역들(CRO) 중에서 미리 설정된 개수의 특이 영역들(SRO)을 다시 찾을 수 있다.

예를 들면, 후보 영역들(CRO)의 위치가 후보 영역들(CRO)의 반지름 길이만큼 수평으로 이동될 수 있다. 후보 영역들(CRO)의 반지름 길이를 증가시키거나 감소시켜서 후보 영역들(CRO)의 개수가 변경될 수 있다. 후보 영역들(CRO)의 형상이 도 6b와 같은 육각형, 사각형, 삼각형 등으로 변경될 수 있다. 후보 영역들(CRO) 간에 이격 거리가 조절될 수도 있다.

후보 영역들(CRO)은 관측 지역(OA) 내에 사용자에 의해 설정된다. 사용자는 관측 지역(OA)의 정확한 위치를 알고 있으므로, 후보 영역들(CRO)의 정확한 위치 역시 알고 있다.

도 7은 본 발명에 따른 컴퓨팅 장치의 내부 구성을 개략적으로 도시한다.

도 7을 참조하면, 컴퓨팅 장치(100)는 제어부(110), 메모리(120), 및 데이터베이스(DB, 130)를 포함한다. 제어부(110), 메모리(120), 및 DB(130)는 버스를 통해 서로 데이터를 교환할 수 있다.

컴퓨팅 장치(100)는 도 7에 도시된 구성요소들 외에도 예컨대 통신 모듈, 입출력 장치, 저장 장치 등과 같은 추가적인 구성요소를 더 포함할 수 있다.

제어부(110)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 제어한다. 제어부(110)는 기본적인 산술, 로직 및 입출력 연산을 수행하고, 예컨대 메모리(120)에 저장된 프로그램 코드, 예컨대, 컨벌루션 신경망 기반의 객체 검출 모델을 실행할 수 있다. 제어부(110)는 적어도 하나의 프로세서일 수 있다.

컴퓨팅 장치(100)는 하나의 장치인 것으로 도시되어 있지만, 컴퓨팅 장치(100)는 둘 이상의 컴퓨팅 장치일 수 있다. 제어부(110)는 둘 이상의 프로세서들일 수 있다.

메모리(120)는 프로세서(110)가 판독할 수 있는 기록 매체로서, RAM, ROM 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 메모리(120)에는 운영체제와 적어도 하나의 프로그램 또는 어플리케이션 코드가 저장될 수 있다. 메모리(120)에는 영상들(100) 각각에서 후보 영역들(CRO) 각각을 탐색하기 위한 컨벌루션 신경망 기반의 객체 검출 모델을 구현하는 데이터, 객체 검출 모델을 트레이닝하기 위한 프로그램 코드, 이와 같이 트레이닝된 객체 검출 모델을 이용하여 후보 영역들 각각의 피탐색 성능을 평가하기 위한 프로그램 코드, 후보 영역들 각각의 피탐색 성능에 기초하여 특이 영역들을 결정하기 위한 프로그램 코드, 결정된 특이 영역들을 포함하는 온보드 맵을 생성하기 위한 프로그램 코드 등이 저장될 수 있다.

DB(130)는 프로세서(110)가 판독할 수 있는 기록 매체로서, 디스크 드라이브와 같은 비소멸성 대용량 기록장치를 포함할 수 있다. DB(130)는 객체 검출 모델의 트레이닝에 사용되는 트레이닝 영상들, 및 후보 영역들의 피탐색 성능을 평가하기 위해 객체 검출 모델에 입력되는 테스트 영상들이 저장할 수 있다. 트레이닝 영상들 및 테스트 영상들은 모두 도 5의 영상들(200)에 포함될 수 있다.

DB(130)에는 영상들(200)이 가공 없이 그대로 저장될 수 있고, 객체 검출 모델을 트레이닝 및 테스트하기에 적합한 형태로 가공된 형태로 저장될 수도 있다. 예를 들면, DB(130)에는 영상들(200) 중에서 관측 영역(OA)을 포함하는 미리 설정된 해상도를 갖는 일부 영역만이 저장될 수 있다.

DB(130)에는 영상들(200)의 메타 데이터로서, 영상들(200) 각각에 나타나는 지역의 정확한 위치 정보 및 촬영 일시 정보가 영상들(200) 각각에 연결되어 저장될 수 있다. 위치 정보는 영상들(200) 각각에 나타나는 지역의 네 모서리의 위치 좌표들일 수 있다. 다른 예에 따르면, 위치 정보는 영상들(200) 각각에 나타나는 지역의 중앙 위치 좌표, 방향, 및 해당 지역의 수평 방향 길이와 수직 방향 길이를 포함할 수 있다.

다른 예에 따르면, DB(130)에는 영상들(200) 각각의 촬영 일시 대신에, 해당 촬영 일시에서의 태양의 위치 및 카메라의 포즈 정보가 저장될 수도 있다.

제어부(110)는 관측 지역(OA)과 관측 지역(OA) 내의 복수의 후보 영역들(도 6의 CRO)을 결정할 수 있다. 제어부(110)는 관측 지역(OA)의 적어도 일부가 나타난 복수의 영상들(200) 각각에 위치 정보를 라벨링할 수 있다. 제어부(110)는 복수의 영상들(200) 각각에서 복수의 후보 영역들(CRO) 각각을 탐색하도록, 위치 정보가 라벨링된 복수의 영상들(200)을 기초로 컨벌루션 신경망 기반의 인공 신경망을 트레이닝할 수 있다. 제어부(110)는 트레이닝된 인공 신경망에 기초하여 복수의 후보 영역들(CRO) 각각의 피탐색 성능을 평가할 수 있다. 제어부(110)는 복수의 후보 영역들(CRO) 각각의 피탐색 성능을 기초로 복수의 후보 영역들(CRO) 중 적어도 일부를 특이 영역들(SRO)로 결정할 수 있다.

다른 실시예에 따르면, 제어부(110)는 관측 지역(OA) 내에 특이 영역들(SRO)을 포함하는 온보드 맵(도 5의 300)을 생성할 수 있다.

또 다른 실시예에 따르면, 제어부(110)는 착륙선(10)이 착륙할 착륙 지점(LS) 및 착륙 지점(LS)에 착륙하기 위한 착륙 궤도(LT)를 결정할 수 있다. 일 예에 따르면, 관측 지역(OA)은 착륙 궤도(LT)에 따라 결정될 수 있다. 다른 예에 따르면, 관측 지역(OA) 내에 특이 영역들(SRO)에 기초하여 착륙 궤도(LT) 또는 착륙 일자가 결정될 수도 있다.

제어부(110)에 대하여 도 8를 참조로 더욱 자세히 설명한다.

도 8은 본 발명의 실시예들에 따른 제어부의 예시적인 블록도이다.

도 8을 참조하면, 제어부(110)는 데이터 학습부(111), 데이터 인식부(112), 성능 맵 생성부(113), 및 온보드 맵 생성부(114)를 포함할 수 있다. 메모리(120)에는 컨벌루션 신경망 기반의 객체 검출 모델(121)이 저장될 수 있다.

데이터 학습부(111)는 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색하기 위한 기준을 학습할 수 있다. 데이터 학습부(111)는 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색하기 위하여 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다.

데이터 학습부(111)는 위치 정보가 라벨링된 트레이닝 영상들을 이용하여 객체 검출 모델(121)을 트레이닝 시킬 수 있다. 데이터 학습부(111)는 위치 정보가 라벨링된 트레이닝 영상들을 이용하여 객체 검출 모델(121)을 기계 학습시킴으로써, 객체 검출 모델(121)에 입력되는 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색하기 위한 기준을 학습할 수 있다.

일 실시예에 따르면, 데이터 학습부(111)는 DB(130)에 저장된 영상들로부터 트레이닝 영상들을 선택할 수 있다. DB(130)에 저장된 영상들은 관측 영역(OA)을 적어도 부분적으로 촬영한 영상들일 수 있다. 영상들은 위성 영상들, 지표면 촬영 영상들, 합성 영상들 중 적어도 일부를 포함할 수 있다.

데이터 인식부(112)는 테스트 영상들 각각에서 후보 영역들 각각을 탐색할 수 있다. 데이터 인식부(112)는 사전에 트레이닝된 객체 검출 모델(121)을 이용하여, 테스트 영상들 각각에서 후보 영역들 각각을 탐색할 수 있다.

데이터 인식부(112)는 테스트 영상들 각각에서 후보 영역들 각각의 추정된 영상 좌표를 출력할 수 있다. 테스트 영상들 각각에서 후보 영역들 각각의 실제 위치와 추정된 영상 좌표가 비교될 수 있다.

데이터 인식부(112)는 데이터 학습부(111)에 의해 트레이닝된 객체 검출 모델(121)에 테스트 영상들을 입력함으로써, 테스트 영상들 각각에서 후보 영역들 각각을 탐색할 수 있다.

데이터 인식부(112)는 후보 영역들 각각의 피탐색 성능을 더욱 직관적으로 파악할 수 있도록 객체 검출 모델(121)의 출력을 후처리할 수도 있다.

테스트 영상들을 입력 받아 객체 검출 모델(121)에 의해 출력된 결과 값은 객체 검출 모델(121)을 갱신하는데 이용될 수 있다.

데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다. 예를 들어, 데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나는 인공지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스에 탑재될 수도 있다.

이 경우, 데이터 학습부(111) 및 데이터 인식부(112)는 하나의 디바이스에 탑재될 수도 있으며, 또는 별개의 디바이스들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(111) 및 데이터 인식부(112) 중 하나는 컴퓨팅 장치(100)에 포함되고, 나머지 하나는 컴퓨팅 장치(100)와 네트워크로 연결되는 다른 컴퓨팅 장치에 포함될 수 있다. 데이터 학습부(111) 및 데이터 인식부(112)는 유선 또는 무선으로 통하여, 데이터 학습부(111)가 구축한 학습 모델 정보를 데이터 인식부(112)로 제공할 수도 있고, 데이터 인식부(112)에 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(111)로 제공될 수도 있다.

한편, 데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수도 있다.

성능 맵 생성부(113)는 객체 검출 모델(121)을 이용하여 후보 영역들 각각의 피탐색 성능을 평가할 수 있다. 성능 맵 생성부(113)는 후보 영역들 각각의 피탐색 성능을 나타내기 위하여 후보 영역들 각각의 분류 성능 맵과 정확도 성능 맵을 생성할 수 있다.

온보드 맵 생성부(114)는 후보 영역들 각각의 피탐색 성능에 기초하여 피탐색 성능이 높은 특이 영역들을 결정할 수 있다. 온보드 맵 생성부(114)는 특이 영역들을 포함하는 온보드 맵을 생성할 수 있다.

성능 맵 생성부(113)와 온보드 맵 생성부(114)에 대하여 자세히 설명하기 앞서, 도 9와 도 10을 참조로 데이터 학습부(111)와 데이터 인식부(112)에 대하여 더욱 자세히 설명한다.

도 9은 본 발명의 일 실시예에 따른 데이터 학습부(111)의 블록도이다.

도 9를 참조하면, 데이터 학습부(111)는 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5)를 포함할 수 있다.

데이터 획득부(111-1)는 영상들 각각에서 후보 영역들 각각을 탐색하는데 필요한 데이터를 획득할 수 있다. 데이터 획득부(111-1)는 DB(130)에서 저장된 관측 지역의 일부가 나타난 영상들로부터 트레이닝 영상들을 획득할 수 있다. 데이터 획득부(111-1)는 트레이닝 영상들 각각과 관련하여 저장된 위치 정보를 획득할 수 있다. 데이터 획득부(111-1)는 트레이닝 영상들 각각과 관련하여 저장된 태양의 위치 정보 및/또는 카메라의 포즈 정보를 획득할 수 있다.

전처리부(111-2)는 영상들 각각에서 후보 영역들 각각을 탐색하는데 필요한 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(111-2)는 모델 학습부(111-4)가 영상들 각각에서 후보 영역들 각각을 탐색하기 위한 객체 검출 모델(121)을 트레이닝하기 위하여 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

일 실시예에 따르면, 전처리부(111-2)는 트레이닝 영상들을 확대 또는 축소할 수 있다. 전처리부(111-2)는 트레이닝 영상들의 배율을 미리 설정된 배율로 동일하게 맞추기 위해 축소 또는 확대할 수 있다. 착륙선이 착륙할 착륙 지점과 착륙 지점에 착륙하기 위한 착륙 궤도는 결정될 수 있다. 착륙선이 착륙 괘도를 따라 비행하면서 관측 지역을 촬영할 카메라와 관측 지역을 촬영할 위치 역시 결정될 수 있다.

카메라는 촬영 가능한 최대 공간 해상도를 가지며, 관측 지역을 촬영할 위치에서 관측 지역까지의 거리가 정해므로, 착륙선에서 관측 지역을 촬영하여 생성되는 지표면 영상의 배율은 미리 결정된다. 전처리부(112-2)는 트레이닝 영상의 배율을 지표면 영상의 배율과 동일하도록 트레이닝 영상을 축소 또는 확대할 수 있다. 영상의 배율은 영상의 한 픽셀이 나타내는 관측 지역의 크기(예컨대, 정사각형의 길이 또는 면적)를 의미한다.

트레이닝 영상들의 배율을 지표면 영상의 배율과 일치시킴으로써, 착륙선에서도 객체 검출 모델(121)의 정확도가 보장될 수 있다.

일 실시예에 따르면, 전처리부(111-2)는 트레이닝 영상들 각각에 위치 정보를 라벨링할 수 있다. 위치 정보는 트레이닝 영상들 각각에 나타난 촬영 지역의 위치 좌표를 포함할 수 있다. 전처리부(111-2)는 트레이닝 영상들 각각에 나타난 촬영 지역의 위치 좌표에 기초하여 트레이닝 영상들 각각에서 후보 영역들 각각의 영상 좌표를 추출할 수 있다. 전처리부(111-2)는 각 트레이닝 영상에서 추출된 후보 영역들 각각의 영상 좌표를 각 트레이닝 영상에 라벨링할 수 있다.

일 실시예에 따르면, 관측 지역 내의 후보 영역들을 결정할 때, 트레이닝 영상들 각각에서의 후보 영역들의 영상 좌표들을 트레이닝 영상들 각각과 연관지어 DB(130)에 저장할 수 있으며, 전처리부(111-2)는 각 트레이닝 영상에 대하여 후보 영역들 각각의 영상 좌표를 라벨링할 수 있다.

일 실시예에 따르면, 전처리부(111-2)는 트레이닝 영상들 각각에 대응하는 관측 지역에 대한 태양의 위치 및 관측 지역에 대한 카메라의 포즈를 트레이닝 영상들 각각에 라벨링할 수 있다. 일 예에 따르면, 트레이닝 영상이 관측 지역을 촬영한 위성 영상인 경우, 관측 지역을 촬영한 시점의 관측 지역에 대한 태양의 위치, 및 관측 지역을 촬영한 카메라의 포즈가 트레이닝 영상들 각각에 라벨링될 수 있다. 다른 예에 따르면, 트레이닝 영상이 랜더링에 의해 생성된 합성 영상인 경우, 랜더링 모델에 입력한 관측 지역에 대한 태양의 위치 및 관측 지역에 대한 카메라의 포즈가 트레이닝 영상들 각각에 라벨링될 수 있다.

일 예에 따르면, 트레이닝 영상들 중 제1 트레이닝 영상의 경우, 제1 트레이닝 영상 내의 후보 영역들 각각의 식별 번호와 영상 좌표가 제1 트레이닝 영상에 라벨링될 수 있다. 또한, 제1 트레이닝 영상에 대응하여 관측 지역에 대한 태양의 위치 및 관측 지역에 대한 카메라의 포즈가 제1 트레이닝 영상에 라벨링될 수 있다.

후보 영역들이 도 6a에 도시된 바와 같이 각각 다른 크기와 다른 형상을 갖는 경우, 후보 영역들 각각을 특정하기 위한 파라미터들이 후보 영역들의 식별 번호와 함께 트레이닝 영상들 각각에 라벨링될 될 수 있다. 도 6b 및 도 6c에 도시된 바와 같이 후보 영역들이 모두 동일한 크기를 갖는 동일한 형상인 경우에는 트레이닝 영상들 각각에 크기와 형상이 라벨링되지 않을 수 있다.

전처리부(111-2)의 라벨링 기능은 제어부(110)에 의해 자동으로 수행될 수 있다. 전처리부(111-2)의 라벨링 기능은 사용자의 수동 작업을 통해 제어부(110)에 의해 수행될 수도 있다.

학습 데이터 선택부(111-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(111-4)에 제공될 수 있다. 학습 데이터 선택부(111-3)는 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색하기 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 기 설정된 기준은 후술할 모델 학습부(111-4)에 의한 학습에 의해 마련될 수 있다.

모델 학습부(111-4)는 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색하기 위한 기준을 학습할 수 있다. 모델 학습부(111-4)는 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색하기 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수 있다.

객체 검출 모델(121)은 인공 신경망을 기반으로 미리 구축된 것일 수 있다. 예를 들어, 객체 검출 모델(121)은 기본 학습 데이터(예를 들어, 샘플 데이터 등)을 입력 받아 미리 구축된 것일 수 있다.

객체 검출 모델(121)은 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 객체 검출 모델(121)은 예를 들어 신경망(Neural Network)을 기반으로 하는 학습 모델로서, 예컨대, DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 이용될 수 있으나, 이에 한정되지 않는다.

객체 검출 모델(121)은 예를 들어 YOLO9000, Faster R-CNN 및 SSD와 같은 알고리즘이 이용될 수 있으나, 이에 한정되지 않는다.

모델 학습부(111-4)는 예컨대 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 객체 검출 모델(121)을 학습시킬 수 있다. 모델 학습부(111-4)는 예컨대 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 객체 검출 모델(121)을 학습시킬 수 있다. 모델 학습부(111-4)는 예컨대 학습에 따라서 트레이닝 영상들 각각에서 후보 영역들 각각을 탐색한 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여 객체 검출 모델(121)을 학습시킬 수 있다.

모델 학습부(111-4)는 트레이닝 영상을 입력 받은 객체 검출 모델(121)의 결과와 트레이닝 영상에 라벨링된 위치 정보에 기초하여 손실 함수를 정의할 수 있다. 모델 학습부(111-4)가 제1 트레이닝 영상을 객체 검출 모델(121)에 입력하면, 제1 트레이닝 영상에서 후보 영역들이 탐색될 수 있다.

객체 검출 모델(121)의 결과는 제1 트레이닝 영상에서 탐색된 후보 영역들 각각의 추정 식별 번호와 추정 영상 좌표, 및 추정 크기를 포함할 수 있다. 객체 검출 모델(121)의 결과는 제1 트레이닝 영상에서 탐색된 후보 영역들 각각의 추정 정확도를 포함할 수 있다. 모델 학습부(111-4)는 미리 설정된 추정 정확도보다 높은 추정 정확도를 갖는 추정 결과를 출력할 수 있다. 모델 학습부(111-4)는 추정 정확도를 기초로 미리 설정된 개수의 추정 결과를 출력할 수 있다.

손실 함수는 트레이닝 영상에 라벨링된 위치 정보와 추정 결과의 차이에 기초하여 정의될 수 있다. 예컨대, 후보 영역들 각각의 위치 오차 및 크기 오차를 기초로 손실 함수가 정의될 수 있다. 위치 오차는 후보 영역들 각각에 라벨링된 실제 영상 좌표와 후보 영역들 각각에 대하여 추정된 영상 좌표 간의 차이일 수 있다. 크기 오차는 후보 영역들 각각에 대해 결정된 실제 크기와 후보 영역들 각각에 대하여 추정된 크기 간의 차이일 수 있다. 도 6c의 후보 영역들이 사용되는 경우, 크기 오차는 후보 영역들의 실제 반지름과 후보 영역들 각각에 대하여 추정된 반지름 간의 차이일 수 있다.

일 실시예에 따르면, 제1 트레이닝 영상을 객체 검출 모델(121)에 입력할 경우, 객체 검출 모델(121)의 추정 결과는 제1 트레이닝 영상에서의 후보 영역들의 추정된 영상 좌표들을 포함할 수 있다. 모델 학습부(111-4)는 제1 트레이닝 영상에 라벨링된 후보 영역들의 영상 좌표들과 제1 트레이닝 영상에서의 후보 영역들의 추정된 영상 좌표들 간의 차이가 최소화되도록 객체 검출 모델(121)을 트레이닝할 수 있다.

또한, 객체 검출 모델(121)의 추정 결과는 제1 트레이닝 영상에서의 후보 영역들의 추정된 크기들을 포함할 수 있다. 모델 학습부(111-4)는 후보 영역들의 크기들과 제1 트레이닝 영상에서의 후보 영역들의 추정된 크기들 간의 차이가 최소화되도록 객체 검출 모델(121)을 트레이닝할 수 있다.

모델 학습부(111-4)는 손실 함수 값이 미리 설정된 기준치보다 작아지도록 트레이닝 영상들을 이용한 객체 검출 모델(121)의 학습을 반복할 수 있다.

객체 검출 모델(121)이 학습되면, 모델 학습부(111-4)는 학습된 객체 검출 모델(121)을 저장할 수 있다. 이 경우, 모델 학습부(111-4)는 객체 검출 모델(121)을 컴퓨팅 장치(100)의 메모리(120)에 저장할 수 있다.

객체 검출 모델(121)을 저장하는 메모리(120)는 예컨대 디바이스의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리(120)는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.

모델 평가부(111-5)는 객체 검출 모델(121)에 검증 데이터를 입력하고, 검증 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(111-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 검증 데이터는 학습 모델을 평가하기 위한 기 설정된 데이터일 수 있다. 검증 데이터는 DB(130)에 저장된 영상들로부터 선택되고 위치 정보가 라벨링된 검증 영상들일 수 있다.

예를 들어, 모델 평가부(111-5)는 검증 데이터에 대한 학습된 객체 검출 모델(121)의 추정 결과를 기초로 손실 함수 값을 산출할 수 있다. 모델 평가부(111-5)는 손실 함수 값이 미리 설정된 임계치를 초과하는 경우 학습된 객체 검출 모델(121)이 적합하지 않은 것으로 평가할 수 있다.

한편, 데이터 학습부(111) 내의 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다. 예를 들어, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스에 탑재될 수도 있다.

또한, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5)는 하나의 디바이스에 탑재될 수도 있으며, 또는 별개의 디바이스들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 일부는 디바이스에 포함되고, 나머지 일부는 서버에 포함될 수 있다.

또한, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

도 10은 본 발명의 일 실시예에 따른 데이터 인식부(112)의 블록도이다.

도 10을 참조하면, 일부 실시예에 따른 데이터 인식부(112)는 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5)를 포함할 수 있다.

데이터 획득부(112-1)는 영상들 각각에서 후보 영역들 각각을 탐색하는데 필요한 데이터를 획득할 수 있다. 데이터 획득부(112-1)는 DB(130)에서 저장된 관측 지역의 일부가 나타난 영상들로부터 테스트 영상들을 획득할 수 있다. 데이터 획득부(112-1)는 테스트 영상들 각각과 관련하여 저장된 위치 정보를 획득할 수 있다. 데이터 획득부(112-1)는 테스트 영상들 각각과 관련하여 저장된 태양의 위치 정보 및/또는 카메라의 포즈 정보를 획득할 수 있다.

전처리부(112-2)는 테스트 영상들 각각에서 후보 영역들 각각을 탐색하는데 필요한 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(112-2)는 인식 결과 제공부(112-4)가 획득된 데이터를 이용하여 영상들 각각에서 후보 영역들 각각을 탐색할 수 있도록 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

일 실시예에 따르면, 전처리부(112-2)는 테스트 영상들을 확대 또는 축소할 수 있다. 전처리부(112-2)는 테스트 영상들의 배율을 미리 설정된 배율로 동일하게 맞추기 위해 축소 또는 확대할 수 있다. 전처리부(112-2)는 테스트 영상의 배율을 지표면 영상의 배율과 동일하도록 테스트 영상을 축소 또는 확대할 수 있다.

일 실시예에 따르면, 전처리부(112-2)는 테스트 영상들 각각에 위치 정보를 라벨링할 수 있다. 위치 정보는 테스트 영상들 각각에 나타난 촬영 지역의 위치 좌표를 포함할 수 있다. 전처리부(112-2)는 테스트 영상들 각각에 나타난 촬영 지역의 위치 좌표에 기초하여 테스트 영상들 각각에서 후보 영역들 각각의 영상 좌표를 추출할 수 있다. 전처리부(112-2)는 각 테스트 영상에서 추출된 후보 영역들 각각의 영상 좌표를 각 테스트 영상에 라벨링할 수 있다.

일 실시예에 따르면, 관측 지역 내의 후보 영역들을 결정할 때, 테스트 영상들 각각에서의 후보 영역들의 영상 좌표들을 테스트 영상들 각각과 연관지어 DB(130)에 저장할 수 있으며, 전처리부(112-2)는 각 테스트 영상에 대하여 후보 영역들 각각의 영상 좌표를 라벨링할 수 있다.

일 실시예에 따르면, 전처리부(112-2)는 테스트 영상들 각각에 대응하는 관측 지역에 대한 태양의 위치 및 관측 지역에 대한 카메라의 포즈를 테스트 영상들 각각에 라벨링할 수 있다.

일 예에 따르면, 테스트 영상들 중 제1 테스트 영상의 경우, 제1 테스트 영상 내의 후보 영역들 각각의 식별 번호와 영상 좌표가 제1 테스트 영상에 라벨링될 수 있다. 또한, 제1 테스트 영상에 대응하여 관측 지역에 대한 태양의 위치 및 관측 지역에 대한 카메라의 포즈가 제1 테스트 영상에 라벨링될 수 있다.

전처리부(112-2)의 라벨링 기능은 제어부(110)에 의해 자동으로 수행될 수 있다. 전처리부(112-2)의 라벨링 기능은 사용자의 수동 작업을 통해 제어부(110)에 의해 수행될 수도 있다.

인식 데이터 선택부(112-3)는 전처리된 데이터 중에서 테스트 영상들 각각에서 후보 영역들 각각을 탐색하는데 필요한 데이터를 선택할 수 있다. 인식 데이터 선택부(112-3)는 테스트 영상들 각각에서 후보 영역들 각각을 탐색하기 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(112-3)는 모델 학습부(111-4)의 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.

인식 결과 제공부(112-4)는 선택된 데이터를 객체 검출 모델(121)에 적용하여 테스트 영상들 각각에서 후보 영역들 각각을 탐색할 수 있다. 인식 결과 제공부(112-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(112-4)는 인식 데이터 선택부(112-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 객체 검출 모델(121)에 적용할 수 있다. 또한, 인식 결과는 객체 검출 모델(121)에 의해 결정될 수 있다. 예를 들면, 테스트 영상들 각각에서 탐색된 후보 영역들 각각의 식별 번호 및 위치가 추정될 수 있으며, 이와 같은 추정 결과는 텍스트, 이미지 또는 명령 (예를 들면, 어플리케이션 실행 명령어, 모듈 기능 실행 명령어 등)등으로 제공될 수 있다.

일 실시예에 따르면, 인식 결과 제공부(112-4)가 제1 테스트 영상을 객체 검출 모델(121)에 입력할 경우, 객체 검출 모델(121)의 추정 결과는 제1 테스트 영상에서의 후보 영역들의 추정된 영상 좌표들을 포함할 수 있다. 후보 영역의 추정된 영상 좌표는 후보 영역의 중심 영상 좌표를 의미할 수 있다. 또한, 객체 검출 모델(121)의 추정 결과는 제1 트레이닝 영상에서의 후보 영역들의 추정된 크기들을 포함할 수 있다.

예를 들면, 제1 테스트 영상에서 제1 후보 영역이 탐색될 수 있으며, 이 경우 객체 검출 모델(121)의 추정 결과는 제1 테스트 영상 내의 제1 후보 영역의 추정 영상 좌표를 포함할 수 있다. 제1 테스트 영상에서 탐색된 제1 후보 영역은 실제 관측 지역의 제1 후보 영역일 수도 있고, 그렇지 않을 수도 있다. 즉, 제1 후보 영역의 추정 영상 좌표가 실제 제1 관측 지역 내 제1 후보 영역에 해당할 수도 있고, 그렇지 않을 수도 있다.

그렇지 않은 경우는 제1 후보 영역의 추정 영상 좌표가 관측 지역 내 다른 후보 영역들에 해당할 수도 있고, 제1 관측 지역 내 배경 영역에 해당할 수도 있다. 이 경우, 객체 검출 모델(121)의 추정 결과는 잘못된 추정에 해당한다.

제1 테스트 영상에서 제2 후보 영역이 탐색되지 않을 수 있으며, 이 경우 제2 후보 영역에 관한 정보는 객체 검출 모델(121)의 추정 결과에 포함되지 않을 수 있다. 제1 테스트 영상에서 제3 후보 영상이 두 개의 위치에서 탐색될 수도 있으며, 이 경우, 객체 검출 모델(121)의 추정 결과는 제1 테스트 영상 내의 제3 후보 영역의 제1 추정 영상 좌표 및 제2 추정 영상 좌표를 포함할 수 있다.

관측 지역 내에 제3 후보 영역은 실제로 하나만 존재하므로, 객체 검출 모델(121)의 제3 후보 영역에 대한 2개의 추정 결과 중 적어도 하나는 잘못된 추정에 해당한다.

모델 갱신부(112-5)는 인식 결과 제공부(112-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 객체 검출 모델(121)이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(112-5)는 인식 결과 제공부(112-4)에 의해 제공되는 인식 결과를 모델 학습부(111-4)에게 제공함으로써, 모델 학습부(111-4)가 객체 검출 모델(121)을 갱신하도록 할 수 있다.

한편, 데이터 인식부(112) 내의 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다. 예를 들어, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스에 탑재될 수도 있다.

또한, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 일부는 컴퓨팅 장치(100)에 포함되고, 나머지 일부는 서버에 포함될 수 있다.

또한, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

아래에서는 인식 결과 제공부(112-4)에 의해 제공되는 객체 검출 모델(121)의 테스트 영상들 각각에 대한 추정 결과를 이용하여 성능 맵 및 온보드 맵을 생성하는 구성에 대하여 설명한다.

다시 도 8을 참조하면, 성능 맵 생성부(113)는 객체 검출 모델(121)의 추정 결과를 이용하여 후보 영역들 각각의 피탐색 성능을 평가할 수 있다. 피탐색 성능은 후보 영역들 각각에 대하여 평가된다.

예를 들면, 제1 후보 영역의 피탐색 성능은 제1 후보 영역의 분류 성능과 정확도 성능에 기초하여 평가될 수 있다. 제1 후보 영역의 분류 성능은 테스트 영상들을 객체 검출 모델(121)에 입력했을 때의 추정 결과를 이용하여 산출된다. 추정 결과는 테스트 영상들 각각에서 후보 영역들의 추정된 영상 좌표들을 포함한다.

제1 후보 영역의 분류 성능은 제1 후보 영역들의 추정된 영상 좌표들에 기초하여 산출되는 F₁ 스코어에 기초하여 산출될 수 있다. F₁ 스코어가 높을수록 분류 성능이 우수한 것이다.

F₁ 스코어는 정밀도(Precision) 값과 재현율(Recall) 값에 기초하여 산출된다. 예컨대, F₁ 스코어는 정밀도(Precision) 값의 역수와 재현율(Recall) 값의 조화 평균(harmonic average)으로 산출될 수 있다.

정밀도 값은 참 양성(True Positive, TP)를 참 양성(TP)과 거짓 양성(False Positive, FP)의 합(TP + FP)으로 나눈 값(TP/ (TP + FP))으로 산출될 수 있다. 재현율 값은 참 양성(True Positive, TP)를 참 양성(TP)과 거짓 음성(False Negative, FN)의 합(TP + FN)으로 나눈 값(TP/ (TP + FN))으로 산출될 수 있다.

일 실시예에 따르면, 참 양성은 객체 검출 모델(121)에 의해 추정된 후보 영역의 추정 위치가 실제 관측 지역의 해당 후보 영역에 포함되는 경우를 의미한다. 예컨대, 테스트 영상에서 제1 후보 영역이 탐색되었는데, 제1 후보 영역의 추정 위치가 실제 관측 지역의 제1 후보 영역에 위치하는 경우이다.

거짓 양성은 객체 검출 모델(121)에 의해 추정된 후보 영역의 추정 위치가 실제 관측 지역의 다른 후보 영역에 포함되는 경우를 의미한다. 예컨대, 테스트 영상에서 제1 후보 영역이 탐색되었는데, 제1 후보 영역의 추정 위치가 실제 관측 지역의 제1 후보 영역이 아닌 다른 후보 영역(예컨대, 제2 후보 영역)에 위치하는 경우이다.

거짓 음성은 객체 검출 모델(121)에 의해 추정된 후보 영역의 추정 위치가 실제 관측 지역의 배경 영역에 포함되는 경우를 의미한다. 예컨대, 테스트 영상에서 제1 후보 영역이 탐색되었는데, 제1 후보 영역의 추정 위치가 실제 관측 지역의 배경 영역에 위치하는 경우이다.

다른 실시예에 따르면, 제1 후보 영역의 분류 성능은 테스트 영상들 각각에서 제1 후보 영역의 추정된 영상 좌표가 관측 지역 내의 실제 제1 후보 영역에 포함되는 테스트 영상의 참 양성 개수(TP), 테스트 영상들 각각에서 제1 후보 영역의 추정된 영상 좌표가 관측 지역 내의 실제 제1 후보 영역에 포함되지 않는 테스트 영상의 거짓 양성 개수(FP), 및 테스트 영상들 각각에서 상기 제1 후보 영역의 추정된 영상 좌표가 존재하지 않는 테스트 영상의 거짓 음성 개수(FN) 에 기초하여 결정될 수 있다. 예를 들면, 제1 후보 영역의 분류 성능은 2 TP / ( 2 TP + FN + FP)에 의해 산출될 수 있다.

제1 후보 영역의 정확도 성능은 제1 후보 영역들의 추정된 영상 좌표들에 기초하여 산출될 수 있다. 일 실시예에 따르면, 제1 후보 영역의 정확도 성능은 각 테스트 영상에 라벨링된 제1 후보 영역의 영상 좌표와 각 테스트 영상에서의 제1 후보 영역의 추정된 영상 좌표 간의 위치 차이를 기초로 산출될 수 있다. 제1 후보 영역의 정확도 성능은 테스트 영상들 각각에 대해 산출된 위치 차이들의 평균 제곱근 오차로 산출될 수 있다. 정확도 성능 값은 낮을수록 정확도 성능이 우수한 것이다.

다른 실시예에 따르면, 제1 후보 영역의 정확도 성능은 제1 후보 영역의 추정 영상 좌표가 관측 지역의 실제 제1 후보 영역에 포함되는 경우, 제1 후보 영역의 추정 위치가 제1 후보 영역의 실제 위치와 얼마나 차이가 있는지를 나타낼 수 있다. 만약 제1 후보 영역의 추정 영상 좌표가 관측 지역의 실제 제1 후보 영역에 포함되지 않는 경우에는 제1 후보 영역의 추정 위치와 제1 후보 영역의 실제 위치 간의 위치 차이는 제1 후보 영역의 정확도 성능에 영향을 주지 않을 수 있다.

성능 맵 생성부(113)는 후보 영역들 각각의 피탐색 성능을 나타내기 위하여 후보 영역들 각각의 분류 성능 맵과 정확도 성능 맵을 생성할 수 있다. 분류 성능 맵과 정확도 성능 맵은 각각 분류 성능 그래프 및 정확도 성능 그래프로 지칭될 수 있다.

분류 성능 맵과 정확도 성능 그래프는 후보 영역들 각각에 대해 생성된다. 후보 영역들 각각의 분류 성능 맵과 정확도 성능 맵은 테스트 영상들 각각에 라벨링된 관측 지역에 대한 태양의 위치, 즉, 태양의 방위각과 고도의 변화에 따라 후보 영역들 각각의 분류 성능과 정확도 성능이 어떻게 변하는지를 나타낸다.

테스트 영상들 각각에는 관측 지역에 대한 태양의 위치(방위각과 고도)가 라벨링될 수 있다. 예컨대, 제1 후보 영역의 분류 성능 맵은 테스트 영상들 각각에서의 제1 후보 영역의 분류 성능 값을 산출하고, 테스트 영상들 각각에 라벨링된 태양의 방위각과 고도에 의해 결정되는 x좌표와 y좌표의 위치에 제1 후보 영역의 분류 성능 값을 표시한 그래프일 수 있다. 이 그래프에서 x축은 태양의 방위각이고 y축은 태양의 고도에 해당한다. 분류 성능 맵 내에 분류 성능 값이 표시되지 않는 영역은 주변 값들을 이용한 내삽(interpolation)을 통해 표시할 수 있다.

제1 후보 영역의 정확도 성능 맵은 테스트 영상들 각각에서의 제1 후보 영역의 정확도 성능 값을 산출하고, 테스트 영상들 각각에 라벨링된 태양의 방위각과 고도에 의해 결정되는 x좌표와 y좌표의 위치에 제1 후보 영역의 정확도 성능 값을 표시한 그래프일 수 있다. 이 그래프에서 x축은 태양의 방위각이고 y축은 태양의 고도에 해당한다. 정확도 성능 맵 내에 정확도 성능 값이 표시되지 않는 영역은 주변 값들을 이용한 내삽을 통해 표시할 수 있다.

온보드 맵 생성부(114)는 후보 영역들 각각의 피탐색 성능에 기초하여 피탐색 성능이 높은 특이 영역들을 결정할 수 있다. 온보드 맵 생성부(114)는 특이 영역들을 포함하는 온보드 맵을 생성할 수 있다.

온보드 맵 생성부(114)는 후보 영역들 각각의 분류 성능 맵과 정확도 성능 맵에 기초하여 피탐색 성능이 높은 후보 영역들을 선택하고, 후보 영역들의 개수가 미리 설정된 기준 개수 이상인 경우, 선택된 후보 영역들을 특이 영역들로 결정할 수 있다.

분류 성능 맵과 정확도 성능 맵을 통해 태양의 위치에 대하여 해당 후보 영역의 탐색이 잘 되는 영역이 결정될 수 있다. 분류 성능과 정확도 성능이 기준치 이상인 영역이 해당 후보 영역의 탐색이 잘 되는 영역일 수 있다. 이 영역이 넓은 후보 영역들이 특이 영역들로 결정될 수 있다.

달에는 대기가 없기 때문에, 지형의 변화가 거의 없다. 이렇게 결정된 특이 영역들을 포함하는 온보드 맵이 생성되면, 이렇게 생성된 온보드 맵은 반영구적으로 사용될 수 있다.

관측 지역에 대한 태양의 위치는 천문력에 의해 결정된다. 분류 성능 맵과 정확도 성능 맵에 천문력에 의해 결정되는 태양의 위치(방위각과 고도)가 추가로 표시될 수 있다. 착륙 일자가 결정되면, 해당 일자의 분류 성능과 정확도 성능이 높은 후보 영역들이 결정될 수 있다.

분류 성능 값이 미리 설정된 분류 기준 값보다 높은 경우에 분류 성능이 높다고 이해될 수 있다. 정확도 성능 값이 미리 설정된 정확도 기준 값보다 낮은 경우에, 정확도 성능이 높다고 이해될 수 있다.

후보 영역들 중에서, 분류 성능 값이 미리 설정된 분류 기준 값보다 높고 정확도 성능 값이 미리 설정된 정확도 기준 값보다 낮은 후보 영역들이 선택될 수 있다. 선택된 후보 영역들의 개수를 미리 설정한 기준 개수와 비교할 수 있으며, 선택된 후보 영역들의 개수가 미리 설정한 기준 개수 이상인 경우, 선택된 후보 영역들은 특이 영역들로 결정될 수 있다. 온보드 맵 생성부(114)는 결정된 특이 영역들을 포함하는 온보드 맵을 생성할 수 있다.

만약 선택된 후보 영역들의 개수가 미리 설정한 기준 개수보다 작은 경우, 관측 지역의 앞에서 결정된 후보 영역들의 구성에 따르면 특이 영역들이 검출되지 않는 것으로 결정하고, 관측 지역이 변경되거나, 후보 영역들의 구성이 변경될 수 있다.

예비 착륙 일자가 결정될 수 있다. 해당 예비 착륙 일자의 분류 성능과 정확도 성능이 높은 후보 영역들이 선택될 수 있다. 선택된 후보 영역들의 개수가 미리 설정한 기준 개수 이상인 경우, 선택된 후보 영역들은 예비 특이 영역들로 결정될 수 있다. 온보드 맵 생성부(114)는 결정된 예비 특이 영역들을 포함하는 예비 온보드 맵을 생성할 수 있다.

온보드 맵 생성부(114)에 의해 생성된, 특이 영역들을 포함하는 온보드 맵은 도 1 내지 도 4의 착륙선의 메모리에 탑재되어 착륙 지점으로 정확하게 비행하기 위한 위한 광학적 항법에 사용될 수 있다.

이상 설명된 다양한 실시예들은 예시적이며, 서로 구별되어 독립적으로 실시되어야 하는 것은 아니다. 본 명세서에서 설명된 실시예들은 서로 조합된 형태로 실시될 수 있다.

이상 설명된 다양한 실시예들은 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

본 명세서에서, "부", "모듈" 등은 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다. 예를 들면, "부", "모듈" 등은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (23)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하는 단계;
   상기 관측 지역의 적어도 일부가 나타난 복수의 영상들 각각에 위치 정보를 라벨링하는 단계;
   상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 컨벌루션 신경망 기반의 인공 신경망을 트레이닝하는 단계;
   상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계; 및
   상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계를 포함하는 특이 영역 결정 방법.
2. 제1 항에 있어서,
   상기 복수의 후보 영역들은 상기 관측 지역 내에 서로 중첩하지 않도록 분포되는 것을 특징으로 하는 특이 영역 결정 방법.
3. 제1 항에 있어서,
   상기 복수의 후보 영역들은 미리 설정된 형상을 갖고, 상기 관측 지역 내에 서로 인접하게 배열되는 것을 특징으로 하는 특이 영역 결정 방법.
4. 제1 항에 있어서,
   상기 복수의 후보 영역들은 제1 직경을 갖는 원형이고, 상기 관측 지역 내에 서로 인접하게 배열되는 것을 특징으로 하는 특이 영역 결정 방법.
5. 제1 항에 있어서,
   상기 관측 지역을 촬영한 복수의 영상들은 상기 관측 지역 상에 주기를 갖는 궤도를 따라 비행하는 적어도 하나의 인공 위성에 의해 촬영된 위성 영상들을 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
6. 제1 항에 있어서,
   상기 관측 지역을 촬영한 복수의 영상들은 상기 관측 지역의 상공을 비행하는 비행체에 의해 촬영된 영상들을 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
7. 제1 항에 있어서,
   상기 관측 지역을 촬영한 복수의 영상들은 지구에서 상기 관측 지역을 촬영한 영상들을 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
8. 제1 항에 있어서,
   상기 관측 지역을 촬영한 복수의 영상들은 상기 관측 지역의 모델링된 지형, 상기 관측 지역에 대한 태양의 위치, 및 상기 관측 지역을 촬영하는 카메라의 포즈에 기초하여 생성된 합성 영상들을 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
9. 제1 항에 있어서,
   착륙선이 착륙할 착륙 지점 및 상기 착륙 지점에 착륙하기 위한 착륙 궤도를 결정하는 단계를 더 포함하고,
   상기 관측 지역은 상기 착륙 궤도에 따라 결정되는 것을 특징으로 하는 특이 영역 결정 방법.
10. 제9 항에 있어서,
    상기 관측 지역 상의 상기 착륙 궤도의 고도와 상기 착륙선에 탑재되는 카메라의 공간 해상도에 기초하여 상기 복수의 영상들을 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
11. 제1 항에 있어서,
    상기 위치 정보는 상기 복수의 영상들 각각에 나타난 촬영 지역의 위치 좌표를 포함하고,
    각 영상에 라벨링되는 상기 촬영 지역의 위치 좌표에 기초하여 상기 각 영상에서의 상기 복수의 후보 영역들 각각의 영상 좌표가 추출되는 것을 특징으로 하는 특이 영역 결정 방법.
12. 제1 항에 있어서,
    상기 위치 정보는 각 영상에서의 상기 복수의 후보 영역들의 영상 좌표들을 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
13. 제1 항에 있어서,
    상기 라벨링하는 단계는 상기 복수의 영상들 각각에 각 영상에 대응하는 시점에서의 상기 관측 지역에 대한 태양의 위치 및 상기 관측 지역에 대한 카메라의 포즈를 추가로 라벨링하는 단계를 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
14. 제1 항에 있어서,
    상기 인공 신경망을 트레이닝하는 단계는,
    상기 위치 정보가 라벨링된 상기 영상들 중에서 제1 영상을 상기 인공 신경망에 입력하는 단계;
    상기 인공 신경망의 출력으로서, 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 영상 좌표들을 수신하는 단계; 및
    상기 제1 영상에 라벨링된 상기 복수의 후보 영역들의 영상 좌표들과 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 영상 좌표들 간의 차이가 최소화되도록 상기 인공 신경망을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
15. 제14 항에 있어서,
    상기 인공 신경망을 트레이닝하는 단계는,
    상기 인공 신경망의 출력으로서, 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 크기들을 수신하는 단계; 및
    상기 복수의 후보 영역들의 크기들과 상기 제1 영상에서의 상기 복수의 후보 영역들의 추정된 크기들 간의 차이가 최소화되도록 상기 인공 신경망을 트레이닝하는 단계를 더 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
16. 제1 항에 있어서,
    상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계는 상기 복수의 후보 영역들 중 제1 후보 영역의 피탐색 성능을 평가하는 단계를 포함하고,
    상기 제1 후보 영역의 피탐색 성능을 평가하는 단계는,
    상기 관측 지역 중 적어도 일부가 나타난 복수의 테스트 영상들 각각을 상기 트레이닝된 인공 신경망에 입력하는 단계;
    상기 트레이닝된 인공 신경망의 출력으로서, 상기 복수의 테스트 영상들 각각에서 상기 복수의 후보 영역들의 추정된 영상 좌표들을 수신하는 단계; 및
    상기 트레이닝된 인공 신경망의 출력에 기초하여 F1 스코어를 산출하고, 상기 산출된 F1 스코어에 기초하여 상기 제1 후보 영역의 분류 성능을 결정하는 단계를 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
17. 제16 항에 있어서,
    상기 제1 후보 영역의 피탐색 성능을 평가하는 단계는,
    각 테스트 영상에 라벨링된 상기 제1 후보 영역의 영상 좌표와 상기 각 테스트 영상에서의 상기 제1 후보 영역의 추정된 영상 좌표 간의 위치 차이를 기초로, 상기 제1 후보 영역의 정확도 성능을 결정하는 단계를 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
18. 제17 항에 있어서,
    상기 제1 후보 영역의 피탐색 성능을 평가하는 단계는,
    상기 복수의 테스트 영상들 각각에 라벨링된 상기 관측 지역에 대한 태양의 위치에 기초하여, 태양의 방위각과 고도에 따른 상기 제1 후보 영역의 분류 성능 및 정확도 성능을 각각 분류 성능 그래프 및 정확도 성능 그래프로 표시하는 단계를 더 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
19. 제18 항에 있어서,
    상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계는 상기 복수의 후보 영역들 각각에 대한 분류 성능 그래프 및 정확도 성능 그래프에 기초하여 상기 특이 영역들을 결정하는 단계를 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
20. 제18 항에 있어서,
    착륙선이 착륙할 착륙 지점 및 상기 착륙 지점에 착륙하기 위한 착륙 궤도를 결정하는 단계를 더 포함하고,
    상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하는 단계는,
    상기 복수의 후보 영역들 각각에 대한 분류 성능 그래프와 정확도 성능 그래프, 및 상기 착륙선의 1차 착륙 일시에 기초하여 상기 복수의 후보 영역들 중 적어도 일부를 제1 특이 영역들로 결정하는 단계;
    상기 관측 지역 내에 상기 제1 특이 영역들을 포함하는 제1 온보드 맵을 생성하는 단계;
    상기 복수의 후보 영역들 각각에 대한 분류 성능 그래프와 정확도 성능 그래프, 및 상기 착륙선의 2차 착륙 일시에 기초하여 상기 복수의 후보 영역들 중 적어도 일부를 제2 특이 영역들로 결정하는 단계; 및
    상기 관측 지역 내에 상기 제2 특이 영역들을 포함하는 제2 온보드 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 특이 영역 결정 방법.
21. 컴퓨팅 장치를 이용하여 제1 항 내지 제20항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
22. 관측 지역의 적어도 일부가 나타난 복수의 영상들, 및 컨벌루션 신경망 기반의 인공 신경망을 저장하는 메모리; 및
    상기 관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하고,
    상기 복수의 영상들 각각에 위치 정보를 라벨링하고,
    상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 상기 인공 신경망을 트레이닝하고,
    상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하고,
    상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 특이 영역들로 결정하고,
    상기 관측 지역 내에 상기 특이 영역들을 포함하는 온보드 맵을 생성하도록 구성되는 적어도 하나의 프로세서를 포함하는 온보드 맵 생성 장치.
23. 착륙선의 프로세서에 의해 상기 착륙선의 방향을 결정하는 방법에 있어서
    착륙 궤적에 따라 비행하면서 미리 설정된 고도에서 미리 설정된 관측 지역을 촬영하여 관측 지역 영상을 생성하는 단계;
    메모리에 저장된 온보드 맵의 상기 관측 지역 내의 특이 영역들을 상기 관측 지역 영상에서 탐색하는 단계; 및
    상기 관측 지역 영상에서 탐색된 특이 영역들의 배치 방향과 상기 온보드 맵의 상기 특이 영역들의 배치 방향의 차이를 기초로 상기 착륙선의 방향을 결정하는 단계를 포함하고,
    상기 온보드 맵은,
    관측 지역과 상기 관측 지역 내의 복수의 후보 영역들을 결정하는 단계;
    상기 관측 지역의 적어도 일부가 나타난 복수의 영상들 각각에 위치 정보를 라벨링하는 단계;
    상기 복수의 영상들 각각에서 상기 복수의 후보 영역들 각각을 탐색하도록, 상기 위치 정보가 라벨링된 상기 복수의 영상들을 기초로 컨벌루션 신경망 기반의 인공 신경망을 트레이닝하는 단계;
    상기 트레이닝된 인공 신경망에 기초하여 상기 복수의 후보 영역들 각각의 피탐색 성능을 평가하는 단계;
    상기 복수의 후보 영역들 각각의 상기 피탐색 성능을 기초로 상기 복수의 후보 영역들 중 적어도 일부를 상기 특이 영역들로 결정하는 단계; 및
    상기 관측 지역 내에 상기 특이 영역들을 포함하는 상기 온보드 맵을 생성하는 단계를 수행하는 컴퓨팅 장치에 의하여 생성되는 것을 특징으로 하는 착륙선의 방향 결정 방법.

Images