KR20230027130A - 거리 측정 방법 및 이를 이용하는 거리 측정 장치 - Google Patents

Abstract

본 출원은 거리를 측정하는 방법에 관한 것으로, 본 명세서의 일 양상에 따른 거리 측정 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 타겟 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계; 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함한다.

Description

거리 측정 방법 및 이를 이용하는 거리 측정 장치{DISTANCE MEASUREMENT METHOD AND DISTANCE MEASUREMENT DEVICE USING THE SAME}

본 출원은 거리 측정 방법 및 이를 이용하는 거리 측정 장치에 관한 것으로, 보다 상세하게는 이미지 세그멘테이션을 수행하는 인공신경망을 이용한 거리 측정 방법 및 이를 이용하는 거리 측정 장치에 관한 것이다.

선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.

본 명세서에서 해결하고자 하는 일 과제는 선박 주변 및 항만을 모니터링하기 위한 주변 환경 감지 방법 및 이를 이용하는 주변 환경 감지 장치를 제공하는 것에 있다.

본 명세서에서 해결하고자 하는 일 과제는 주변 환경 감지에 이용되는 인공신경망의 학습 방법을 제공하는 것에 있다.

본 명세서에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서의 일 양상에 따르면, 거리를 측정하는 방법에 있어서, 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 타겟 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계; 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함하는 거리 측정 방법이 제공될 수 있다.

본 명세서의 일 양상에 따르면, 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 및 타겟 이미지를 획득하고, 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하고, 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하고, 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 컨트롤러를 포함하는 거리 측정 장치가 제공될 수 있다.

본 명세서의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서의 실시예에 따르면, 인공신경망을 이용한 주변 환경 감지를 통해 선박 주변 및 항만을 모니터링할 수 있다.

본 명세서의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 명세서의 일 실시예에 따른 주변 환경 감지와 관련된 연산을 수행하는 시스템에 관한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 주변 환경 감지에 관한 도면이다.
도 3은 본 명세서의 일 실시예에 따른 인공신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제1 실시예에 관한 표이다.
도 5는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제2 실시예에 관한 표이다.
도 6은 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제3 실시예에 관한 표이다.
도 7은 본 명세서의 일 실시예에 따른 겹쳐진 객체를 표현하는 인덱스에 관한 도면이다.
도 8은 본 명세서의 일 실시예에 따른 객체 사이의 연결성을 표현하는 인덱스에 관한 도면이다.
도 9는 본 명세서의 일 실시예에 따른 거리 정보에 따른 동일한 종류의 객체 구분에 관한 도면이다.
도 10은 본 명세서의 일 실시예에 따른 종류 정보가 거리 정보에 의존하도록 설정된 인덱스에 관한 도면이다.
도 11은 본 명세서의 일 실시예에 따른 기준 객체에 따른 거리 정보에 관한 도면이다.
도 12는 본 명세서의 일 실시예에 따른 이미지 픽셀을 이용한 위치 정보 획득에 관한 도면이다.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.

본 명세서의 일 양상에 따르면, 주변 환경 감지 방법에 있어서, 상기 주변 환경 감지 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 해양 이미지 및 객체 종류 정보와 거리 정보를 포함하는 해양 정보를 포함하고, 상기 객체 종류 정보는 선박을 위한 제1 종류 인덱스, 수면을 위한 제2 종류 인덱스 및 지표면을 위한 제3 종류 인덱스를 포함하고, 상기 거리 정보는 정의되지 않은 거리를 지시하는 제1 거리 인덱스, 제1 거리 범위를 지시하는 제2 거리 인덱스 및 상기 제1 거리 범위보다 큰 제2 거리 범위를 지시하는 제3 거리 인덱스를 포함하고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스로 라벨링된 픽셀은 상기 제2 거리 인덱스 또는 상기 제3 거리 인덱스로 라벨링되고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 거리 인덱스로 라벨링된 픽셀은 상기 제2 종류 인덱스 또는 상기 제3 종류 인덱스로 라벨링됨 - ; 카메라로부터 생성된 타겟 해양 이미지를 획득하는 단계 - 상기 카메라는 항만 또는 선박에 설치되고 주변을 모니터링함 - ; 및 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 거리 정보에 기초하여 상기 주변에 있는 타겟 선박의 거리를 결정하는 단계를 포함할 수 있다.

여기서, 상기 객체 종류 정보는 선박의 상면을 위한 제4 종류 인덱스 및 선박의 측면을 위한 제5 종류 인덱스를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스로 라벨링된 픽셀은 상기 제3 거리 인덱스로 라벨링될 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제4 종류 인덱스 또는 상기 제5 종류 인덱스로 라벨링된 픽셀은 상기 제2 거리 인덱스로 라벨링될 수 있다.

여기서, 상기 객체 종류 정보는 선박의 상면을 위한 제4 종류 인덱스 및 선박의 측면을 위한 제5 종류 인덱스를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀은 상기 제4 종류 인덱스 및 상기 제5 종류 인덱스 중 하나로 라벨링될 수 있다.

여기서, 상기 객체 종류 정보는 크레인을 위한 제4 종류 인덱스를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제4 종류 인덱스로 라벨링된 픽셀은 상기 제1 종류 인덱스 또는 상기 제3 종류 인덱스로 라벨링될 수 있다.

여기서, 상기 주변 환경 감지 방법은 상기 타겟 해양 이미지에 기초하여 상기 인공신경망으로부터 출력되고 상기 제2 종류 인덱스를 갖는 해양 정보의 객체 종류 정보에 따라 상기 타겟 해양 이미지로부터 상기 인공신경망을 이용하여 상기 주변에 있는 수면을 감지하는 단계; 및 상기 감지된 수면까지의 거리를 정의되지 않은 거리로 결정하는 단계를 더 포함할 수 있다.

여기서, 상기 결정하는 단계는 상기 타겟 해양 이미지에 기초하여 상기 인공신경망으로부터 출력되고 상기 제2 종류 인덱스를 갖는 해양 정보의 거리 정보를 무시하는 단계를 포함할 수 있다.

여기서, 상기 해양 정보는 객체 식별자를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀은 상기 객체 식별자로 라벨링될 수 있다.

여기서, 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀은 하나 이상의 제1 픽셀 및 하나 이상의 제2 픽셀을 포함할 수 있고, 상기 제1 픽셀에 라벨링된 객체 식별자는 상기 제2 픽셀에 라벨링된 객체 식별자와 상이할 수 있다.

여기서, 상기 주변 환경 감지 방법은 상기 선박의 상기 측정된 거리에 기초하여 장애물 지도를 생성하는 단계 - 상기 출력된 거리 인덱스가 상기 제2 거리 인덱스에 대응되는 경우 상기 타겟 선박이 상기 장애물 지도에 반영됨 - 를 더 포함할 수 있다.

여기서, 상기 결정하는 단계는 상기 타겟 선박의 상기 타겟 해양 이미지 상에서의 위치 및 상기 카메라의 자세 정보 중 적어도 하나에 기초하여 상기 타겟 선박의 거리 정보를 획득하는 단계를 포함할 수 있고, 상기 타겟 선박의 거리는 획득한 거리 정보에 더 기초하여 결정될 수 있다.

여기서, 상기 획득한 거리 정보는 거리값으로 표현될 수 있고, 상기 결정하는 단계는 상기 획득한 거리 정보가 상기 출력된 거리 인덱스에 포함되는지에 기초하여 에러를 결정하는 단계를 더 포함할 수 있고, 상기 타겟 선박의 거리는 상기 에러에 더 기초하여 결정될 수 있다.

여기서, 상기 에러가 발생한 경우, 상기 선박의 거리는 상기 출력된 거리 인덱스에 대응되는 거리 범위로 결정될 수 있고, 상기 에러가 발생하지 않은 경우, 상기 선박의 거리는 상기 거리값으로부터 상기 출력된 거리 인덱스에 대응되는 거리 범위의 최대값까지인 거리 범위로 결정될 수 있다.

본 명세서의 일 양상에 따르면, 주변 환경 감지 장치에 있어서, 상기 주변 환경 감지 장치는 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 해양 이미지 및 객체 종류 정보와 거리 정보를 포함하는 해양 정보를 포함하고, 상기 객체 종류 정보는 선박을 위한 제1 종류 인덱스, 수면을 위한 제2 종류 인덱스 및 지표면을 위한 제3 종류 인덱스를 포함하고, 상기 거리 정보는 정의되지 않은 거리를 지시하는 제1 거리 인덱스, 제1 거리 범위를 지시하는 제2 거리 인덱스 및 상기 제1 거리 범위보다 큰 제2 거리 범위를 지시하는 제3 거리 인덱스를 포함하고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스로 라벨링된 픽셀은 상기 제2 거리 인덱스 또는 상기 제3 거리 인덱스로 라벨링되고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 거리 인덱스로 라벨링된 픽셀은 상기 제2 종류 인덱스 또는 상기 제3 종류 인덱스로 라벨링됨 - ; 및 카메라로부터 생성된 타겟 해양 이미지를 획득하고 - 상기 카메라는 항만 또는 선박에 설치되고 주변을 모니터링함 - , 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 거리 정보에 기초하여 상기 주변에 있는 타겟 선박의 거리를 결정하는 컨트롤러를 포함할 수 있다.

본 명세서의 일 양상에 따르면, 주변 환경 감지 방법에 있어서, 상기 주변 환경 감지 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 해양 이미지 및 객체 종류 정보, 거리 정보 및 표면 유형 정보를 포함하는 해양 정보를 포함하고, 상기 객체 종류 정보는 선박을 위한 제1 종류 인덱스 및 수면을 위한 제2 종류 인덱스를 포함하고, 상기 거리 정보는 정의되지 않은 거리를 지시하는 제1 거리 인덱스, 제1 거리 범위를 지시하는 제2 거리 인덱스 및 상기 제1 거리 범위보다 큰 제2 거리 범위를 지시하는 제3 거리 인덱스를 포함하고, 상기 표면 유형 정보는 선박의 측면을 위한 제1 표면 인덱스 및 선박의 상면을 위한 제2 표면 인덱스를 포함하고, 상기 제1 표면 인덱스 및 상기 제2 표면 인덱스는 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀에만 라벨링됨 - ; 카메라로부터 생성된 타겟 해양 이미지를 획득하는 단계 - 상기 카메라는 항만 또는 선박에 설치되고 주변을 모니터링함 - ; 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 객체 종류 정보에 기초하여 상기 주변에 있는 선박을 검출하는 단계; 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 거리 정보에 기초하여 상기 검출된 선박까지의 거리를 결정하는 단계; 및 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스를 갖는 해양 정보의 표면 유형 정보에 기초하여 상기 검출된 선박의 바운더리를 감지하는 단계를 포함할 수 있다.

여기서, 상기 검출된 선박의 바운더리는 상기 검출된 선박의 측면 및 상기 검출된 선박의 상면 사이의 바운더리에 대응될 수 있다.

본 명세서의 일 양상에 따르면, 거리를 측정하는 방법에 있어서, 상기 거리 측정 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 타겟 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계; 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함할 수 있다.

여기서, 상기 거리 측정 방법은, 상기 타겟 이미지 내의 이동 객체에 대응되는 상기 타겟 이미지의 픽셀의 상기 타겟 이미지상에서의 위치에 기초하여 상기 타겟 이미지 내의 이동 객체의 거리 정보를 산출하는 단계를 더 포함할 수 있고, 상기 근접성을 결정하는 단계는 상기 산출된 거리 정보에 더 기초하여 상기 이동 객체의 근접성을 결정할 수 있다.

여기서, 상기 상대적 근접 레벨은 거리 범위를 갖는 복수의 카테고리 중에서 선택되고 상기 거리 정보는 거리값으로 표현될 수 있고, 상기 근접성을 결정하는 단계는 상기 거리 정보의 거리값이 상기 상대적 근접 레벨의 거리 범위에 포함되는 경우 상기 거리 정보의 거리값으로부터 상기 상대적 근접 레벨의 거리 범위의 최대값을 상기 이동 객체의 근접성으로 결정할 수 있다.

여기서, 상기 거리 측정 방법은 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 운항 가능 영역을 검출하는 단계; 및 상기 검출된 운항 가능 영역까지의 근접성을 상대적 근접 레벨이 정의되지 않은 근접성으로 결정하는 단계를 더 포함할 수 있다.

여기서, 상기 상대적 근접 레벨은 제1 근접 레벨 및 상기 제1 근접 레벨보다 더 근접함을 나타내는 제2 근접 레벨을 포함할 수 있다.

여기서, 상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제2 근접 레벨에 대응되는 구간에 위치하는 이동 객체에 대응되는 픽셀에 라벨링되는 객체 정보는 이동 객체의 상면 및 측면 중 적어도 하나를 지시하는 정보를 더 반영할 수 있다.

여기서, 상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제2 근접 레벨에 대응되는 구간에 위치하는 이동 객체에 대응되는 픽셀에 라벨링되는 객체 정보는 동일한 종류의 객체를 구분하기 위한 객체 식별자를 더 반영할 수 있다.

여기서, 상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제1 근접 레벨에 대응되는 구간 및 상기 제2 근접 레벨에 대응되는 구간에 걸쳐 위치하는 이동 객체에 대응되는 픽셀에는 상기 제2 근접 레벨을 지시하는 객체 정보가 라벨링될 수 있다.

여기서, 상기 거리 측정 방법은 상기 이동 객체의 근접성에 기초하여 장애물 지도를 생성하는 단계 - 상기 장애물 지도는 운항 적합도를 반영하는 가중치가 할당된 복수의 단위 영역을 포함함 - ;를 더 포함하되, 상기 이동 객체에 대응되는 상대적 근접 레벨이 상기 제1 근접 레벨인 경우 상기 이동 객체를 상기 장애물 지도에 반영하지 않는 것을 특징으로 할 수 있다.

여기서, 상기 거리 측정 방법은 상기 이동 객체에 대응되는 상대적 근접 레벨이 상기 제2 근접 레벨인 경우 상기 이동 객체를 추적하는 단계를 더 포함할 수 있다.

여기서, 상기 제2 근접 레벨은 상기 복수의 구간 중 상기 기준 객체와 접하는 구간에 대응될 수 있다.

여기서, 상기 타겟 이미지는 항만 또는 선박에 설치된 카메라에 의해 촬상된 것일 수 있고, 상기 기준 객체는 상기 카메라가 설치된 상기 항만 및 상기 선박 중 하나에 대응되는 것을 특징으로 할 수 있다.

여기서, 인접한 두 구간 사이의 하나 이상의 바운더리는 상기 기준 객체의 형태 및 상기 운항 가능 영역의 상한선 중 적어도 하나를 고려하여 형성되는 것을 특징으로 할 수 있다.

본 명세서의 일 양상에 따르면, 거리 측정 장치는 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 및 타겟 이미지를 획득하고, 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하고, 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하고, 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 컨트롤러를 포함할 수 있다.

여기서, 상기 거리 측정 장치는 항만 또는 선박에 설치되어 상기 타겟 이미지를 생성하는 카메라를 더 포함할 수 있고, 상기 기준 객체는 상기 카메라가 설치된 상기 항만 또는 상기 선박에 대응되는 것을 특징으로 할 수 있다.

본 명세서에서는 주로 선박이나 항만 등 해상에서의 주변 환경 감지 방법 및 이를 이용하는 주변 환경 감지 장치에 대하여 설명하지만, 이에 한정되는 것은 아니고 차량, 드론 등 다양한 이동체 및 환경에도 적용될 수 있음을 미리 밝혀 둔다.

본 명세서에서, 모니터링이란 일정 영역이나 특정 객체 등을 각종 센서를 이용하여 감시, 관찰, 감지하는 것뿐만 아니라 그 결과를 사용자에게 제공하거나 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.

도 1은 본 명세서의 일 실시예에 따른 주변 환경 감지와 관련된 연산을 수행하는 시스템(10)에 관한 도면이다. 상기 시스템(10)은 인공신경망의 학습 및/또는 추론을 수행할 수 있다.

도 1을 참고하면, 시스템(10)는 제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)을 포함할 수 있다.

제어 모듈(11)은 인공신경망의 학습, 추론, 이미지 세그멘테이션 및 이를 통한 주변 환경 감지 등을 수행할 수 있다. 또한, 입력 모듈(13)을 통해 각종 입력을 수신하는 동작, 출력 모듈(15)을 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(11)의 제어에 의해 수행될 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(11)에 의해 수행되거나 제어 모듈(11)의 제어에 의해 수행되는 것으로 해석될 수 있다.

입력 모듈(13)은 시스템(10)의 외부로부터 정보를 받아들일 수 있다. 예를 들어, 입력 모듈(13)은 단안 카메라, 쌍안 카메라, 적외선 카메라, IR 카메라, TOF 카메라, 레이더(radar), 라이다(lidar), 초음파 탐지기 중 적어도 일부를 포함할 수 있다. 입력 모듈(13)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박이나 차량, 드론 등과 같이 이동하는 객체에 설치될 수 있다.

출력 모듈(15)은 제어 모듈(11)에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈(15)은 해상 이미지 등과 같은 이미지, 이미지 세그멘테이션 결과 등을 출력할 수 있다. 출력 모듈(15)은 예시적으로 디스플레이, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다.

입력 모듈(13)과 출력 모듈(15)은 별개의 모듈일 수도 있지만 하나의 모듈로 구현될 수도 있다. 예를 들어, 입력 모듈(13)과 출력 모듈(15)은 하나의 통합된 모듈로 구현되고 상기 통합 모듈은 외부로부터 정보를 받아들이고 제어 모듈(11)에 의해 수행된 연산의 결과 등을 출력할 수 있다. 물론, 제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)이 모두 하나의 모듈로 구현될 수도 있다.

제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)은 제어부를 포함할 수 있다. 제어부는 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.

제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 입력 모듈(13)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(11)은 그 통신부를 통해 입력 모듈(13)이 송신한 정보를 수신할 수 있다. 다른 예로, 제어 모듈(11)은 연산 결과를 그 통신부를 통해 송신하고, 출력 모듈(15)은 그 통신부를 통해 제어 모듈(11)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.

제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.

도 1에서 도시하는 시스템(10)은 예시에 불과하며 시스템(10)의 구성이 이에 한정되지는 않는다.

선박의 운항이나 항만 모니터링 등을 위하여는 주변 환경의 감지를 통해 주변 객체를 파악하여야 한다. 여기서, 객체는 지형, 건물, 선박, 부표, 사람 등 장애물, 해양과 같은 선박이 운항할 수 있는 지역 및 하늘과 같이 선박의 운항과 관련이 없을 수 있는 지역을 포함할 수 있다. 이 외에도, 객체는 역광, 크레인, 로프, 해면 불요 반사파를 포함할 수 있다. 여기서, 역광은 태양이나 조명 등으로 인해 디바이스가 생성하는 이미지 등에서 원래 물체에 대한 정보가 사라지는 현상 또는 이에 대응되는 이미지 상에서의 영역을 의미할 수 있다. (예를 들어, 카메라 이미지 상에서 직사광선으로 인해 하얗게 나타나는 영역) 여기서, 로프는 선박을 계류하기 위한 계류삭(mooring rope)을 포함할 수 있다. 또한, 선박인 객체는 대형 선박, 소형 선박 및 예인선을 포함할 수 있다. 또한, 객체는 선박의 상면 및 선박의 측면을 포함할 수 있다. 이 경우, 선박의 상면 및 측면에 기초하여 선박의 상면과 측면이 만나는 영역 또는 만나는 지점에 대한 정보를 획득할 수 있다. 또한, 객체는 선박의 상면과 측면이 만나는 영역 또는 만나는 지점에 대응되는 선박의 측선을 포함할 수 있다. 또한, 주변 환경을 감지한다는 것은 객체를 감지하는 것뿐만 아니라, 그 외에도 선박이나 항만 주변의 상황에 대한 정보를 획득하는 것을 포함하는 포괄적인 의미이다. 객체를 감지한다는 것은 객체의 유무, 종류, 위치, 거리, 절대적 및 상대적인 속력 및 속도 등에 대한 정보를 획득하는 것을 포함할 수 있다.

도 2는 본 명세서의 일 실시예에 따른 주변 환경 감지에 관한 도면으로, 도 2의 위는 카메라가 촬상한 이미지이고 이를 이용해 도 2의 가운데 또는 아래와 같이 객체를 검출하여 주변 환경을 감지할 수 있다.

구체적으로, 도 2의 가운데는 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 객체에 대응되는지를 나타낸 것으로, 세그멘테이션(segmentation)이라고도 한다. 세그멘테이션을 통해 이미지로부터 이미지상의 픽셀에 대응되는 특성을 할당하거나 산출할 수 있다. 이는 픽셀에 특성이 할당 또는 라벨링(labeling)되었다고 얘기할 수도 있을 것이다. 도 2의 위 및 가운데를 참고하면, 도 2의 위와 같이 카메라로 촬상된 이미지에 기초한 세그멘테이션을 수행하여 도 2의 가운데와 같은 세그멘테이션 이미지를 획득할 수 있다. 도 2의 가운데에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 바다, 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형, 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다.

도 2의 가운데에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 객체의 종류에 대한 정보를 산출하는 것을 도시하였으나, 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 객체의 위치, 좌표, 거리, 방향 등의 특성 또한 세그멘테이션을 통해 획득할 수 있을 것이다. 이 경우 서로 다른 특성은 독립적으로 표현될 수도 있고, 동시에 반영하여 표현될 수도 있다.

도 2의 아래는 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 것으로, 디텍션(detection)이라고도 한다. 세그멘테이션과 비교하면, 디텍션은 이미지의 각 픽셀 별로 특성을 산출하는 것이 아닌 오브젝트가 어느 위치에 포함되어 있는지를 박스 형태로 검출하는 것으로 볼 수 있다. 도 2의 위 및 아래를 참고하면, 도 2의 위의 카메라로 촬상된 이미지에 기초한 디텍션을 수행하여 도 2의 아래와 같은 디텍션 이미지를 획득할 수 있다. 도 2의 아래에서, 이미지상에서 선박을 검출하고 선박의 위치를 사각형의 바운딩 박스(BB)로 표현한 것을 볼 수 있다. 도 2의 아래에는 하나의 오브젝트만을 디텍션하는 것으로 도시하였으나, 하나의 이미지로부터 2 이상의 오브젝트를 디텍션할 수도 있다.

일부 실시예에서, 주변 환경 감지는 인공신경망을 이용하여 수행될 수 있다. 예를 들어, 세그멘테이션/디텍션은 인공신경망을 이용하여 수행될 수 있다. 하나의 인공신경망을 통해 주변 환경 감지를 수행할 수도 있고, 복수의 인공신경망을 이용하여 각각의 인공신경망이 주변 환경 감지를 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.

인공신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.

인공신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.

인공신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다.

인공신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.

도 3은 본 명세서의 일 실시예에 따른 인공신경망의 학습 단계 및 추론 단계에 관한 도면이다.

도 3의 위는 인공신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 본 명세서에서, 학습 데이터 및 라벨링 데이터는 학습 세트로 지칭될 수도 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.

도 3의 아래는 인공신경망의 추론 단계의 일 실시예로, 학습된 인공신경망이 입력 데이터를 입력받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.

이하에서는 본 명세서의 실시예에 따른 주변 환경 감지 방법에서의 라벨링에 관한 몇몇 실시예에 대해 살펴본다. 설명의 편의를 위해 객체의 종류에 대한 정보(이하 "종류 정보"라 함) 및 거리에 대한 정보(이하 "거리 정보"라 함)를 이용하는 라벨링에 대해 설명하나, 이에 한정되는 것은 아니고 이 외에도 방향 정보, 이동 방향, 속도, 항로 표지 등 다른 정보를 이용하거나 포함하여 라벨링될 수도 있다. 후술할 실시예와 같이 라벨링된 라벨링 데이터를 이용하여 인공신경망을 학습시킬 수 있을 것이다. 또한, 거리 정보는 객체의 근접성을 나타낸다는 점에서 근접 레벨이라 표현될 수도 있다.

일부 실시예에서, 객체의 거리 정보는 카메라의 위치 또는 임의의 기준에 대한 객체의 상대적인 위치일 수 있고, 절대적인 위치일 수도 있다. 여기서, 상기 기준은 이미지에 포함된 특정 객체일 수 있으나 이에 한정되는 것은 아니다.

일부 실시예에서, 거리 정보는 일정 거리 범위를 갖는 복수의 카테고리로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있다. 상기 카테고리는 숫자를 이용하여 표현될 수 있다. 예를 들어, 거리 정보 중 근거리는 1로, 중거리는 2로, 원거리는 3으로 표현할 수 있다.

일부 실시예에서, 거리 정보는 10m, 15m 등의 거리값으로 표현될 수 있다. 또는, 거리값을 일정 범위의 값으로 변환하여 거리 정보를 표현할 수 있다. 거리 정보는 균일하게 정규화될 수도 있고, 로그 함수나 지수 함수 등을 이용하여 불균일하게 정규화될 수도 있다. 예를 들어, 거리 정보는 0~1 사이의 값으로 정규화하여 표현될 수 있다.

도 4는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제1 실시예에 관한 표이다. 도 4를 참고하면, 객체의 종류 정보 및 거리 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 인덱스를 할당할 수 있다. 예를 들어, 객체의 종류 정보인 지형과 거리 정보인 근거리를 함께 고려하여 인덱스 2를 할당할 수 있다. 또한, 모든 인덱스가 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 인덱스는 종류 정보만 포함하고(예를 들어, 인덱스 1은 거리 정보를 포함하지 않음) 다른 인덱스는 종류 정보 및 거리 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.

도 5는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제2 실시예에 관한 표이다. 도 5를 참고하면, 특정 거리 정보 및 특정 종류 정보에 대응되는 클래스에는 상기 특정 거리 정보에 대응되는 거리 인덱스 및 상기 특정 종류 정보에 대응되는 종류 인덱스를 포함하는 인덱스가 할당될 수 있다. 여기서, 거리 인덱스 및 종류 인덱스 각각은 단일값으로 표현될 수 있다. 비한정적인 예로, 인덱스는 (거리 인덱스, 종류 인덱스)의 형태로 표현될 수 있다. 이 경우 이미지 상에서 특정 인덱스가 라벨링된 영역 또는 픽셀은 특정 거리 인덱스 및 특정 종류 인덱스가 라벨링된 것으로 볼 수 있다. 예를 들어, 도 5를 참고하면, (1, 3) 인덱스가 라벨링된 영역 또는 픽셀은 근거리 및 선박이 라벨링된 것으로 볼 수 있다.

도 5를 참고하면, 거리 인덱스는 정의되지 않은 거리에 대응되는 제1 거리 인덱스(0), 근거리에 대응되는 제2 거리 인덱스(1), 중거리에 대응되는 제3 거리 인덱스(2) 및 원거리에 대응되는 제4 거리 인덱스(3)를 포함할 수 있다. 또한, 종류 인덱스는 기타에 대응되는 제1 종류 인덱스(0), 해양에 대응되는 제2 종류 인덱스(1), 지형에 대응되는 제3 종류 인덱스(2), 선박에 대응되는 제4 종류 인덱스(3) 및 로프에 대응되는 제5 종류 인덱스(4)를 포함할 수 있다.

도 6은 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제3 실시예에 관한 표이다. 도 5 및 도 6을 비교하면, 종류 인덱스의 표현 방법이 상이한 것을 확인할 수 있다. 구체적으로, 도 6의 각 인덱스는 단일값으로 표현되는 거리 인덱스 및 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함할 수 있다.

도 6을 참고하면, 각 인덱스는 하나의 거리 인덱스 및 복수의 종류 인덱스를 포함하도록 표현될 수 있다. 비한정적인 예로, 인덱스는 (거리 인덱스 | 제1 종류 인덱스, 제2 종류 인덱스, ... , 제n 종류 인덱스)의 형태로 표현될 수 있다. 여기서, 복수의 종류 인덱스 각각은 특정 객체의 종류 정보에 대응될 수 있다. 예를 들어, 도 6을 참고하면, 이미지 상의 특정 영역 또는 픽셀이 제1 종류 정보에 대응되는 경우 상기 제1 종류 정보에 대응되는 제1 종류 인덱스는 제1 값(예를 들어, 1)을 갖고, 나머지 종류 인덱스는 제2 값(예를 들어, 0)을 가질 수 있다. 이 경우 상기 특정 영역 또는 픽셀은 상기 제1 종류 인덱스가 라벨링된 것으로 볼 수 있다.

도 6에서는 종류 인덱스가 복수의 단일값의 집합으로 표현되는 경우에 대해 살펴보았으나, 이와 반대로 인덱스는 복수의 단일값의 집합으로 표현되는 거리 인덱스 및 단일값으로 표현되는 종류 인덱스를 포함할 수 있다. 또는, 인덱스는 복수의 단일값의 집합으로 표현되는 거리 인덱스 및 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함할 수도 있을 것이다.

전술한 거리 정보 및 종류 정보의 표현 방법은 예시에 불과하고 이와 다른 방식으로 거리 인덱스, 종류 인덱스, 인덱스, 클래스 등이 정의될 수 있다.

이상에서는 주로 하나의 인덱스에 하나의 객체가 대응되거나 하나의 인덱스에 하나의 거리 정보가 대응되는 경우에 대해 살펴보았으나, 하나의 인덱스에 복수의 객체가 대응되거나 하나의 인덱스에 복수의 거리 정보가 대응될 수도 있다.

일부 실시예에서, 겹쳐진 객체에 대해 표현할 수 있도록 인덱스를 설정할 수 있다. 도 7은 본 명세서의 일 실시예에 따른 겹쳐진 객체를 표현하는 인덱스에 관한 도면이다. 도 7을 참고하면, 이미지(1000)는 선박과 지형이 겹쳐진 영역(1100) 및 선박과 해양이 겹쳐진 영역(1200)를 포함할 수 있다.

일 예로, 도 4와 같이 클래스에 단일한 식별값이 할당되는 경우, 식별값은 선박과 지형 둘 다에 대응되는 제1 식별값(예를 들어, 11) 및 선박과 해양 둘 다에 대응되는 제2 식별값(예를 들어, 12)을 포함할 수 있다. 이 경우, 도 7을 참고하면, 이미지(1000)에서 선박에 대응되는 영역 중 선박과 지형이 겹쳐진 영역(1100)에는 제1 식별값(예를 들어, 11)이 대응되고, 선박과 해양이 겹쳐진 영역(1200)에는 제2 식별값(예를 들어, 12)이 대응될 수 있다.

다른 예로, 도 5와 같이 클래스가 단일값으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 종류 인덱스는 선박과 지형 둘 다에 대응되는 제1 종류 인덱스(예를 들어, 5) 및 선박과 해양 둘 다에 대응되는 제2 종류 인덱스(예를 들어, 6)을 포함할 수 있다. 이 경우, 도 7을 참고하면, 이미지(1000)에서 선박에 대응되는 영역 중 선박과 지형이 겹쳐진 영역(1100)에는 제1 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 5))가 대응되고, 선박과 해양이 겹쳐진 영역(1200)에는 제2 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 6))가 대응될 수 있다.

또 다른 예로, 도 6과 같이 클래스가 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 도 7을 참고하면, 이미지(1000)에서 선박에 대응되는 영역 중 선박과 지형이 겹쳐진 영역(1100)에는 제1 인덱스(예를 들어, (1 | 0, 0, 1, 1, 0, 0))가 대응되고, 선박과 해양이 겹쳐진 영역(1200)에는 제2 인덱스(예를 들어, (1 | 0, 1, 0 ,1, 0, 0))가 대응될 수 있다. 이 경우 전술한 도 4 및 도 5에 관한 예시들과는 다르게 식별값이나 종류 인덱스를 별도로 추가하지 않고 겹쳐진 객체를 표현할 수 있다.

이상에서는 선박과 지형이 겹친 경우 및 선박과 해양이 겹친 경우에 대해서 살펴보았으나, 이 외에도 선박과 선박이 겹친 경우 등에도 이처럼 표현할 수 있다. 예를 들어, 제1 선박 및 제2 선박의 적어도 일부가 겹쳐 제1 선박의 뒤에 제2 선박이 적어도 일부 가려진 경우 겹친 영역을 제1 선박에만 대응되도록 라벨링하여 표현하는 것이 아닌 제1 선박 및 제2 선박 둘 다에 대응되도록 라벨링하여 표현할 수 있다.

또한, 물리적으로 객체가 겹친 경우가 아니더라도, 해면 불요 반사파가 발생한 해양 영역을 해면 불요 반사파 또는 해양 중 하나에만 대응되도록 라벨링하여 표현하는 대신 상기 해양 영역을 해면 불요 반사파 및 해양 둘 다에 대응되도록 라벨링하여 표현할 수도 있다. 이는 역광 및 선박 둘 다에 대응되도록 라벨링하는 등에도 적용될 수 있을 것이다.

일부 실시예에서, 객체 사이의 연결성(connectivity)을 표현할 수 있도록 인덱스를 설정할 수 있다. 여기서, 연결성은 객체 사이의 물리적 연결 여부를 의미할 수 있다. 또는, 연결성은 하나의 객체에 다른 객체가 설치되었는지 여부를 의미할 수 있다.

도 8은 본 명세서의 일 실시예에 따른 객체 사이의 연결성을 표현하는 인덱스에 관한 도면이다. 도 8을 참고하면, 이미지(2000)는 선박에 설치된 크레인에 대응되는 영역(2100) 및 항만(또는 지형, 육지)에 설치된 크레인에 대응되는 영역(2200)을 포함할 수 있다.

일 예로, 도 4와 같이 클래스에 단일한 식별값이 할당되는 경우, 식별값은 선박에 설치된 크레인에 대응되는 제3 식별값(예를 들어, 13) 및 항만에 설치된 크레인에 대응되는 제4 식별값(예를 들어, 14)을 포함할 수 있다. 이 경우, 도 8을 참고하면, 이미지(2000)에서 선박에 설치된 크레인에 대응되는 영역(2100)에는 제3 식별값(예를 들어, 13)이 대응되고, 항만에 설치된 크레인에 대응되는 영역(2200)에는 제4 식별값(예를 들어, 14)이 대응될 수 있다.

다른 예로, 도 5와 같이 클래스가 단일값으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 종류 인덱스는 선박에 설치된 크레인에 대응되는 제3 종류 인덱스(예를 들어, 7) 및 항만에 설치된 크레인에 대응되는 제4 종류 인덱스(예를 들어, 8)를 포함할 수 있다. 이 경우, 도 8을 참고하면, 이미지(2000)에서 선박에 설치된 크레인에 대응되는 영역(2100)에는 제3 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 7))가 대응되고, 항만에 설치된 크레인에 대응되는 영역(2200)에는 제4 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 8))가 대응될 수 있다.

또 다른 예로, 도 6과 같이 클래스가 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 도 8을 참고하면, 이미지(2000)에서 선박에 설치된 크레인에 대응되는 영역(2100)에는 제3 인덱스(예를 들어, (1 | 0, 0, 0, 1, 0, 1))가 대응되고, 항만에 설치된 크레인에 대응되는 영역(2200)에는 제4 인덱스(예를 들어, (1 | 0, 0, 1, 0, 0, 1))가 대응될 수 있다. 이 경우 전술한 도 4 및 도 5에 관한 예시들과는 다르게 식별값이나 종류 인덱스를 별도로 추가하지 않고 객체 사이의 연결성을 표현할 수 있다.

이상에서는 객체 사이의 연결성의 예시로 크레인의 설치 위치에 대해 살펴보았으나 이에 한정되는 것은 아니다. 예를 들어, 선박 및 항만(또는 지형, 육지) 중 적어도 하나와 연결된 로프 등도 이와 유사하게 표현할 수 있다.

일부 실시예에서, 동일한 종류의 서로 다른 객체를 구분할 수 있도록 인덱스를 설정할 수 있다. 예를 들어, 이미지에 포함된 복수의 선박에 각각 별도의 식별자를 부여하여 상기 복수의 선박을 구분할 수 있다. 여기서, 상기 식별자는 객체 정보를 표현하기 위한 인덱스에 포함될 수 있다. 또한, 이미지에 포함된 객체에 식별자를 부여한다는 것은 상기 객체에 대응되는 이미지의 영역 또는 픽셀에 식별자를 라벨링하는 것을 의미할 수 있다.

일부 실시예에서, 객체의 거리 정보에 따라 동일한 종류의 서로 다른 객체를 구분할지 여부가 달라질 수 있다. 도 9는 본 명세서의 일 실시예에 따른 거리 정보에 따른 동일한 종류의 객체 구분에 관한 도면이다. 도 9를 참고하면, 항만(또는 지형, 육지)과 인접한 제1 거리 범위에 대응되는 선박(3100, 3200)은 서로 구분하고, 상기 제1 거리 범위보다 먼 제2 거리 범위에 대응되는 선박(3300)은 구분하지 않을 수 있다. 일 예로, 선박이 제1 거리 범위에 대응되는 경우에는 상기 선박에 식별자를 부여하고, 제2 거리 범위에 대응되는 경우에는 식별자를 부여하지 않을 수 있다. 다른 예로, 상기 제1 거리 범위에 대응되는 선박에는 객체별로 상이한 식별자를 부여하고, 상기 제2 거리 범위에 대응되는 선박에는 객체별로 동일한 식별자를 부여할 수 있다. 여기서, 상기 제1 거리 범위는 상기 제2 거리 범위보다 가까운 거리 정보일 수 있다.

일부 실시예에서, 이미지에 라벨링되는 종류 정보가 객체의 거리 정보에 의존하도록 인덱스를 설정할 수 있다.

일 예로, 객체가 제1 거리 정보에 대응되는 경우 객체에는 제1 종류 정보가 라벨링되고, 제2 거리 정보에 대응되는 경우에는 제2 종류 정보가 라벨링될 수 있다. 도 10은 본 명세서의 일 실시예에 따른 종류 정보가 거리 정보에 의존하도록 설정된 인덱스에 관한 도면으로, 선박의 거리 정보에 따라 선박의 상면/측면 구분 여부가 달라지도록 인덱스를 설정하는 것에 관한 것이다. 도 10의 위를 참고하면, 선박과 항만 사이의 거리가 일정 거리 이상인 경우 (또는 제1 거리 정보에 대응되는 경우) 이미지(4000)에서 선박(4100)에 대응되는 영역은 상면/측면 구분 없이 선박으로 라벨링될 수 있다. 반면, 도 10의 아래를 참고하면, 선박과 항만 사이의 거리가 일정 거리 미만인 경우 (또는 상기 제1 거리 정보보다 가까운 거리를 지시하는 제2 거리 정보에 대응되는 경우) 이미지(5000)에서 선박에 대응되는 영역은 상면(5100) 또는 측면(5200)으로 라벨링될 수 있다. 여기서, 상기 상면(5100) 및 상기 측면(5200)은 각각 선박의 상면 및 측면에 대응되는 영역일 수 있다. 또한, 선박의 상면은 갑판 및 상기 갑판 상에 위치하는 구조물(예를 들어, 선교, 굴뚝, 크레인)을 포함할 수 있다.

다른 예로, 객체가 제1 거리 정보에 대응되는 경우에는 객체에 제1 종류 정보가 라벨링되고, 제2 거리 정보에 대응되는 경우에는 상기 제1 종류 정보 및 제2 종류 정보가 함께 라벨링될 수 있다. 도 10의 위를 참고하면, 선박과 항만 사이의 거리가 일정 거리 이상인 경우 (또는 제1 거리 정보에 대응되는 경우) 이미지(4000)에서 선박(4100)에 대응되는 영역은 상면/측면 구분 없이 선박으로 라벨링될 수 있다. 반면, 도 10의 아래를 참고하면, 선박과 항만 사이의 거리가 일정 거리 미만인 경우 (또는 상기 제1 거리 정보보다 가까운 거리를 지시하는 제2 거리 정보에 대응되는 경우) 이미지(5000)에서 선박에 대응되는 영역은 선박과 함께 상면(5100) 또는 측면(5200) 중 적어도 하나가 라벨링될 수 있다.

또 다른 예로, 객체가 제1 거리 정보에 대응되는 경우 이미지에 라벨링될 수 있는 종류 정보는 객체가 제2 거리 정보에 대응되는 경우 이미지에 라벨링될 수 있는 종류 정보와 적어도 일부 상이할 수 있다. 예를 들어, 선박과 항만 사이의 거리가 일정 거리 미만인 경우에만 (또는 제1 거리 정보에 대응되는 경우에만) 특정 객체(예를 들어, 로프, 크레인)를 별도로 이미지에 라벨링할 수 있다.

이상에서는 선박의 거리 정보에 따라 선박의 상면/측면 구분 여부가 달라지도록 인덱스를 설정하는 것에 대해 주로 설명하였으나, 이 외에도 다른 방식으로 이미지에 라벨링되는 종류 정보가 객체의 거리 정보에 의존하도록 인덱스를 설정할 수 있다.

이하에서는 이미지 상에서 거리 정보를 라벨링하는 방법의 몇몇 실시예에 대해 살펴본다.

일부 실시예에서, 거리 정보는 이미지 상의 일 영역, 일 라인 또는 일 지점을 기준으로 라벨링될 수 있다. 또는, 거리 정보는 이미지 상의 특정 객체를 기준으로 라벨링될 수 있다. 이하에서는 거리 정보의 기준이 되는 특정 객체를 기준 객체(reference object)라 한다. 비한정적인 예로, 기준 객체는 선박, 안벽, 지형 등일 수 있다. 또는, 기준 객체는 라벨링이 수행되는 이미지를 생성한 디바이스(예를 들어, 카메라)가 설치된 객체일 수 있다.

도 11은 본 명세서의 일 실시예에 따른 기준 객체에 따른 거리 정보에 관한 도면이다. 도 11을 참고하면, 거리 정보는 기준 객체(6100)인 지형을 기준으로 제1 거리 범위(6200), 상기 제1 거리 범위(6200)보다 먼 제2 거리 범위(6300) 및 상기 제2 거리 범위(6300)보다 먼 제3 거리 범위(6400)를 포함할 수 있다. 이 경우, 상기 제1 거리 범위(6200)에 위치한 객체(예를 들어, 선박, 장애물)에 대응되는 이미지의 영역 또는 픽셀에는 상기 제1 거리 범위(6200)를 지시하는 거리 인덱스가 라벨링될 수 있다. 또한, 상기 제2 거리 범위(6300)에 위치한 객체에 대응되는 이미지의 영역 또는 픽셀 및 상기 제3 거리 범위(6400)에 위치한 객체에 대응되는 이미지의 영역 또는 픽셀에도 각각 상기 제2 거리 범위(6300)를 지시하는 거리 인덱스 및 상기 제3 거리 범위(6400)를 지시하는 거리 인덱스가 라벨링될 수 있다.

일부 실시예에서, 거리 정보가 기준 객체를 기준으로 라벨링되는 것은 상기 기준 객체의 일부를 기준으로 라벨링되는 것을 의미할 수 있다. 예를 들어, 도 11을 참고하면, 거리 정보는 기준 객체인 지형의 바운더리를 기준으로 라벨링될 수 있다. 이 외에도 거리 정보는 기준 객체의 일 영역이나 일 지점을 기준으로 라벨링될 수도 있다.

일부 실시예에서, 기준 객체는 이미지 상의 특정 영역에 위치할 수 있다. 일 예로, 기준 객체는 이미지 상의 하부 영역에 위치할 수 있다. 다른 예로, 기준 객체는 이미지 상의 상부 영역, 하부 영역, 좌측 영역 및 우측 영역 중 적어도 한 영역에 위치할 수 있다.

일부 실시예에서, 거리 정보는 이미지 상의 제1 기준 및 제2 기준 사이에서 정의되는 복수의 거리 범위를 포함할 수 있다. 일 예로, 제1 기준 및 제2 기준 중 적어도 하나는 기준 객체일 수 있다. 다른 예로, 제1 기준은 기준 객체이고 제2 기준은 이미지 상의 특정 영역, 특정 라인 또는 특정 지점일 수 있다.

일부 실시예에서, 거리 정보는 이미지 상의 주행 가능 영역(예를 들어, 해양, 도로)에 대해 설정될 수 있다. 예를 들어, 주행 가능 영역을 복수의 영역으로 나누고, 상기 복수의 영역 각각에 대해 서로 다른 거리 정보(예를 들어, 근거리, 중거리, 원거리)가 설정될 수 있다. 이 경우 상기 복수의 영역 중 어느 한 영역에 위치하는 객체에는 상기 어느 한 영역에 설정된 거리 정보에 대응되는 거리 인덱스가 라벨링될 수 있다.

일부 실시예에서, 복수의 거리 범위 중 인접한 거리 범위 사이의 경계는 적어도 기준 객체를 고려하여 설정될 수 있다. 예를 들어, 상기 경계는 적어도 기준 객체의 형상 및 바운더리 중 적어도 하나를 고려하여 설정될 수 있다. 도 11을 참고하면, 제1 거리 범위(6200) 및 제2 거리 범위(6300) 사이의 경계는 기준 객체인 지형의 바운더리를 고려하여 설정될 수 있다.

일부 실시예에서, 복수의 거리 범위에 걸쳐 객체가 위치하는 경우 상기 객체에는 상기 복수의 거리 범위 중 어느 한 거리 범위에 대응되는 거리 인덱스가 라벨링될 수 있다. 예를 들어, 객체의 일부는 제1 거리 범위에 위치하고 나머지는 제2 거리 범위에 위치하는 경우 객체 전체는 상기 제1 거리 범위 및 상기 제2 거리 범위 중 더 가까운 거리 범위에 대응되는 거리 인덱스로 라벨링될 수 있다.

이상에서는 주로 거리 정보가 3개의 거리 범위를 포함하는 경우에 대해 설명하였으나 이에 한정되는 것은 아니고 거리 정보는 2개의 거리 범위를 포함하거나 4개 이상의 거리 범위를 포함할 수도 있다. 또한, 거리 범위의 설정은 카메라 설치 위치, 설치 방향, 카메라 사양(예를 들어, FOV) 등을 고려하여 달라질 수도 있다. 예를 들어, 제1 이미지의 거리 범위의 설정은 제2 이미지의 거리 범위의 설정과 상이할 수 있다.

일부 실시예에서, 하나의 모델(예를 들어, 인공신경망)로 객체의 위치 정보 및 종류 정보를 함께 획득할 수 있다. 예를 들어, 상기 모델에 이미지를 입력하여 상기 이미지의 픽셀에 대응되는 위치 정보 및 종류 정보를 포함하는 출력 데이터를 획득할 수 있다. 본 명세서에서, 위치 정보는 객체의 위치와 관련된 정보로, 예를 들어 거리 정보, 방향 정보 및 좌표 중 적어도 하나를 포함할 수 있다. 또한, 위치 정보는 물체의 상대적인 위치를 의미할 수 있고, 절대적인 위치를 의미할 수도 있다.

일부 실시예에서, 제1 모델로 객체의 종류 정보를 획득하고 제2 모델로 객체의 위치 정보를 획득할 수 있다. 예를 들어, 상기 제1 모델에 이미지를 입력하여 상기 이미지의 픽셀에 대응되는 종류 정보를 포함하는 제1 출력 데이터를 획득하고, 상기 제2 모델에 상기 이미지 및 상기 제1 출력 데이터 중 적어도 하나를 입력하여 상기 이미지의 픽셀에 대응되는 위치 정보를 포함하는 제2 출력 데이터를 획득할 수 있다. 비한정적인 예로, 상기 제1 모델 및 상기 제2 모델 중 적어도 하나는 인공신경망일 수 있다.

일부 실시예에서, 인공신경망과 같은 모델을 이용하는 추론 단계에서 상기 모델이 출력한 복수의 객체 정보 중 적어도 일부 객체 정보는 나머지 객체 정보에 기초하여 변경되거나 무시되는 등 상기 모델이 출력한 출력 정보와 다르게 취급될 수 있다. 예를 들어, 이미지를 모델에 입력하여 위치 정보 및 종류 정보를 획득하는 경우 상기 종류 정보에 따라 위치 정보를 고려하지 않을 수도 있다.

일부 실시예에서, 학습 데이터에서 해양에 대응되는 이미지의 영역 또는 픽셀에 정의되지 않은 거리에 대응되는 거리 인덱스가 라벨링되더라도(예를 들어, 도 5 또는 도 6), 추론 단계에서는 해양에 대응되는 이미지의 일 영역 또는 일 픽셀에 정의되지 않은 거리 외의 거리 인덱스(예를 들어, 근거리, 중거리, 원거리)가 라벨링될 수 있다. 이 경우 상기 해양에 대응되는 이미지의 일 영역 또는 일 픽셀의 거리 정보는 추론을 통해 어떤 거리 인덱스가 출력되었는지와 무관하게 정의되지 않은 거리로 간주할 수 있다.

일부 실시예에서, 선박의 선수 및 선미 중 적어도 하나에 대한 정보를 출력하는 모델(예를 들어, 인공신경망)이 제공될 수 있다. 예를 들어, 모델은 이미지를 입력 받아 이미지에 포함된 선박의 선수 및 선미 중 적어도 하나의 위치 정보를 출력할 수 있다. 여기서, 모델은 이미지 상에서 선수 및 선미 중 적어도 하나를 표시하여 그 위치 정보를 출력할 수 있다. 또는, 모델은 이미지 상에서 선수 및 선미 중 적어도 하나에 대응되는 좌표값을 출력할 수 있다.

일부 실시예에서, 선박의 선수 및 선미 중 적어도 하나에 대한 정보를 출력하는 모델은 입력 이미지 및 상기 입력 이미지에 포함된 선박의 선수 및 선미 중 적어도 하나의 위치 정보를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 학습 데이터가 포함하는 상기 위치 정보에 기초하여 상기 모델이 학습될 수 있다.

일부 실시예에서, 선박의 측선에 대한 정보를 출력하는 모델이 제공될 수 있다. 예를 들어, 모델은 이미지를 입력 받아 이미지에 포함된 선박의 측선에 대한 정보를 출력할 수 있다. 여기서, 모델은 이미지 상에서 측선을 표시하여 측선에 대한 정보를 출력할 수 있다. 또는, 모델은 이미지 상에서 측선에 대응되는 하나 이상의 지점을 표시하여 측선에 대한 정보를 출력할 수 있다. 또는, 모델은 이미지 상에서 측선에 대응되는 하나 이상의 지점에 대응되는 좌표값을 출력할 수 있다.

일부 실시예에서, 선박의 측선에 대한 정보를 출력하는 모델은 입력 이미지 및 상기 입력 이미지에 포함된 측선에 대한 정보를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 학습 데이터가 포함하는 상기 측선에 대한 정보에 기초하여 상기 모델이 학습될 수 있다.

일부 실시예에서, 복수의 객체 사이의 각도를 출력하는 모델이 제공될 수 있다. 예를 들어, 모델은 이미지를 입력 받아 이미지에 포함된 복수의 객체 사이의 각도를 출력할 수 있다. 일 예로, 상기 복수의 객체 사이의 각도는 선박과 안벽(또는 지형, 육지) 사이의 각도일 수 있다. 다른 예로, 상기 복수의 객체 사이의 각도는 일 선박과 타 선박 사이의 각도일 수 있다.

일부 실시예에서, 복수의 객체 사이의 각도를 출력하는 모델은 입력 이미지 및 상기 입력 이미지에 포함된 복수의 객체 사이의 각도를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 학습 데이터가 포함하는 상기 각도에 기초하여 상기 모델이 학습될 수 있다.

일부 실시예에서, 이미지를 버드 아이 뷰로 변환하는 모델이 제공될 수 있다. 예를 들어, 모델은 원근 시점(perspective view)의 이미지를 입력 받아 버드 아이 뷰의 이미지를 출력할 수 있다.

일부 실시예에서, 이미지를 버드 아이 뷰로 변환하는 모델은 원근 시점 입력 이미지 및 상기 입력 이미지를 버드 아이 뷰로 변환한 이미지를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 원근 시점 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 입력 이미지를 버드 아이 뷰로 변환한 이미지에 기초하여 상기 모델이 학습될 수 있다.

이하에서는 전술한 실시예 외의 다른 방법으로 객체의 위치 정보를 획득하는 실시예에 대해 살펴본다.

일부 실시예에서, 카메라로 촬상된 이미지의 경우, 카메라의 종류 및 위치(높이, 각도 등) 등을 포함하는 세팅 정보를 이용하여 이미지의 픽셀당 위치 정보를 획득할 수 있다. 획득한 위치 정보는 카메라의 위치 또는 임의의 기준에 대한 상대적인 위치일 수 있고, 절대적인 위치일 수도 있다.

도 12는 본 명세서의 일 실시예에 따른 이미지 픽셀을 이용한 위치 정보 획득에 관한 도면이다. 도 12를 참고하면, 이미지의 좌우 방향은 픽셀의 각도, 상하 방향은 픽셀까지의 거리에 대응될 수 있다. 픽셀 A의 경우 좌측으로 약 30°, 거리는 약 15m 떨어진 것으로 볼 수 있고, 픽셀 B의 경우 우측으로 약 10°, 거리는 약 20m 떨어진 것으로 볼 수 있다.

카메라의 자세에 따라 전술한 위치 정보의 오차가 발생할 수 있다. 예를 들어, 카메라의 초기 설치 자세가 차후에 변경되어 오차가 발생할 수 있다. 카메라의 설치 자세를 반영하여 상기 위치 정보를 보정할 수 있다.

카메라가 설치된 물체의 움직임(자세)에 따라 위치 정보의 오차가 발생할 수 있다. 예를 들어, 카메라가 선박에 설치된 경우 선박의 롤(roll), 피치(pitch) 등에 따라 이미지의 픽셀당 위치 정보가 달라질 수 있다. 정확한 위치 정보의 획득을 위해 선박의 자세와 같은 카메라가 설치된 물체의 자세를 고려할 수 있다. 예를 들어, 선박에 탑재된 관성 측정 장치(inertial measurement unit, IMU)로부터 선박의 선수 방향(heading 또는 yaw), 피치, 롤 등 선박의 자세에 관한 정보를 획득하고 이를 반영하여 이미지의 픽셀당 위치 정보를 획득할 수 있다.

일부 실시예에서, 복수의 방법을 통해 획득한 객체의 위치 정보에 기초하여 객체의 최종 위치 정보를 획득할 수 있다. 이하에서는 이미지 세그멘테이션을 통해 획득한 위치 정보(이하 "제1 위치 정보"라 함) 및 도 12와 같이 픽셀의 이미지 상에서의 위치에 기초하여 획득한 위치 정보(이하 "제2 위치 정보"라 함)에 기초하여 최종 위치 정보를 획득하는 것에 대해 설명하나 복수의 방법을 통해 획득한 객체의 위치 정보에 기초하여 객체의 최종 위치 정보를 획득하는 것이 이에 한정되는 것은 아니다.

이미지 세그멘테이션의 출력 데이터의 모든 출력값에 대하여 위치 정보를 융합해야 하는 것은 아니다. 일부 출력값은 제1 위치 정보와 제2 위치 정보를 이용하여 최종 위치 정보를 획득하고, 다른 출력값은 제1 위치 정보 및 제2 위치 정보 중 어느 하나만을 이용하여 최종 위치 정보를 획득할 수 있다. 예를 들어, 이미지 세그멘테이션을 통하여 얻은 물체의 종류에 따라 위치 정보 융합 여부를 결정할 수 있다. 장애물에 대하여는 위치 정보를 융합하고, 바다와 같은 운항 가능 영역에 대하여는 위치 정보를 융합하지 않을 수 있다.

제1 위치 정보 및 제2 위치 정보의 종류는 다를 수 있다. 예를 들어, 제1 위치 정보는 거리 정보, 제2 위치 정보는 방향 정보만 담고 있을 수 있다. 이 경우 제1 위치 정보 및 제2 위치 정보를 합하여 거리 정보 및 방향 정보를 포함하는 최종 위치 정보를 획득할 수 있다.

제1 위치 정보 및 제2 위치 정보가 동일한 종류의 정보를 포함하고 있을 수 있다. 이 경우 제1 위치 정보 및 제2 위치 정보가 정합할 수 있고, 정합하지 않을 수 있다. 여기서, 위치 정보가 정합한다는 것은 제1 위치 정보와 제2 위치 정보가 동일하거나 비슷한 경우, 또는 오차 범위 이내인 경우를 의미할 수 있다.

먼저, 위치 정보가 정합하는 경우에 대해 살펴본다.

일 예로, 제1 위치 정보가 거리 범위로 표현되고, 제2 위치 정보가 거리 범위 또는 거리값으로 표현되는 경우, 위치 정보가 정합한다는 것은 제2 위치 정보가 제1 위치 정보의 거리 범위 내에 포함되는 것을 의미할 수 있다. 이 경우 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 또는, 최종 위치 정보는 제1 위치 정보를 제2 위치 정보로 보정한 값일 수 있다. 비한정적인 예로, 최종 위치 정보는 거리값으로 표현되는 제2 위치 정보(예를 들어, 14m)로부터 거리 범위로 표현되는 제1 위치 정보(예를 들어, 10m 내지 20m)의 최대값 사이의 거리 범위(예를 들어, 14m 내지 20m)로 결정될 수 있다.

다른 예로, 제1 위치 정보 및 제2 위치 정보 모두 거리값으로 표현되고 상기 제1 위치 정보 및 상기 제2 위치 정보가 정합하는 경우가 있을 수 있다. 이때 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 또는, 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보의 평균일 수 있다. 이 외에도 제1 위치 정보 및 제2 위치 정보를 특정 비율로 섞는 등 다양한 방법이 이용될 수 있다.

위치 정보가 정합하지 않는 경우는 제1 위치 정보와 제2 위치 정보가 다른 경우, 또는 오차 범위 밖인 경우일 수 있다. 이때 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 예를 들어, 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 더 작은 값일 수 있다. 또는, 위치 정보가 부정합 하는 출력값에 대하여 해당 출력값의 위치 정보를 모르는 값(unknown value)으로 둘 수 있다. 또는, 위치 정보가 부정합 하는 출력값이 존재하는 경우 해당 출력 데이터의 모든 출력값에 대해 위치 정보를 모르는 값으로 둘 수 있다.

일부 실시예에서, 위치 정보는 객체별로 융합될 수 있다. 예를 들어, 이미지 상에서 특정 객체에 대응되는 복수의 픽셀 각각에는 제1 위치 정보 및 제2 위치 정보가 대응될 수 있다. 이 경우 픽셀별로 제1 위치 정보 및 제2 위치 정보를 융합하여 픽셀별로 최종 위치 정보를 획득하지 않고, 객체별로 최종 위치 정보를 획득할 수 있다.

일부 실시예에서, 객체별로 위치 정보를 융합하는 것은 특정 객체에 대응되는 복수의 픽셀 각각에 라벨링된 복수의 제1 위치 정보에 기초하여 제1 객체 위치 정보를 산출하고, 상기 특정 객체에 대응되는 복수의 픽셀 각각에 라벨링된 복수의 제2 위치 정보에 기초하여 제2 객체 위치 정보를 산출하고, 상기 제1 객체 위치 정보 및 상기 제2 객체 위치 정보를 융합하여 상기 객체에 대응되는 최종 위치 정보를 획득하는 것을 포함할 수 있다. 비한정적인 예로, 상기 객체 위치 정보는 상기 복수의 위치 정보의 평균, 가중치 평균, 이상치 처리 등을 통해 산출될 수 있다. 또한, 제1 객체 위치 정보 및 제2 객체 위치 정보의 구체적인 융합 방법은 전술한 위치 정보가 정합하는 경우의 융합 방법 및 위치 정보가 정합하지 않는 경우의 융합 방법에 대한 내용이 적용될 수 있다.

전술한 주변 환경 감지의 결과는 자율 운항이나 항만 감시/모니터링 등에 다양하게 이용될 수 있다.

일부 실시예에서, 주변 환경 감지의 결과는 선박의 경로 계획에 이용될 수 있다. 여기서, 경로 계획은 장애물 지도 생성 및 경로 생성을 포함할 수 있다. 이 경우, 주변 환경 감지의 결과를 이용하여 장애물 지도를 생성하고, 생성된 장애물 지도를 이용하여 선박의 추종 경로를 산출할 수 있다.

장애물 지도는 객체 정보와 같은 주변 환경 감지의 결과를 표현하는 수단을 의미할 수 있다. 일 예로, 장애물 지도는 격자 지도(grid map) 일 수 있다. 상기 격자 지도는 공간을 단위 영역으로 나누고 각 단위 영역별로 객체 정보를 표시할 수 있다. 다른 예로, 장애물 지도는 벡터 지도(vector map) 일 수 있다. 장애물 지도는 2차원에만 한정되는 것은 아니고 3차원 장애물 지도 등도 가능하다. 한편, 장애물 지도는 출발 지점부터 도착 지점까지 선박의 운항과 관련된 모든 지역을 표현하는 전역 지도(global map) 또는 선박 주변의 일정 지역을 표현하는 지역 지도(local map) 일 수 있다.

일부 실시예에서, 장애물 지도의 각 단위 영역에는 가중치가 할당될 수 있다.

일 예로, 상기 가중치는 운항 적합도를 반영할 수 있다. 예를 들어, 바다와 같이 운항하기에 적합한 지역에 대응되는 단위 영역의 경우 높은 값의 가중치가 할당되고, 선박 등과 같은 장애물이 존재하여 운항하기에 부적합한 지역에 대응되는 단위 영역의 경우 낮은 값의 가중치가 할당될 수 있다. 이와 반대로 운항 적합도가 높을수록 낮은 가중치를 할당할 수도 있다.

다른 예로, 상기 가중치는 객체의 존재 여부를 반영할 수 있다. 여기서, 장애물 지도에 표현되는 객체는 장애물에 대응되는 객체일 수 있다. 상기 가중치는 객체의 존재 확률로 표현되거나 또는 일정 범위의 숫자를 이용하여 표현될 수 있다.

이 외에도 장애물 지도에는 경우에 따라 객체의 종류, 위치, 거리, 이동 방향, 속도, 항로 표지 정보 등 다양한 정보가 표현될 수도 있다.

이하에서는 주변 환경 감지 결과의 일 예인 객체의 거리 정보를 이용하여 장애물 지도를 생성하는 몇몇 실시예에 대해 살펴본다.

일부 실시예에서, 객체의 거리 정보에 따라 상기 객체를 장애물 지도에 반영하는지 여부가 달라질 수 있다. 예를 들어, 특정 거리 범위에 대응되는 객체만 장애물 지도에 반영할 수 있다. 여기서, 상기 특정 거리 범위는 객체에 대응될 수 있는 복수의 거리 범위 중 상대적으로 가까운 거리를 지시하는 거리 범위일 수 있다.

일부 실시예에서, 객체가 제1 거리 범위에 위치하는 경우에는 장애물 지도에 반영하지 않고, 상기 객체가 제2 거리 범위에 위치하는 경우에는 장애물 지도에 반영할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.

일부 실시예에서, 제1 거리 범위에 위치하는 제1 객체는 장애물 지도에 반영하지 않고, 제2 거리 범위에 위치하는 제2 객체는 장애물 지도에 반영할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.

일부 실시예에서, 객체의 거리 정보에 따라 상기 객체를 추적(tracking)할지 여부가 달라질 수 있다. 여기서, 객체를 추적한다는 것은 객체의 종류, 위치, 방향, 속도, 속력 등 객체에 관한 정보를 저장 및/또는 모니터링한다는 것을 의미할 수 있다.

일부 실시예에서, 객체가 제1 거리 범위에 위치하는 경우에는 상기 객체를 추적하지 않고, 상기 객체가 제2 거리 범위에 위치하는 경우에는 상기 객체를 추적할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.

일부 실시예에서, 제1 거리 범위에 위치하는 제1 객체는 추적하지 않고, 제2 거리 범위에 위치하는 제2 객체는 추적할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.

실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀 둔다.

10: 시스템
11: 제어 모듈
13: 입력 모듈
15: 출력 모듈

Claims (14)

1. 타겟 객체가 반영된 타겟 이미지를 획득하는 단계;
   상기 타겟 이미지 및 세그멘테이션 모델을 이용하여 타겟 세그멘테이션 이미지를 생성하는 단계; 및
   상기 타겟 세그멘테이션 이미지에 할당된 타겟 객체 정보를 이용하여, 상기 타겟 객체를 모니터링 하는 단계;를 포함하며,
   상기 세그멘테이션 모델은, 입력된 이미지에서 객체를 반영하는 픽셀에 상기 객체에 대한 객체 정보를 할당한 세그멘테이션 이미지를 출력하며,
   상기 객체 정보는, 상기 객체의 종류 및 상기 객체의 근접 레벨을 반영하며,
   상기 근접 레벨은, 상기 이미지 상에서 제1 거리 범위에 대응되는 제1 근접 레벨 및 상기 제1 거리 범위보다 먼 제2 거리 범위에 대응되는 제2 근접 레벨 중 하나이며,
   상기 객체 정보는, 상기 근접 레벨이 상기 제1 근접 레벨인 경우, 상기 객체와 종류가 동일한 다른 객체를 구분하기 위한 제1 식별자를 더 반영하는,
   객체 모니터링 방법.
2. 제1항에 있어서,
   상기 제1 식별자에 기초하여 상기 타겟 객체를 종류가 동일한 다른 객체와 구별하는 단계; 및
   상기 구별된 타겟 객체에 대한 거리 정보를 획득하는 단계;를 더 포함하는,
   객체 모니터링 방법.
3. 제1항에 있어서,
   상기 모니터링하는 단계는,
   상기 타겟 객체에 대한 종류 정보, 거리 정보 및 식별자 중 적어도 하나를 획득하는 단계;를 포함하는,
   객체 모니터링 방법.
4. 제1항에 있어서,
   상기 제1 식별자는, 동일한 종류의 객체에 대해 서로 다른 값을 가지는,
   객체 모니터링 방법.
5. 제4항에 있어서,
   상기 객체 정보는, 상기 근접 레벨이 상기 제2 근접 레벨인 경우, 상기 제1 식별자와 구별되는 제2 식별자를 더 반영하며,
   상기 제2 식별자는, 동일한 종류의 객체에 대해 서로 동일한 값을 가지는,
   객체 모니터링 방법.
6. 제4항에 있어서,
   상기 객체 정보는, 상기 근접 레벨이 상기 제2 근접 레벨인 경우, 상기 제1 식별자와 구별되는 제3 식별자를 더 반영하며,
   상기 제3 식별자는, 동일한 종류의 객체에 대해 서로 다른 값을 가지는,
   객체 모니터링 방법.
7. 제1항에 있어서,
   상기 타겟 이미지는, 기준 객체를 더 반영하며,
   상기 제1 근접 레벨은, 상기 기준 객체로부터 상기 제1 거리 범위에 대응되며,
   상기 제2 근접 레벨은, 상기 기준 객체로부터 상기 제2 거리 범위에 대응되는,
   객체 모니터링 방법.
8. 제7항에 있어서,
   상기 제1 근접 레벨은, 상기 기준 객체와 접하는 구간에 대응되는,
   객체 모니터링 방법.
9. 제7항에 있어서,
   상기 타겟 이미지는 항만 또는 선박에 설치된 카메라에 의해 촬상된 것이고,
   상기 기준 객체는 상기 카메라가 설치된 상기 항만 또는 상기 선박에 대응되는,
   객체 모니터링 방법.
10. 제7항에 있어서,
    상기 타겟 이미지는, 운항 가능 영역을 더 반영하며,
    상기 제1 근접 레벨 및 상기 제2 근접 레벨은, 상기 기준 객체와 상기 운항 가능 영역의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되는,
    객체 모니터링 방법.
11. 제10항에 있어서,
    상기 제1 근접 레벨과 상기 제2 근접 레벨의 경계는, 상기 경계선의 형태 및 상기 상한선의 경계 중 적어도 하나를 고려하여 형성되는,
    객체 모니터링 방법.
12. 제1항에 있어서,
    상기 근접 레벨은, 상기 타겟 객체가 상기 제1 거리 범위 및 상기 제2 거리 범위에 걸쳐 위치하는 경우, 상기 제1 근접 레벨인.
    객체 모니터링 방법.
13. 제1항 내지 제12항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
14. 세그멘테이션 모델을 저장하는 메모리; 및
    타겟 객체가 반영된 타겟 이미지를 획득하고, 상기 타겟 이미지 및 상기 세그멘테이션 모델을 이용하여 타겟 세그멘테이션 이미지를 생성하고, 상기 타겟 세그멘테이션 이미지에 할당된 타겟 객체 정보를 이용하여, 상기 타겟 객체를 모니터링하는 컨트롤러를 포함하며,
    상기 세그멘테이션 모델은, 입력된 이미지에서 객체를 반영하는 픽셀에 상기 객체에 대한 객체 정보를 할당한 세그멘테이션 이미지를 출력하며,
    상기 객체 정보는, 상기 객체의 종류 및 상기 객체의 근접 레벨을 반영하며,
    상기 근접 레벨은, 상기 이미지 상에서 제1 거리 범위에 대응되는 제1 근접 레벨 및 상기 제1 거리 범위보다 먼 제2 거리 범위에 대응되는 제2 근접 레벨 중 하나이며,
    상기 객체 정보는, 상기 근접 레벨이 상기 제1 근접 레벨인 경우, 상기 객체와 종류가 동일한 다른 객체를 구분하기 위한 제1 식별자를 더 반영하는,
    객체 모니터링 장치.

Images