KR20220091607A

KR20220091607A - 차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스

Info

Publication number: KR20220091607A
Application number: KR1020227019941A
Authority: KR
Inventors: 춘롱 시아
Original assignee: 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Priority date: 2021-06-28
Filing date: 2021-10-25
Publication date: 2022-06-30
Also published as: JP2023536025A; CN113420682B; WO2023273041A1; JP7436670B2; CN113420682A

Abstract

본 발명은 차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스를 게시하였고, 본 발명은 스마트 교통분야에 관한 것으로, 특히 이미지 검출 기술 분야에 관한 것이다. 구체적 구현수단은, 이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻고; 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하며; 업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 것이다. 본 발명의 실시예에 따른 수단에 의하면, 타겟 검출을 수행할 때의 타겟 검출의 정확율을 향상시켰다.

Description

차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스

본 출원은 2021년 6월 28일에 중국 특허국에 제출한, 출원 번호가 202110721853.4이고 발명의 명칭이 “차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스”인 중국 특허 출원의 우선권을 주장하는바, 이의 전부 내용은 참조로서 본 발명에 인용된다.

본 발명은 스마트 교통 기술 분야에 관한 것으로, 특히 이미지 검출 기술 분야에 관한 것이다.

차량-도로 협업 V2X (Vehicle to everything, 차량용 무선통신 기술)의 도로 모니터링, 차량 경로 계획 등 응용 시나리오에서는, 이미지 수집 디바이스가 수집한 이미지를 획득한 후, 이미지 내의 타겟의 위치를 확정하고, 상기 타겟에 대한 처리 작업을 트리거하거나, 또는 상기 타겟을 참조하여 차량 경로 계획 등을 실시하기 위하여, 이미지 내의 사람, 동물, 차량 등 타겟에 대한 검출이 필요된다. 따라서, 이미지 내의 타겟을 검출하기 위하여, 차량-도로 협업 중의 타겟 검출 방법이 필요된다.

본 발명은 차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스를 제공한다.

본 발명의 일 양태에 따르면, 본 발명은, 차량-도로 협업 중의 타겟 검출 방법을 제공하며, 해당 타겟 검출 방법은,

이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도(degree of occlusion)를 얻고;

후보 타겟 영역 간의 IoU(Intersection over Union) 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하며;

업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 것을 포함한다.

본 발명의 일 양태에 따르면, 본 발명은, 차량-도로 협업 중의 타겟 검출 장치를 제공하며, 해당 타겟 검출 장치는,

이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 정보 획득 모듈;

후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하는 신뢰도 업데이트 모듈;

업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 타겟 검출 모듈을 포함한다.

본 발명의 다른 일 양태에 따르면, 본 발명은,

적어도 하나의 프로세서; 및

상기 적어도 하나의 프로세서와 통신으로 연결된 메모리를 포함하는 전자 디바이스를 제공하며,

상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨에 따라, 상기 적어도 하나의 프로세서로 하여금 차량-도로 협업 중의 타겟 검출 방법을 구현 가능하게 한다.

본 발명의 다른 일 양태에 따르면, 본 발명은 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 차량-도로 협업 중의 타겟 검출 방법을 실행하도록 한다.

본 발명의 다른 일 양태에 따르면, 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 차량-도로 협업 중의 타겟 검출 방법을 구현한다.

본 발명의 다른 일 양태에 따르면, 본 발명은 상기 전자 디바이스를 포함하는 노변 디바이스를 제공한다.

본 발명의 다른 일 양태에 따르면, 본 발명은 상기 전자 디바이스를 포함하는 클라우드 제어 플랫폼을 제공한다.

이상에서 알 수 있듯이, 본 발명의 실시예에 따른 수단에 의하면, 타겟 검출을 수행시, 우선 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트한 다음, 업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 이미지 내의 타겟을 검출한다. 후보 타겟 영역 간의 IoU는 각 후보 타겟 영역 간의 겹침도를 반영 가능하고, 후보 타겟 영역의 피차폐도는 후보 타겟 영역의 차폐된 정도를 반영 가능하므로, 상기 IoU 및 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트할 경우, 후보 타겟 영역 간의 상황을 참조 가능하며, 이로써 후보 타겟 영역의 업데이트된 신뢰도는 실제상황에 더 다가가게 되고, 따라서, 업데이트된 신뢰도에 기반하여 이미지에 대해 타겟 검출을 실시함으로써, 타겟 검출의 정확성을 향상시킬 수 있다.

상술한 설명은 본 발명의 실시예의 요점 또는 중요한 특징을 명시하거나 본 발명의 범위를 한정하기 위한 것이 아님을 이해해야 한다. 본 발명의 기타 특징은 아래의 명세서를 통해 쉽게 이해할 수 있을 것이다.

본 발명의 내용에 포함됨.

첨부된 도면은 본 발명의 수단을 보다 명확하게 이해하기 위한 것으로, 본 발명은 이에 의해 한정되지 않는다. 도면에서,
도 1은 본 발명의 실시예에 따른 차량-도로 협업 중의 타겟 검출 방법의 흐름개략도이다;
도 2는 본 발명의 실시예에 따른 이미지의 개략도이다;
도 3a는 본 발명의 실시예에 따른 네트워크 모델의 구조개략도이다;
도 3b는 본 발명의 실시예에 따른 다른 네트워크 모델의 구조개략도이다;
도 4는 본 발명의 실시예에 따른 차량-도로 협업 중의 타겟 검출 장치의 구조개략도이다;
도 5는 본 발명의 실시예에 따른 전자 디바이스의 구조개략도이다.

이하, 첨부된 도면을 참조하여 본 발명의 예시적인 실시예에 대해 설명한다. 이해를 돕기 위하여, 하기 설명에 본 발명의 실시예의 다양한 세부사항이 포함될 수 있으나, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 해당 분야의 기술자라면, 본 명세서에 기재된 실시예는 본 발명의 범위 및 사상을 벗어나지 않으면서도 다양한 변경 및 수정이 있을 수 있음을 알 수 있을 것이다. 마찬가지로, 명료하고 간결하게 하기 위해서, 하기 설명에서는 공지된 기능 및 구조에 대한 설명이 생략되었다.

본 발명의 실시예는 차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스를 제공한다.

본 발명의 일 실시예에 있어서, 차량-도로 협업 중의 타겟 검출 방법을 제공하고, 해당 방법은,

이미지에 대해 타겟 검출을 수행하여, 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도(degree of occlusion)를 얻고;

후보 타겟 영역 간의 교집합 영역 넓이와 합집합 영역 넓이의 비율(Intersection over Union: IoU) 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하며;

업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 이미지 내의 타겟을 검출하는 것을 포함한다.

후보 타겟 영역 간의 IoU는 각 후보 타겟 영역 간의 겹침도를 반영 가능하고, 후보 타겟 영역의 피차폐도는 후보 타겟 영역의 차폐된 정도를 반영 가능하므로, 상기 IoU 및 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트할 경우, 타겟 영역 간의 겹친 상황을 참조 가능하며, 이로써 후보 타겟 영역의 업데이트된 신뢰도는 실제상황에 더 다가가게 되고, 따라서 업데이트된 신뢰도에 기반하여, 이미지에 대해 타겟 검출을 실시함으로써, 타겟 검출의 정확성을 향상시킬 수 있다.

이하, 본 발명의 실시예의 실행체에 대해 설명한다.

본 발명의 실시예의 실행체는, 타겟 검출 기능이 집적된 전자 디바이스일 수 있고, 여기서, 상기 전자 디바이스는, 데스크탑, 노트북, 서버, 이미지 수집 디바이스 등일 수 있다. 여기서, 이미지 수집 디바이스는, 비디오 카메라, 카메라, 주행 리코더 등을 포함할 수 있다.

본 발명의 실시예에 따른 수단은, 차량-도로 협업 V2X의 도로 모니터링, 차량 경로 계획 등 응용 시나리오에서 수집한 이미지에 대한 타겟 검출에 적용 가능하다.

또한, 본 발명의 실시예에 따른 수단은, 다른 시나리오에서 수집한 이미지에 대한 타겟 검출에도 적용 가능하다. 예를 들어, 상기 다른 시나리오는 지하철 역, 쇼핑몰, 콘서트 등 사람이 밀집된 시나리오일 수 있고, 이러한 시나리오에 대해 이미지를 수집할 때, 수집된 이미지에 포함된 사람들도 밀집된 경향이 있기에, 일부 사람들의 얼굴이 다른 사람들의 얼굴에 의해 가려져 있는 상황이 일어날 수 있다. 상술한 시나리오는 또한 박물관 입구처, 은행 홀 등 사람이 밀집된 시나리오일 수도 있고, 이러한 시나리오에 대해 이미지를 수집할 때, 수집된 이미지에 사람의 얼굴이 기타 사람 또는 건물 등에 의해 차폐되는 상황이 일어날 가능성이 있다.

이상은 단지 본 발명의 실시예의 적용 시나리오의 예시일 뿐, 본 발명은 이에 의해 한정되지 않는다.

상기 타겟은 사람 얼굴, 동물, 차량일 수 있다.

이하, 본 발명의 실시예에 따른 차량-도로 협업 중의 타겟 검출 방법에 대해 상세하게 설명한다.

도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 차량-도로 협업 중의 타겟 검출 방법의 흐름개략도이고, 상기 방법은 하기 단계(S101) 내지 단계(S103)을 포함한다.

단계(S101)에서, 이미지에 대해 타겟 검출을 수행하여, 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는다.

상기 이미지는 구체적 시나리오에 대한 이미지 수집에 의해 얻어진 이미지일 수 있다. 상기 시나리오는 차량 주행 시나리오, 주차장 시나리오 등일 수 있고, 이러한 경우, 상기 타겟은 차량일 수 있으며; 상기 시나리오는 또한 지하철 역, 고속철도 역 등 공공 장소 시나리오일 수도 있고, 이러한 경우, 상기 타겟은 사람일 수 있다.

타겟 검출을 수행시, 일 실시형태에서는, 미리 설정된 타겟 검출 알고리즘을 이용하여 이미지에 대해 타겟 검출을 수행하여, 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻을 수 있다.

상기 미리 설정된 타겟 검출 알고리즘은 서로 다른 유형의 타겟에 대하여 사용하는 검출 알고리즘일 수 있다. 예를 들어, 타겟이 사람일 경우에는, 사람 얼굴 검출 알고리즘, 사람 신체 검출 알고리즘 등을 이용 가능하고; 타겟이 차량일 경우에는, 차량 검출 알고리즘, 차량 번호판 검출 알고리즘 등을 이용 가능하다.

타겟 검출을 실시하는 기타 실시형태는 후속의 실시예를 참조하도록 하고, 더 이상의 자세한 설명은 생략한다.

후보 타겟 영역이란, 타겟 검출을 거쳐 타겟이 존재할 수 있는 것으로 여기는 영역을 지칭한다. 도 2를 예로 들면, 도 2 중의 각 사각형 프레임으로 둘러싸인 영역이 이미지에 대한 동물 검출에 의해 얻어진 후보 타겟 영역이다.

후보 타겟 영역의 신뢰도는, 후보 타겟 영역에 타겟이 존재할 가능성의 정도를 반영한다. 상기 신뢰도는 소수, 백분수 등으로 표시할 수 있다. 신뢰도의 값이 크면 클수록, 후보 타겟 영역에 타겟이 존재할 가능성이 높다는 것을 나타낸다.

예를 들어, 타겟이 사람일 경우, 후보 타겟 영역 A의 신뢰도가 후보 타겟 영역 B의 신뢰도보다 크면, 후보 타겟 영역 A에 사람이 존재할 가능성이 후보 타겟 영역 B에 사람이 존재할 가능성보다 높다는 것을 나타낸다.

후보 타겟 영역의 피차폐도는, 후보 타겟 영역의 차폐된 정도를 반영한다. 상기 피차폐도는 소수, 백분수 등으로 표시할 수도 있고, 차폐된 수준의 번호로 표시할 수도 있으며, 예를 들어, 차폐된 수준의 번호는 1, 2, 3을 포함하되, 여기서, 번호 1은 차폐된 수준이 고도로 차폐됨을 표시할 수 있고, 번호 2는 차폐된 수준이 중간 정도로 차폐됨을 표시할 수 있으며, 번호 3은 차폐된 수준이 경도로 차폐됨을 표시할 수 있다.

단계(S102)에서, 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트한다.

후보 타겟 영역 간의 IoU는 두 개의 후보 타겟 영역 간의 겹침도를 설명하기 위한 것이다. IoU가 높으면 높을 수록, 두 개의 후보 타겟 영역 간의 겹침도가 더 높다는 것을 나타내고; IoU가 낮으면 낮을 수록, 두개의 후보 타겟 영역 간의 겹침도가 더 낮다는 것을 나타낸다.

상세하게는, 두 개의 후보 타겟 영역 간의 겹친 면적을 산출하여, 제1 면적을 얻고, 두 개의 후보 타겟 영역의 면적의 합을 산출하여, 제2 면적을 얻은 후, 제2 면적과 제1 면적과의 차를 산출하여, 제3 면적을 얻어, 제1 면적과 제3면적의 비율의 값을 후보 타겟 영역 간의 IoU로 확정 가능하다.

예를 들어, 후보 타겟 영역 A의 면적이 48이고, 후보 타겟 영역 B의 면적이 32이며, 여기서, 후보 타겟 영역 A와 후보 타겟 영역 B의 겹친 면적이 16일 경우, 즉 제1 면적이 16일 경우, 후보 타겟 영역 A와 후보 타겟 영역 B의 총 면적은, (46+32)=80인바, 즉 제2 면적이 80이고, 제2 면적과 제1 면적의 차를 산출하면,(80-16)=64인바, 즉 제3 면적이 64이며, 제1 면적과 제3면적의 비율을 산출하면, 16/64=0.25가 얻어지고, 0.25가 바로 후보 타겟 영역 간의 IoU이다.

일 구현형태에서는, 각 후보 타겟 영역 내에서 하나의 기준 영역을 선택하고, 각 후보 타겟 영역 중 기준 영역 이외의 각각의 다른 후보 타겟 영역에 대하여, 해당 다른 후보 타겟 영역과 기준 영역의 IoU를 산출하고, 산출된 IoU를 해당 후보 타겟 영역의 신뢰도를 업데이트하기 위한 IoU로 확정 가능하다.

상기 기준 영역은 각 후보 타겟 영역 중 신뢰도가 가장 큰 영역일 수 있다.

다른 구현형태에서는, 각각의 후보 타겟 영역에 대하여, 해당 후보 타겟 영역과 각각의 기타 후보 타겟 영역 간의 IoU 중에서 하나의 IoU를 선택하고, 선택된 IoU를 해당 후보 타겟 영역의 신뢰도를 업데이트하기 위한 IoU로 확정 가능하다.

예를 들어, 상기 복수 개의 IoU으로부터 최대 IoU 값, 평균 IoU 값, 중간 IoU 값 또는 최소 IoU 값 등을 선택할 수 있다.

후보 타겟 영역의 신뢰도를 업데이트할 경우, 일 실시형태에서는, 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도에 기반하여, 미리 설정된 제1 가중치 및 제2 가중치에 따라, 조정 계수를 산출하고, 산출된 조정 계수에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트한다.

상세하게는, 후보 타겟 영역 간의 IoU와 제1 가중치와의 승적을 산출하고, 후보 타겟 영역의 피차폐도와 제2 가중치와의 승적을 산출하며, 산출된 두 승적의 합을 조정 계수로 한다.

예를 들어, 후보 타겟 영역 간의 IoU는 80%이고, 후보 타겟 영역의 피차폐도는 50%이며, 미리 설정된 제1 가중치는 0.8이고, 미리 설정된 제2 가중치는 0.2인 경우, 후보 타겟 영역 간의 IoU와 제1 가중치와의 승적은, 0.8*80%=64%이고, 후보 타겟 영역의 피차폐도와 제2 가중치와의 승적은, 0.2*50%=10%이며, 산출된 두 승적의 합은 64%+10%=74%이므로, 따라서 얻어진 조정 계수는 74%이다.

조정 계수가 산출되면, 조정 계수와 후보 타겟 영역의 신뢰도와의 승적을 산출하여, 해당 승적을 후보 타겟 영역의 업데이트된 신뢰도로 할 수 있다.

후보 타겟 영역의 신뢰도를 업데이트하는 다른 실시형태는 후속의 실시예를 참조하도록 하고, 더 이상의 자세한 설명은 생략한다.

단계(S103)에서, 업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 이미지 내의 타겟을 검출하는 것을 포함한다.

본 발명의 일 실시예에서는, 업데이트된 신뢰도가 미리 설정된 신뢰도 역치보다 큰, 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정 가능하다.

상기 미리 설정된 신뢰도 역치는 작업자의 경험에 의해 설정 가능한바, 예를 들어 신뢰도를 백분수로 표시할 경우, 미리 설정된 신뢰도 역치는 90%, 95% 등일 수 있다.

일 예로 상기 타겟 확정 과정을 설명한다면, 업데이트된 각 후보 타겟 영역의 신뢰도가 각각, 80%, 70%, 90%, 95%이고, 미리 설정된 신뢰도 역치는 85%이다고 가정할 경우, 85%보다 큰 업데이트된 신뢰도는 90%, 95%이고, 여기서 영역 1의 업데이트된 신뢰도는 90%이고, 영역 2의 업데이트된 신뢰도는 95%이므로, 영역 1 내의 타겟과 영역 2 내의 타겟이 이미지 내의 타겟이다.

이와 같이, 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역에게 있어서, 이들 후보 타겟 영역에 타겟이 포함될 가능성은 다른 후보 타겟 영역에 타겟이 포함될 가능성보다 높다. 그러므로, 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정하여 얻은 타겟의 정확성이 높다.

본 발명의 일 실시예에서는, 업데이트된 신뢰도가 가장 큰 미리 설정된 수량의 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정 가능하다.

상기 미리 설정된 수량은 작업자의 경험에 의해 설정 가능한바, 예를 들어 상기 미리 설정된 수량은 1개, 3개, 5개 등일 수 있다.

일 예로 상기 타겟 확정 과정을 설명한다. 타겟 영역의 신뢰도가 각각 80%, 70%, 90%, 95%이고, 미리 설정된 수량이 3개이다고 가정할 경우, 이 중에 업데이트된 신뢰도가 가장 큰 3개는 각각, 95%, 90%, 80%이고; 업데이트된 신뢰도가 95%, 90%, 80%인 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정한다.

이와 같이, 신뢰도가 가장 큰 미리 설정된 수량의 후보 타겟 영역의 경우, 이러한 후보 타겟 영역 내에 타겟이 포함될 가능성이 기타 후보 영역에 타겟이 포함될 가능성보다 높다. 그러므로, 신뢰도가 가장 큰 미리 설정된 수량의 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정하여 얻은 타겟의 정확도가 높다.

이상에서 알 수 있듯이, 본 발명의 실시예에 따른 수단에 의하면, 타겟 검출을 수행시, 우선 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트한 다음, 업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 이미지 내의 타겟을 검출한다. 후보 타겟 영역 간의 IoU는 각 후보 타겟 영역 간의 겹침도를 반영 가능하고, 후보 타겟 영역의 피차폐도는 후보 타겟 영역의 차폐된 정도를 반영 가능하므로, 상기 IoU 및 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트할 경우, 후보 타겟 영역 간의 겹친 상황을 참조 가능하며, 이로써 후보 타겟 영역의 업데이트된 신뢰도는 실제상황에 더 다가가게 되고, 따라서, 업데이트된 신뢰도에 기반하여, 이미지에 대해 타겟 검출을 실시함으로써, 타겟 검출의 정확성을 향상시킬 수 있다.

또한, 사람 유동량, 차량 유동량이 밀집된 밀집형 시나리오에서, 타겟이 차폐된 상황이 특히 심각하다. 일부 밀집형 시나리오의 이미지의 경우, 각 후보 타겟 영역의 피차폐도가 상대적으로 높기에 후보 타겟 영역 내의 타겟이 불완전하고, 얻어진 후보 타겟 영역의 신뢰도의 오차가 상대적으로 크다. 후보 타겟 영역의 피차폐도를 통해 후보 타겟 영역의 신뢰도를 업데이트함으로써, 각 후보 타겟 영역이 차폐된 경우 신뢰도의 오차로 인한 영향을 효과적으로 해소 가능하므로, 업데이트된 신뢰도의 정확도가 높아지고, 정확한 타겟을 검출해 낼 수 있다. 따라서, 본 발명의 실시예에 따른 수단은 밀집된 시나리오에 가려짐이 존재한 상황에 더 맞게 적용될 수 있고, 타겟 검출의 정확도를 향상시킬 수 있다.

후보 타겟 영역의 신뢰도를 정확하게 업데이트하기 위하여, 본 발명의 일 실시예에서는, 영역 집합 중에서 신뢰도가 가장 높은 제1 영역을 선택하고, 영역 집합 중 기타 영역과 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 기타 영역의 신뢰도를 업데이트함으로써 1회의 신뢰도 업데이트 작업을 완성하며, 영역 집합에 하나의 영역이 포함될 때까지, 상기 작업을 순환 실행 가능하다. 매 1 회의 신뢰도 업데이트 작업을 1회의 순환으로 칭할 수 있다.

상기 영역 집합에는, 후보 타겟 영역 중의 선택된 적이 없는 영역이 포함된다. 상세하게, 첫 번째 순환이 시작될 때, 영역 집합에는 단계(S101)에서 얻어진 각 후보 타겟 영역이 포함되고; 매 번 순환에서 영역 집합 중에서 제1 영역이 선택되면, 선택된 제1 영역은 더 이상 영역 집합에 포함되지 않는다.

첫 번째 순환이 시작될 때, 제1 영역은, 단계(S101)에서 얻어진 각 후보 타겟 영역 중에서 신뢰도가 가장 높은 영역이고; 그 후의 매 번 순환에서 제1 영역은 지난 번 순환 후에 얻어진 업데이트된 각 영역 중에서 신뢰도가 가장 높은 영역이다.

상기 기타 영역이란, 영역 집합 중 제1 영역을 제외한 영역을 지칭한다. 예를 들어, 영역 집합에 영역 1, 영역 2, 영역 3이 포함되고, 여기서, 영역 1이 제1 영역이고, 제1 영역을 제외한 영역이 영역 2, 영역 3이라면, 영역 2, 영역 3이 바로 기타 영역이다.

매 번 순환마다, 영역 집합 중 각 영역을 트래버스하여, 각 영역의 신뢰도를 낮아지는 순서로 배열하고, 신뢰도가 가장 높은 영역을 제1 영역으로 확정 가능하다. 또한, 제1 영역을 예측 집합에 저장 가능하며, 순환 횟수가 증가됨에 따라, 예측 집합에 저장된 제1 영역의 수량도 증가한다.

이하, 구체적인 예를 참조하여, 상술한 순환 과정에 대해 설명한다.

단계(S101)에서 얻어진 각 후보 타겟 영역이 b1, b2, b3, ……bn이다고 가정한다.

첫 번째 순환이 시작될 때, 영역 집합 B={b1, b2, b3, ……, bn}이다. 여기서, 각 후보 타겟 영역중 신뢰도가 가장 높은 영역은 영역 b1이므로, 영역 b1을 제1 영역으로 한다. 영역 집합 B 중 영역 b1을 제외한 영역은 b2, b3, ……, bn이므로, {b2, b3, ……, bn}가 기타 영역이다.

기타 영역 {b2, b3, ……, bn}과 영역 b1 간의 IoU 및 기타 영역{b2, b3, ……, bn}의 피차폐도에 기반하여, 기타 영역{b2, b3, ……, bn}의 신뢰도를 업데이트한다. 또한, 제1 영역 b1을 예측 집합 D에 추가 가능하고, 추가된 예측 집합 D={b1}이다.

두 번째 순환이 시작될 때, 영역 b1은 이미 제1 영역로 선택되었기 때문에, 영역 집합 B에는 영역 b1이 포함되지 않고, 영역 집합 B={b2, b3, ……, bn}이다. 여기서, 업데이트된 {b2, b3, ……, bn}중 신뢰도가 가장 높은 영역은 영역 b2이므로, 영역 b2를 제1 영역으로 한다. 영역 집합 B 중에서 영역 b2를 제외한 영역은 b3, ……, bn이므로, {b3, ……, bn}가 기타 영역이다.

기타 영역{b3, ……, bn}과 영역 b2 간의 IoU 및 기타 영역{b3, ……, bn}의 피차폐도에 기반하여, 기타 영역{b3, ……, bn}의 신뢰도를 업데이트한다. 또한, 제1 영역 b2를 예측 집합 D에 추가 가능하고, 추가된 예측 집합은 D={b1, b2}이다.

세 번째 순환이 시작될 때, 영역 b1, 영역 b2는 이미 제1 영역로 선택되었기 때문에, 영역 집합은 B={b3, ……, bn }이다. 여기서, 업데이트된 {b3, ……, bn} 중 신뢰도가 가장 높은 영역은 영역 b3이므로, 영역 b3을 제1 영역으로 한다. 영역 집합 B 중 영역 b3을 제외한 영역은 b4, ……, bn이므로, {b4, ……, bn}가 기타 영역이다.

기타 영역{b4, ……, bn}과 영역 b3 간의 IoU 및 기타 영역{b4, ……, bn}의 피차폐도에 기반하여, 기타 영역{b4, ……, bn}의 신뢰도를 업데이트한다. 또한, 제1 영역 b3을 예측 집합 D에 추가 가능하고, 추가된 예측 집합은 D={b1, b2, b3}이다.

비슷한 형태에 따라, 영역 집합 B 중의 영역의 수량이 1로 될 때까지, 영역 집합 B 중의 유일한 하나의 영역을 예측 집합 D에 직접 추가하여, 순환을 종료시켜, 업데이트된 각 영역의 신뢰도를 얻는다.

이와 같이, 매 번 순환에서, 영역 집합 중의 기타 영역과 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 영역 집합 중의 영역의 신뢰도를 업데이트한다. 여기서, 기타 영역의 피차폐도는 기타 영역의 차폐된 정도를 반영하고, 영역이 차폐된 경우, 검출해 낸 영역의 신뢰도의 정확도가 낮으므로, 기타 영역의 피차폐도를 도입함으로써, 업데이트된 후보 타겟 영역의 신뢰도의 정확도를 높일 수 있고; 또한, 기타 영역과 제1 영역 간의 IoU은 기타 영역과 제1 영역 간의 겹침도를 반영하고, 제1 영역은 신뢰도가 가장 높은 영역이므로, 신뢰도가 가장 높은 영역과의 겹침도를 통해서도, 기타 영역의 신뢰도를 효과적으로 조정할 수 있다. 그러므로, 매 번 순환마다, 상기 IoU 및 피차폐도에 기반하여, 기타 영역의 신뢰도를 효과적으로 업데이트할 수 있다. 또한, 순환 반복(iteration) 업데이트 과정을 통해, 업데이트된 신뢰도의 정확도를 더 한층 향상시킬 수 있다.

본 발명의 일 실시예에서, 매 번 순환에서 기타 영역의 신뢰도를 업데이트할 때, 하기 단계 A1-단계 A4에 따라 구현할 수 있다.

단계A1에서, 영역 집합 중 기타 영역과 제1 영역 간의 IoU을 산출한다.

상세하게, 우선 기타 영역과 제1 영역 간의 겹친 면적을 산출하고, 기타 영역과 제1 영역의 총 면적을 산출하며; 그 다음에, 상기 총 면적과 겹친 면적의 차를 산출하여 타겟 면적을 얻으며, 최종적으로, 겹친 면적과 타겟 면적 간의 비율의 값을 후보 타겟 영역 간의 IoU로 확정한다.

단계A2에서, IoU 및 미리 설정된 IoU 역치에 기반하여, 제1 신뢰도 조정값을 확정한다.

상기 미리 설정된 IoU 역치는 작업자의 경험에 의해 설정 가능하고, 예를 들어, IoU 역치는 90%, 95% 등일 수있다.

일 실시형태에서는, IoU가 미리 설정된 IoU 역치보다 작은지 여부를 판단하고, "예"라면, 제1 신뢰도 조정값을 제1 미리 설정된 값으로 확정하고, "아니오"라면, 제1 신뢰도 조정값을 제2 미리 설정된 값으로 확정 가능하다.

상기 제1 미리 설정된 값 및 제2 미리 설정된 값은 모두 작업자의 경험에 의해 설정된다.

본 발명의 일 실시예에서, 또한 IoU가 미리 설정된 IoU 역치보다 작은지 여부를 판단하고; "예"라면, 제1 신뢰도 조정값을 1로 확정하고; "아니오"라면, 제1 신뢰도 조정값을, 1과 IoU과의 차로 확정 가능하다.

예를 들어, 미리 설정된 IoU 역치가 90%이다고 가정하면, 기타 영역과 제1 영역 간의 IoU가 95%일 경우, IoU 95%은 미리 설정된 IoU 역치 90%보다 크므로, 제1 신뢰도 조정값을, 1-95%=5%으로 확정하고; 기타 영역과 제1 영역 간의 IoU가 50%일 경우, IoU 50%은 미리 설정된 IoU 역치 90%보다 작으므로, 제1 신뢰도 조정값을, 1로 확정한다.

이와 같이, IoU가 미리 설정된 IoU 역치보다 작을 경우, 기타 영역과 제1 영역 간의 겹침도가 작다는 것을 나타내고, 이는 기타 영역의 이미지 내용의 작은 부분이 가려져 검출된 해당 기타 영역의 신뢰도의 정확도가 높다는 것을 의미하고, 이러한 경우, 해당 기타 영역의 신뢰도를 조정하지 않아도 된다. 제1 신뢰도 조정값을 1로 설정함으로써, 영역의 신뢰도에 대한 조정을 수행하지 않는 것을 구현 가능하다. IoU가 미리 설정된 IoU 역치보다 크거나 같을 경우, 기타 영역과 제1 영역 간의 겹침도가 크다는 것을 나타내고, 이는 기타 영역의 이미지 내용의 대부분이 가려져, 검출된 해당 기타 영역의 신뢰도의 정확도가 낮다는 것을 의미하고, 이러한 경우, 기타 영역의 신뢰도를 조정하여야 하고, 제1 신뢰도 조정값을 1과 IoU과의 차로 설정함으로써, 조정된 신뢰도를 실제 상황에 다가가게 할 수 있다.

단계 A3에서, 기타 영역의 피차폐도에 기반하여, 제2 신뢰도 조정값을 확정한다.

일 실시형태에서는, 기타 영역의 피차폐도와 미리 설정된 조정계수와의 승적을 산출하여, 해당 승적을 제2 신뢰도 조정값으로 할 수 있다.

상기 미리 설정된 조정계수는 작업자의 경험에 의해 설정 가능하고, 예를 들어, 미리 설정된 조정계수는 1.2, 1.5 등일 수 있다.

본 발명의 일 실시예에서는, 하기 표현식에 따라 제2 신뢰도 조정값

을 확정 가능하고,

여기서,

은 기타 영역의 피차폐도고, α은 미리 설정된 상수이며, α＞1 이다.

α＞1 이므로, 제2 신뢰도 조정값

은 기타 영역의 피차폐도가 커짐에 따라 크진다.

영역의 피차폐도가 높을 경우, 해당 영역의 신뢰도의 정확도가 낮으므로, 해당 영역의 신뢰도를 크게 조정하여, 조정된 신뢰도가 실제 상황에 다가가게 하여야 한다. 또한, 제2 신뢰도 조정값

은 기타 영역의 피차폐도가 커짐에 따라 크지는바, 즉 기타 영역의 피차폐도가 크면 클수록, 제2 신뢰도 조정값이 더 크므로, 해당 기타 영역의 신뢰도를 크게 조정함으로써, 조정된 기타 영역의 신뢰도를 실제 상황에 다가가게 할 수 있다.

단계 A4에서, 제1 신뢰도 조정값 및 제2 신뢰도 조정값을 이용하여, 기타 영역의 신뢰도를 조정한다.

본 발명의 일 실시예에서는, 하기 표현식에 따라 기타 영역의 신뢰도를 조정 가능하고,

여기서, S’는 조정 후의 기타 영역의 신뢰도를 표시하고, S는 조정 전의 기타 영역의 신뢰도를 표시하며, T1은 제1 신뢰도 조정값을 표시하고, T2는 제2 신뢰도 조정값을 표시한다.

이와 같이, 조정된 신뢰도는 제1 신뢰도 조정값, 제2 신뢰도 조정값 및 기타 영역의 신뢰도의 승적이고, 또한 제1 신뢰도 조정값과 제2 신뢰도 조정값은 서로 다른 각도에서 기타 영역의 차폐된 상황을 반영하므로, 상기 조정된 신뢰도는 기타 영역의 차폐된 상황을 참조함으로써, 조절된 신뢰도를 실제 상황에 더 다가가게 한다.

다른 일 실시형태에서는, 또한 제1 신뢰도 조정값과, 제2 신뢰도 조정값과, 기타 영역의 신뢰도와의 승적을 산출하여, 해당 승적을 참조 신뢰도로 하고, 미리 설정된 신뢰도 오차값으로 상기 참조 신뢰도를 조정하여, 조정된 참조 신뢰도를 얻어, 기타 영역의 조정된 신뢰도로 할 수 있다.

상세하게, 미리 설정된 신뢰도 오차 값과 참조 신뢰도와의 승적을 산출하고, 산출된 승적을 기타 영역의 조절된 신뢰도로 할 수 있다.

이와 같이, 제1 신뢰도 조정값은 기타 영역과 제1 영역 간의 IoU를 통해 확정되고, IoU는 기타 영역과 제1 영역과의 겹침도를 반영하며, 또한, 제2 신뢰도 조정값은 기타 영역의 피차폐도에 기반하여 확정되고, 피차폐도는 기타 영역의 차폐된 정도를 반영하므로, 제1 신뢰도 조정값과 제2 신뢰도 조정값은 서로 다른 각도이지만 다같이 기타 영역의 차폐된 상활을 반영할 수 있다. 따라서, 제1 신뢰도 조정값, 제2 신뢰도 조정값을 이용하여 기타 영역의 신뢰도를 조정 시, 제1 신뢰도 조정값, 제2 신뢰도 조정값은 서로 다른 각도에서 기타 영역의 차폐된 상황을 반영하므로, 제1 신뢰도 조정값 및 제2 신뢰도 조정값을 이용하여 조정할 때, 비교적 정확한 기타 영역의 차폐된 상황을 기반하여 신뢰도를 조정함으로써, 조정된 신뢰도를 실제 상황에 다가가게 한다.

이하, 하나의 구체적 구현과정을 통해 상기 신뢰도에 대한 업데이트를 순환 수행하는 방식을 설명한다.

각 후보 타겟 영역이 b1, b2, b3이고, 미리 설정된 IoU 역치 Nt가 90%이다고 가정하면, 각 후보 타겟 영역의 신뢰도, 피차폐도는 표 1에서 표시한 바와 같다.

첫 번째 순환이 시작될 때, 영역 집합 B={b1, b2, b3}이고, 여기서, 영역 b1의 신뢰도Cv1가 가장 높고, 영역 b1은 제1 영역이고, 영역b2, 영역b3은 기타 영역이다.

영역 b2에 대하여, 영역 b2와 영역 b1 간의 IoU를 산출하고, 상기 IoU와 미리 설정된 IoU역치 90%에 기반하여, 제1 신뢰도 조정값을 확정하고; 또한 영역 b2의 피차폐도 Co2에 기반하여, 제2 신뢰도 조정값을 확정하며; 제1 신뢰도 조정값 및 제2 신뢰도 조정값에 기반하여, 영역 b2의 신뢰도 Cv2를 조정하며, 업데이트된 신뢰도가 바로 Cv21이다.

영역 b3에 대하여, 영역 b3과 영역b1 간의 IoU을 산출하고, 상기 IoU과, 미리 설정된 IoU역치 90%에 기반하여, 제1 신뢰도 조정값을 확정하고; 또한 영역 b3의 피차폐도 Co3에 기반하여, 제2 신뢰도 조정값을 확정하며; 제1 신뢰도 조정값 및 제2 신뢰도 조정값에 기반하여, 영역 b3의 신뢰도 Cv3를 산출하며, 업데이트된 신뢰도가 바로 Cv31이다.

첫 번째 순환에서 얻어진, 업데이트된 각 후보 타겟 영역의 신뢰도는 표 2에 표시한 바와 같다.

2번째 순환이 시작될 때, 영역 b1은 이미 선택되었던 것이고, 영역 집합 B={b2, b3}이며, 여기서, 영역 b2의 신뢰도 Cv21가 가장 높으므로, 영역 b2가 제1 영역이고, 영역 b3는 기타 영역이다.

영역 b3에 대하여, 영역 b3과 영역 b2 간의 IoU를 산출하고, 상기 IoU 및 미리 설정된 IoU 역치 90%에 기반하여, 제1 신뢰도 조정값을 확정하고; 또한, 영역 b3의 피차폐도 Co3에 기반하여, 제2 신뢰도 조정값을 확정하며; 제1 신뢰도 조정값 및 제2 신뢰도 조정값에 기반하여, 영역 b3의 신뢰도 Cv31를 조정하여, 업데이트된 신뢰도는 Cv311이다.

영역 b1, 영역 b3는 이미 선택되었던 것이고, 영역 집합 B={b3}이며, 하나의 영역을 포함하므로, 순환을 종료한다.

최종적으로 얻어진 업데이트된 각 후보 타겟 영역의 신뢰도는 표 3에 표시한 바와 같다.

본 발명의 일 실시예에서는, 상기 단계(S101)에 있어서, 서로 다른 타겟 스케일에 대하여, 이미지에 대해 타겟 검출을 수행하여, 이미지 내의 서로 다른 스케일의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻을 수 있다.

타겟 스케일은, 타겟 사이즈의 크기를 가리킨다.

타겟 스케일은 미리 설정된 스케일값일 수 있는바, 예를 들어 타겟 스케일은 16x16, 32x32, 64x64일 수 있다.

상세하게, 이미지에 대해 다중 레이어 특징 추출을 수행한 다음, 서로 다른 특징에 대해 특징 융합을 수행하여, 서로 다른 스케일의 특징을 얻을 수 있다. 서로 다른 스케일의 특징을 이용하여, 이미지에 대해 타겟 검출을 수행하여, 서로 다른 스케일의 후보 타겟 영역을 얻고, 또한 서로 다른 스케일의 후보 타겟 영역의 신뢰도 및 피차폐도를 얻을 수 있다.

이와 같이, 서로 다른 케일의 후보 타겟 영역에 포함되는 이미지 특징 정보가 다르므로, 이미지 내의 서로 다른 스케일의 후보 타겟 영역을 얻음으로써, 후보 타겟 영역의 서로 다른 스케일의 특징 정보를 풍부하게 할 수 있다.

본 발명의 일 실시예에서는, 이미지를 미리 훈련된 타겟 검출 모델에 입력하고, 타겟 검출 모델에서 출력된 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도및 후보 타겟 영역의 피차폐도를 획득 가능하다.

상기 타겟 검출 모델은, 이미지 내의 후보 타겟 영역을 검출하는 타겟 검출 레이어 및 후보 타겟 영역의 피차폐도를 예측하는 피차폐도 예측 레이어를 포함한다.

일 구현형태에서, 타겟 검출 레이어는 이미지 내의 후보 타겟 영역의 검출하고, 또한, 이와 더불어, 후보 타겟 영역의 신뢰도를 컴퓨팅 가능하며, 이러한 경우, 타겟 검출 모델의 네트워크 구조는 도 3a에 도시한 바와 같을 수 있고, 타겟 검출 모델은 타겟 검출 레이어 및 피차폐도 예측 레이어를 포함한다.

상세하게, 이미지가 타겟 검출 모델에 입력된 후, 모델 중의 타겟 검출 레이어는 이미지 내의 후보 타겟 영역을 검출하고, 또한 후보 타겟 영역의 신뢰도를 산출하며, 검출 결과를 피차폐도 예측 레이어에 전송하며; 피차폐도 예측 레이어는 각 후보 타겟 영역의 피차폐도를 예측하고; 타겟 검출 모델은 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 피차폐도를 출력한다.

상술한 실시예로부터 알다시피, 이미지에 대해 타겟 검출을 수행시, 각 타겟 스케일에 대하여, 서로 다른 스케일의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻을 수 있다. 이러한 경우, 상기 네트워크 모델을 기반으로, 서로 다른 스케일의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 피차폐도를 얻기 위한 FPN(Feature Pyramid Networks, 특징 피라미드 네트워크)를 추가 가능하다.

FPN가 추가된 네트워크 모델의 네트워크 구조는 도 3b에서 도시한 바와 같을 수 있고, 도 3b에서 도시한 네트워크 구조는 백본 네트워크(Backbone) 및 FPN를 포함한다.

여기서, 백본 네트워크는, 이미지에 대한 특징 추출하고, 이미지 내의 서로 다른 레이어 레벨의 이미지 특징을 얻으며, 또한 서로 다른 레이어 레벨의 이미지 특징을 FPN에 입력하는데 사용된다.

예를 들어, 백본 네트워크가 컨볼루션 신경망일 경우, 컨볼루션 신경망의 각 컨볼루션 레이어마다 이미지에 대한 컨볼루션 작업을 수행하여, 서로 다른 레이어 레벨의 이미지 특징을 얻을 수 있다.

FPN는 서로 다른 레이어 레벨의 이미지 특징에 대해 특징 융합을 수행하여, 서로 다른 스케일의 이미지 특징을 얻고, 서로 다른 스케일의 이미지 특징을 기반으로 타겟 검출을 수행하여, 서로 다른 스케일의 후보 타겟 영역을 얻으며, 또한 후보 타겟 영역의 신뢰도 및 피차폐도를 얻어, 서로 다른 레이어 레벨의 이미지 특징에 대한 분할 정복 처리를 구현한다.

타겟 검출 모델을 훈련시킬 때, 샘플 이미지를 훈련 샘플로 하고, 샘플 이미지 내의 실제 후보 타겟 영역 및 실제 피차폐도를 훈련 태깅으로 하여, 훈련 종료 조건이 만족될 때까지 미리 설정된 신경망 모델을 훈련시켜, 훈련된 타겟 검출 모델을 얻는다.

상기 미리 설정된 신경망 모델은 CNN(Conv Neural Network, 컨볼루션 신경망) 모델, RNN(Recurrent Neural Network, 재귀 신경망) 모델, DNN(Deep Neural Network, 심층 신경망) 모델 등일 수 있다.

상세하게, 샘플 이미지이 미리 설정된 신경망 모델에 입력된 후, 상기 미리 설정된 신경망 모델은 샘플 이미지에 대해 타겟 검출을 수행하여, 샘플 이미지의 후보 타겟 영역 및 피차폐도를 얻고, 후보 타겟 영역과 실제 타겟 영역 간의 차이, 및 후보 타겟 영역의 피차폐도와 실제 피차폐도 간의 차이를 산출하고, 산출된 차이에 기반하여 신경망 모델의 파라미터를 조정하며, 미리 설정된 훈련 종료 조건이 만족될 때까지 파라미터 조정을 끊임없이 반복한다.

상기 훈련 종료 조건은 훈련 횟수가 미리 설정된 횟수에 도달하는 것, 모델 파라미터가 미리 설정된 모델 파라미터 수렴 조건을 만족하는 것 등일 수 있다.

타겟 검출 모델은 대량의 훈련 샘플에 대한 훈련에 의해 얻어지고, 타겟 검출 모델은 훈련 과정에서 샘플 이미지 내의 타겟 영역의 특징 및 차폐된 특징을 학습하게 되므로, 타겟 검출 모델은 강한 완건성을 갖게 되고, 타겟 검출 모델을 이용하여 이미지에 대해 타겟 검출을 수행시, 타겟 검출 모델은 정확한 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 피차폐도를 출력할 수 있다.

상기 단계(S101)에서, 타겟 검출 모델을 이용하여 이미지에 대해 타겟 검출을 수행하고, 또한, 이와 더불어 이미지를 복수 개의 영역으로 분할하여, 각 영역에 대해 해당 영역 내의 이미지 특징을 추출하고, 이미지 특징에 기반하여 영역 중 후보 타겟 영역을 확정 가능하다.

상기 이미지 특징은, 텍스처 특징, 색상 특징, 엣지 특징 등을 포함한다.

각 후보 타겟 영역을 얻은 후, 각 후보 타겟 영역의 이미지 특징에 기반하여, 각 후보 타겟의 신뢰도를 예측한다.

또한, 각 후보 타겟 영역이 속한 이미지 레이어 및 위치 정보에 기반하여, 각 후보 타겟 영역의 피차폐도를 산출할 수 있다.

상세하게, 후보 타겟 영역이 속한 이미지 레이어와 위치 간의 상대적 관계에 기반하여, 후보 타겟 영역 간에 가려짐이 일어나는지 여부를 확정하고, 차폐된 면적과 차폐된 영역의 면적의 비율의 값을 산출하여, 후보 타겟 영역의 피차폐도로 한다.

예를 들어, 후보 타겟 영역 A는 전경 이미지 레이어에 위치하고, 후보 타겟 영역 B는 배경 이미지 레이어에 위치하며, 또한, 후보 타겟 영역 A와 후보 타겟 영역 B의 위치 정보 간에 겹침이 일어난 경우, 후보 타겟 영역 B를 가려짐으로 확정하고, 후보 타겟 영역 B의 차폐된 면적과 후보 타겟 영역 B의 면적과의 비율을 산출하여, 후보 타겟 영역 B의 피차폐도로 한다.

상기 차량-도로 협업 중의 타겟 검출 방법에 대응하여, 본 발명의 실시예는 또한 차량-도로 협업 중의 타겟 검출 장치를 제공한다.

도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 차량-도로 협업 중의 타겟 검출 장치의 구조개략도이고, 상기 장치는 하기 모듈(401) 내지 모듈(403), 즉,

이미지에 대해 타겟 검출을 수행하고, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 정보 획득 모듈(401);

후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하는 신뢰도 업데이트 모듈(402);

업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 타겟 검출 모듈(403)을 포함한다.

이상에서 알 수 있듯이, 본 발명의 실시예에 따른 수단에 의하면, 타겟 검출을 실행시, 먼저 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트하고, 다음에 업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 이미지 내의 타겟을 검출한다. 후보 타겟 영역 간의 IoU는 각 후보 타겟 영역 간의 겹침도를 반영 가능하고, 후보 타겟 영역의 피차폐도는 후보 타겟 영역의 차폐된 정도를 반영 가능하므로, 따라서, 상기 IoU 및 피차폐도에 기반하여, 후보 타겟 영역의 신뢰도를 업데이트할 경우, 후보 타겟 영역 간의 겹친 상황을 참조 가능하고, 이는 후보 타겟 영역의 업데이트된 신뢰도가 실제상황에 더 다가가게 한다. 때문에, 업데이트된 신뢰도에 기반하여, 이미지에 대해 타겟 검출을 수행하여, 타겟 검출의 정확성을 향상시킬 수 있다.

본 발명의 일 실시예에서는, 상기 신뢰도 업데이트 모듈(402)은 상기 영역 집합에 하나의 영역이 포함될 때까지 영역 집합 중 신뢰도가 가장 높은 제1 영역을 선택하고, 영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 기타 영역의 신뢰도를 업데이트하는 것을 순환 수행하도록 상세하게 구성되고, 여기서, 상기 영역 집합은, 후보 타겟 영역 중에서 선택된 적이 없는 영역을 포함한다.

이와 같이, 매 번 순환에서, 역 집합 중 기타 영역과 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 영역 집합 중의 영역의 신뢰도를 업데이트한다. 여기서, 기타 영역의 피차폐도는 기타 영역의 차폐된 정도를 반영하고, 영역이 차폐된 경우, 검출해 낸 영역의 신뢰도의 정확도가 낮으므로, 기타 영역의 피차폐도를 도입함으로써, 업데이트된 후보 타겟 영역의 신뢰도의 정확도를 높아지게 할 수 있고; 또한, 기타 영역과 제1 영역 간의 IoU은 기타 영역과 제1 영역 간의 겹침도를 반영하고, 제1 영역은 신뢰도가 가장 높은 영역이므로, 신뢰도가 가장 높은 영역과의 겹침도에 통해서도, 기타 영역의 신뢰도를 효과적으로 조정할 수 있다. 그러므로, 매 번 순환마다, 상기 IoU 및 피차폐도에 기반하여, 기타 영역의 신뢰도를 효과적으로 업데이트할 수 있다. 또한, 순환 반복(iteration) 업데이트 과정을 통해, 업데이트된 신뢰도의 정확도를 더 한층 향상시킬 수 있다.

본 발명의 일 실시예에서, 상기 신뢰도 업데이트 모듈(402)는,

영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU를 산출하는 IoU 컴퓨팅 유닛;

상기 IoU 및 미리 설정된 IoU 역치에 기반하여, 제1 신뢰도 조정값을 확정하는 제1 조정값 확정 유닛;

기타 영역의 피차폐도에 기반하여, 제2 신뢰도 조정값을 확정하는 제2 조정값 확정 유닛;

상기 제1 신뢰도 조정값 및 제2 신뢰도 조정값을 이용하여, 기타 영역의 신뢰도를 조정하는 신뢰도 조정 유닛을 포함한다.

본 발명의 일 실시예에서, 상기 제1 조정값 확정 유닛은, 상기 IoU가 미리 설정된 IoU 역치보다 작은지 여부를 판단하고; "예"라면, 제1 신뢰도 조정값을 1로 확정하고; "아니오"라면, 제1 신뢰도 조정값을, 1과 IoU과의 차로 확정하도록 상세하게 구성된다.

본 발명의 일 실시예에서, 상기 제2 조정값 확정 유닛은 하기 표현식에 따라 제2 신뢰도 조정값

을 확정하도록 상세하게 구성되되,

여기서,

은 기타 영역의 피차폐도고, α 은 미리 설정된 상수이며, α＞1 이다.

본 발명의 일 실시예에서, 상기 신뢰도 조정 유닛은, 하기 표현식에 따라 기타 영역의 신뢰도를 조정하도록 상세하게 구성되되,

여기서, S’는 조정 후의 기타 영역의 신뢰도를 표시하고, S는 조정 전의 기타 영역의 신뢰도를 표시하며, T1은 상기 제1 신뢰도 조정값을 표시하고, T2는 상기 제2 신뢰도 조정값을 표시한다.

이와 같이, 조정된 신뢰도는 제1 신뢰도 조정값, 제2 신뢰도 조정값 및 기타 영역의 신뢰도과의 승적이고, 또한 제1 신뢰도 조정값과 제2 신뢰도 조정값은 서로 다른 각도에서 기타 영역의 차폐된 상황을 반영하므로, 상기 조정된 신뢰도는 기타 영역의 차폐된 상황을 참조함으로써, 조절된 신뢰도를 실제 상황에 더 다가가게 한다.

본 발명의 일 실시예에서, 상기 타겟 검출 모듈(403)은, 업데이트된 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 상기 이미지 내의 타겟으로 확정하며; 또는 업데이트된 신뢰도가 가장 큰, 미리 설정된 수량의 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 상기 이미지 내의 타겟으로 확정하도록 상세하게 구성된다.

이와 같이, 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역에 대하여, 이들 후보 타겟 영역에 타겟이 포함될 가능성은 다른 후보 타겟 영역에 타겟이 포함될 가능성보다 높다. 그러므로, 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정하여 얻어진 타겟의 정확도가 높고; 신뢰도가 가장 큰 미리 설정된 수량의 후보 타겟 영역에 대하여, 이들 후보 타겟 영역에 타겟이 포함될 가능성은 다른 후보 영역에 타겟이 포함될 가능성보다 높다. 그러므로, 신뢰도가 가장 큰, 미리 설정된 수량의 후보 타겟 영역 내의 타겟을 이미지 내의 타겟으로 확정하여 얻어진 타겟의 정확도가 높다.

본 발명의 일 실시예에서, 상기 정보획득 모듈(401)은 서로 다른 타겟 스케일에 대하여, 이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 서로 다른 스케일의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻도록 상세하게 구성된다.

본 발명의 일 실시예에서, 상기 정보획득 모듈(401)은 이미지를 미리 훈련된 타겟 검출 모델에 입력하고, 상기 타겟 검출 모델이 출력한 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 획득하도록 상세하게 구성되되, 여기서, 상기 타겟 검출 모델은, 이미지 내의 후보 타겟 영역을 검출하는 타겟 검출 레이어 및 후보 타겟 영역의 피차폐도를 예측하는 피차폐도 예측 레이어를 포함한다.

이와 같이, 타겟 검출 모델은 대량의 훈련 샘플에 대한 훈련에 의해 얻어지고, 타겟 검출 모델은 훈련 과정에서 샘플 이미지 내의 타겟 영역의 특징 및 차폐된 특징을 학습하게 되므로, 타겟 검출 모델은 강한 완건성을 갖게 되고, 타겟 검출 모델을 이용하여 이미지에 대해 타겟 검출을 수행시, 타겟 검출 모델은 정확한 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 피차폐도를 출력할 수 있다.

본 발명의 기술수단에 있어서, 이용자의 개인정보의 수집, 저장, 이용, 처리, 전송, 제공 및 공개 등에 관련된 처리는 모두 해당 법령을 준수하며, 공서양속을 위반하지 않는다.

본 발명의 실시예에 따르면, 본 발명은 전자 디바이스, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.

본 발명의 일 실시예에서, 본 발명은,

적어도 하나의 프로세서; 및

상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하는 전자 디바이스를 제공하며,

상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨에 따라, 상기 적어도 하나의 프로세서로 하여금 상기 방법의 실시예 중 임의의 차량-도로 협업 중의 타겟 검출 방법을 실행 가능하게 한다.

본 발명의 일 실시예에서, 본 발명은 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 상기 방법의 실시예 중 임의의 차량-도로 협업 중의 타겟 검출 방법을 실행하도록 한다.

본 발명의 일 실시예에서, 본 발명은 컴퓨터 프로그램을 포함한 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행시, 상기 방법의 실시예 중 임의의 차량-도로 협업 중의 타겟 검출 방법을 구현한다.

본 발명의 일 실시예에서, 본 발명은 상기 전자 디바이스를 포함한 노변 디바이스를 제공한다.

본 발명의 일 실시예에서, 본 발명은 상기 전자 디바이스를 포함한 클라우드 제어 플랫폼을 제공한다.

도 5에서 본 발명의 실시예를 실시 가능한 예시적 전자 디바이스(500)의 개략적 블록도를 도시한다. 전자 디바이스이란, 랩톱, 데스크탑, 워크스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적합한 컴퓨터를 비롯한 다양한 형태의 디지털 컴퓨터를 표현하고자 한다. 전자 디바이스는 또한, 개인 디지털 프로세서, 셀룰러 폰, 스마트 폰, 웨어러블 디바이스 및 기타 유사한 컴퓨팅 디바이스를 비롯한 다양한 형태의 휴대 기기를 표현할 수 있다. 본 명세서에서 도시된 구성요소 및 이들의 연결 및 관계, 그리고 이들의 기능은 예시일 뿐이며 본 명세서에 기재된 내용 및/또는 청구된 본 발명의 구현을 제한하고자 하는 것이 아니다.

도 5에서 도시한 바와 같이, 디바이스(500)은 컴퓨팅 유닛(501)을 포함하고, 컴퓨팅 유닛(501)은, 읽기 전용 메모리(ROM)(502)에 저장된 컴퓨터 프로그램 또는 저장 유닛(508)으로부터 랜덤 액세스 메모리(RAM)(503)에 로드된 컴퓨터 프로그램에 기반하여, 다양한 적절한 동작 및 처리를 실행 가능하다. RAM (503)에는, 또한 디바이스(500)의 작업에 필요되는 다양한 프로그램 및 데이터가 저장될 수 있다. 컴퓨팅 유닛(501), ROM (502) 및 RAM (503)은 버스(504)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 연결된다.

디바이스(500) 속의 복수 개의 구성요소는 I/O인터페이스(505)에 연결되고, 해당 구성요소로는, 키보드, 마우스 등과 같은 입력 유닛(506); 다양한 디스플레이, 스피커 등과 같은 출력 유닛(507); 자기 디스크, 광 디스크 등과 같은 저장 유닛(508); 및 네트워크 카드, 모뎀, 무선 통신 트랜시버 등과 같은 통신 유닛(509)등을 포함한다. 통신 유닛(509)은 디바이스(500)가 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 통신 네트워크를 통해 다른 디바이스와 정보/데이터를 교환할 수 있도록 한다.

컴퓨팅 유닛(501)은, 프로세싱 기능 및 컴퓨팅 기능이 구비된 범용 및/또는 특수 목적 프로세싱 컴포넌트일 수 있다. 컴퓨팅 유닛(501)의 일부 예는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 특수 목적 인공 지능(AI) 컴퓨팅 칩, 기계 학습 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 적절한 임의의 프로세서, 컨트롤러, 마이크로컨트롤러 등을 포함하지만 이에 제한되지 않는다. 컴퓨팅 유닛(501)은 전술한 차량-도로 협업 중의 타겟 검출 방법과 같은 다양한 방법 및 처리를 실행한다. 예를 들어, 일부 실시예에서, 차량-도로 협업 중의 타겟 검출 방법은 컴퓨터 소프트웨어 프로그램에 의해 구현될 수 있고, 해당 컴퓨터 소프트웨어 프로그램은 저장 유닛(508)과 같은 기계 판독 가능 매체에 유형적으로 포함될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(502) 및/또는 통신 유닛(509)을 통해 장치(500)에 로드 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(503)에 로딩되고 컴퓨팅 유닛(501)에 의해 실행될 때, 전술한 차량-도로 협업 중의 타겟 검출 방법의 하나 또는 복수 개의 단계를 수행 가능하다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(501)은 임의의 다른 적절한 수단에 의해(예를 들어, 펌웨어에 의해), 차량-도로 협업 중의 타겟 검출 방법을 실행하도록 구성될 수 있다.

본 명세서의 전술한 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로, 집적 회로 시스템, 현장 프로그래머블 게이트 어레이(FPGA), 주문형 집적회로(ASIC), 특정 용도 표준 제품(ASSP), 시스템 온 칩(SOC), 복합 프로그램 가능 논리 장치(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현 가능하다. 이러한 다양한 실시형태로는, 하나 또는 복수 개의 컴퓨터 프로그램에서의 실시를 포함 가능하되, 해당 하나 또는 복수 개의 컴퓨터 프로그램은, 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 가능 및/또는 해석 가능하며, 해당 프로그래밍 가능 프로세서는 특수 목적 또는 범용 프로그래밍 프로세서일 수 있고, 스토리지 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신 가능하며, 또한 데이터 및 명령을 해당 스토리지 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치에 전송 가능하다.

대안적으로, 노변 디바이스는 전자 디바이스와 더불어, 통신 컴포넌트 등을 포함 가능하다. 전자 디바이스는 통신 컴포넌트와 일체화되거나 별도로 설치될 수 있다. 전자 디바이스는 검출 디바이스(예를 들어 노변 카메라)로부터 이미지 및 비디오 등 데이터를 획득하여, 이미지/비디오 처리 및 데이터 컴퓨팅을 수행 가능하다. 대안적으로, 전자 디바이스 자체도 AI 카메라와 같이 센싱 데이터 획득 기능 및 통신 기능을 구비 가능하며, 전자 디바이스는 획득한 센싱 데이터를 기반으로 이미지/비디오 처리 및 데이터 컴퓨팅를 직접 수행 가능하다.

대안적으로, 클라우드 제어 플랫폼은 클라우드에서 처리를 수행하고, 클라우드 제어 플랫폼에 포함된 전자 디바이스는 이미지 및 비디오 등과 같은 검출 디바이스(예를 들어, 노변 카메라)로부터 데이터를 획득하여, 이미지 및 비디오 처리 및 데이터 컴퓨팅을 수행 가능하다. 클라우드 제어 플랫폼은 차량 도로 협업 관리 플랫폼, 엣지 컴퓨팅 플랫폼, 클라우드 컴퓨팅 플랫폼, 중앙 시스템, 클라우드 서버 등 라고도 불릴 수 있다.

본 발명의 방법을 실시하기 위한 프로그램 코드는 하나 또는 복수 개의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공될 수 있다. 프로세서 또는 컨트롤러에 의해 실행될 때 프로그램 코드는 흐름도 및/또는 블록도에 지정된 기능/작업이 수행되도록 한다. 프로그램 코드는 기기에서 전부 실행하거나 또는 일부 실행 가능하고, 단독 소프트웨어 패키지로서 기기에서 일부 실행 그리고 원격 기기에서 일부 실행 또는 원격 기기에서 전부 실행 또는 서버에서 전부 실행 가능하다.

본 발명의 문맥에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 디바이스에서 사용되는 프로그램 또는 명령 실행 시스템, 장치 또는 디바이스와 조합하여 사용되는 프로그램을 포함하거나 저장할 수 있는 유형의 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 이들의 임의의 적절한 조합을 포함할 수 있지만 이에 제한되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예로는 하나 또는 복수 개의 전선을 기반으로 하는 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그래밍 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 적절한 조합을 포함한다.

사용자와의 상호 작용을 제공하기 위해, 컴퓨터에서 본 명세서에 기재된 시스템 및 기술을 실시 가능하고, 해당 컴퓨터에는, 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙볼) 가 구비되고, 사용자는 해당 키보드와 포인팅 장치를 통해 컴퓨터에 입력을 제공 가능하다. 사용자와의 상호 작용을 제공하기 위해 다른 종류의 장치도 사용 가능하다. 예를 들어 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어 시각적 피드백, 청각적 피드백, 또는 촉각 피드백)일 수 있고, 또한 임의의 형태(음향 입력, 음성 입력 또는 촉각 입력 포함)로 사용자로부터 입력을 수신할 수 있다.

본 명세서에 기재된 시스템 및 기술은 백엔드 구성요소를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로), 또는 미들웨어 구성요소를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저가 구비된 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 본 명세서에 기재된 시스템 및 기술적 실시형태와 상호 작용 가능), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프론트 엔드 구성 요소의 임의의 조합을 포함한 컴퓨팅 시스템에서 실시 가능하며, 시스템의 구성요소들은, 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는, 근거리 통신망(LAN), 광역망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함 가능하다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각자 대응되는 컴퓨터에서 운행되고, 서로 간에 클라이언트-서버 관계를 가진 컴퓨터 프로그램에 의해 발생된다. 서버는 클라우드 서버, 분산 시스템 서버 또는 블록체인이 결합된 서버일 수 있다.

본 명세서에서 예시한 다양한 형태의 흐름은, 단계의 재정렬, 추가 또는 삭제를 거쳐 사용될 수 있음을 이해해야 한다. 예를 들어, 본 발명에서 개시된 각 단계는 병렬 또는 순차적 실행 또는 다른 순서로 실행 가능하며. 본 발명에 개시된 기술 수단의 원하는 결과를 구현할 수 있는 것이라면, 본 명세서에서 제한하지 않는다.

상술한 구체적인 실시형태들은 본 발명의 보호 범위를 제한하는 것이 아니며, 설계 요구 사항 및 기타 요인에 따라 다양한 수정, 조합, 하위 조합 및 교체가 이루어질 수 있음을 당업자는 이해해야 한다. 본 발명의 기술 사상 및 원칙을 벗어나지 않는 범위 내에서 이루어지는 모든 수정, 동등 교체 및 개선 등은 모두 본 발명의 보호 범위 내에 포괄된다.

Claims

차량-도로 협업 중의 타겟 검출 방법에 있어서,
이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻고;
후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하며;
업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 것을 포함하는, 차량-도로 협업 중의 타겟 검출 방법.
제 1 항에 있어서,
상기 후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하는 것은,
상기 영역 집합에 하나의 영역이 포함될 때까지, 영역 집합 중에서 신뢰도가 가장 높은 제1 영역을 선택하고, 영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 기타 영역의 신뢰도를 업데이트하는 것을 순환 수행하는 것을 포함하되,
여기서, 상기 영역 집합은, 후보 타겟 영역 중의 선택된 적이 없는 영역을 포함하는, 차량-도로 협업 중의 타겟 검출 방법.
제 2 항에 있어서,
상기 영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 기타 영역의 신뢰도를 업데이트하는 것은,
영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU를 산출하고;
상기 IoU 및 미리 설정된 IoU 역치에 기반하여, 제1 신뢰도 조정값을 확정하며;
기타 영역의 피차폐도에 기반하여, 제2 신뢰도 조정값을 확정하며;
상기 제1 신뢰도 조정값 및 제2 신뢰도 조정값을 이용하여, 기타 영역의 신뢰도를 조정하는 것을 포함하는 차량-도로 협업 중의 타겟 검출 방법.
제 3 항에 있어서,
상기 IoU 및 미리 설정된 IoU 역치에 기반하여, 제1 신뢰도 조정값을 확정하는 것은,
상기 IoU가 미리 설정된 IoU 역치보다 작은지 여부를 판단하고;
작으면, 제1 신뢰도 조정값을 1로 확정하고;
작지 않으면, 제1 신뢰도 조정값을 1과 상기 IoU의 차로 확정하는 것을 포함하는, 차량-도로 협업 중의 타겟 검출 방법.
제 3 항에 있어서,
상기 기타 영역의 피차폐도에 기반하여, 제2 신뢰도 조정값을 확정하는 것은,
하기 표현식에 따라 제2 신뢰도 조정값
을 확정하는 것을 포함하되,

여기서,
은 기타 영역의 피차폐도고, α은 미리 설정된 상수이며, α＞1 인, 차량-도로 협업 중의 타겟 검출 방법.
제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제1 신뢰도 조정값 및 제2 신뢰도 조정값을 이용하여, 기타 영역의 신뢰도를 조정하는 것은,
하기 표현식에 따라 기타 영역의 신뢰도를 조정하는 것을 포함하되,

여기서, S’는 조정 후의 기타 영역의 신뢰도를 표시하고, S는 조정 전의 기타 영역의 신뢰도를 표시하며, T1은 상기 제1 신뢰도 조정값을 표시하고, T2는 상기 제2 신뢰도 조정값을 표시하는, 차량-도로 협업 중의 타겟 검출 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 것은,
업데이트된 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 상기 이미지 내의 타겟으로 확정하거나,
또는,
업데이트된 신뢰도가 가장 큰 미리 설정된 수량의 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 상기 이미지 내의 타겟으로 확정하는 것을 포함하는, 차량-도로 협업 중의 타겟 검출 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 것은,
서로 다른 타겟 스케일에 대하여, 이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 서로 다른 스케일의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 것을 포함하는, 차량-도로 협업 중의 타겟 검출 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 것은,
이미지를 미리 훈련된 타겟 검출 모델에 입력하고, 상기 타겟 검출 모델이 출력한 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 것을 포함하되,
여기서, 상기 타겟 검출 모델은, 이미지 내의 후보 타겟 영역을 검출하는 타겟 검출 레이어 및 후보 타겟 영역의 피차폐도를 예측하는 피차폐도 예측 레이어를 포함하는, 차량-도로 협업 중의 타겟 검출 방법.
차량-도로 협업 중의 타겟 검출 장치에 있어서,
이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻는 정보 획득 모듈;
후보 타겟 영역 간의 IoU 및 후보 타겟 영역의 피차폐도를 기반으로, 후보 타겟 영역의 신뢰도를 업데이트하는 신뢰도 업데이트 모듈; 및
업데이트된 신뢰도에 기반하여, 후보 타겟 영역 내에서 상기 이미지 내의 타겟을 검출하는 타겟 검출 모듈을 포함하는, 차량-도로 협업 중의 타겟 검출 장치.
제 10 항에 있어서,
상기 신뢰도 업데이트 모듈은 상기 영역 집합에 하나의 영역이 포함될 때까지, 영역 집합 중에서 신뢰도가 가장 높은 제1 영역을 선택하고, 영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU 및 기타 영역의 피차폐도에 기반하여, 기타 영역의 신뢰도를 업데이트하는 것을 순환 수행하도록 상세하게 구성되되,
여기서, 상기 영역 집합은, 후보 타겟 영역 중 선택된 적이 없는 영역을 포함하는, 차량-도로 협업 중의 타겟 검출 장치.
제 11 항에 있어서,
상기 신뢰도 업데이트 모듈은,
영역 집합 중 기타 영역과 상기 제1 영역 간의 IoU를 산출하는 IoU 컴퓨팅 유닛;
상기 IoU 및 미리 설정된 IoU 역치에 기반하여, 제1 신뢰도 조정값을 확정하는 제1 조정값 확정 유닛;
기타 영역의 피차폐도에 기반하여, 제2 신뢰도 조정값을 확정하는 제2 조정값 확정 유닛; 및
상기 제1 신뢰도 조정값 및 제2 신뢰도 조정값을 이용하여, 기타 영역의 신뢰도를 조정하는 신뢰도 조정 유닛을 포함하는, 차량-도로 협업 중의 타겟 검출 장치.
제 12 항에 있어서,
상기 제1 조정값 확정 유닛은, 상기 IoU가 미리 설정된 IoU 역치보다 작은지 여부를 판단하고; 작으면, 제1 신뢰도 조정값을 1로 확정하고; 작지 않으면면, 제1 신뢰도 조정값을, 1과 상기 IoU의 차로 확정하도록 상세하게 구성되는 차량-도로 협업 중의 타겟 검출 장치.
제 12 항에 있어서,
상기 제2 조정값 확정 유닛은, 하기 표현식에 따라 제2 신뢰도 조정값
을 확정하도록 상세하게 구성되되,

여기서,
은 기타 영역의 피차폐도고, α 은 미리 설정된 상수이며, α＞1 인, 차량-도로 협업 중의 타겟 검출 장치.
제 12 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 신뢰도 조정 유닛은, 하기 표현식에 따라 기타 영역의 신뢰도를 조정하도록 상세하게 구성되되,

여기서, S’는 조정 후의 기타 영역의 신뢰도를 표시하고, S는 조정 전의 기타 영역의 신뢰도를 표시하고, T1은 상기 제1 신뢰도 조정값을 표시하며, T2는 상기 제2 신뢰도 조정값을 표시하는, 차량-도로 협업 중의 타겟 검출 장치.
제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 타겟 검출 모듈은, 업데이트된 신뢰도가 미리 설정된 신뢰도 역치보다 큰 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 상기 이미지 내의 타겟으로 확정하거나; 또는, 업데이트된 신뢰도가 가장 큰 미리 설정된 수량의 후보 타겟 영역을 선택하고, 선택된 후보 타겟 영역 내의 타겟을 상기 이미지 내의 타겟으로 확정하도록 상세하게 구성되는 차량-도로 협업 중의 타겟 검출 장치.
제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 정보 획득 모듈은, 서로 다른 타겟 스케일에 대하여, 이미지에 대해 타겟 검출을 수행하여, 상기 이미지 내의 서로 다른 스케일의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 얻도록 상세하게 구성되는 차량-도로 협업 중의 타겟 검출 장치.
제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 정보 획득 모듈은, 이미지를 미리 훈련된 타겟 검출 모델에 입력하고, 상기 타겟 검출 모델이 출력한 상기 이미지 내의 후보 타겟 영역, 후보 타겟 영역의 신뢰도 및 후보 타겟 영역의 피차폐도를 획득하도록 상세하게 구성되되,
여기서, 상기 타겟 검출 모델은, 이미지 내의 후보 타겟 영역을 검출하는 타겟 검출 레이어 및 후보 타겟 영역의 피차폐도를 예측하는 피차폐도 예측 레이어를 포함하는, 차량-도로 협업 중의 타겟 검출 장치.
전자 디바이스에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하며,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨에 따라, 상기 적어도 하나의 프로세서로 하여금 제 1 항 내지 제 9 항 중 어느 한 항에 따른 차량-도로 협업 중의 타겟 검출 방법을 실행 가능하게 하는 전자 디바이스.
컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제 1 항 내지 제 9 항 중 어느 한 항에 따른 차량-도로 협업 중의 타겟 검출 방법을 실행하도록 하는 비일시적 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품에 있어서,
상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 제 1 항 내지 제 9 항 중 어느 한 항에 따른 차량-도로 협업 중의 타겟 검출 방법을 구현하는 컴퓨터 프로그램 제품.
노변 디바이스에 있어서,
제 19 항에 따른 전자 디바이스를 포함하는 노변 디바이스.
클라우드 제어 플랫폼에 있어서,
제 19 항에 따른 전자 디바이스를 포함하는 클라우드 제어 플랫폼.