KR20200116111A

KR20200116111A - 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법 및 시스템

Info

Publication number: KR20200116111A
Application number: KR1020207024256A
Authority: KR
Inventors: 저 리우
Original assignee: 쥬넹 로보틱스 (상해) 씨오., 엘티디.
Priority date: 2018-01-24
Filing date: 2018-08-29
Publication date: 2020-10-08
Also published as: US20210041886A1; EP3745085A1; CN108267121A; WO2019144617A1; JP2021512297A

Abstract

본 발명의 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법 및 시스템은, 한편으로 다중 장치를 통하여 장면의 지면 이미지를 연속 촬영하고, 이미지의 디지털화 특징 정보를 획득하고, 그중에서 추출한 핵심 프레임을 서버(또는 클라우드)에 전송하고, 다른 한편으로 서버(또는 클라우드)는 최신 획득한 핵심 프레임 디지털화 특징 정보로 장면의 공백 공간을 보충하여, 장면의 네비게이션 데이터의 확장을 완성하고; 또는 최신 획득한 디지털화 특징 정보를 가입 한 후, 영역 내 기존 데이터 중 가장 유사하지 않은 디지털화 특징 정보를 치환하여 장면의 네비게이션 데이터의 업데이트를 완성하고, 마지막으로 서버는 교정하고 업데이트된 디지털화 특징 정보를 매 개 단말기에 발송하여, 네비게이션 데이터의 실시간 업데이트를 보증하고, 클러스터화의 자주적인 네비게이션을 실현한다.

Description

가변적인 장면에서의 다중 장치의 시각 네비게이션 방법 및 시스템

본 발명은 로봇 네비게이션 기술 분야에 관한 것이고, 구체적으로 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법 및 시스템에 관한 것이다.

현재 자동 네비게이션 로봇은 창고 자동화 중에서 광범위하게 응용되었고, 특히 자동 네비게이션 로봇에 근거한 제품 대 사람(Goods To Person) 시스템을 볼수 있다. 현재 비교적 선진적인 자동 네비게이션 로봇이 창고 중에서의 포지셔닝 방법에는 주로 다음과 같은 몇 가지가 있다.

1. 레이저 반사에 근거한 레이저 포지셔닝 시스템

a) 가격이 비싸다.

b) 반사판을 설치한 위치를 가려서는 안 되고, 사용시 주행경로에 비교적 큰 공간을 사전에 보류하여야 하며, 창고의 비교적 큰 공간을 낭비한다.

c) 온도의 영향을 받는다.

d) 실내에서만 사용할 수 있다.

2. 실내 장면에 근거하여 재구축한 시각 포지셔닝

a) 정밀도가 비교적 낮고, 사용시 주행경로에 비교적 큰 공간을 사전에 보류하여야 하고, 창고의 비교적 큰 공간을 낭비한다.

b) 반복 장면에 대응할 수 없다.

c) 경상적으로 변화하는 장면에 대응할 수 없다. 특히 제품 대 사람 창고 보관 분야에서 선반이 끊임없이 이동되어, 장면을 끊임없이 변화시킨다.

d) 장치들은 독립적으로 운행되고, 부동한 장치 사이의 재구성 장면에는 편차가 존재하여, 정밀한 포지셔닝과 재구성 장면을 통일시킬 수 없다. 그리하여 실내 장면에 근거하여 재구축한 시각 포지셔닝 시스템은 소수 장치만 운행하고 있다.

3. 지면 식별 코드에 근거한 포지셔닝 시스템

a) 비록 정밀도가 높지만, 지면 표시에 의지하고, 쉽게 마모된다.

b) 장면 진입은 많은 인력을 측정과 부설에 소모하여야 한다.

c) 장치가 대폭으로 정상 노선을 이탈하면, 표시를 통하여 시정할 수 없다.

본 발명의 목적은 종래기술 중에 존재하는 상기 문제 해결하는 것을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명의 구체적인 해결수단은 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법을 제공하는 것이고, 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법은,

제1장치가 장면의 비디오 시퀀스를 촬영하고, 비디오 시퀀스 중 매 프레임 이미지마다의 디지털화 특징 정보를 획득하는 단계;

제1장치가 디지털화 특징 정보에 근거하여 비교하고, 비디오 시퀀스 중의 핵심 프레임을 추출하고 상기 핵심 프레임의 디지털화 특징 정보를 제2장치에 업로드하는 단계;

제2장치가 제1장치에서 업로드한 디지털화 특징 정보를 비교하고 선별하며, 선별 후의 디지털화 특징 정보를 재구성하여 장면의 네비게이션 데이터의 구축, 업그레이드와 배포를 완성하는 단계를 포함한다.

나아가, 상기 디지털화 특징 정보의 획득 과정은,

제1장치가 장면의 지면의 이미지를 수집하는 단계;

상기 이미지 중의 특징 포인트를 식별하고, 특징 포인트 중에서 특징 포인트의 특징 정보를 추출하는 단계;

이미지 중 특징 포인트의 특징 정보를 포맷화와 디지털화 하여 상기 이미지의 디지털화 특징 정보를 형성하는 단계를 포함하는 것을 특징으로 한다.

더 나아가, 상기 이미지의 디지털화 특징 정보는 포맷화 배열로 형성 된 데이터 배열이고, 상기 디지털화 특징 정보는 이미지 위치, 특징 포인트의 좌표, 특징 포인트의 방향, 특징 포인트의 크기 및 특징 포인트의 서술 요인을 포함한다.

더 나아가, 상기 핵심 프레임의 추출 과정은,

새로 획득한 이미지의 디지털화 특징 정보를 데이터 베이스 속에 저장된 핵심 프레임의 디지털화 특징 정보와 검색 비교하는 단계;

새로 획득한 이미지와 데이터 베이스 속에 저장된 핵심 프레임의 디지털화 특징 정보의 비교 결과에 근거하여 유사도 평가값을 제시하는 단계;

유사도 평가값이 소정 값보다 작을 시, 해당 이미지 프레임은 핵심 프레임인 단계를 포함한다.

더 나아가, 특징 포인트의 기하학적 위치와 특징 포인트의 서술 요인을 통하여 상기 디지털화 특징 정보에 대하여 검색 비교하고, 상기 특징 포인트의 기하학적 위치는 특징 포인트의 위치, 크기 및 방향을 통하여 계산해 낸다.

더 나아가, 상기 유사도 평가값은 이미지의 디지털화 특징 정보 비교 결과 중 서술 요인과 기하학적 위치가 서로 일치한 특징 포인트의 개수이다.

더 나아가, 상기 제2장치가 디지털화 특징 정보에 대한 선별과 구축 과정은,

디지털화 특징 정보를 수신하고 저장하여 디지털화 특징 정보의 데이터 집합을 형성하는 단계;

데이터 집합 중의 디지털화 특징 정보가 수량 상한에 도달할 시, 최신 수신한 디지털화 특징 정보를 보류하고, 나머지 디지털화 특징 정보에 대하여 우선 순위 정렬을 진행하며, 우선 순위가 가장 낮은 디지털화 특징 정보를 삭제하는 단계;

데이터 집합 중 모든 디지털화 특징 정보를 교정하고 폐쇄 루프 검사를 진행하여 장면의 네비게이션 데이터를 구축하는 단계를 포함한다.

나아가, 데이터 집합 중 디지털화 특징 정보의 수량 상한을 설정하고, 상기 수량 상한은 매개 이미지 위치의 디지털화 특징 정보의 수량 상한이다.

더 나아가, 상기 디지털화 특징 정보의 우선 순위 정렬은,

새로 수신한 디지털화 특징 정보와 그 이미지 위치 및 그 인접 범위 내 모든 디지털화 특징 정보를 둘씩 유사도 비교하는 단계;

공간 전환 모델을 통하여, 디지털화 특징 정보 사이에서 특징 포인트 위치, 특징 포인트 방향, 특징 포인트 크기 및 특징 포인트 서술 요인이 서로 일치한 특징 포인트 개수를 검사하는 단계;

서로 일치한 특징 포인트 개수를 통하여 디지털화 특징 정보의 우순 순위를 정렬하는 단계를 포함한다

더 나아가, 상기 공간 전환 모델은 데이터 집합 중 디지털화 특징 정보의 특징 포인트 위치, 특징 포인트 방향, 특징 포인트 크기 및 특징 포인트의 서술 요인을 통하여 생성된다.

다른 한편으로, 본 발명은 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템을 더 제공하고, 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템은,

제1장치를 포함하고, 상기 제1장치는 장면의 지면의 비디오 시퀀스를 촬영하고, 비디오 시퀀스 중 매 프레임 이미지마다의 디지털화 특징 정보를 획득하고, 디지털화 특징 정보에 근거하여 비교하고, 비디오 시퀀스 중의 핵심 프레임을 추출하며 해당 핵심 프레임의 디지털화 특징 정보를 제2장치에 업로드하는데 사용되며;

제2장치를 포함하고, 제1장치에서 업로드한 디지털화 특징 정보를 비교하고 선별하며, 선별한 후의 디지털화 특징 정보를 재구성하여 장면의 네비게이션 데이터의 구축, 업그레이드와 배포를 완성한다.

더 나아가, 상기 제1장치는 자주적 네비게이션 장치 또는 AGV운반차에 배치한 자주적 네비게이션 장치이고, 상기 제2장치는 제1장치와 통신 연결된 서버이다.

더 나아가, 상기 자주적 네비게이션 장치와 서버의 수량비는 n:m이고, 그 중 n은 1보다 큰 자연수이며, 그 중 m은 1보다 크거나 같은 자연수이다.

더 나아가, 상기 제1장치는,

비디오 수집 유닛을 포함하고, 비디오 수집 유닛은 장면의 지면의 이미지 프레임을 수집하는데 사용되고;

이미지 정보 식별 유닛을 포함하고, 이미지 정보 식별 유닛은 상기 이미지 프레임 중의 특징 포인트를 식별하는데 사용되고, 이미지 프레임의 디지털화 특징 정보를 형성하며;

핵심 프레임 추출 유닛을 포함하고, 상기 핵심 프레임은 획득한 이미지 프레임의 디지털화 특징 정보를 앞서 추출한 상기 핵심 프레임의 디지털화 특징 정보와 검색 비교하여 핵심 프레임을 추출하고.

통신 유닛을 포함하고, 상기 통신 유닛은 상기 핵심 프레임 추출 유닛에서 추출한 핵심 프레임의 디지털화 특징 정보를 제2장치로 전송하는데 사용된다.

더 나아가, 상기 제2장치는,

디지털화 특징 정보 선별 유닛을 포함하고, 상기 디지털화 특징 정보 선별 유닛은 최신 획득한 디지털화 특징 정보와 앞서 획득한 디지털화 특징 정보를 유사도 비교하고, 선별시 비교 결과에 따라 우선 순위를 정렬하고;

네비게이션 데이터 구축 유닛을 포함하고, 상기 네비게이션 데이터 구축 유닛은 디지털화 특징 정보에 근거하여 장면의 네비게이션 데이터를 구축한다.

본 발명은 종래기술과 비교하면 다음과 같은 장점과 유익한 효과를 구비한다.

본 발명의 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법 및 시스템은, 한편으로 다중 장치를 통하여 장면의 지면 이미지를 연속 촬영하고, 지면 이미지의 특징 정보 및 해당 특징 정보에 근거하여 형성된 이미지 디지털화 특징 정보를 추출하고, 네트워크를 통하여 핵심 프레임의 포맷화 데이터를 서버(또는 클라우드)에 전송하고, 이와 같이 포맷화 데이터만 전송하면 되므로, 네트워크 전송의 실시간 성능을 향상시키고, 네트워크 광대역과 자원을 절약하고, 지면 비디오 촬영을 통하여 다변적인 장면에서의 식별 정밀도와 신뢰성 문제를 피면하고, 다른 한편으로 서버(또는 클라우드)는 해당 핵심 프레임의 디지털화 특징 정보와 앞서 획득한 디지털화 특징 정보에 근거하여 비교, 교정 및 선별을 진행한다. 최신 획득한 디지털화 특징 정보는 장면의 공백 공간을 보충하여, 장면의 네비게이션 데이터의 확장을 완성하고; 또는 최신 획득한 디지털화 특징 정보를 가입 한 후, 영역 내 기존 데이터 중 가장 유사하지 않은 디지털화 특징 정보를 치환하여 장면의 네비게이션 데이터의 업데이트를 완성한다. 마지막으로, 서버는 교정하고 업데이트된 디지털화 특징 정보를 매 개 단말기에 발송한다. 이리하여 네비게이션 데이터의 실시간 업데이트를 보증하고, 동시에 클러스터화의 자주적인 네비게이션을 실현한다.

본 발명 실시예 혹은 종래기술 중의 기술 방안을 보다 명확하게 설명하기 위하여, 아래에 실시예 또는 종래기술 설명 중 사용될 도면에 대하여 간단하게 소개할 것이고, 명백히 알수 있는 것은, 아래 설명 중의 도면은 본 발명의 일부 실시예일 뿐이고, 해당 기술 분야의 일반적인 당업자에게 있어서, 진보성 노동을 필요로 하지 않는 전제 하에서, 이 도면들에 근거하여 기타 도면을 얻을 수도 있다.
도1은 본 발명의 다변적인 장면에서의 다중 장치 비디오 네비게이션 방법의 순서 모식도이다.
도2는 본 발명의 디지털화 특징 정보를 획득하는 방법의 순서 모식도이다.
도3은 본 발명의 핵심 프레임을 추출하는 방법의 순서 모식도이다.

아래 본 발명 실시예 중의 도면을 결합하여, 본 발명 실시예 중의 기술 방안에 대하여 뚜렷하고 완전하게 설명하고, 분명한 것은, 설명한 실시예는 본 발명의 일부 실시예일뿐이며, 전부의 실시예가 아니다. 본 발명 중의 실시예에 근거하여 본 기술 분야 일반적인 당업자가 진보성 노동을 하지 않은 전제 하에서 얻은 모든 기타 실시예는 전부 본 발명의 보호 범위에 속한다.

본 발명은 다변적인 장면에서의 다중 장치 비디오 네비게이션 방법 및 시스템을 제공하며, 이는 주로 창고 보관 자동화 등을 비롯한 다변적이고 복잡한 장면에 응용된다. 창고 보관 자동화 환경은 주요하게 이동 선반과 자동 네비게이션 로봇이 포함하고, 그 중 이동 선반의 하부는 자동 네비게이션 로봇의 진입을 수용하는 공간을 구비하며, 자동 네비게이션 로봇은 네 방향에서 이동 선반의 하부에 진입할 수 있고, 이동 선반을 들어올려 작업 구역 또는 저장 구역으로 운반한다. 실제 운반 과정 중에서, 대량의 이동 선반은 자동 네비게이션 로봇에 의하여 작업 구역과 저장 구역 사이에서 왕복 운반되어 실시간 변화되는 복잡한 장면을 구성한다. 이토록 다변적이고 복잡한 장면 중에서, SLAM(동기 포지셔닝과 지도 구축)에 근거한 기술 즉 장면의 이미지를 포착하여 식별하는 자동 네비게이션 방법은 선반의 끊임없는 이동에 대하여 식별할 수 없고, 선반이 반복된 배열에 대하여도 식별할 수 없다. 지면 식별 코드에 근거한 식별 방식을 채택하는 것도 많은 인력과 재력이 필요하고 장면 중에 부설한 식별 코드 및 자동 네비게이션 로봇이 운동 궤적을 이탈하면 식별 코드를 통하여 노선 교정과 재포지셔닝을 진행할 수 없는 문제가 존재한다.

상기 기술 문제에 근거하여, 본 발명이 제공한 다변적인 장면에서의 다중 장치 비디오 네비게이션 방법은, 스탠드 얼로운 장면 식별 또는 식별 코드를 통하여 포지셔닝하는 방식을 배제하고, 분산식의 방법, 전단 다수의 제1장치가 장면의 지면 이미지(또는 그라운드 패턴 이미지라고 부름)을 획득하는 방식을 채택하였으며, 백그라운드(예를 들면, 서버 또는 클라우드)에서 다수의 제1장치가 업로드한 지면 이미지 정보에 대한 분석, 선별과 최적화를 거쳐 장면의 지면 이미지(또는 그라운드 패턴 이미지라고 부름)에 근거한 장면 구축을 완성한다. 각 제1장치는 이러한 작업 과정 중에서 실시간으로 장면의 지면 이미지를 획득, 업로드, 업데이트하고, 즉 다변적이고 반복하는 장면에서의 포지셔닝과 네비게이션을 실현할 수 있다.

아래 도1에 결합하여 본 발명 실시예가 공개한 다변적인 장면에서의 다중 장치 비디오 네비게이션 방법에 대하여 상세한 설명을 진행하고, 도1은 본 실시예가 공개한 다변적인 장면에서의 다중 장치 비디오 네비게이션 방법의 순서 모식도를 예시한다.

도1에서 예시 한 바와 같이, 본 실시예가 제공하는 다변적인 장면에서의 다중 장치 비디오 네비게이션 방법은,

단계S1, 제1장치가 장면의 비디오 시퀀스를 촬영하고, 비디오 시퀀스 중 매 프레임 이미지마다의 디지털화 특징 정보를 획득하는 단계를 포함한다.

그 중, 제1장치는 AGV로봇일 수 있고, AGV로봇 또는 기타 이동 장치 위에 집성된 자주적 네비게이션 장치일 수도 있다. 제1장치는 딥 카메라, 입체 카메라, 일목/다목 카메리 또는 일반 카메라 등을 비롯한 여러 가지 이미지 수집 장치를 통하여 지면 이미지를 촬영한다. 첫 촬영 전, 제1장치의 운동궤적은 배치 서버에서 설정한다. 배치 서버에는 장면의 형상, 크기와 나열 등 기본 정보가 저장되고, 장면의 기본 정보는 사전에 배치 서버에 입력되었으며, 이는 각 제1장치가 첫 촬영 시의 운동궤적이 가능한 전체 장면을 커버할 수 있게 보장하는 것에 목적이 있다.

바람직하게, 본 실시예는 일반 카메라를 예로 하고, 카메라는 AGV로봇에 설치하여, 지면과 일정한 촬영 협각을 이룰 수 있고, 90ㅀ의 협각을 통하여 지면 이미지를 수직으로 촬영하지만 이에 제한되지 않는다. 제1장치는 운동궤적에 따라 장면 중에서 이동하고, 카메라는 즉시 장면의 지면에 대해 촬영하여 연속되는 여러 개 이미지 프레임으로 구성한 비디오 시퀀스를 형성한다. 비디오 시퀀스를 얻는 동시에, 제1장치는 비디오 시퀀스 중의 매 프레임 이미지마다의 디지털화 특징 정보를 획득한다.

바람직하게, 비디오 시퀀스 중의 다수의 이미지 프레임은 비디오 시퀀스 중 모든 이미지 프레임이 필수인 것은 아니고, 그 중의 일부 이미지 프레임일 수도 있으며; 다른 한편으로 다수의 이미지 프레임은 연속된 다수의 이미지 프레임일 수도 있고, 프레임 간격을 사전에 설정하여 비디오 시퀀스 중에서 추출한 비연속적인 다수의 이미지 프레임일 수도 있다.

바람직하게, 디지털화 특징 정보는 포맷화 배열을 거친 이미지 디지털화 특징 정보를 포함한 한 세트의 데이터 배열이다. 도2에서 예시 한 바와 같이, 디지털화 특징 정보의 획득 과정은,

단계 S101, 제1장치가 장면의 지면의 이미지를 수집하는 단계;

단계 S102, 상기 이미지 속의 특징 포인트를 식별하고, 특징 포인트 중에서 특징 포인트의 특징 정보를 추출하는 단계;

단계 S103, 이미지 속 특징 포인트의 특징 정보를 포맷화와 디지털화 하여 상기 이미지의 디지털화 특징 정보를 형성하는 단계를 포함한다.

그 중, 특징 포인트의 식별은 FAST알고리즘, ORB알고리즘 또는 SURF알고리즘 등을 비롯한 본 기술 분야에서 상용하는 특징 포인트 검사 방법을 통하여 식별할 수 있다. 특징 포인트를 식별한 후 특징 포인트의 특징 정보를 획득하면, 특징 포인트의 특징 정보를 통하여 이미지를 설명할 수 있다.

바람직하게, 특징 포인트의 특징 정보를 얻은 후, 특징 정보를 포맷화와 디지털화 하여 이미지의 특징 정보를 형성한다. 종래기술 중 이미지를 획득하는 방식으로 비교하여 핵심 프레임을 얻는 것에 비하면, 광대역 점유율을 줄이고, 전송 속도와 계산 속도를 높여, 식별의 실시간 성능을 보증하였다.

예시 적으로, 지면 이미지의 디지털화 특징 정보는 이미지 위치, 특징 포인트의 좌표, 특징 포인트의 방향, 특징 포인트의 크기와 특징 포인트의 서술 요인을 포함한다. 다음 표와 같다.

데이터 헤드(고정 격식)
장치 명칭
촬영 시간	이미지 위치
이미지 번호
특징 포인트의 특징 정보
데이터 테일(고정 격식)

표1에서 예시 한 바와 같이, 이는 본 발명의 바람직한 실시예의 디지털화 특징 정보의 설명도이고, 그 중, 데이터 헤드 예를 들면 TCP메시지의 메시지 헤드는, 송신 포트(source port) 와 수신 포트(destination port)의 포트 번호, 시퀀스 번호(sequence number), 확인 번호(acknowledgement number), 데이터 편차(offset) 등을 포함할 수 있고, TCP메시지의 데이터부분 속에 제1 장치의 명칭, 촬영시간, 이미지 위치와 특징 포인트의 특징 정보 등을 패키지한다. 특징 포인트의 특징 정보는 여러 세트일 수 있고, 매 세트 특징 포인트 정보 속에는 특징 포인트의 좌표, 특징 포인트의 방향, 특징 포인트의 크기와 특징 포인트의 서술 요인을 포함한다.

바람직하게, 이미지 위치는 다음과 같은 두 가지 방식을 통하여 종합적으로 획득할 수 있다.

1. 촬영한 이미지P는 앞서 저장된 인접 핵심 프레임K(다수의 핵심 프레임과 마찬가지로 계산할 수 있다.)와 특징 포인트를 매칭하고, 오류 매칭 제거, 공간 모델 구축을 통하여 P와K사이의 회전과 병진 행렬을 얻으며, K의 위치 정보에 P가 K에 대한 위치 정보를 겹쳐, 최종적으로 P의 위치 정보를 얻는다.

2. 제1장치의 운동궤적과인코더, 위치 센서, 레인지 장치 중의 하나또는 다수를 결합하는 것을 통하여 이미지의 위치 정보를 계산해낸다.

바람직하게, 특징 포인트의 좌표는 특징 포인트가 이미지 중에서의 좌표 위치이다. 특징 포인트의 크기와 방향은 특징 포인트 검사 방법에서 정의한 특징 포인트 사이즈 및 이차원 벡터이다. 특징 포인트 서술 요인은 라벨 번호이고, 해당 분류 번호는 사전에 분류한 서술 요인 베이스 중 특징 포인트가 서술한 서술 요인 분류 번호에 가장 가깝다.

단계 S2, 제1장치가 디지털화 특징 정보에 근거하여 비교하고, 비디오 시퀀스 중의 핵심 프레임을 추출하고 상기 핵심 프레임의 디지털화 특징 정보를 제2장치로 업로드하는 단계를 포함한다.

도3에서 예시 한 바와 같이, 상기 핵심 프레임의 추출 과정은,

단계 S201, 새로 획득한 이미지의 디지털화 특징 정보를 데이터 베이스 속에 저장된 핵심 프레임의 디지털화 특징 정보와 검색 비교하는 단계;

단계 S202, 새로 획득한 이미지와 데이터 베이스 속에 저장된 핵심 프레임의 디지털화 특징 정보의 비교 결과에 근거하여 유사도 평가값을 제시하는 단계;

단계 S203, 유사도 평가값이 소정 값보다 작을 시, 해당 이미지 프레임은 핵심 프레임인 단계를 포함한다.

바람직하게, 본 발명의 바람직한 실시예는 디지털화 특징 정보에 근거하여 새로 획득한 이미지와 데이터 베이스 속에 저장된 핵심 프레임 중의 특징 포인트를 비교하여, 둘 사이 서로 매칭하는 특징 포인트 수량을 획득한다. 특징 포인트 비교 과정 중에서, 우선 특징 포인트 매칭과 모델 적합 방식을 통하여 공간 환산 모델을 획득하고, 공간 환산 모델은 다시 둘 사이의 특징 포인트 좌표, 특징 포인트 방향, 특징 포인트 크기를 환산하여, 특징 포인트의 기하학적 위치를 얻고, 둘의 기하학적 위치가 접근하며 특징 포인트의 서술 요인의 일치 여부를 판단하고, 특징 포인트의 기하학적 위치와 서술이 모두 매칭 될 시, 새로 획득한 이미지와 비교된 핵심 프레임에 같은 특징 포인트가 존재한다고 판단할 수 있다.

바람직하게, 유사도 평가값은 새로 획득한 이미지와 비교 핵심 프레임 중 같은 특징 포인트 개수이고, 유사도 평가값이 소정 값보다 작으면, 새로 획득한 이미지는 데이터 베이스 속에 저장된 핵심 프레임과 비교하여 현저한 변화가 존재한다고 판단할 수 있으며, 해당 이미지는 곧 핵심 프레임으로 설정되고, 제1장치는 수시로 해당 핵심 프레임의 디지털화 특징 정보를 제2장치로 업로드한다.

단계S3, 제2장치는 제1장치가 업로드한 디지털화 특징 정보를 비교와 선별하고, 선별 후의 디지털화 특징 정보를 재구성하여 장면의 네비게이션 데이터의 구축, 업그레이드를 완성하며 제1장치로 배포하여 네비게이션을 진행하는 단계를 포함한다.

바람직하게, 제2장치는 우선 디지털화 특징 정보를 수신 및 저장하여 디지털화 특징 정보의 데이터 집합을 형성한다. 데이터 집합 중 어느 한 영역의 디지털화 특징 정보가 수량 상한에 도달하면, 최신 수신된 디지털화 특징 정보를 보류하고, 나머지 디지털화 특징 정보에 대하여 우선 순위 정렬을 진행하며, 우선 순위가 가장 낮은 디지털화 특징 정보를 삭제한다. 데이터 집합 중 모든 디지털화 특징 정보를 교정과 폐쇄 루프 검사를 진행하여 장면의 네비게이션 데이터를 구축한다.

그 중, 디지털화 특징 정보의 수량 상한은 사전에 설정하고, 이는 시스템의 계산과 저장 성능에 따라 결정된다. 수량 상한은 매 개 공간 영역에서의 디지털화 특징 정보의 수량 상한이다.

바람직하게, 상기 디지털화 특징 정보의 우선 순위 정렬은,

더 나아가, 상기 제1장치는,

더 나아가, 상기 제2장치는,

위에서 서술한 바와 같이 이는 본 발명의 바람직한 실시예일뿐이고, 본 발명을 제한하는 것에 사용되지 않으며, 무릇 본 발명의 정신과 원칙 안에서 한 어떠한 수정, 동등 교체, 개선 등은 전부 본 발명의 보호 범위 안에 포함하여야 한다.

Claims

제1장치가 장면의 비디오 시퀀스를 촬영하고, 비디오 시퀀스 중 매 프레임 이미지마다의 디지털화 특징 정보를 획득하는 단계;
제1장치가 디지털화 특징 정보에 근거하여 비교하고, 비디오 시퀀스 중의 핵심 프레임을 추출하고 상기 핵심 프레임의 디지털화 특징 정보를 제2장치에 업로드하는 단계;
제2장치가 제1장치에서 업로드한 디지털화 특징 정보를 비교하고 선별하며, 선별 후의 디지털화 특징 정보를 재구성하여 장면의 네비게이션 데이터의 구축, 업그레이드를 완성하고 제1장치에 배포하여 네비게이션을 실현하는 단계를 포함하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제1항에 있어서,
상기 디지털화 특징 정보의 획득 과정은,
제1장치가 장면의 지면의 이미지를 수집하는 단계;
상기 이미지 중의 특징 포인트를 식별하고, 특징 포인트 중에서 특징 포인트의 특징 정보를 추출하는 단계;
이미지 중 특징 포인트의 특징 정보를 포맷화와 디지털화 하여 상기 이미지의 디지털화 특징 정보를 형성하는 단계를 포함하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제2항에 있어서,
상기 이미지의 디지털화 특징 정보는 포맷화 배열로 형성 된 데이터 배열이고, 상기 디지털화 특징 정보는 이미지 위치, 특징 포인트의 좌표, 특징 포인트의 방향, 특징 포인트의 크기 및 특징 포인트의 서술 요인을 포함하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제3항에 있어서,
상기 핵심 프레임의 추출 과정은,
새로 획득한 이미지의 디지털화 특징 정보를 데이터 베이스 속에 저장된 핵심 프레임의 디지털화 특징 정보와 검색 비교하는 단계;
새로 획득한 이미지와 데이터 베이스 속에 저장된 핵심 프레임의 디지털화 특징 정보의 비교 결과에 근거하여 유사도 평가값을 제시하는 단계;
유사도 평가값이 소정 값보다 작을 시, 해당 이미지 프레임은 핵심 프레임인 단계를 포함하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제4항에 있어서,
특징 포인트의 기하학적 위치와 특징 포인트의 서술 요인을 통하여 상기 디지털화 특징 정보에 대하여 검색 비교하고, 상기 특징 포인트의 기하학적 위치는 특징 포인트의 위치, 크기 및 방향을 통하여 계산해 내는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제5항에 있어서,
상기 유사도 평가값은 이미지의 디지털화 특징 정보 비교 결과 중 서술 요인과 기하학적 위치가 서로 일치한 특징 포인트의 개수인 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제1항 내지 제6항에 있어서,
상기 제2장치가 디지털화 특징 정보에 대한 선별과 구축 과정은,
디지털화 특징 정보를 수신하고 저장하여 디지털화 특징 정보의 데이터 집합을 형성하는 단계;
데이터 집합 중의 디지털화 특징 정보가 수량 상한에 도달할 시, 최신 수신한 디지털화 특징 정보를 보류하고, 나머지 디지털화 특징 정보에 대하여 우선 순위 정렬을 진행하며, 우선 순위가 가장 낮은 디지털화 특징 정보를 삭제하는 단계;
데이터 집합 중 모든 디지털화 특징 정보를 교정하고 폐쇄 루프 검사를 진행하여 장면의 네비게이션 데이터를 구축하는 단계를 포함하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제7항에 있어서,
데이터 집합 중 디지털화 특징 정보의 수량 상한을 설정하고, 상기 수량 상한은 매개 이미지 위치의 디지털화 특징 정보의 수량 상한인 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제8항에 있어서,
상기 디지털화 특징 정보의 우선 순위 정렬은,
새로 수신한 디지털화 특징 정보와 그 이미지 위치 및 그 인접 범위 내 모든 디지털화 특징 정보를 둘씩 유사도 비교하는 단계;
공간 전환 모델을 통하여, 디지털화 특징 정보 사이에서 특징 포인트 위치, 특징 포인트 방향, 특징 포인트 크기 및 특징 포인트 서술 요인이 서로 일치한 특징 포인트 개수를 검사하는 단계;
서로 일치한 특징 포인트 개수를 통하여 디지털화 특징 정보의 우순 순위를 정렬하는 단계를 포함하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제9항에 있어서,
상기 공간 전환 모델은 데이터 집합 중 디지털화 특징 정보의 특징 포인트 위치, 특징 포인트 방향, 특징 포인트 크기 및 특징 포인트의 서술 요인을 통하여 생성되는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 방법.
제1장치를 포함하고, 상기 제1장치는 장면의 지면의 비디오 시퀀스를 촬영하고, 비디오 시퀀스 중 매 프레임 이미지마다의 디지털화 특징 정보를 획득하고, 디지털화 특징 정보에 근거하여 비교하고, 비디오 시퀀스 중의 핵심 프레임을 추출하며 해당 핵심 프레임의 디지털화 특징 정보를 제2장치에 업로드하는데 사용되며;
제2장치를 포함하고, 제1장치에서 업로드한 디지털화 특징 정보를 비교하고 선별하며, 선별한 후의 디지털화 특징 정보를 재구성하여 장면의 네비게이션 데이터의 구축, 업그레이드와 배포를 완성하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템.
제11항에 있어서,
상기 제1장치는 자주적 네비게이션 장치 또는 AGV운반차에 배치한 자주적 네비게이션 장치이고, 상기 제2장치는 제1장치와 통신 연결된 서버인 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템.
제12항에 있어서,
상기 자주적 네비게이션 장치와 서버의 수량비는 n:m이고, 그 중 n은 1보다 큰 자연수이며, 그 중 m은 1보다 크거나 같은 자연수인 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템.
제12항에 있어서,
상기 제1장치는,
비디오 수집 유닛을 포함하고, 비디오 수집 유닛은 장면의 지면의 이미지 프레임을 수집하는데 사용되고;
이미지 정보 식별 유닛을 포함하고, 이미지 정보 식별 유닛은 상기 이미지 프레임 중의 특징 포인트를 식별하는데 사용되고, 이미지 프레임의 디지털화 특징 정보를 형성하며;
핵심 프레임 추출 유닛을 포함하고, 상기 핵심 프레임은 획득한 이미지 프레임의 디지털화 특징 정보를 앞서 추출한 상기 핵심 프레임의 디지털화 특징 정보와 검색 비교하여 핵심 프레임을 추출하고;
통신 유닛을 포함하고, 상기 통신 유닛은 상기 핵심 프레임 추출 유닛에서 추출한 핵심 프레임의 디지털화 특징 정보를 제2장치로 전송하는데 사용되는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템.
제12항에 있어서,
상기 제2장치는,
디지털화 특징 정보 선별 유닛을 포함하고, 상기 디지털화 특징 정보 선별 유닛은 최신 획득한 디지털화 특징 정보와 앞서 획득한 디지털화 특징 정보를 유사도 비교하고, 선별시 비교 결과에 따라 우선 순위를 정렬하고;
네비게이션 데이터 구축 유닛을 포함하고, 상기 네비게이션 데이터 구축 유닛은 디지털화 특징 정보에 근거하여 장면의 네비게이션 데이터를 구축하는 것을 특징으로 하는 가변적인 장면에서의 다중 장치의 시각 네비게이션 시스템.