KR20180049024A

KR20180049024A - 특징부-기반 위치파악 및 네비게이션을 이용하는 산업용 차량

Info

Publication number: KR20180049024A
Application number: KR1020187009501A
Authority: KR
Inventors: 마크 벨
Original assignee: 크라운 이큅먼트 코포레이션
Priority date: 2015-09-04
Filing date: 2016-09-02
Publication date: 2018-05-10
Also published as: US20180106621A1; CA2997656A1; US10473469B2; WO2017040949A1; US20200033134A1; AU2016316037B2; US20190072396A1; EP3344952A1; US20170069092A1; AU2019201303A1; MX2018002739A; US10151591B2; US10928204B2; US20180245926A1; US10041801B2; BR112018004133A2; EP3344952A4; AU2016316037A1; US9880009B2; CN108027248A

Abstract

구동 기구, 조향 기구, 차량 제어기, 카메라, 및 네비게이션 모듈을 포함하는 산업용 차량을 제공한다. 카메라는 네비게이션 모듈에 통신 가능하게 결합되고, 차량 제어기는 네비게이션 모듈로부터의 커맨드에 응답하고, 구동 기구와 조향 기구는 차량 제어기로부터의 커맨드에 응답한다. 카메라는, 종축 방향과 횡축 방향을 따른 화상 강도 변화의 상이한 비율을 특징으로 하는 세장형 천창 및 화상 강도 변화의 원형 대칭 비율을 특징으로 하는 천장등을 포함하는 창고의 천장의 입력 화상을 캡처하도록 구성된다. 네비게이션 모듈은 천장등과 천창을 구별하고, 위치파악을 위한 커맨드를 차량 제어기에 전송하고, 또는 유효한 천장등 식별, 유효한 천창 식별, 또는 이들 모두에 기초하여 창고를 통해 산업용 차량을 네비게이팅시키도록 구성된다.

Description

특징부-기반 위치파악 및 네비게이션을 이용하는 산업용 차량

관련 출원에 대한 상호 참조

본 출원은, 2015년 9월 4일자로 출원한 미국 가특허 출원 제62/214,445(CRNZ 0057 MA)호 및 2015년 9월 16일자로 출원한 미국 가특허 출원 제62/219,259(CRNZ 0057 M2)호인 우선권을 주장한다.

기술분야

본 개시내용은, 조명-불변 특징부 검출(illumination-invariant feature detection)을 제공하는 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는, 특징부 검출을 위한 조명-불변 기능을 제공하는 시스템 및 방법에 관한 것이다.

산업 환경에 관한 물품을 이동시키기 위해, 근로자들은 종종 포크리프트 트럭, 수동 및 모터 구동 팔레트 트럭, 및/또는 기타 자재 취급 차량을 포함한 산업용 차량을 종종 이용한다. 산업용 차량은 환경을 네비게이팅하는(navigate) 수동 유도 차량으로서 또는 자동화된 유도 차량으로서 구성될 수 있다. 자동화된 유도 또는 모든 유형의 차량 네비게이션을 용이하게 하도록, 산업용 차량은 환경 내의 위치파악(localization)을 위해 구성될 수도 있다. 즉, 산업용 차량은, 위치파악을 위한, 즉, 환경 내의 산업용 차량의 로케이션을 결정하고 선택적으로 그 차량의 자세를 결정하기 위한 센서 및 프로세서와 함께 구성될 수 있다. 센서는 환경 내의 객체를 검출하도록 구성될 수 있으며, 위치파악은 이렇게 검출된 객체로부터 추출된 특징부에 의존할 수 있다. 이러한 성질의 시스템은, 예를 들어, 미국 공개특허공보 제2016/0090281호 및 제2016/0011595호에 개시되어 있다.

본 개시내용의 일 실시형태에 따르면, 구동 기구, 조향 기구, 차량 제어기, 카메라, 및 네비게이션 모듈(navigation module)을 포함하는 산업용 차량을 제공한다. 카메라는 네비게이션 모듈에 통신 가능하게 결합되고, 차량 제어기는 네비게이션 모듈로부터의 커맨드에 응답하며, 구동 기구와 조향 기구는 차량 제어기로부터의 커맨드에 응답한다. 카메라는, 종축 방향과 횡축 방향을 따른 화상 강도 변화의 서로 다른 비율을 특징으로 하는 세장형 천창(elongated skylight) 및 화상 강도 변화의 원형 대칭 비율을 특징으로 하는 천장등(ceiling light)을 포함하는 창고의 천장의 입력 화상을 캡처하도록 구성된다. 네비게이션 모듈은, 천장등과 천창을 구별하고, 유효한 천장등 식별, 유효한 천창 식별, 또는 이들 모두에 기초하여 차량 제어기에 커맨드를 전송하여 창고를 통해 산업용 차량을 네비게이팅시키도록 구성된다.

더욱 구체적으로, 네비게이션 모듈은 창고의 천장의 입력 화상으로부터 가우스 스케일 공간 피라미드를 생성하기 위한 기계 판독가능 명령어를 실행할 수도 있으며, 가우스 스케일 공간 피라미드는 복수의 스케일 공간 화상을 포함하는 것을 고려할 수 있다. 네비게이션 모듈은, 가우스 스케일 공간 피라미드 내의 각 화상에 대한 헤세(Hessian) 응답의 행렬식을 계산하고, 가우스 스케일 공간 피라미드와 동일한 크기 및 구조의 헤세 응답 피라미드의 행렬식을 구축한다. 또한, 네비게이션 모듈은, 가우스 스케일 공간 피라미드 내의 각 화상에 대한 헤세 응답의 궤적을 계산하고, 가우스 스케일 공간 피라미드와 동일한 크기 및 구조의 헤세 응답 피라미드의 궤적을 구축한다. 네비게이션 모듈은, 헤세 응답 피라미드의 행렬식을 이용하여 창고 천장의 입력 화상의 천장등 후보를 식별하고, 헤세 응답 피라미드의 궤적을 이용하여 창고 천장의 입력 화상의 천창 후보를 식별한다. 천장등 후보는 창고에서 유효한 천장등을 식별하기 위한 천장등 후보 특징부 처리를 받고, 천창 후보는 창고에서 유효한 천창을 식별하기 위한 천창 후보 특징부 처리를 받는다.

가우스 스케일 공간 피라미드는 창고 천장의 입력 화상에 적용되는 일련의 캐스케이드식 화상 평활화 연산을 실행함으로써 생성될 수 있으며 이항 필터 커널과의 컨볼루션에 의해 근사화될 수 있음을 고려할 수 있다. 또한, 가우스 스케일 공간 피라미드는 일련의 캐스케이드식 화상 평활화 연산에 서브샘플링 연산을 보충함으로써 생성될 수 있음을 고려할 수 있다. 보충 서브샘플링 연산은, 이용가능한 네비게이션 모듈 연산력의 기능으로서 조건적으로 구현될 수 있다.

행렬 응답의 행렬식 및 헤세 응답의 궤적은, 이차 편도함수 필터 커널과 함께 컨볼루션되는 각 스케일 공간 화상에 기초하여 계산될 수 있다. 또한, 헤세 응답의 행렬식은 혼합된 이차 편도함수 항의 감산에 의해 계산될 수 있음을 고려할 수 있다. 헤세 응답의 행렬식은, 종축 방향과 횡축 방향을 따른 화상 강도 변화의 서로 다른 비율을 특징으로 하는 객체에 대한 응답을 억제한다.

행렬식 응답은, 스케일 차원과 공간 차원을 포함하는 윈도우 내에 국부 최대치가 위치하는 멀티스케일 비최대 억제(multiscale non-maximum suppression)에 이용될 수 있다. 이 경우, 절대 최소 임계치를 적용하여 과도한 잡음있는 긍정 오류 행렬식 응답을 방지할 수 있다. 행렬식 응답은, 천장등에 대응하지 않을 수 있는 후보 포인트를 제거하기 위한 키포인트 필터링 기능에 이용될 수 있다. 키포인트 필터링 기능은, 경험적으로 설정된 임계치를 체크하도록 후보 포인트에 대하여 다른 필터를 이용할 수도 있다. 다른 필터들은, 키포인트가 검출되는 스케일, 키포인트의 공간적 로케이션, 키포인트 로케이션에서의 헤세 응답의 행렬식의 크기, 기계 학습 분류자, 또는 주변 영역의 헤세 응답 값들의 평균 궤적을 포함할 수도 있다. 마지막으로, 천장등 후보 키포인트의 스케일 및 공간적 위치를 개선하기 위한 키포인트 기능에 행렬식 응답을 이용할 수도 있음을 고려할 수 있다.

궤적 응답은, 헤세 응답 피라미드의 궤적으로부터의 헤세 응답 화상들의 궤적의 선택을 헤세 응답 화상의 통합된 궤적으로 합산하기 위한 헤세 응답 화상의 대규모 궤적 합 기능(sum large-scale trace of Hessian response images function)에 이용될 수 있다. 천창 영역은 헤세 응답 피라미드의 궤적 내에서 검색될 수 있음을 고려할 수 있다. 궤적 응답은 헤세 응답의 궤적 임계치 통합 기능(threshold integrated trace of Hessian response function)에 의해 추가 처리될 수도 있으며, 여기서 헤세 응답의 궤적은, 평활화되고 임계치가 적용된다. 임계치는 고정되거나 고정되지 않을 수도 있다. 또한, 헤세 응답의 궤적은, 헤세 응답 화상의 이진 임계치 통합된 궤적에 기초하여 연결된 성분들을 추출하고 필터링하기 위한 연결된 성분 필터링 기능에 이용될 수 있음을 고려할 수 있다. 연결된 성분 필터링 기능은, 크기 및 종횡비를 필터링하여 대략 직사각형 영역을 선택할 수도 있다.

본 개시내용의 다른 일 실시형태에 따르면, 네비게이션 모듈은, 천장등과 천창을 구별하고 유효한 천장등 식별, 유효한 천창 식별, 또는 둘 다에 기초하여 차량 제어기에 커맨드를 전송하여 산업용 차량을 창고를 통해 위치파악시키도록 구성된다.

본 개시내용의 특정 실시형태에 대한 다음에 따르는 상세한 설명은, 유사한 구조가 동일한 참조 번호로 표시되는 다음에 따르는 도면과 함께 읽을 때 가장 잘 이해될 수 있으며, 도면에서:
도 1은 본 명세서에 설명되며 도시된 하나 이상의 실시형태에 따라 환경 기반 위치파악을 위한 차량을 도시한 도면;
도 2는 본 명세서에 설명되며 도시된 하나 이상의 실시형태에 따라 환경 기반 위치파악을 위한 카메라 특징부 추출/오버헤드 조명 특징부 추출을 위한 예시적인 알고리즘의 흐름도를 도시한 도면;
도 3은 본 명세서에 설명되며 도시된 하나 이상의 실시형태에 따라 3개의 천창을 나타내는 입력 화상을 개략적으로 도시한 도면;
도 4a 및 도 4b는 본 명세서에 설명되며 도시된 하나 이상의 실시형태에 따라 천창 및 다수의 둥근 조명의 다수의 행을 나타내는 입력 화상 및 임계화된 화상을 개략적으로 도시한 도면;
도 5는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 둥근 조명 및 천창의 조명-불변 특징부 검출을 위한 예시적인 알고리즘의 흐름도를 도시한 도면;
도 6은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 스케일 공간 피라미드를 개략적으로 도시한 도면;
도 7은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 멀티스케일 비최대 억제를 개략적으로 도시한 도면;
도 8a 및 도 8b는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 4a 및 도 4b의 입력 화상 상에 겹쳐진 검출된 특징부 후보를 개략적으로 도시한 도면;
도 9는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 천장등 후보 특징부 검출을 위한 예시적인 알고리즘의 흐름도를 도시한 도면;
도 10은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 관심 천창 후보 특징부 영역을 검출하기 위한 예시적인 알고리즘의 흐름도를 도시한 도면;
도 11은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 천창 추출을 위한 예시적인 알고리즘의 흐름도를 도시한 도면;
도 12는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 3의 입력 화상 상에 겹쳐진 천창 화상 위에 배향된 바운딩 박스를 개략적으로 도시한 도면;
도 13은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 3의 입력 화상 상에 겹쳐진 천창 화상 위의 관심 대상인 축 정렬된 영역을 개략적으로 도시한 도면;
도 14a 및 도 14b는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 3의 입력 화상 상에 겹쳐진 라인 세그먼트 선택을 개략적으로 도시한 도면;
도 15는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 3의 입력 화상 위에 겹쳐진 라인 세그먼트 쌍 선택을 개략적으로 도시한 도면;
도 16a 및 도 16b는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 3의 입력 화상 상에 겹쳐진 중심선 특징부를 개략적으로 도시한 도면;
도 17은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 천창들의 행을 나타내는 입력 화상을 개략적으로 도시한 도면;
도 18은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 17의 입력 화상의 에지 라인들을 개략적으로 도시한 도면;
도 19a 및 도 19b는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 17의 입력 화상 상에 겹쳐진 관심 대상인 에지 라인들과 영역들을 개략적으로 도시한 도면;
도 20은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 포인트 픽스(point fix)를 추출하기 위한 예시적인 알고리즘의 흐름도를 도시한 도면;
도 21a 및 도 21b는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 17의 입력 화상의 횡단 에지를 개략적으로 도시한 도면;
도 22a 및 도 22b는 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 21a 및 도 21b의 횡단 에지의 사용 가능한 에지와 사용할 수 없는 에지를 개략적으로 도시한 도면; 및
도 23은 본 명세서에 설명되고 도시된 하나 이상의 실시형태에 따라 도 17의 입력 화상 상에 겹쳐진 포인트 픽스를 개략적으로 도시한 도면.

본 명세서에 설명되는 실시형태들은, 일반적으로 천창을 포함하는 이에 한정되지 않는 오버헤드 조명으로부터 특징부를 추출하기 위한 환경 기반 위치파악(Environmental Based Localization: EBL) 기술에 관한 것이다. EBL은, 창고와 같은 건물 구조를 통해 산업용 차량을 위치파악 및/또는 네비게이팅시키는 데 사용될 수도 있다. 적절하게, 오버헤드 조명은 건물의 천장 내에 또는 천장 상에 장착될 수도 있다. 그러나, 일부 실시형태에서, 조명은 또한 또는 대안으로 적절한 구조를 통해 천장 또는 벽에 매달려 있을 수도 있다. 일부 실시형태에서, 카메라는, 창고를 통해 네비게이션하는 산업용 차량(예를 들어, 자동 유도 차량 또는 수동 유도 차량)에 장착될 수 있다. 입력 화상은, 화상으로부터 특징부를 추출하기 전에 카메라에서 캡처된 임의의 화상일 수 있다.

먼저 도 1을 참조해 보면, 차량(100)은 창고(110)를 통해 네비게이팅하도록 구성될 수 있다. 차량(100)은, 페이로드를 들고 이동하는 산업용 차량을 포함할 수 있으며, 예를 들어, 지게차, 리치 트럭, 터렛 트럭, 워키 스태커 트럭, 견인 트랙터, 팰릿 트럭(pallet truck), 하이/로우, 스태커 트럭(stacker-truck), 트레일러 로더, 사이드로더, 포크 호이스트 등을 들 수 있다. 산업용 차량은, 원하는 경로를 따라 창고(110)의 표면(122)을 자동으로 또는 수동으로 네비게이팅하도록 구성될 수 있다. 이에 따라, 차량(100)은 하나 이상의 휠(124)의 회전에 의해 전방 및 후방으로 지향될 수 있다. 또한, 차량(100)은 하나 이상의 휠(124)을 조향함으로써 방향을 변경할 수 있다. 선택적으로, 차량은, 휠(124)의 속도, 휠(124)의 배향 등의 차량의 기능을 제어하기 위한 조작자 제어부(126)를 포함할 수 있지만, 이러한 예로 한정되지는 않는다. 조작자 제어부(126)는, 예를 들어, 스위치, 버튼, 레버, 핸들, 페달, 입력/출력 장치 등의 차량(100)의 기능에 할당된 제어부를 포함할 수 있다. 본 명세서에서 사용되는 바와 같은 "네비게이션"(혹은 네비게이팅)이라는 용어는 한 장소에서 다른 장소로의 차량의 이동을 제어하는 것을 의미할 수 있다는 점에 주목해야 한다.

차량(100)은 오버헤드 화상을 캡처하기 위한 카메라(102)를 더 포함할 수 있다. 카메라(102)는, 객체의 시각적 외관을 캡처하고 시각적 외관을 화상으로 변환할 수 있는 임의의 장치일 수 있다. 이에 따라, 카메라(102)는, 예를 들어, 전하 결합 소자, 상보형 금속 산화물 반도체 센서, 또는 이들의 기능적 균등물 등의 화상 센서를 포함할 수 있다. 일부 실시형태에서, 차량(100)은, 창고(110) 내에 위치될 수 있고, 창고(110)의 천장(112)의 오버헤드 화상을 캡처하도록 구성될 수 있다. 오버헤드 화상을 캡처하기 위해, 카메라(102)는 차량(100)에 장착될 수 있고 천장(112)에 포커싱될 수 있다. 본 개시내용을 정의하고 설명하기 위해, 본 명세서에서 사용되는 바와 같은 "화상"이라는 용어는 검출된 객체의 외관 표현을 의미할 수 있다. 화상은, 예를 들어, JPEG, JPEG 2000, Exif, TIFF, 미가공 화상 포맷, GIF, BMP, PNG, Netpbm 포맷, WEBP, 래스터 포맷, 벡터 포맷, 또는 오버헤드 객체를 캡처하는 데 적합한 다른 임의의 포맷 등의 같은 다양한 기계 판독가능 표현으로 제공될 수 있다.

창고(110)의 천장(112)은, 천장(112)으로부터 또는 일반적으로 창고에서 동작하는 차량 위로부터 조명을 제공하기 위한 천장등(114)과 같은 오버헤드 등을 포함할 수 있지만, 이에 한정되는 것은 아니다. 천장등(114)은, 예를 들어 천창(116), 형광등 등의 대략 직사각형의 등을 포함할 수 있으며, 위로부터 조명을 제공하기 위해 천장 또는 벽 구조에 장착되거나 천장 또는 벽 구조로부터 매달려질 수도 있다. 본 명세서에서 사용되는 바와 같이, "천창"이라는 용어는, 예를 들어, 공기, 유리, 플라스틱 등의, 일광을 수용하기 위한 실질적으로 투광성 매체가 장착된 천장 또는 지붕의 애퍼처를 의미할 수 있다. 천창은 다양한 형상과 크기로 제공될 수 있지만, 본 명세서에서 설명하는 천창은, 거더(girder) 또는 크로스바에 의해 일련의 패널로 분할되거나 분할되지 않을 수도 있는 대략 직사각형의 긴 "표준" 천창을 포함할 수 있다. 대안으로, 천창은, 침실 창문의 크기와 유사한, 즉 약 30인치×60인치(약 73cm×약 146cm)인 직사각형 또는 원형의 작은 개별적 천창들을 포함할 수 있다. 선택적으로 또는 부가하여, 천장등(114)은, 예를 들어, 둥근 등(118), 병합 등(120)과 같은 대략 원형의 등을 포함할 수 있으며, 이러한 병합 등은 단일 객체로 보이는 복수의 인접한 둥근 등 등을 포함할 수 있다. 따라서, 오버헤드 등 또는 "천장등"은, 자연 광(예를 들어, 햇빛)과 인공(예를 들어, 전동식) 광원을 포함한다. 일부 실시형태에서, 천장등은 원형 대칭인 둥근 등이고, 천창은 대략 세장형이다. 기하학적 구조에 있어서, 원형 대칭은 임의의 각도만큼 회전될 수 있고 자신에 대하여 맵핑될 수도 있는 평면 객체의 연속 대칭 유형이다.

본 명세서에서 설명되는 실시형태들은, 카메라(102)에 통신 가능하게 결합된 하나 이상의 프로세서(104)를 포함할 수 있다. 하나 이상의 프로세서(104)는, 본 명세서에 설명된 방법들 또는 기능들 중 임의의 것을 자동적으로 구현하기 위한 기계 판독가능 명령어를 실행할 수 있다. 기계 판독가능 명령어를 저장하기 위한 메모리(106)는 하나 이상의 프로세서(104), 카메라(102), 또는 이들의 임의의 조합에 통신 가능하게 결합될 수 있다. 하나 이상의 프로세서(104)는, 프로세서, 집적 회로, 마이크로칩, 컴퓨터, 또는 기계 판독가능 명령어를 실행할 수 있거나 기계 판독가능 명령어와 유사한 방식으로 기능을 실행하도록 구성된 다른 임의의 연산 장치를 포함할 수 있다. 메모리(106)는, RAM, ROM, 플래시 메모리, 하드 드라이브, 또는 기계 판독가능 명령어를 저장할 수 있는 임의의 비일시적 장치를 포함할 수 있다.

하나 이상의 프로세서(104) 및 메모리(106)는 카메라(102)와 일체형일 수도 있다. 대안적으로 또는 부가적으로, 메모리(106)와 하나 이상의 프로세서(104)의 각각은 차량(100)과 일체형일 수 있다. 또한, 메모리(106)와 하나 이상의 프로세서(104)의 각각은 차량(100) 및 카메라(102)로부터 분리될 수 있다. 예를 들어, 서버 또는 이동 연산 장치는 하나 이상의 프로세서(104), 메모리(106), 또는 이들 모두를 포함할 수 있다. 하나 이상의 프로세서(104), 메모리(106), 및 카메라(102)는 본 개시내용의 범위를 벗어나지 않고 서로 통신 가능하게 결합된 개별 구성요소들일 수도 있음을 주목한다. 이에 따라, 일부 실시형태에서, 하나 이상의 프로세서(104)의 구성요소, 메모리(106)의 구성요소, 및 카메라(102)의 구성요소는 물리적으로 서로 분리될 수 있다. 본 명세서에서 사용되는 바와 같은 "통신 가능하게 결합된"이라는 표현은, 예를 들어, 구성요소들이 도전성 매체를 통해 전기 신호, 공기를 통해 전자기 신호, 광 도파관을 통해 광학 신호 등과 같이, 데이터 신호를 서로 교환할 수 있음을 의미한다.

따라서, 본 개시내용의 실시형태들은 임의의 세대의 임의의 프로그래밍 언어(예컨대, 1GL, 2GL, 3GL, 4GL 또는 5GL)로 기입된 로직 또는 알고리즘을 포함할 수도 있다. 로직 또는 알고리즘은, 프로세서에 의해 직접 실행될 수도 있는 기계 언어로서, 또는 기계 판독가능 명령어들로 컴파일링되거나 어셈블링될 수도 있고 기계 판독가능 매체에 저장될 수도 있는, 어셈블리 언어, 객체 지향 프로그래밍(OOP), 스크립팅 언어, 마이크로 코드 등으로서 기입될 수 있다. 대안적으로 또는 부가적으로, 로직 또는 알고리즘은 하드웨어 기술 언어(HDL)로 기입될 수도 있다. 또한, 로직 또는 알고리즘은 필드 프로그래머블 게이트 어레이(FPGA) 구성 또는 주문형 집적 회로(ASIC) 또는 이들의 균등물을 통해 구현될 수 있다.

전술한 바와 같이, 차량(100)은 하나 이상의 프로세서(104)를 포함할 수 있고 또는 이러한 프로세서에 통신 가능하게 결합될 수 있다. 이에 따라, 하나 이상의 프로세서(104)는 조작자 제어부(126)의 기능을 연산하거나 대체하도록 기계 판독가능 명령어를 실행할 수 있다. 기계 판독가능 명령어는 메모리(106)에 저장될 수 있다. 이에 따라, 일부 실시형태에서, 차량(100)은 기계 판독가능 명령어를 실행하는 하나 이상의 프로세서(104)에 의해 자동으로 네비게이션될 수 있다. 일부 실시형태에서는, 차량(100)이 네비게이션될 때, 차량의 로케이션이 EBL에 의해 감시될 수 있다.

예를 들어, 차량(100)은 차량(100)의 위치파악된 위치에 기초하여 원하는 경로를 따라 창고(110)의 표면(122)을 따라 자동으로 네비게이팅할 수 있다. 일부 실시형태에서, 차량(100)은 창고(110)에 대한 차량(100)의 위치파악된 위치를 결정할 수 있다. 차량(100)의 위치파악된 위치의 결정은 화상 데이터를 맵 데이터와 비교함으로써 수행될 수 있다. 맵 데이터는 메모리(106)에 국부적으로 저장될 수 있으며, 이러한 메모리는 주기적으로 업데이트되거나 서버 등에 의해 제공되는 데이터를 맵핑할 수 있다. 위치파악된 위치 및 원하는 위치가 주어지면, 차량(100)에 대한 이동 경로가 결정될 수 있다. 일단 이동 경로가 알려지면, 차량(100)은 이동 경로를 따라 이동하여 창고(110)의 표면(122)을 네비게이팅할 수 있다. 특히, 하나 이상의 프로세서(104)는 EBL 기능을 수행하고 차량(100)을 동작시키도록 기계 판독가능 명령어를 실행할 수 있다. 일 실시형태에서, 하나 이상의 프로세서(104)는, 휠(124)의 조향을 조정하고 스로틀을 제어하여 차량(100)이 표면(122)을 네비게이션하게 할 수 있다.

이제 도 2를 참조해 보면, 전체 카메라 특징부 추출(CFE) 알고리즘(10)을 위한 기능들의 시퀀스의 흐름도가 개략적으로 도시되어 있다. 도시된 실시형태에서는 기능들이 열거되고 특정 순서로 수행되는 것으로 도시되어 있지만, 그 기능들은 본 개시내용의 범위를 벗어나지 않고 다른 순서로 수행될 수 있다는 점에 주목한다. 또한, 본 명세서에 설명되는 실시형태들의 범위를 벗어나지 않고 기능들 중 하나 이상이 생략될 수 있다는 점에 주목한다.

도 1 내지 도 3을 함께 참조하면, CFE 알고리즘(10)은, 입력 화상(200)에 대한 추가 기능을 실행하기 전에 천장(112)의 입력 화상(200)을 처리하기 위한 전처리 기능(20)을 포함할 수 있다. 입력 화상(200)은, 창고(110)의 천창(116)에 대응하는 천창(116)을 포함하는 프레임을 캡처한 것으로서 도시되어 있다. 일부 실시형태에서, 전처리 기능(20)은 입력 화상(200)으로부터 렌즈 왜곡 효과를 제거하기 위한 기능을 포함할 수 있다. 대안적으로 또는 부가하여, 입력 화상(200)은, 천창(116)을 포함할 수 있는 천장등(114)을 강조하도록 입력 화상(200)을 의도적으로 부족 노출(underexposure)함으로써 캡처될 수 있다. 저 노출은, 특징부 추출 처리를 더욱 복잡하게 만들고 신뢰성을 떨어뜨리는 반사 및 기타 가짜 아티팩트를 감소시키는 데 일조할 수 있다고 밝혀졌다.

CFE 알고리즘(10)은, 천장(112)의 입력 화상(200)으로부터 저 레벨 특징부를 검출하기 위한 특징부 검출 기능(22)을 더 포함할 수 있다. 특징부 검출 기능(22)은, 예를 들어, 최대 안정 극 영역(MSER) 알고리즘, 화상으로 미가공 특징부(즉, 등)를 추출하도록 오츠 방법(Otsu's method)과 결합된 임계화 단계, 미분 화상을 이용하는 조명-불변 저 레벨 특징부 검출기, 또는 균등 알고리즘 등의 하나 이상의 특징부 검출 알고리즘을 이용할 수 있다. 미가공 저 레벨 특징부는, 포인트, 바운딩 박스에 의해 정의된 연결 픽셀 영역 등으로 이루어질 수도 있으며, 위치파악에 충분한 특징부를 결정하기 위한 추가 처리를 위한 후보 로케이션을 나타낼 수도 있다. 특히, 입력 화상(200)으로부터 검출된 특징부는, 카메라(102)에 의해 캡처되는 천장등(114)의 위치를 결정하기 위한 위치파악 프로세스에 의해 이용될 수 있다. 예를 들어, 중심은 대략 원형의 등과 같은 둥근 조명 특징부로부터 추출될 수 있다. 또한, 작은 천창의 경우, 작은 천창의 전체 범위를 단일 화상 프레임 내에 캡처할 수 있다. 이에 따라, 둥근 등에 따라 중심 추출 기능을 적용할 수 있다. 또한 또는 대안으로, 모서리(130) 또는 포인트 고정부는, 루핑(roofing) 구조에 의해 분리된 일련의 패널로 이루어지는 긴 천창과 같은 더욱 길거나 더욱 큰 대략 직사각형의 등으로부터 추출될 수 있다.

도 1 내지 도 3을 함께 참조해 보면, 둥근 등 처리 기능(26), 병합된 등 처리 기능(28), 및 천창 처리 기능(30)에 입력될 후보 특징부 영역을 결정하기 위한 특징부 검출 기능(22) 동안, 오츠 방법을 이용한 임계화 등의 알고리즘들은, 입력 화상(200)의 창고 천장등(114)의 외관이 유사한 밝기를 갖지 않는 경우 EBL 목적에 대하여 실패할 수 있다.

오츠 방법과 같은 소정의 특징부 검출 프로세스(22)는 클래스 간(전경 및 배경 픽셀 클래스들) 편차를 최대화하는 관점에서 최적의 글로벌 화상 임계치를 발견할 수 있다. 오츠 방법은, 문헌["A threshold selection method from gray-level histograms." Automatica, 11(285-296), 23-27(1975)] 연구에 충분히 기술되어 있다. 이에 따라, 각 사이트에서 손으로 임계치를 수동으로 고정하는 것과는 대조적으로, 어느 정도의 유연성과 견고성으로 글로벌 화상 임계치를 선택할 수 있다.

오츠 방법을 사용하여 EBL 사이트에서의 임계치를 결정하면, 임계치가 각 사이트에서 천장등(114)의 밝기에 따라 가변되는 것을 확보하게 된다. 이러한 방안은, 밝기가 모두 유사한 인공 등이 있는 로케이션에서 가장 적합하다. 천창(116)에서 흔하듯이 조명 강도가 크게 변동하는 로케이션에서는, 다른 방안이 더 적합할 수도 있다. 특히, 오츠 방법 또는 유사한 방법을 사용하여 특징부를 추출하는 것은, 밝기 레벨이 서로 다른 다수의 유형의 등이 있다면 또는 입력 화상(200)의 흐린 부분에 대하여 발생하는 글로벌 화상 임계치가 부적합하고 EBL에 대한 바람직한 특징부가 누락되어 있다면 덜 최적일 수도 있다.

다시 도 2와 도 5를 참조해 보면, CFE 알고리즘(10)이 도시되어 있다. 특징부 검출 기능(22)은 조명-불변 특징부 검출부(60)를 포함하는 프로세스를 통합할 수도 있다. 이 단계는, 특징부 분류 기능(24) 및 둥근 등 처리 기능(26) 및 병합 등 처리 기능(28) 및 천창 처리 기능(30)에 전달될 후보 특징부를 검출하는 데 사용된다. 미분 화상을 이용하는 조명-불변 저 레벨 특징부 검출기(60)는, 상이한 스케일에서의 특징부 후보들을 미분 화상 공간에서의 국부 최대치로서 검출함으로써, 이러한 오츠 방법에 대해 전술한 바와 같은 화상 강도 임계화의 단점을 극복할 수 있다.

도 4a와 도 4b를 함께 참조해 보면, 천장(112)의 입력 화상(500, 502)은 EBL을 위해 오츠 방법에 의해 처리된 것으로 보일 수 있다. 도 4a에서, 화상의 좌측은 미가공 입력 화상(500)을 나타내고, 우측은 프로세서에 의해 천창(116)이 완전히 무시된 오츠 방법에 의해 추출된 특징부를 나타낸다. 도 4b에서, 우측 섹션은 미가공 입력 화상(502)에 존재하는 몇 개의 천창(116)을 도시하지만, 처리 후에는 가장 밝은 천창(116)만이 도 4의 우측에 도시된 바와 같이 검출된다. 천창(116)은, 조명 레벨이 하루 중 시간과 기상 조건에 따라 크게 변하기 때문에 가장 어려운 형태의 창고 조명(114)이다. 또한, 태양광의 광채가 장면에 걸쳐 불균일하게 확산될 수 있어서, 심지어 밝은 섹션과 어두운 섹션이 모두 있는 단일 천창(116)이 남을 수 있다.

도 2와 도 5를 함께 참조해 보면, 특징부 검출 기능(22)은 저 레벨 특징부 검출을 위한 조명-불변 특징부 검출 기능(60)을 포함할 수 있다. 예를 들어, 후보 특징부는 천창(116) 또는 둥근 등(118)으로부터 추출될 수 있다. 조명-불변 특징부 검출 기능(60)은, 조명 레벨이 매우 가변적인 천창이 많은 사이트에 대해 EBL이 견고하게 수행될 수 있게 한다. 이에 따라, 오츠 방법과 같은 이중 모드 시스템에 의존하는 대신, 조명-불변 특징부 검출 기능(60)은, 상이한 스케일에서의 등 후보 특징부(416) 및 천창 후보 특징부(426)를 미분 화상 공간에서의 국부 최대치로서 검출할 수 있다.

이제 도 5를 참조해 보면, 조명-불변 특징부 검출 기능(60)에 대한 일련의 기능들의 흐름도가 개략적으로 도시되어 있다. 도시된 실시형태에서는 기능들이 열거되고 특정 순서로 수행되지만, 그 기능들은 본 개시내용의 범위를 벗어나지 않고 다른 순서로 수행될 수 있다는 점에 주목한다. 또한, 본 명세서에 설명된 실시형태들의 범위를 벗어나지 않고 기능들 중 하나 이상이 생략될 수 있다는 점에 주목한다. 대안적으로 또는 부가적으로, 조명-불변 특징부 검출 기능(60)은 CFE 알고리즘(10)과는 독립적으로 수행될 수 있다. 예를 들어, 본 명세서에서 더욱 상세히 설명되는 조명-불변 특징부 검출 기능(60)에 대한 입력은, 상이한 시간에 수행되는 균등 프로세스를 통해, CFE 알고리즘(10)과는 다른 프로세서를 통해, 또는 이들 모두를 통해 제공될 수 있다.

도 4a, 도 4b, 도 5, 도 6, 도 9, 및 도 10을 함께 참조해 볼 때, 조명-불변 특징부 검출 알고리즘(60)은, 조명-불변 특징부 검출 알고리즘(60)에 의해 입력 화상(200)에 대한 추가 기능을 실행하기 전에 천장(112)의 입력 화상(200)을 처리하기 위한 피라미드 구축 기능(402)을 포함할 수 있다. 피라미드 구축 기능(402)은, 일부 실시형태에서 근사화된 가우스 공간 피라미드일 수도 있는 도 6에 도시된 형태의 가우스 스케일 공간 피라미드(404)를 생성하기 위해 연속적인 일련의 화상 평활화 및 서브샘플링 연산을 수행한다. 대규모 화상은 더욱 평활하게 처리된 화상이며, 가우스 블러(Gaussian blur)는 로우 패스 필터이므로, 더욱 평활하게 처리된 화상이 거칠고 큰 특징부만을 유지한다. 스케일 공간 구성은, 서브샘플링을 포함하지 않을 수도 있지만, 저 전력 하드웨어에서 실시간 구현을 위해 필요할 수도 있다. 달리 말하면, 보충 서브샘플링 연산은, 이용가능한 네비게이션 모듈 연산력의 기능으로서 조건적으로 구현될 수도 있다. 가우스 평활화 연산은, 또한, 성능의 이유로 이항 필터 커널과의 컨볼루션에 의해 근사화될 수도 있다. 구축 피라미드는, 조명-불변 특징부 검출 알고리즘(60)에 의해 필터링되고 처리되도록 근사 가우스 스케일 공간 피라미드(404)를 출력한다.

조명-불변 특징부 검출 기능(60)은, 천장등(114) 및 천창(116) 각각에 대한 스케일 공간 피라미드(404)의 크기 및 구조의 헤세 응답 피라미드(408, 418)의 궤적과 헤세의 행렬식을 계산하기 위한 미분 필터링(406)을 포함할 수 있다. 구체적으로, 미분 필터링(406)은, 천장등(114)과 천창(116)을 구별하기 위해 응답 피라미드(408, 418)를 형성한다. 미분 필터링(406)은, 천장 객체(천장등(114), 천창(116))를 포함하는 창고 천장(112)의 입력 화상(200)으로부터의 근사 가우스 스케일 공간 피라미드(404)를 입력으로서 취한다. 미분 필터링(406)은, 근사 가우스 스케일 공간 피라미드(404) 내의 각 화상에 대한 헤세 응답의 행렬식을 계산하여 헤세 응답 피라미드(408)의 행렬식을 구축하도록 적용된다. 미분 필터링(406)은, 근사 가우스 스케일 공간 피라미드(404) 내의 각 화상에 대한 헤세 응답의 궤적을 계산하여 헤세 응답 피라미드(418)의 궤적을 구축하도록 적용된다. 응답 피라미드들(408, 418)은 근사 가우스 스케일 공간 피라미드(404)와 동일한 크기 및 구조를 갖도록 계산된다. 응답 피라미드들(408, 418)은, 즉, 헤세 응답 피라미드(408)의 행렬식을 사용하여 천장등 후보(416) 및 헤세 응답 피라미드(418)의 궤적을 찾고 천창 후보(426)를 찾음으로써 천장 객체 후보를 식별하는 데 사용된다. 예를 들어, 천장등 후보들은 창고(110)에서 유효한 천장등(114)을 식별하기 위해 천장등 후보 특징부 처리를 받는다. 다른 일례로, 천창 후보들은 창고(110)에서 유효한 천창(116)을 식별하기 위해 천창 후보 특징부 처리를 받는다. 헤세 응답의 행렬식은, 천창(116)과 같은 화상(200)에서의 세장형 구조를 억제하고, 따라서 둥근 천장등(114)과 같은 원형 대칭 특징부를 식별하는 데 더 적합하다. 헤세 응답의 궤적은, 화상에서의 세장형 구조를 억제하지 않으며, 화상(200)에서 천창(116) 또는 다른 유사한 세장형 특징부를 식별하는 데 사용될 수 있다.

피라미드 구축 기능(402)에 의해 생성되는 스케일 공간 피라미드(404) 내의 각 스케일 공간 화상은 이하의 식에 도시된 바와 같이 이차 편도함수 필터 커널과 함께 컨벌루션된다.

식의 이차 편도함수 커널에 따르면, L은 스케일 공간 피라미드(404)로부터의 스케일 공간 화상이고, ＊는 미분 화상을 생성하기 위한 필터 커널과 L의 컨벌루션을 나타낸다. 이러한 3개의 미분 화상의 계산은, 아래에 도시한 바와 같은 헤세 행렬이 알려져 있음을 의미한다.

이로부터, 식에 따라 헤세 행렬의 스케일 정규화 행렬식(408) 및 궤적(418) 응답이 스케일 공간 피라미드(404)의 각 스케일 공간 화상에 대해 계산될 수 있다:

.

여기서, 현재 스케일 공간 화상의 가우스 평활화의 분산 σ² 및 표준 편차 σ에 의한 곱셈은, 결과 응답을 스케일 정규화하고 고도로 평활화된 화상에서의 크기가 감소하는 값을 설명하기 위해 필요하다. 이는 인접한 스케일 화상들로부터의 미분 응답을 직접 비교할 수 있게 한다. 행렬식(408)에서의 혼합된 이차 편도함수 LXY 항의 감산은, 종축 방향 및 횡축 방향을 따른, 즉 천창(116)과 같은 긴 객체를 따른 화상 강도 변화의 상이한 비율을 특징으로 하는 객체에 대한 응답을 억제하는 효과를 갖는다. 원형 대칭 등(118)은 양측 축에서 동일한 변화율을 가지며 강한 응답을 제공한다. 이러한 이유로, 헤세 응답의 행렬식(408)은 도 5에 도시된 바와 같이 둥근 등 후보 특징부(416)를 찾는 데 사용된다. 대안적으로 또는 부가하여, 헤세 궤적(418)은, 원형 대칭 블롭(blob) 및 긴 융기형 블롭 모두에 응답하므로, 천창 후보 영역을 찾는 데 사용될 수 있다.

도 5, 도 7, 및 도 9를 함께 참조하면, 조명-불변 특징부 검출 기능(60)은, 둥근 등(118) 검출을 위한 멀티스케일 비최대 억제 기능(410)을 포함할 수 있다. 여기서, 검출은 표준 컴퓨터 비전 관심 포인트 검출기와 유사하다. 구체적으로, 국부 최대치는 스케일 및 공간 차원에서 3×3×3 윈도우(440) 내에 위치한다. 이에 따라, 행렬식 화상의 각 픽셀(532)에 대해, 현재 및 인접하는 스케일 화상들의 3×3 픽셀 영역들에서 26개의 이웃과 비교할 때 최대치가 아닌 모든 포인트가 억제된다. 도 7은 이러한 3×3×3 윈도우를 도시한다. 명확하게 하기 위해, 거친 스케일 화상 이웃이 작은 크기/해상도를 갖는다면 스케일 공간의 피라미드 구현에 사용되는 서브샘플링 연산이 정확한 스케일 이웃을 찾을 수 없음을 의미한다는 점에 주목한다. 또한, 과도한 잡음있는 긍정 오류 응답을 방지하기 위해 절대 최소 임계치가 적용된다. 도 7에 도시된 바와 같이, 윈도우(530) 내의 국부 최대 픽셀(534)은, 스케일 및 공간에 있어서 이웃 픽셀들(532)에 대해 최대이라면 헤세 응답의 행렬식에서 국부 최대치로서 유지된다.

도 9를 참조해 보면, 조명-불변 특징부 검출 기능(60)은, 임계치를 만족시키지 않는 천장등과 같은 천장등에 대응하지 않을 가능성이 있는 후보 포인트를 제거하기 위한 키포인트 필터링 기능(412)을 포함할 수 있다. 멀티스케일 비최대 억제 기능(410)에도 불구하고, 다수의 후보 포인트가 리턴될 수 있으며, 임계치가 너무 낮게 설정되고 희미한 등을 고르는 경우, 수백 개가 리턴될 수 있다. 이 세트를 실제로 천장등에 해당하는 것까지 필터링할 필요가 있다. 특히, 헤세 값의 음의 궤적을 갖는 헤세 최대치의 모든 행렬식은, 등을 나타내는, 어두운 배경 상의 밝은 블롭에 대응하므로 유지되며, 어두운 블롭에 대응하는 양의 값을 갖는 것은 제거된다는 점에 주목한다. 이어서, 키포인트 필터링 기능(412)은 경험적으로 설정된 임계치를 검사하기 위해 후보 포인트에 대해 다른 여러 필터를 사용할 수도 있다. 여기에는, 키포인트가 검출된 스케일, 키포인트의 공간적 로케이션, 키포인트 로케이션에서의 행렬식 값의 크기, 및 주변 영역의 헤세 값들의 소정의 평균 궤적이 포함될 수도 있다. 대안적으로 또는 부가하여, 통계적 및 기계 학습 기술을 사용하는 훈련된 분류자를 이용할 수도 있다. 이러한 분류자는 상술한 특성을 특징부 디스크립터로서 사용할 수도 있고, 또는 대안적으로 또는 부가하여, 유사 하르(Haar-like) 특징부, 그라디언트의 히스토그램 등의 다른 확립된 특징부 디스크립터를 이용할 수도 있다.

도 9를 참조해 보면, 조명-불변 특징부 검출 기능(60)은, 천장등으로 여겨지는 키포인트의 공간 위치 및 스케일을 개선하기 위한 키포인트 개선 기능(414)을 포함할 수 있다. 구체적으로, 이것은 x, y 및 스케일 차원의 각각에 대해 이차 보간을 사용하여 행해질 수 있으며, 그 세부 사항은 컴퓨터 비전 특징부 검출 기술을 통해 얻어질 수도 있다. 키포인트 개선 기능(414)은 CFE 알고리즘(10)에 의한 추가 처리를 위해 천장등 후보 특징부(416)를 출력한다.

도 10을 참조해 보면, 조명-불변 특징부 검출 기능(60)은, 궤적 응답 피라미드(418)로부터의 궤적 응답 화상들의 선택을, 천창(116) 영역들이 내부에서 검색되는 통합된 궤적 응답 화상으로 합산하기 위한 헤세 화상의 대규모 궤적 합 기능(420)을 포함할 수 있다. 천창 검출은 천장 조명 후보 특징부(416)를 출력하는 데 사용되는 포인트/등 후보 검출 프로세스와 같은 크로스-스케일 검색으로 이루어질 수 있음을 고려할 수 있다. 스케일 공간 라인 또는 리지를 결정하는 것은 단일 포인트를 결정하는 것보다 복잡하다. 다수의 거친 스케일 궤적 화상의 병합(천창(116)이 일반적으로 둥근 천장등(118)보다 훨씬 큰 특징부이기 때문에 거친 스케일)은, 천창 크기의 일부 변동을 고려하는 데 일조하며 결국 남아 있는 처리를 전체 피라미드(418) 대신 단일 화상 처리 문제까지 간략화한다.

도 10을 참조해 보면, 조명-불변 특징부 검출 기능(60)은, 궤적 응답(418)을 추가 처리하기 위한 궤적 응답 임계치 통합 기능(422)을 포함할 수 있다. 구체적으로, 궤적 응답(418)은 평활화되고, 임계치가 적용된다. 임계치는 고정될 수도 있고 또는 고정되지 않을 수도 있음을 고려할 수 있다. 도 8a, 도 8b, 및 도 10을 함께 참조하면, 조명-불변 특징부 검출 기능(60)은, 연결된 성분들을 추출하고 필터링하기 위한 연결된 성분 필터링 기능(424)을 포함할 수 있다. 연결된 성분들은, 헤세 화상의 이진 임계화된 통합 궤적으로부터 추출될 수 있고, 대략 직사각형의 영역을 선택하기 위해 크기 및 종횡비, 또는 다른 적절한 특성에 대해 필터링될 수도 있다. 일부 실시형태에서, 헤세 응답의 궤적은, 헤세 응답 화상의 이진 임계화된 통합 궤적으로부터 추출되는 연결된 성분들을 추출 및 필터링하기 위한 연결된 성분 필터링(424) 기능에 이용된다.

필터링 기준을 통과하는 대략 직사각형의 영역은, 관심 있는 배향된 바운딩 박스 영역(426)에 의해 표현될 수 있고, 기존의 프로세스 천창 알고리즘(30) 및 포인트 픽스 추출 알고리즘(40)으로 전달될 것이다. 또한, 등 후보들과 천창 후보들 간의 추가 확인 또는 필터링이 긍정 오류를 제거하기 위한 필터링 후에 이용될 수도 있음을 고려할 수 있다. 도 4a의 입력 화상(500)은, 도 8a에서 조명-불변 특징부 검출 기능(60)에 의해 처리된 것으로 도시되어 있다. 특징부 후보들은 조명-불변 특징부 검출 기능(60) 없이 훨씬 높은 감도로 검출되었다. 마찬가지로, 도 4b의 입력 화상(502)은, 도 8b에서 조명-불변 특징부 검출 기능(60)에 의해 처리된 것으로 도시되어 있다. 다시, 특징부 후보들에 대한 검출의 감도가 증가하였다.

도 2, 도 6, 및 도 9를 함께 참조해 보면, 조명-불변 특징부 검출기(60)로서 구현될 수도 있는 특징부 검출 기능(22)의 완료시, 저 레벨 후보 특징부(416, 426)는, 예를 들어, 둥근 등 처리 기능(26) 및 천창 처리 기능(30)에 의해 추가 처리를 위해 이용가능하게 된다. 일부 실시형태에서, 특징부 분류 단계(24)는, 병합된 등과 같은 기타 천장등 유형(114)에 대응하는 저 레벨 후보 특징부들을 더 구별하기 위해 이용될 수도 있다. 또한 또는 대안으로, 특징부 분류 단계(24)는, 반사에 의해 야기되는 후보 등의 바람직하지 않은 긍정 오류 특징부 후보들을 잡음있는 클래스로서 분류한 후 추가 처리를 위한 컨텐션(contention)으로부터 폐기하는 데 이용될 수도 있다. 특징부 분류 단계(24)는, 통계 및 기계 학습 기술을 사용하는 훈련된 분류자로서 구현될 수도 있으며, 키포인트 필터링 기능(412)에 대해 설명된 분류자 프로세스를 통합하거나 이러한 프로세스에 더하여 존재할 수도 있다.

도 3, 도 10, 도 11, 및 도 12를 함께 참조해 보면, 천창 처리 기능(30)에 대한 기능들의 시퀀스의 흐름도가 개략적으로 도시되어 있다. 도시된 실시형태에서는 기능들이 열거되고 특정 순서로 수행되지만, 그 기능들은 본 개시내용의 범위를 벗어나지 않고 다른 순서로 수행될 수 있다는 점에 주목한다. 천창 처리 기능(30)으로의 입력은 배향된 바운딩 직사각형의 형태로 된 천창 후보 영역(426)일 수 있다. 천창 후보 영역(426)은 조명-불변 특징부 검출 알고리즘(60)에 의해 위치될 수 있다. 천창 처리 기능(30)으로부터의 출력은, 중심선 특징부, 및 대안적으로 또는 부가하여 천창 패널 모서리(130) 또는 포인트 픽스 특징부로 이루어질 수도 있는 천창 특징부일 수 있다. 이러한 천창 특징부들은, 궁극적으로 창고(110) 내의 차량(100)의 위치를 결정하기 위해 EBL 위치파악 알고리즘의 나머지에 보고된 특징부들(54)의 세트의 일부를 형성할 수도 있다.

도 11 내지 도 15를 함께 참조해 보면, 천창 처리 기능(30)은, 배향된 바운딩 박스(426)를 이진 에지 화상(436)으로 변환하기 위한 에지 화상 생성 기능(32)을 포함할 수 있다. 배향된 바운딩 박스는, 조명-불변 특징부 검출 알고리즘(60)에 의해 위치된 천창 후보 영역(426)이며, 임의의 각도로 배향될 수도 있다. 에지 화상 생성 기능(32)은, 바운딩 박스(426)를 이진 에지 화상(436)으로 반복적으로 변환할 수 있는 임의의 알고리즘을 포함할 수 있다. 일 실시형태에서, 축 정렬된 바운딩 박스(438)는 도 11에 도시된 바와 같은 후보 영역인 배향된 바운딩 직사각형(426)에 끼워진다. 축 정렬된 바운딩 박스(438)는, 배향된 바운딩 박스(426)의 4개의 모서리를 포함하는 가장 작은 축 정렬된 직사각형이다. 각각의 축 정렬된 바운딩 박스(438)는, 초기 풀 사이즈 화상을 각 천창 후보 영역(426)마다 하나씩 일련의 작은 화상으로 자르는 데 사용될 수 있다. 전체 크기 화상 대신 하위 화상을 사용하면, 후속 화상 처리 동작에서 처리될 픽셀의 수를 감소시킴으로써 계산 효율을 개선하는 데 일조한다. 이어서, 각각의 하위 화상은 이진 에지 화상(436)으로 변환된다. 이진 에지 화상(436)은 허프(Hough) 변환 알고리즘에 입력하는 데 적합한 형태이다. 에지 화상(436)은, 캐니(Canny) 에지 검출 알고리즘을 사용하여 생성되지만, 이진 에지 화상(436)을 생성하기 위한 균등 방법으로 생성될 수도 있다.

일부 실시형태에서, 입력 화상(200)의 상당 비율을 가로질러 연장되는 천창(116)으로부터 검출되는 긴 바운딩 박스(426)가 에지 화상 생성 기능(32)의 실행 전에 2개 이상의 바운딩 박스(426)로 분할되는 경우, 에지 화상(436)의 품질에 유리할 수도 있다. 예를 들어, 캐니 에지 검출 알고리즘의 경우, 그 길이에 걸쳐 천창(116)의 밝기에 현저한 변동이 있으면, 양호한 에지 화상(436)을 생성하는 데 저 임계치 및 고 임계치가 적합하지 않을 수도 있다. 큰 바운딩 박스(426)를 2개 이상의 작은 바운딩 박스로 분할함으로써, 에지 생성 기능(32)에서의 후속 처리의 국부성을 개선한다.

도 2, 도 3, 및 도 11을 함께 참조해 보면, 일부 실시형태에서, 입력 화상(200)의 x 및 y 그라디언트 화상은, 소벨(Sobel) 연산자 등의 일차 미분 연산자를 사용하여 에지 화상 생성(32) 중에 계산될 수 있다. 이러한 그라디언트 화상은, 캐니 에지 검출 알고리즘에 필요하지만, 대안적으로 또는 부가하여, 천창 처리 기능(30) 또는 CFE 알고리즘(10)의 후속 단계에서 필터링 연산을 포함하지만 이에 한정되지 않는 연산을 처리하는 데 사용하기 위해 보존될 수도 있는 배향 화상 및 그라디언트 크기를 계산하는 데 사용될 수 있다. 예를 들어, 그라디언트 크기 및 배향 화상은, 허프 변환 라인 추출 기능(34)에서 검출된 라인의 강도 및 방향에 대한 추론에 사용될 수 있으며, 그 안에서 부정확하거나 또는 바람직하지 않은 라인을 제거하는 데 일조한다.

도 11 내지 도 16a를 함께 참조해 보면, 천창 처리 기능(30)은, 이진 에지 화상(436)으로부터 에지 라인(434)을 결정하기 위한 허프 변환 라인 추출 기능(34)을 포함할 수 있다. 각각의 에지 화상(436)은 에지 라인 세그먼트(434)를 찾기 위해 허프 변환 라인 추출 기능(34)에 의해 처리된다. 에지 화상(436)에 대응하는 천창 후보 영역(426)은, 추출 기능(34)이 천창(116)의 종축 방향 에지를 따라 에지 라인(434)을 리턴하도록 허프 변환을 설정하는 것을 돕는 데 사용될 수 있다. 특히, 천창 후보 영역들(426)의 긴 에지들의 각도가 계산될 수 있고, 이 각도에 대한 제한된 범위는, 이진 화상 마스크를 생성하기 위해 그라디언트 배향 화상에서 임계화될 수 있다. 마스크는, 원하는 종축 방향 에지 라인과 매우 다른 그라디언트 배향을 갖는 에지 상의 픽셀이 억제되고 허프 변환에 입력되지 않도록 이진 에지 화상(436)에 적용될 수 있다. 이는 허프 변환의 투표 단계에서 처리해야 할 픽셀이 적으므로 계산 효율을 증가시키며, 또한, 예를 들어, 필요한 라인에 대하여 대략 수직 배향되는 라인을 억제하고 이에 따라 허프 변환 기능(34) 후에 추가 라인 필터링 단계의 필요성을 줄임으로써 출력 라인의 품질을 개선한다. 대안적으로 또는 부가하여, 각 픽셀이 허프 변환에서 투표되는 각도 범위는 천창 후보 영역(426)의 배향 각도의 지식을 사용하여 설정될 수 있으며, 이는 또한 계산 효율을 향상시키고 불필요한 라인을 제거하는 데 일조한다. 도 14a는 전술한 각도 범위 제한을 갖는 허프 변환에 의해 리턴되는 라인 세그먼트들의 가능한 세트를 도시하며, 천창 패널 분리시 대략 수직 배향으로 된 라인 세그먼트들이 검출되지 않았다는 점에 주목한다. 또한, 허프 변환은, 도 14a의 짧은 라인이 제거된 도 14b에 도시된 바와 같이, 소정의 길이를 넘는, 예를 들어, 후보 영역 바운딩 직사각형(426)의 길이의 설정된 일부를 넘는 라인만을 리턴하도록 설정될 수 있다.

천창 처리 기능(30)은, 허프 변환 라인 추출 기능(34)에 의해 추출되는 천창 에지 라인 세그먼트(434)를 입력으로서 취하고 중심라인(250)을 결정하도록 나중에 사용될 수 있는 이러한 종방향 에지 라인 세그먼트(434)의 쌍을 각 천창(116)마다 선택하는 천창 에지 쌍 형성 기능(36)을 포함할 수 있다. 일 실시형태에서는, 쌍 천창 에지 기능(36)의 결과가 도 15에 도시되어 있다. 종방향 에지 쌍 형성 기능(36)은, 가장 강한 라인(434)을 제1 에지로서 선택한 후, 천창 후보 영역(426)의 폭과 유사한 각도 및 거리에서 유사한 쌍 라인 세그먼트(434)를 위치파악하려고 한다.

이 방법은, 때때로 잘못된 결과를 리턴할 수도 있는데, 예를 들어, 도 14b의 가장 오른쪽의 가장 긴 에지 세그먼트(434)가 제1 에지 세그먼트(246)로 간주되면, 천창의 중간을 따라 대략 평행한 라인들 중 하나에 부정확하게 매칭될 수도 있다고 밝혀졌다. 예를 들어, 도 14a 내지 도 15에 도시된 바와 같이 천창의 파손된 외관을 야기하는 폐색과 같은 현상 및 서로 다른 창고(110) 내부 및 이들 창고를 가로지르는 천창들(116)의 관측 크기의 차이로 인해, 항상 정확한 제2 쌍 에지 세그먼트를 선택하도록 파라미터들을 조정하는 것이 어려울 수도 있다. 대체 실시형태에서, 배향된 바운딩 박스들(436)(즉, 천창 후보 영역들)은, 화상에서의 천창 로케이션의 충분히 정확한 지시자로 가정될 수도 있고, 라인 세그먼트 쌍으로 형성 프로세스를 유도하는 데 사용될 수도 있다. 구체적으로, 직사각형 배향된 바운딩 박스(426)의 긴 에지의 각각에 대해, 허프 변환 라인 추출 기능(34)에 의해 추출된 대응하는 후보 라인 세그먼트(434)는 거리에 의해 가장 가까운 것부터 가장 먼 것으로의 순서로 정렬될 수 있으며, 여기서, 거리는, 배향된 바운딩 박스(426)의 긴 에지의 중간 포인트와 현재 후보 라인 세그먼트(434)와의 배향된 바운딩 박스(426)의 긴 에지에 수직이며 이러한 긴 에지의 중간 포인트를 통한 라인의 교차점 간의 거리로서 정의될 수도 있다. 이어서, 천창 후보 배향된 바운딩 박스(426)의 각각의 긴 에지 세그먼트에 대해, 각각의 우승 후보 라인 세그먼트(434)는 최소 거리를 갖는 것으로서 선택될 수 있다. 승리 라인 세그먼트에 대한 소정의 작은 거리 임계치 내에 다수의 라인 세그먼트(434)가 있는 경우에, 에지 화상 생성 기능(32) 단계에서 계산 및 보존되는, 그라디언트 크기 화상을 이용하는 비최대 억제 루틴이 수행될 수도 있으며, 이때, 가장 큰 평균 그라디언트 크기를 갖는 라인 세그먼트(434), 또는 대안적으로 또는 부가하여, 라인을 따른 가장 큰 누적 그라디언트 크기가 선택된다. 본 실시형태에서, 종방향 에지 쌍 형성 기능(36)은, 도 15에 도시된 바와 같이 최외측 에지 세그먼트들을 일관되게 선택하고 쌍 형성할 가능성이 높다.

도 2, 도 11, 및 도 14a 내지 도 16b를 함께 참조해 보면, 천창 처리 기능(30)은, 종방향 에지 쌍 형성 기능(36)에 의해 선택되는 2개의 에지 라인으로부터 각 천창(116)의 중심라인(250)을 계산하기 위한 중심라인 계산 기능(38)을 포함할 수 있다. 구체적으로, 에지 쌍 형성 기능(36)에 의해 선택되는 제1 에지 라인(246)과 제2 에지 라인(248)은 각각의 천창(116)에 대하여 중심라인(250)을 도출하는 데 이용될 수 있다.

중심라인(250)은 제1 에지 라인(246)과 제2 에지 라인(248)에 기초하여 계산될 수 있다. 명료성을 위해, 제1 에지 라인(246)과 제2 에지 라인(248)의 각각 및 형성되는 중심선(250)은 라인 세그먼트(도 9B)로서 또는 무한 라인(도 9A)으로서 특정될 수 있다는 점에 주목한다. 중심라인을 찾는 방법은 어느 경우든 유사한데, 제1 에지 라인(246)과 제2 에지 라인(248)이 라인 세그먼트로서 제공된다면, 이들 에지 라인은 외삽되고 무한 라인으로서 처리될 수 있다.

도 2, 도 11, 도 17, 및 도 18을 함께 참조해 보면, 상세히 전술한 바와 같이, 천창(116)을 갖는 천장(112)의 입력 화상(240)이 제공될 수 있다. 천창(116)은 도 17과 도 18에서 명료성을 위해 검출된 미가공 천창 특징부의 경계로서 표현된다는 점에 주목한다. 입력 화상(240)은, 천창(116)의 제1 에지 라인(246)과 제2 에지 라인(248)을 결정하도록 분석될 수 있다. 예를 들어, CFE 알고리즘(10), 구체적으로, 종방향 에지 쌍 형성 기능(36)까지의 단계적 천창 처리 기능(30)은, 입력 화상(240)으로부터 제1 에지 라인(246)과 제2 에지 라인(248) 및 연관된 단부 포인트를 추출하는 데 이용될 수 있다. 제1 에지 라인(246)과 제2 에지 라인(248)은 도 18에서 천창(116) 상에 겹쳐진 것으로서 도시되어 있다. 제1 에지 라인(246)과 제2 에지 라인(248)은 천창(116)을 따라 종방향으로 연장되는 종방향 에지 라인 세그먼트일 수 있다. 제1 에지 라인(246)과 제2 에지 라인(248)은, 도시된 종방향 세그먼트를 넘어 외삽되는 경우, 도 17의 입력 화상(240)으로부터 벗어난 위치하는 소실 포인트(252)에서 수렴할 수 있다. 특히, 제1 에지 라인(246)은 제1 에지 라인(246)과 정렬되는 제1 외삽 선(extrapolating ray; 254)에 의해 연장될 수 있다. 제2 에지 라인(248)은 제2 에지 라인(248)과 정렬되는 제2 외삽 선(256)에 의해 연장될 수 있다. 제1 외삽 선(254)과 제2 외삽 선(256)의 각각은 제1 에지 라인(246)과 제2 에지 라인(248)의 수렴을 나타내도록 적어도 소실 포인트(252)까지 연장될 수 있다.

천창(116)의 중심라인(250)은 제1 에지 라인(246)과 제2 에지 라인(248) 사이에 배치될 수 있다. 일부 실시형태에서, 중심라인(250)은, 제1 에지 라인(246)과 제2 에지 라인(248)을 이등분하는 각도로 제1 에지 라인(246)과 제2 에지 라인(248)의 소실 포인트(252)에서 시작되는 연속 라인으로서 표현될 수 있다. 구체적으로, 제1 에지 라인(246)과 제2 에지 라인(248)은 각도 φ로 서로에 대해 배향될 수 있다. 이에 따라, 중심라인(250)의 각도는 제1 에지 라인(246) 또는 제2 에지 라인(248)으로부터 측정된 각도 φ의 약 절반일 수 있다. 제1 외삽 선(254)과 제2 외삽 선(256)은 여기서 주로 소실 포인트(252)의 로케이션을 명확히 하기 위해 제공된다는 점에 주목한다. 이에 따라, 기술된 실시형태들은 소실 포인트(252)를 결정하기 위해 이러한 선들을 사용할 필요가 없다는 것을 이해해야 한다. 실제로, 제1 에지 라인(246)과 제2 에지 라인(248)으로부터 직접 소실 포인트(252)의 로케이션을 결정하는 것이 바람직할 수도 있다.

도 17 내지 도 19a를 함께 참조해 보면, 전술한 바와 같이 무한 라인의 형태로 된 천창(116)의 중심라인(250)은, 위치파악, 및 대안적으로 또는 부가하여 차량(100)의 네비게이션을 보조하기 위한 특징부로서 EBL에 직접 보고될 수 있고, 또는 대안적으로 또는 부가하여, 중심라인 세그먼트로 변환될 수 있다. 도 19a를 참조해 볼 때, 제1 에지 라인 세그먼트(246)의 제1 단부 포인트(260)와 제2 단부 포인트(262)는 도 18의 중심라인(250)의 무한 라인 표현 상에 투영될 수 있다. 마찬가지로, 제2 에지 세그먼트(248)의 제1 에지 포인트(264)와 제2 에지 포인트(266)는 중심라인(250) 상에 투영될 수 있다. 제1 에지 라인(246)의 돌출된 단부 포인트와 제2 에지 라인(248)의 돌출된 단부 포인트는 소실 포인트(252)에 대한 근접에 기초하여 쌍으로 형성될 수 있다. 구체적으로, 소실 포인트(252)에 가장 가까운 투영된 단부 포인트, 경우, 제1 에지 라인(246)의 제1 단부 포인트(260)와 제2 에지 라인(248)의 제1 단부 포인트(264)의 투영부들은, 쌍으로 형성될 수 있고, 중심라인 세그먼트(250)의 일 단부의 경계를 정하는 제1 단부 포인트(282)를 찾도록 평균화될 수 있다. 이에 따라, 소실 포인트(252)까지의 가장 먼 투영된 단부 포인트들, 이 경우, 제1 에지 라인(246)의 제2 단부 포인트(262)와 제2 에지 라인(248)의 제2 단부 포인트(266)의 돌출부들은, 쌍으로 형성될 수 있고, 중심라인 세그먼트(250)의 타 단부의 경계를 정하는 제2 단부 포인트(284)를 찾도록 평균화될 수 있다.

도 16b를 참조해 보면, 도 3에 도입된 예시적인 화상(200)에 대한 중심라인 계산 기능(38)을 위해 전술한 프로세스의 결과가 도시되어 있다. 중심라인(250)은 쌍으로 된 단부 포인트들로부터 결정될 수 있다. 구체적으로, 중심라인(250)은 제1 단부 포인트(282)와 제2 단부 포인트(284)에 의해 경계가 정해지는 라인일 수 있다. 중심라인(250)의 제1 단부 포인트(282)는, 전술한 바와 같이 쌍을 이룰 수 있는, 제1 에지 라인(246)의 제1 단부 포인트(260) 및 제2 에지 라인(248)의 제1 단부 포인트(264)로부터 결정될 수 있다. 중심라인(250)의 제2 단부 포인트(284)는, 역시 쌍으로 될 수 있는, 제1 에지 라인(246)의 제2 단부 포인트(262) 및 제2 에지 라인(248)의 제2 단부 포인트(266)로부터 결정될 수 있다. 일부 실시형태에서, 중심라인(250)의 제1 단부 포인트(282)와 제2 단부 포인트(284)는, 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트들의 각 쌍들의 각각을 평균함으로써 결정될 수 있다.

도 16a와 도 16b를 함께 참조해 보면, 중심라인(250), 제1 에지 라인(246), 제2 에지 라인(248), (무한 라인에 대한) 대응하는 허프 좌표, (라인 세그먼트에 대한) 대응하는 단부 포인트, 또는 천창 후보 영역들(426)의 각각의 이들의 조합은 천창들(116) 중 하나에 연관될 수 있고, EBL은, 차량의 네비게이션을 위한 특징부를 제공하는 데 이용될 수 있고 또는 EBL에 통신 가능하게 결합된 디스플레이에 의해 제시될 수 있다. 차량에 의해 네비게이션되고 있는 특정 사이트에 따라 CFE 알고리즘의 각 기능에 대해 구성될 수 있는 다수의 파라미터(예를 들어, 임계치)가 있음에 주목한다. 이에 따라, 본 명세서에서 설명되는 실시형태들은 파라미터에 대한 정확한 값을 결정하기 위한 교정 단계를 더 포함할 수 있다.

도 1, 도 17, 및 도 19a를 함께 참조해 보면, 본 명세서에 설명되는 실시형태들은 다양한 유형 및 양의 천장등(114)을 갖는 환경에서 이용될 수도 있다. 예를 들어, 창고(110)의 천장(112)은 네비게이션용 특징부로서 사용하기 위한 불충분한 개수의 둥근 등(118) 또는 병합된 등(120)을 가질 수 있다. 예를 들어, 입력 화상(240)은 둥근 등(118) 또는 병합된 등(120)을 포함하지 않을 수도 있다. 둥근 등(118) 또는 병합된 등(120)으로부터 추출된 상보적 포인트 특징부들이 누락된 특징부 세트가 제공될 때 EBL이 감소된 정확성을 가질 수도 있다는 것이 밝혀졌다. 즉, 천창(116)으로부터 추출된 중심라인(250)은 차량(100)의 위치파악을 완전히 제한하지 못하여 부정확한 해결책을 야기할 수도 있다. 예를 들어, EBL은, 차량(100)이 중심라인(250)을 따라 얼마나 멀리 위치하고 있는지를 정확하게 결정하지 못할 수도 있다.

도 1과 도 11을 함께 참조해 보면, 천창(116)은, 천장(112)의 섹션을 이을 수 있고, 행(128)을 따라 대략 배열될 수 있다. 일부 실시형태에서, 천창 처리 기능(30)은, 천창(116)으로부터 중심라인 특징부를 EBL 특징부로서 추출하는 것에 더하여, 천창 처리 기능(30)이 포인트 픽스 특징부를 추출하기 위한 포인트 픽스 기능(40)을 더 포함할 수 있도록 수정될 수 있다. 예를 들어, 포인트 픽스 특징부는 천창(116)의 모서리(130)로부터 추출될 수 있다. 포인트 픽스 기능에 의해, 천창이 많고 둥근 등이 드문 사이트에 대하여 EBL이 정확하게 수행될 수 있다. 이에 따라, 결정에 이어서 중심라인 특징부(250)를 EBL에 직접 보고하는 것 대신, 천창 처리 기능(30)은 중심라인 및 에지 라인 특징부를 입력으로서 사용하여 포인트 픽스 특징부를 추출할 수 있다.

이제 도 20을 참조하면, 포인트 픽스 기능(40)에 대한 기능들의 시퀀스의 흐름도가 개략적으로 도시되어 있다. 도시된 실시형태에서는 기능들이 열거되고 특정 순서로 수행되지만, 그 기능들은 본 개시내용의 범위를 벗어나지 않고 다른 순서로 수행될 수 있다는 점에 주목한다. 특히, 일부 실시형태에서, 각도 필터링 기능(306) 및 길이 필터링 기능(310)의 순서를 전환하는 것이 바람직할 수도 있다. 일부 실시형태에서, 각도 필터링 기능(306)은 교차 기능(308) 전에 수행될 수 있다. 또한, 본 명세서에 설명되는 실시형태들의 범위를 벗어나지 않고 기능들 중 하나 이상이 생략될 수 있다는 점에 주목한다. 특히, 각도 필터링 기능(306), 길이 필터링 기능(310), 또는 각도 필터링 기능(306)과 길이 필터링 기능(310) 모두가 생략될 수 있다. 또한, 관심 영역 기능(302)은 본 명세서에 설명되는 실시형태들의 범위를 벗어나지 않고 생략될 수 있다는 점에 주목한다. 대안적으로 또는 부가하여, 포인트 픽스 기능(40)은 CFE 알고리즘(10) 및 천창 처리 기능(30)과는 독립적으로 수행될 수 있다. 예를 들어, 본 명세서에서 보다 상세하게 설명되는 포인트 픽스 기능(40)에 대한 입력은, 다른 시간에, 포인트 픽스 기능(40)으로서 다른 프로세서를 통해, 또는 이들 모두를 적용하여 수행되는 균등 프로세스를 통해 제공될 수 있다.

도 11, 도 19a, 및 도 20을 함께 참조하면, 단계(300)에서, 포인트 픽스 기능(40)은, 예를 들어 제1 에지 라인(246), 제2 에지 라인(248), 천창(116)의 중심라인(250), 또는 이들의 조합과 같은 입력 특징부를 수신할 수 있다. 전술한 바와 같이, 제1 에지 라인(246), 제2 에지 라인(248), 중심라인(250)의 각각은 라인 세그먼트로서 제공될 수 있다. 이에 따라, 제1 에지 라인(246)은 제1 단부 포인트(260) 및 제2 단부 포인트(262)에 의해 경계지어질 수 있다. 제2 에지 라인(248)은 제1 단부 포인트(264) 및 제2 단부 포인트(266)에 의해 경계지어질 수 있다. 중심라인(250)은 제1 단부 포인트(282) 및 제2 단부 포인트(284)에 의해 경계지어질 수 있다.

도 11, 도 18, 및 도 20을 함께 참조하면, 제1 에지 라인(246), 제2 에지 라인(248), 및 중심라인(250)의 각각은 라인 세그먼트로서 제공될 수 있다. 일부 실시형태에서, 천창(116)의 제1 에지 라인(246), 제2 에지 라인(248), 중심라인(250), 및 소실 포인트(252)는 중심라인 계산 기능(38)이 수행된 후에 천창 처리 기능(30)에 의해 제공될 수 있다. 대안적으로 또는 부가하여, 천창(116)의 제1 에지 라인(246), 제2 에지 라인(248), 중심 라인(250), 및 소실 포인트(252)는 별도의 프로세스를 통해 제공될 수 있고 직접 입력으로서 제공될 수 있다.

도 19a 내지 도 20을 함께 참조하면, 포인트 고정 기능(40)은, 포인트 픽스 특징부를 결정하기 위해 천창(116)의 사용 가능한 부분을 선택하기 위한 관심 영역 기능(302)을 포함할 수 있다. 관심 영역 기능(302)은 포인트 픽스 기능(40)의 정확도 및 효율을 증가시키는 데 이용될 수 있다. 예를 들어, 상대적으로 높은 천장 높이와 긴 행의 등이 있는 사이트에서는, 추출된 중심라인이 전체 화상에 걸쳐 등의 중심에 맞지 않을 수도 있다고 밝혀졌다. 이러한 오류는, 카메라 렌즈로 인한 화상 왜곡, 추출된 중심라인을 계산하기 위한 에지 세그먼트의 불량한 선택, 또는 이들 모두로 인해 발생할 수도 있다. 또한, 관심 영역 기능(302)을 갖는 천창(116)의 영역을 제한함으로써 포인트 픽스 기능(40)의 정확도가 증가될 수 있다고 밝혀졌다.

일반적으로, 관심 영역(258)은 천창(116)의 사용 가능한 부분과 일치하도록 설정될 수 있으며, 즉, 관심 영역(258)에 의해 한정된 영역은 천창(116)의 서브세트를 포함한다. 일부 실시형태에서, 관심 영역(258)은 중심라인(250)을 기준으로서 사용하여 결정될 수 있다. 구체적으로, 중심라인(250)은 관심 영역(258)을 결정하기 위한 축방향 데이터로서 이용될 수 있다. 예를 들어, 관심 영역(258)은, 중심라인(250)과 축 정렬되고 가장 큰 영역을 바인딩하는 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트들에 의해 경계지어지는 바운딩 박스에 의해 생성될 수 있다. 이에 따라, 관심 영역(258)은, 제1 에지 라인(246)의 제2 단부 포인트(262)와 제2 에지 라인(248)의 제1 단부 포인트(264)에 의해 경계지어질 수 있으며, 이때, 관심 영역(258)의 대향하는 모서리들은, 제1 에지 라인(246)의 제2 단부 포인트(262)와 제2 에지 라인(248)의 제1 단부 포인트(264)에 대하여 설정된다.

대안적으로 또는 부가하여, 관심 영역(258)보다 제한적인 관심 영역(259)은 중심라인(250)을 기준으로서 사용하여 결정될 수 있다. 구체적으로, 중심라인(250)의 제1 단부 포인트(282)와 제2 단부 포인트(284)는, 교점(286)을 생성하기 위해 제1 에지 라인(246)과 제2 에지 라인(248) 상에 투영될 수 있다. 선택적으로, 제1 에지 라인(246)과 제2 에지 라인(248)은 교점(286)을 결정하기 위해 외삽될 수 있다. 이에 따라, 관심 영역(259)은 교점들(286) 중 하나 이상에 의해 경계지어질 수 있다. 구체적으로, 관심 영역(259)의 대향하는 모서리들은, 가장 큰 영역을 갖게 하는 교점(286), 가장 작은 영역을 갖게 하는 교점(286), 또는 교점(286) 각각이 관심 영역(259)과 일치하게 하는 교점(286) 등의 교점들(286) 중 임의의 두 개에 대하여 설정될 수 있지만, 이러한 예로 한정되지 않는다.

도 18과 도 19b를 함께 참조하면, 관심 영역(258)은 소실 포인트(252), 제1 에지 라인(246), 및 제2 에지 라인(248)을 사용하여 결정될 수 있다. 예를 들어, 관심 영역(258)은, 소실 포인트(252)에 대한 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트들 사이의 거리를 계산함으로써 결정될 수 있다. 구체적으로, 제1 에지 라인(246)의 제1 단부 포인트(260)는 제1 에지 라인(246)의 제2 단부 포인트(262)보다 소실 포인트(252)에 더 가까울 수 있다. 제2 에지 라인(248)의 제1 단부 포인트(264)는 제2 에지 라인(248)의 제2 단부 포인트(266)보다 소실 포인트(252)에 더 가까울 수 있다.

일부 실시형태에서, 관심 영역(258)은, 소실 포인트(252)로부터 최대 거리 및 소실 포인트(252)로부터 최소 거리인, 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트들 사이에 설정될 수 있다. 구체적으로, 도 18에 도시된 바와 같이, 제1 에지 라인(246)의 제2 단부 포인트(262)는 소실 포인트(252)로부터 최대 거리인 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트일 수 있다. 제2 에지 라인(248)의 제1 단부 포인트(264)는 소실 포인트(252)로부터의 최소 거리인 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트일 수 있다. 이에 따라, 관심 영역(258)은 제1 에지 라인(246)의 제2 단부 포인트(262)와 제2 에지 라인(248)의 제1 단부 포인트(264)에 의해 경계지어질 수 있다. 예를 들어, 관심 영역(258)은 천창(116)과 일치하는 대략 직사각형의 영역을 바운딩할 수 있고, 이때, 관심 영역(258)의 대향 모서리들은 제1 에지 라인(246)의 제2 단부 포인트(262) 및 제2 에지 라인(248)의 제1 단부 포인트(264)에 대하여 설정된다.

다시 도 18 내지 도 19b를 참조하면, 관심 영역(268)은 제1 에지 라인(246)과 제2 에지 라인(248)의 중첩 부분에 의해 경계지어질 수 있다. 일반적으로, 관심 영역(268)은 본 명세서에 설명되는 가장 제한적인 관심 영역이다. 중첩 부분은 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트들에 의해 정의될 수 있다. 일부 실시형태에서, 관심 영역(268)은, 제1 에지 라인(246)과 제2 에지 라인(248)의 단부 포인트들에 의해 경계지어지는 측 정렬된 바운딩 박스에 의해 정의되어, 최소 면적으로 된다. 이에 따라, 관심 영역(268)은, 제1 에지 라인(246)의 제1 단부 포인트(260)와 제2 에지 라인(248)의 제2 단부 포인트(266)에 의해 경계지어지는 중첩 부분을 포함할 수 있다.

대안적으로 또는 부가하여, 관심 영역(268)은 소실 포인트(252)를 이용하여 결정될 수 있다. 구체적으로, 제1 에지 라인(246)과 제2 에지 라인(248) 각각은, 제1 단부 포인트(260) 및 제1 단부 포인트(264)로서 각각 도 18에 도시된, 소실 포인트(252)에 가장 가까운 근위 단부 포인트를 가질 수 있다. 제1 에지 라인(246)과 제2 에지 라인(248)의 각각은, 제1 단부 포인트(260)와 제1 단부 포인트(264)로서 도 18에 도시된, 소실 포인트(252)로부터 가장 먼 원위 단부 포인트를 가질 수 있다. 관심 영역(268)은, 소실 포인트(252)로부터 가장 먼 근위 단부 포인트 및 소실 포인트(252)에 가장 가까운 원위 단부 포인트에 의해 경계지어질 수 있다. 구체적으로, 도 18에 도시된 바와 같이, 제1 에지 라인(246)의 제1 단부 포인트(260)는 소실 포인트(252)로부터 가장 먼 근위 단부 포인트로서 선택될 수 있다. 제2 에지 라인(248)의 제2 단부 포인트(266)는 소실 포인트(252)에 가장 가까운 원위 단부 포인트로서 선택될 수 있다.

도 19b 내지 도 21b를 함께 참조하면, 포인트 픽스 기능(40)은 천창(116)으로부터 횡단 에지(270)를 추출하기 위한 횡단 라인 추출 기능(304)을 포함할 수 있다. 횡단 라인 추출 기능(304)은, 허프 변환과 같은 본 명세서에 설명되는 특징부 추출 알고리즘을 포함할 수 있지만, 이러한 예로 한정되지는 않는다. 횡단 라인 추출 기능(304)은, 중심라인(250)에 대하여 수직 성분을 갖는 천창(116)으로부터 라인 세그먼트를 추출하도록 구성될 수 있다. 즉, 추출된 라인 세그먼트는 중심라인(250)에 대략 직교하는 성분을 갖는 벡터에 의해 특징화될 수 있다. 예를 들어, 허프 변환은 천창(116)의 횡단 에지(270)를 검출하기 위해 적절한 파라미터로 적용될 수 있다.

일부 실시형태에서는, 관심 영역(258)과 일치하는 횡단 에지(270)가 바람직할 수 있다. 예를 들어, 횡단 라인 추출 기능(304)은, 관심 영역(258) 내에 있는 천창(116)의 일부로부터만 라인들을 추출할 수 있다. 대안적으로 또는 부가하여, 횡단 라인 추출 기능(304)은, 관심 영역(258) 외부의 천창(116)에 대해 동작하고 추출된 라인을 필터링하여 관심 영역(258)과 일치하는 횡단 에지(270)만을 취득할 수도 있다. 이에 따라, 관심 영역(258)과 일치하는 천창(116)의 일부의 횡단 에지(270)는 횡단 라인 추출 기능(304)에 의해 검출될 수 있다. 명료성을 위해, 횡단 에지(270)는 도 21a의 천창(116) 위에 겹쳐진 것으로 도시되어 있으며 도 21b에서 횡단 에지(270)는 분리되어 있다는 점에 주목한다.

도 11, 도 12, 도 13, 도 19b, 도 20, 도 21a, 및 도 21b를 함께 참조하면, 횡단 라인 추출 기능(304)이 허프 변환을 포함하는 실시형태에서, 허프 변환에 입력되는 이진 에지 화상(436)에 대응하는 천창 후보 영역(426)은, 횡단 라인 추출 기능(304)이 중심라인(250)에 대략 직교하는 횡단 에지(270)를 리턴시키도록 설정하는 것을 돕는 데 사용될 수 있다. 구체적으로, 이 프로세스는, 천창(116)의 종방향 에지를 따라 에지 라인을 추출하도록 천창 처리 기능(30)에 포함된 허프 변환 라인 추출 기능(34)에 사용되는 허프 변환을 설정하는 것을 돕는 데 사용되는 프로세스와 유사하다. 그 라디언트 배향 화상이 에지 화상 생성 기능(32)에서 계산되고 보존되었거나, 또는 대안적으로 또는 부가하여, 별도의 프로세스를 통해 제공되어 직접 입력으로서 제공되었다면, 천창 후보 영역(426)의 짧은 에지의 각도를 중심으로 하는 제한된 각도 범위가, 이진 화상 마스크를 생성하도록 그라디언트 배향 화상에 대하여 임계화될 수 있다. 마스크는, 원하는 횡단 에지 라인(270)과 실질적으로 다른 그라디언트 배향을 갖는 에지 상의 픽셀이 억제되고 허프 변환에 입력되지 않도록 이진 에지 화상(436)에 적용될 수 있다. 이는 허프 변환의 투표 단계에서 처리할 픽셀이 적어서 횡단 라인 추출 기능(304)의 계산 효율을 증가시키고, 또한, 예를 들어 요구되는 라인에 대하여 대략 수직인 배향의 라인을 억제함으로써 출력 라인의 품질을 개선하고, 이에 따라 횡단 라인 추출 기능(304) 후의 추가 라인 필터링 단계에 대한 필요성을 감소시킨다. 대안적으로 또는 부가하여, 각 픽셀이 허프 변환에서 투표되는 각도 범위는 천장 선택 후보 영역(426)의 짧은 에지의 배향 각도의 지식을 사용하여 설정될 수 있으며, 이는 또한 계산 효율을 향상시키고 불필요한 라인을 제거하는 것을 돕는다. 허프 변환을 개선하도록 천창 후보 영역(426)의 각도를 이용하는 위 설명에 있어서, 대안적으로 또는 부가하여, 더욱 제한적인 관심 영역들(258, 259, 또는 268) 중 하나의 각도를 대신 이용하여 동일한 결과를 달성할 수도 있다.

도 11, 도 12, 도 13, 도 20, 도 22a, 및 도 22b를 함께 참조하면, 일부 실시형태에서, 횡단 라인 추출 기능(304)은 허프 변환을 포함할 수 있고, 그라디언트 배향 화상이 에지 화상 기능(32)에 의해 또는 별도의 프로세스를 통해 이용가능하게 된 실시형태에서, 횡단 라인 추출 기능(304)은, 후속 처리를 위해 횡단 에지(272)로 간주되는 바람직한 배향 및 품질을 갖는 횡단 에지(270)를 리턴하도록 될 수 있다. 대안적으로 또는 부가하여, 포인트 픽스 기능(40)은, 횡단 에지(270)를 사용 가능한 에지(272) 및 사용 불가능한 에지(274)로 분류하기 위한 각도 필터링 기능(306)을 포함할 수 있다. 구체적으로, 횡단 라인 추출 기능(304)은 중심라인(250)의 각도에 대략 수직인 범위 내에서 횡단 에지(270)를 주로 검출하도록 구성될 수 있지만, 일부 부정확하거나 바람직하지 않은 라인이 검출될 수도 있다는 짐에 주목한다. 이에 따라, 횡단 에지(270)로부터 사용 불가능한 에지(274)를 제거하는 것이 바람직할 수도 있다. 사용 불가능한 에지(274)는, 모든 횡단 에지(270)의 평균 각도의 양측 상의 제한된 범위의 각도 밖에 있는 중심라인(250)에 대한 각도를 갖는 횡단 에지(270)일 수 있다. 대안적으로 또는 부가하여, 사용 가능한 에지(272)는, 중심라인(250)에 대한 모든 횡단 에지(270)의 평균 각도의 양측 상의 제한된 범위의 각도 내에 있는 중심라인(250)에 대한 각도를 갖는 횡단 에지(270)일 수 있다. 명료성을 위해, 횡단 에지(270)는 도 22a의 천창(116) 위에 겹쳐진 것으로 도시되어 있으며 도 22b에서는 횡단 에지(270)가 분리되어 도시되었다는 짐에 주목한다.

도 20과 도 23을 함께 참조하면, 포인트 픽스 기능(40)은, 횡단 에지(270)와 제1 에지 라인(246), 횡단 에지(270)와 제2 에지 라인(248), 또는 이들 모두 사이의 수렴 포인트를 결정하기 위한 교차 기능(308)을 포함할 수 있다. 횡단 에지(270)가 사용 가능한 에지(272)로 분류되는 실시형태에서, 사용 가능한 에지(272)로 분류된 횡단 에지(270)는 수렴 포인트를 결정하는 데 이용될 수 있다. 수렴 포인트는 횡단 에지(270)를 외삽함으로써 결정될 수 있다. 특히, 횡단 에지(270)는, 적어도 외삽이 제1 에지 라인(246), 제2 에지 라인(248), 또는 제1 에지 라인(246)과 제2 에지 라인(248) 모두와 교차할 때까지 횡단 에지들(270)의 각각을 각자의 길이를 따라 연장함으로써 외삽될 수 있다. 선택적으로, 제1 에지 라인(246)과 제2 에지 라인(248)은 교차 포인트를 결정하기 위해 외삽될 수 있다. 각각의 수렴 포인트는 포인트 픽스(280)로서 선택될 수 있다.

도 20, 도 22a, 도 22b, 및 도 23을 함께 참조하면, 포인트 픽스 기능(40)은, 길이 비율에 기초하여 횡단 에지를 필터링하기 위한 길이 필터링 기능(310)을 포함할 수 있다. 길이 필터링 기능(310)은, 천창(116)의 패널을 원하는 정도로 가로지르지 않는 횡단 에지(270)를 제거하는 데 이용될 수 있다. 예를 들어, 각각의 횡단 에지(270)는 수렴의 대응 포인트, 즉 횡단 에지(270)로부터 결정된 수렴 포인트와 비교될 수 있다. 구체적으로, 임계 레벨 미만의 길이 비율을 갖는 임의의 횡단 에지(270)가 제거될 수 있는데, 여기서 길이 비율은 길이(횡단 에지)：길이(수렴 포인트들 간의 이음)의 비율에 의해 주어진다. 이에 따라, 포인트 픽스(280)는, 나머지 횡단 에지(270), 즉 제거되지 않은 횡단 에지(270)의 수렴 포인트로부터 선택될 수 있다. 길이 필터링 기능(310)은, 포인트 피스들(280) 중 어느 것도 짧은 에지(276)로부터 선택되지 않았음을, 즉, 짧은 에지(276)로서 분류된 횡단 에지(270)가 포인트 픽스(280)의 고려 대상으로부터 제거되었음을 보장하도록 위해 이용되었다는 점에 주목한다.

포인트 픽스 기능(40)은 추출된 특징부를 EBL에 보고하기 위한 특징부 보고 기능(312)을 포함할 수 있다. 구체적으로, 특징부 보고 기능(312)은 네비게이션에 사용되도록 중심라인(250) 및 포인트 픽스(280)를 EBL에 보고할 수 있다. 구체적으로, EBL은 네비게이션을 목적으로 중심라인(250)과 포인트 픽스(280)를 맵의 대응하는 특징부와 비교할 수 있다. 또한, 포인트 픽스들(280)의 각각의 보고된 포인트 쌍(즉, 횡단 에지들(270) 중 하나로부터 유도됨 )에 대해, 포인트 픽스(280)가 (천창들(116)의 패널들 사이의) 어두운 픽셀로부터 밝은(천창들(116)의 패널들 사이의) 픽셀로의 천이 또는 그 밝은 픽셀로부터 어두운 픽셀로의 천이를 나타내는 플래그가 추가될 수 있다. 플래그는, EBL의 정확성을 높이고 인접하는 포인트 쌍 사이의 에일리어싱 가능성을 감소시키도록 이용될 수 있다. 어두운-밝은 대 밝은-어두운 천이의 플래그 표시는, 중심라인(250)을 따라 스캐닝하고 각각의 포인트 픽스(280)의 양측의 포인트들의 세트를 평균화하여 어두운 패치인지 또는 밝은 패치인지를 검출함으로써 달성될 수 있다.

또한, 일부 실시형태에서, 비최대 억제 프로세스는, EBL에 포인트 픽스(280)를 보고하기 전에 나머지 횡단 에지(270)에 대하여 실행될 수도 있다. 비최대 억제 기능의 목적은, 화상(240)의 단일 물리적 천창(116) 패널 에지로부터 다수의 횡단 에지가 검출되었을 때 단일 횡단 에지(270)를 선택하는 것이다. 횡단 에지(270)가 천창 중심라인(250)의 단부 포인트까지의 거리에 의해 정렬되는 경우, 비최대 억제 윈도우가 정의될 수 있고, 이때, 다른 횡단 에지들(270)이 윈도우에 의해 정의된 거리 내에서 발견되는 남아 있는 횡단 에지(270) 각각에 대하여, 비최대 억제 기능을 실행하여 가장 강한 에지만을 선택할 수 있고 나머지 모두를 억제할 수 있다. 일 실시형태에서, 횡단 에지(270)의 강도는, 어두운-밝은 유형 또는 밝은-어두운 유형인 에지 천이의 성질을 나타내는 플래그를 설정하도록 전술한 바와 같이 횡단 에지(270)의 양측의 샘플링된 패치들의 평균 픽셀 강도 간의 차로서 정의될 수 있다. 대안적으로 또는 부가하여, 강도는, 에지 화상 생성 기능(22)에 의해 이용가능하게 되었거나 또는 직접 입력으로서의 소정의 별도의 프로세스에 의해 제공된 경우, 그 라디언트 크기 화상으로부터 직접 추론될 수 있다. 이 경우, 평균 그라디언트 크기, 또는 대안적으로 또는 부가하여, 횡단 에지(270)를 따른 누적 그라디언트 크기는 에지 라인 세그먼트의 상대적 강도를 나타낼 수 있으며, 그라디언트 크기가 클수록 천창(116)과 배경 천장(112) 간의 물리적 에지를 따른 맞춤이 더욱 양호해진다.

도 11, 도 17, 도 20, 및 도 23을 함께 참조하면, 특징부 보고 기능(312)은, 포인트 픽스(280)를 포함하는 횡단 에지(270)가 화상(240)의 어두운-밝은 또는 밝은-어두운 에지 천이 상태에 있는지를 나타내는 플래그를 각 포인트 픽스(280)에 첨부하는 프로세스를 포함할 수도 있다. 전술한 바와 같이, 이 플래그를 설정하는 하나의 가능한 방법은, 중심라인(250), 횡단 에지(270)의 양측을 포함할 수도 있는 스캔 라인을 따른 픽셀 세트의 픽셀 강도를 평균화하는 것일 수도 있으며, 높은 평균 강도를 갖는 측은 밝은 측이라고 결정될 수 있고 낮은 평균 강도를 갖는 측은 어두운 측이라고 결정될 수 있다. 대안적으로 또는 부가하여, 그라디언트 배향 화상이 천창 처리 기능(30)의 에지 화상 생성 기능(32)에서 계산되었거나 별도의 프로세스에 의해 제공되는 실시형태에서, 횡단 에지(270) 및 이 횡단 에지 각각의 포인트 픽스(280)가 어두운-밝은 또는 밝은-어두운 천이에 있는지를 결정하는 것은, 그라디언트 배향 화상 내에 횡단 에지(270)를 형성하는 픽셀 로케이션을 따른 그라디언트 배향 값의 간단한 검색 및 평균화에 의해 달성될 수 있다. 그라디언트 배향 화상은 x 및 y 방향으로의 일차 미분 화상으로부터 계산되므로, 그라디언트 배향의 위상 각도는 입력 화상(240)의 어두운 영역과 밝은 영역 간의 천이 방향을 직접적으로 나타낸다.

도 11, 도 12, 도 13, 도 20 및 도 23을 함께 참조하면, 횡단 에지(270) 및 이 횡단 에지의 포인트 픽스(280)가 어두운-밝은 클래스 또는 밝은-어두운 클래스에 속하는지 여부를 결정하도록 특징부 보고 기능(312) 내에 포함된 프로세스가, 대안으로, 실시형태의 범위 또는 결과를 변경하지 않고 포인트 픽스 기능(40) 내의 다른 단계에서 수행될 수도 있다는 점에 주목한다. 실제로, 일부 실시형태에서는, 이 계산을 횡단 라인 추출 기능(304)의 일부로서 실행하는 것이 바람직할 수도 있다. 이 경우, 천창 후보 영역들(426)의 긴 에지들의 각도에 대한 지식 및 두 개의 횡단 에지 천이 클래스들이 이 각도의 양측에서 90도의 위상차를 갖는다는 것은, 그라디언트 배향 화상을 임계화하여 2개의 이진 화상 마스크를 생성하는 데 이용될 수 있다. 이들 마스크는, 횡단 라인 추출 기능(304)에서 사용되는 허프 변환을 위한 2개의 분리된 마스킹된 입력 화상을 생성하도록 이진 에지 화상(436)에 적용될 수 있으며, 마스킹된 입력 화상들 중 하나는 어두운-밝은 횡단 에지(270)의 그라디언트 배향과 매우 다른 픽셀을 억제하고 이에 따라 허프 변환이 어두운-밝은 클래스의 횡단 에지(270)를 리턴하게 하며, 나머지 마스킹된 입력 화상은 밝은-어두운 횡단 에지(270)의 그라디언트 배향과 매우 다른 픽셀을 억제하며 이에 따라 허프 변환이 밝은-어두운 클래스의 횡단 에지(270)를 리턴하게 한다. 이 상황에서, 추출된 횡단 에지(270)가 어두운-밝은 또는 밝은-어두운 천이에 있는지를 나타내는 플래그는, 횡단 라인 추출 기능(304)에서 설정될 수 있고, 포인트 픽스 기능(40)의 나머지에 대하여 알려질 수 있으며, 대안적으로 또는 부가하여, 포인트 픽스 기능(40) 내에 포함된 임의의 후속 기능 내에서의 다른 처리를 보조하도록 이용될 수 있다.

도 1과 도 23을 함께 참조하면, 천창(116)은, 예를 들어, 천창들(116) 사이의 크로스 빔과 같은 한정된 깊이를 갖는 창고(110)의 구조적 객체에 의해 분리될 수도 있다. 이에 따라, 구조적 객체는 천창(116)의 실제 모서리(130)를 폐색할 수도 있으며, 즉, 구조적 객체가 카메라(102)와 천창(116) 사이에 위치할 수도 있다. 일부 실시형태에서, EBL이 카메라(102)가 직접적 시선을 갖는 포인트 픽스(280)를 사용하는 것이 바람직할 수도 있다. 따라서, EBL은, 포인트 픽스(280) 및 연관된 플래그를 이용하여 포인트 픽스(280)가 천창(116)의 모서리(130)에 대응하거나 폐색될 가능성이 있는지 여부를 결정할 수 있다.

도 2와 도 6을 함께 참조하면, CFE 알고리즘(10)은, 천장(112)의 입력 화상(200)으로부터 둥근 등 특징부 후보들(416)로부터의 중심을 추출하기 위한 둥근 등 처리 기능(26)을 포함할 수 있다. 일 실시형태에서, 둥근 등 후보들(416)은, 조명-불변 특징부 검출 기능(60)을 포함하고 특징부 분류 기능(24)에 의해 필터링될 수 있는 특징부 검출 기능(22)에 의해 생성될 수 있다. 대안적으로 또는 부가하여, 둥근 등 후보(416)는 별도 프로세스에 의해 직접 입력으로서 제공될 수 있다. 일부 실시형태에서, CFE 알고리즘(10)은, 병합된 등 클래스에 속하는 것으로 식별된 저 레벨 후보 특징부로부터 중심을 추출하기 위한 병합 등 처리 기능(28)을 포함할 수도 있다. 병합 등 처리 기능(28)과 둥근 등 처리 기능(26)에 의해 추출된 중심 특징부는 중심라인 특징부(250) 및 포인트 픽스 특징부(280)와 결합될 수 있으며, 이러한 집합 또는 집합의 임의의 서브세트는, 창고(110) 내에서의 차량(100)의 위치파악 또는 네비게이션을 보조하는 데 이용되도록 특징부 보고 단계(54)에 의해 EBL에 보고될 수 있다. 특징부 보고 단계(54) 전에, CFE 알고리즘(10)은, 정의된 관심 영역을 벗어나는 특징부를 제거할 수 있는 관심 영역 기능(50)을 이용하는 필터 특징부를 포함할 수 있다. 이에 따라, 트랙 마스트(track mast)로부터의 반사와 같은 임의의 남아있는 특징부가 제거될 수 있다. 또한, 좌표 프레임 변환 기능(52)은, 보고된 특징부(54)가 EBL에 게시되기 전에 화상 처리 프레임(예를 들어, 좌측 상단 모서리의 원점)으로부터 ESL 프레임(예를 들어, 화상의 중심의 원점)으로 특징부 좌표를 변환할 수 있다.

이제, 본 명세서에 설명된 실시형태들은 조명-불변 특징부 검출을 이용하여 창고를 통해 산업 차량을 네비게이팅시키는 데 이용될 수 있음을 이해해야 한다. 또한, 본 명세서에 설명된 실시형태들은, 빌딩에서, 예를 들어, 둥근 등이 드물고 또는 진창 및 자연 광원에 의해 주로 조명되는 창고에서 특히 유용할 수 있다. 이에 따라, 본 명세서에 설명된 조명-불변 특징부 검출은 창고의 환경 효율을 증가시키는 데 이용될 수 있다. 예를 들어, 낮 시간 동안, 본 명세서에 설명된 산업 차량이 자연적으로 조명된 천창을 사용하여 네비게이팅할 수 있기 때문에 전기 사용을 줄일 수 있다. 또한, 본 명세서에 설명된 실시형태들은, 조명-불변 특징부 검출의 사용을 통해 EBL의 견고성을 증가시킬 수 있다. 또한, EBL의 견고성 증가는 산업 차량으로 창고를 운영하는 데 드는 환경 비용을 감소시킬 수 있고, 즉, 위치파악 오류로 인한 마일리지가 완화될 수 있어서, 산업 차량에 의해 소비되는 전력과 산업 차량의 유지보수 비용을 줄일 수 있다.

본 발명을 설명하고 정의하기 위해, 본 명세서에서 파라미터, 변수, 또는 다른 특징의 "기능"인 본 개시내용의 주제의 특징을 참조하는 것은, 그 특징이 열거된 파라미터, 변수, 또는, 특징의 기능을 배타적으로 나타내려는 것이 아니라는 점에 주목한다. 오히려, 열거된 파라미터, 변수 등의 "기능"인 특징에 대한 본 명세서에서의 참조는, 그 특징이 단일 파라미터, 변수 등, 또는 복수의 파라미터, 변수 등의 기능일 수도 있도록 개방형을 의도한 것이다.

또한, 본 명세서에서 "적어도 하나의" 구성요소, 요소 등을 인용하는 것은, 관사 "하나" 또는 "한"의 대체 사용이 단일 구성요소, 요소 등으로 제한되어야 한다는 추론을 생성하는 데 사용되지 않는다는 점에 주목한다.

구체적인 특성을 구체화하거나 구체적인 방식으로 기능하도록 구체적인 방식으로 "구성된" 또는 "프로그래밍된" 본 명세서에서의 개시내용의 구성요소에 대한 설명은, 의도한 사용의 설명과는 달리 구조적 설명이라는 점에 주목한다. 보다 구체적으로, 구성요소가 "구성된" 또는 "프로그래밍된" 방식에 대한 참조는, 그 구성요소의 기존의 물리적 상태를 나타내며, 이처럼, 그 구성요소의 구조적 특징을 명확히 설명하는 것으로 취급해야 한다.

"바람직한", "일반적으로", 및 "통상적으로"와 같은 용어들은, 본 명세서에서 이용될 때, 청구 발명의 범위를 한정하거나 소정의 특징부가 중요하고, 필수적이며, 또는 심지어 청구 발명의 기능이나 구조에 대하여 중요함을 암시하도록 이용되지 않는다는 점에 주목한다. 오히려, 이들 용어는, 본 개시내용의 실시형태의 구체적인 양태를 식별하거나 본 개시내용의 구체적인 실시형태에서 이용될 수도 있고 또는 이용되지 않을 수도 있는 대체 또는 추가 특징부를 강조하기 위한 것일 뿐이다.

본 발명을 설명하고 정의하기 위하여, "실질적으로" 및 "대략"이라는 용어들은, 임의의 정량적 비교, 값, 측정, 또는 다른 표현에 기인할 수도 있는 고유한 불확실성의 정도를 나타내도록 본 명세서에서 이용된다는 점에 주목한다. "실질적으로" 및 "대략"이라는 용어들은, 또한, 본 명세서에서 다루는 주제의 기본 기능을 변화시키지 않으면서 정량적 표현이 명시된 기준으로부터 가변될 수도 있는 정도를 나타내도록 본 명세서에서 이용된다.

본 개시내용의 주제를 상세하게 그리고 본 개시내용의 특정 실시형태를 참조하여 설명하였지만, 본원에 개시된 다양한 세부 사항은, 본 설명에 수반되는 도면의 각 도에 구체적인 요소가 예시되는 경우에도 이러한 세부 사항이 본 명세서에서 설명되는 다양한 실시형태의 필수 구성요소인 요소에 관한 것임을 암시하는 것으로 취급해서는 안 된다는 점에 주목한다. 또한, 첨부된 청구범위에 정의된 실시형태를 포함하지만 이에 한정되지 않는 본 개시내용의 범위를 벗어나지 않고 수정 및 변형이 가능하다는 점은 명백할 것이다. 더욱 구체적으로, 본 개시내용의 일부 양태는 본 명세서에서 바람직한 것으로서 또는 특히 유리한 것으로서 식별되지만, 본 개시내용이 이들 양태로 반드시 한정되는 것은 아님을 고려할 수 있다.

이하의 청구항들 중 하나 이상은 "여기서"(wherein)라는 용어를 전이구로서 이용한다는 점에 주목한다. 본 발명을 정의하기 위해, 이 용어는 구조의 일련의 특징의 설명을 도입하는 데 사용되는 개방형 전이구로서 청구범위에 도입되며 더욱 일반적으로 사용되는 개방형 전제부 용어인 "포함하는"(comprising)과 유사한 방식으로 해석되어야 한다는 점에 주목한다.

Claims

기동 기구, 조향 기구, 차량 제어기, 카메라, 및 네비게이션 모듈(navigation module)을 포함하는 산업용 차량으로서,
상기 카메라는 상기 네비게이션 모듈에 통신 가능하게 결합되고;
상기 차량 제어기는 상기 네비게이션 모듈로부터의 커맨드에 응답하며;
상기 구동 기구와 상기 조향 기구는, 상기 차량 제어기로부터의 커맨드에 응답하고;
상기 카메라는, 종축 방향과 횡축 방향을 따른 화상 강도 변화의 상이한 비율을 특징으로 하는 세장형 천창(elongated skylight) 및 화상 강도 변화의 원형 대칭 비율을 특징으로 하는 천장등(ceiling light)을 포함하는 창고의 천장의 입력 화상을 캡처하도록 구성되며; 그리고
상기 네비게이션 모듈은 기계 판독가능 명령어를 실행함으로써 상기 천창과 상기 천장등을 구별하도록 구성되고, 상기 기계 판독가능 명령어는,
상기 창고의 천장의 상기 입력 화상으로부터 복수의 스케일 공간 화상을 포함하는 가우스 스케일 공간 피라미드를 생성하고,
상기 가우스 스케일 공간 피라미드 내의 각 화상에 대한 헤세(Hessian) 응답의 행렬식을 계산하고,
상기 가우스 스케일 공간 피라미드와 동일한 크기 및 구조의 헤세 응답 피라미드의 행렬식을 구축하고,
상기 가우스 스케일 공간 피라미드 내의 각 화상에 대한 헤세 응답의 궤적을 계산하고,
상기 가우스 스케일 공간 피라미드와 동일한 크기 및 구조의 헤세 응답 피라미드의 궤적을 구축하고,
상기 헤세 응답 피라미드의 상기 행렬식을 이용하여 상기 창고의 천장의 상기 입력 화상에서의 천장등 후보를 식별하고,
상기 헤세 응답 피라미드의 상기 궤적을 이용하여 상기 창고의 천장의 상기 입력 화상에서의 천창 후보를 식별하고,
천장등 후보를 천장등 후보 특징부 처리를 받게 하여 상기 창고에서의 유효한 천장등을 식별하고,
천창 후보를 천창 후보 특징부 처리를 받게 하여 상기 창고에서의 유효한 천창을 식별하고, 그리고
상기 차량 제어기에 커맨드를 전송하여 유효한 천장등 식별, 유효한 천창 식별, 또는 이들 모두에 기초하여 상기 창고를 통해 상기 산업용 차량을 네비게이팅시키는, 산업용 차량.
제1항에 있어서, 상기 가우스 스케일 공간 피라미드는, 상기 창고의 천장의 상기 입력 화상에 적용되는 일련의 캐스케이드식 화상 평활화 연산을 실행함으로써 생성되는, 산업용 차량.
제2항에 있어서, 상기 가우스 스케일 공간 피라미드는 이항 필터 커널과의 컨볼루션에 의해 근사화되는, 산업용 차량.
제1항에 있어서, 상기 가우스 스케일 공간 피라미드는 상기 일련의 캐스케이드식 화상 평활화 연산에 서브샘플링 연산을 보충함으로써 생성되는, 산업용 차량.
제4항에 있어서, 보충되는 상기 서브샘플링 연산은 이용가능한 네비게이션 모듈 연산력의 기능으로서 조건적으로 구현되는, 산업용 차량.
제1항에 있어서, 상기 헤세 응답의 행렬식과 상기 헤세 응답의 궤적은 이차 편도함수 필터 커널로 컨볼루션 처리되는 각각의 스케일 공간 화상에 기초하여 계산되는, 산업용 차량.
제1항에 있어서, 상기 헤세 응답의 행렬식은 혼합된 이차 편도함수 항의 감산에 의해 계산되는, 산업용 차량.
제1항에 있어서, 상기 헤세 응답의 행렬식은, 종축 방향과 횡축 방향을 따른 화상 강도 변화의 상이한 비율을 특징으로 하는 객체에 대한 응답을 억제하는, 산업용 차량.
제1항에 있어서, 상기 행렬식의 응답은, 스케일 차원과 공간 차원을 포함하는 윈도우 내에 국부 최대치가 위치하는 멀티스케일 비최대 억제(multiscale non-maximum suppression)에 이용되는, 산업용 차량.
제9항에 있어서, 과도한 잡음있는 긍정 오류 행렬식 응답을 방지하도록 절대 최소 임계치가 적용되는, 산업용 차량.
제1항에 있어서, 상기 행렬식의 응답은, 천장등에 대응하지 않을 수 있는 후보 포인트를 제거하기 위한 키포인트 필터링 기능에 이용되는, 산업용 차량.
제11항에 있어서, 상기 키포인트 필터링 기능은, 후보 포인트에 대하여 다른 필터를 이용하여 경험적으로 설정된 임계치를 체크하는, 산업용 차량.
제12항에 있어서, 상기 다른 필터는, 키포인트가 검출되는 스케일, 키포인트의 공간적 로케이션, 상기 키포인트의 로케이션에서의 상기 헤세 응답의 행렬식의 크기, 기계 학습 분류자, 또는 주변 영역의 헤세 응답 값들의 평균 궤적을 포함하는, 산업용 차량.
제1항에 있어서, 상기 행렬식의 응답은, 천장등 후보 키포인트들의 스케일과 공간적 위치를 개선하기 위한 키포인트 개선 기능에 이용되는, 산업용 차량.
제1항에 있어서, 상기 궤적의 응답은, 헤세 응답 피라미드의 궤적으로부터의 헤세 응답 화상들의 궤적의 선택을 헤세 응답 화상의 통합된 궤적으로 합산하기 위한 헤세 응답 화상들의 대규모 궤적 합 기능에 이용되는, 산업용 차량.
제15항에 있어서, 상기 헤세 응답 피라미드의 궤적 내에서 천창 영역들이 검색되는, 산업용 차량.
제1항에 있어서, 상기 궤적의 응답은, 또한, 헤세 응답의 궤적 임계치 통합 기능에 의해 처리되며, 상기 헤세 응답의 궤적은 평활화되고 임계치가 적용되는, 산업용 차량.
제17항에 있어서, 상기 임계치는 고정된, 산업용 차량.
제17항에 있어서, 상기 임계치는 고정되지 않은, 산업용 차량.
제1항에 있어서, 상기 헤세 응답의 궤적은, 상기 헤세 응답 화상의 이항 임계치 통합된 궤적(binary thresholded integrated trace)에 기초하여 연결된 성분들을 추출 및 필터링하기 위한 연결된 성분 필터링 기능에 이용되는, 산업용 차량.
제20항에 있어서, 상기 연결된 성분 필터링 기능은 대략 직사각형 영역을 선택하도록 크기 및 종횡비에 대하여 필터링을 행하는, 산업용 차량.
제1항에 있어서, 상기 천장등은 원형 대칭인 둥근 등이며, 상기 천창은 대략 세장형인, 산업용 차량.
구동 기구, 조향 기구, 차량 제어기, 카메라, 및 네비게이션 모듈을 포함하는 산업용 차량으로서,
상기 카메라는 상기 네비게이션 모듈에 통신 가능하게 결합되고;
상기 차량 제어기는 상기 네비게이션 모듈로부터의 커맨드에 응답하며;
상기 구동 기구와 상기 조향 기구는, 상기 차량 제어기로부터의 커맨드에 응답하고;
상기 카메라는, 종축 방향과 횡축 방향을 따른 화상 강도 변화의 상이한 비율을 특징으로 하는 세장형 천창 및 화상 강도 변화의 원형 대칭 비율을 특징으로 하는 천장등을 포함하는 창고의 천장의 입력 화상을 캡처하도록 구성되며; 그리고
상기 네비게이션 모듈은 기계 판독가능 명령어를 실행함으로써 상기 천창과 상기 천장등을 구별하도록 구성되고, 상기 기계 판독가능 명령어는,
상기 창고의 천장의 상기 입력 화상으로부터 복수의 스케일 공간 화상을 포함하는 가우스 스케일 공간 피라미드를 생성하고,
상기 가우스 스케일 공간 피라미드 내의 각 화상에 대한 헤세 응답의 행렬식을 계산하고,
상기 가우스 스케일 공간 피라미드와 동일한 크기 및 구조의 헤세 응답 피라미드의 행렬식을 구축하고,
상기 가우스 스케일 공간 피라미드 내의 각 화상에 대한 헤세 응답의 궤적을 계산하고,
상기 가우스 스케일 공간 피라미드와 동일한 크기 및 구조의 헤세 응답 피라미드의 궤적을 구축하고,
상기 헤세 응답 피라미드의 행렬식을 이용하여 상기 창고의 천장의 사기 입력 화상에서의 천장등 후보를 식별하고,
상기 헤세 응답 피라미드의 궤적을 이용하여 상기 창고의 천장의 상기 입력 화상에서의 천창 후보를 식별하고,
천장등 후보를 천장등 후보 특징부 처리를 받게 하여 상기 창고에서의 유효한 천장등을 식별하고,
천창 후보를 천창 후보 특징부 처리를 받게 하여 상기 창고에서의 유효한 천창을 식별하고, 그리고
유효한 천장등 식별, 유효한 천창 식별, 또는 이들 모두에 기초하여 상기 창고에서의 상기 산업용 차량을 위치파악하는, 산업용 차량.