KR20240125554A - 퍼니싱 요소, 특히 전자 라벨의 위치를 결정하기 위한 방법 - Google Patents

Abstract

본 발명은 퍼니싱 요소의 위치를 결정하기 위한 방법에 관한 것으로서, 이러한 방법에서 픽셀, 특히 이미 알려진 픽셀 간격 또는 이미 알려진 픽셀 치수로 제공되는 그러한 픽셀로 구성되고, 제1 퍼니싱 요소의 제1 디지털 퍼니싱 요소-이미지를 포함하는 디지털 장면-이미지는 카메라로 캡처되며 적어도 하나의 제1 퍼니싱 요소가 있는 장면으로부터 상기 카메라를 통해 생성되며, 장면-이미지에서 적어도 하나의 제1 퍼니싱 요소-이미지가 자동으로 인식되고, 장면-이미지에서 상기 제1 퍼니싱 요소-이미지에 할당된 픽셀의 감지를 통해, 그리고 제1 퍼니싱 요소의 실질적인 치수를 인지함으로써 장면-이미지에 대한 스케일이 결정되는 것을 특징으로 한다.

Description

퍼니싱 요소, 특히 전자 라벨의 위치를 결정하기 위한 방법

본 발명은 사업장, 특히 사업장의 선반에서 퍼니싱 요소(furnishing element), 특히 전자 라벨(electronic label)의 위치를 결정하기 위한 방법에 관한 것이다.

소매업체의 디지털화된 현대식 매장 또는 사업장에서 오랫동안 갈망했던 욕구는 퍼니싱 요소, 특히 이러한 퍼니싱 요소에 사용된 전자 라벨의 정확한 디지털 매핑(digital mapping)을 가능하게 하는 것이다.

따라서 본 발명의 목적은 오랫동안 갈망했던 그러한 욕구를 고려한 퍼니싱 요소, 특히 전자 라벨의 위치 결정 방법을 제공하는 것이다.

본 발명의 상기 목적은 청구항 1항에 따른 방법을 통해 해결된다. 따라서 본 발명의 대상은 퍼니싱 요소의 위치를 결정하기 위한 방법에 관한 것으로서, 픽셀, 특히 이미 알려진 픽셀 간격 또는 이미 알려진 픽셀 치수가 제공되는 픽셀로 구성되고 제1 퍼니싱 요소의 디지털 제1 퍼니싱 요소-이미지를 포함하는 디지털 장면-이미지는, 카메라로 캡처되고 적어도 하나의 제1 퍼니싱 요소가 있는 장면으로부터, 상기 카메라를 통해 생성되며, 장면-이미지에서 적어도 하나의 제1 퍼니싱 요소-이미지가 자동으로 인식되고, 장면-이미지에서 상기 제1 퍼니싱 요소-이미지에 관련된 픽셀을 감지하고, 그리고 제1 퍼니싱 요소의 실제 치수를 파악함으로써 장면-이미지의 스케일(scale)이 결정된다.

본 발명에 따른 조치로 인해, 매핑(mapping)의 토대가 되는 스케일의 완전 자동 정의가 장면-이미지를 위해 생성되는 장점이 수반된다. 한편, 이로 인해 적어도 하나의 제1 퍼니싱 요소가 장면에서 정확하게 매핑, 즉 제1 퍼니싱 요소의 위치 정보가 제공될 수 있다. 다른 한편, 제2 퍼니싱 요소-이미지로서 장면-이미지에 포함되어 있고, 적어도 하나의 제1 퍼니싱 요소와 구분되는 또 다른, 즉 제2 퍼니싱 요소의 치수가 측정될 수 있거나, 또는 장면에서 제2 퍼니싱 요소의 위치 정보가 제공될 수 있다. 이러한 스케일로 인해 실질적인 측정 정보가 직접적으로 디지털 장면-이미지로부터 "측정", 즉 장면-이미지로부터 실제 장면으로 변환될 수 있다.

본 발명의 또 다른 특히 바람직한 실시 형태 및 추가 설명은 종속항 및 아래의 발명의 상세한 설명을 바탕으로 한다.

상기 장면-이미지는 픽셀의 매트릭스(matrix)로 구성된 이차원 데이터 구조이다. 이러한 픽셀 매트릭스는 광학 캡처-시스템(렌즈 광학, 또한 렌즈로 불리는)을 구비한 카메라를 통해 형성되며, 상기 카메라를 통해 실제 장면이 캡처되고, 픽셀을 바탕으로 디지털화를 실행하는 전자 이미지 센서와 유사하게 이미지화된다. 후처리 될 또 다른 카메라 전자 장치와 같은 전자 센서의 실행에 따라 디지털 장면-이미지를 형성하는 정지 이미지 또는 장면의 디지털 비디오가 생성된다. 전자 이미지 센서의 해상도 및/또는 디지털 후처리 과정은 전문 기술 용어로 픽셀 해상도로 불리는 디지털 장면-이미지의 이미지 해상도를 결정한다. 또 다른 처리를 위해 카메라에 의해 생성된 장면-이미지는 픽셀로 구성된 매트릭스를 통해 형성되며, 이때 예를 들어 1500 픽셀은 x-방향으로, 1000 픽셀은 전술한 것에 대해 수직 방향인 y-방향으로 형성된다. 각각의 이러한 픽셀은 정해진(즉 알려진) 픽셀 치수를 구비, 또는 달리 표현하면, 인접해 있는 픽셀의 중심은 정해진(즉 알려진) 픽셀 간격을 구비한다.

상기 장면의 퍼니싱 요소는 광학 탐지-시스템 및 전자 이미지 센서를 통해, 경우에 따라 전자 이미지 센서에 의해 공급된 미가공 데이터의 후처리를 통해 퍼니싱 요소-이미지인 장면-이미지로 내장되고, 상기에서 픽셀을 점유 또는 확보한다. 따라서 점유 또는 확보된 픽셀의 인지로부터 스케일을 적용하여 현실에서, 즉 장면에서 치수 또는 측정 정보로 용이하게 변환될 수 있다.

또한, 현대식 디지털 카메라는 자동 초점 장치 및 그밖에 이미지 캡처과 이미지 개선에 기여하는 기능을 구비한다는 점을 밝혀 둔다.

전술한 스케일에 도달하기 위해 디지털 장면-이미지의 또 다른 처리는 컴퓨터로 실시되며, 상기 컴퓨터에서 소프트웨어는 이미지 인식 및/또는 패턴 인식을 위해 사용된다. 전술한 것은 인공 지능을 사용할 수 있거나, 또는 전적으로 이러한 인공 지능에 기반을 둘 수도 있다.

이러한 소프트웨어로 인해 제1 퍼니싱 요소, 정확하게 표현하면 제1 퍼니싱 요소의 이미지(즉 퍼니싱 요소-이미지)가 검색 및 식별될 수 있다. 이때, 상기 제1 퍼니싱 요소의 윤곽이 장면-이미지에서 인식될 수 있으며, 이것은 예를 들어 검색할 제1 퍼니싱 요소의 윤곽 및 외관 또는 특별히 특징적인 형태의 인식을 토대로 소프트웨어를 통해 실시될 수 있다. 이러한 목적을 위해 검색할 제1 퍼니싱 요소를 설명하는 설명 데이터 세트가 상기 소프트웨어에 제공될 수 있으며, 상기 설명 데이터 세트는 검색과 관련된 제1 퍼니싱 요소의 매개 변수를 포함하거나, 또는 소프트웨어 실행의 범위에서 제1 퍼니싱 요소의 인식을 위해 훈련된, 즉 최적화된 인공 지능 신경망이 사용될 수도 있다.

또한, 상기 소프트웨어는 제1 퍼니싱 요소의 실제 치수를 인지하고 있으며, 이를 위해 소프트웨어에 접근 가능한 측정 데이터가 사용되며, 이러한 측정 데이터는 실제 장면에서 실질적인 치수를 나타낸다.

상기 소프트웨어가 디지털 장면-이미지에서 제1 퍼니싱 요소를 인식하는 한, 즉 상기 퍼니싱 요소의 구조가 디지털 장면-이미지의 픽셀 매트릭스에서 검색되어 상기 제1 퍼니싱 요소에 할당된 각각의 픽셀이 디지털 장면-이미지에서 인지될 경우, 스케일이 결정된다. 제1 퍼니싱 요소에 할당된 픽셀이 어떻게 사용되는지는 계속해서 다음과 같이 상세하게 설명된다.

소프트웨어가 실행되는 컴퓨터는 서버(server)일 수 있으며, 카메라로부터 장면-이미지가 상기 서버로 전송되고, 이러한 서버에서 전술한 측정 데이터 및 인식을 위해 필요한 설명 데이터 세트 또는 인공 신경망이 시행된다.

당연히, 콤팩트한 것이 인상적이고, 본 발명의 조치를 직접적으로 카메라에 내장할 수 있는 단일-칩-구현도 제공될 수 있으며, 이것이 특히 바람직한 조치에 해당하는 이유는 디지털 장면-이미지가 생성되는 곳에서 장면-이미지의 완전한 평가에 필요한 모든 조치가 직접적으로 구현되고, 상기에서 국부적으로 적용되기 때문이다. 각각 자체 장면-이미지를 생성하는 많은 다양한 카메라가 제공될 경우 해당 카메라에 국부적으로 유용한 스케일이 사용될 수 있다. 이때, 장면-이미지 평가를 위해 필요한 연산력은 가능하면 효율적으로 복수의 카메라로 분산되고, 전술한 곳에서 연산력이 최적으로 이용될 수 있다. 특히 바람직한 실시 형태에 따라, 이미 카메라에 제공된 컴퓨터(예를 들어, 마이크로-컨트롤러, ASIC 또는 마이크로프로세서 등등)는 이러한 본 발명에 따른 방법을 달성하기 위해 사용된다.

본 발명의 또 다른 측면에 따른 장점은 복수의 제1 퍼니싱 요소-이미지, 바람직하게는 동일하게 형성된 제1 퍼니싱 요소가 장면-이미지에서 식별된다는 것이며, 복수의 제1 퍼니싱 요소의 토대가 되는 실제 치수는 이미 알려져 있고, 이러한 실제 치수를 인지함으로써 장면-이미지를 위한 스케일이 결정된다.

이러한 조치는 스케일의 정확성을 개선하는 데 기여할 수 있다.

또한, 이러한 조치는 스케일이 장면-이미지를 따라 조정, 즉 장면-이미지에서 장소에 의해 좌우되는 스케일이 결정되도록 기여할 수도 있다. 장소 의존적인 이러한 조치는 예를 들어 장면-이미지에서 이미지화된 제1 퍼니싱 요소의 비율을 장면-이미지가 왜곡할 경우에 필요할 수 있다. 예를 들어, 그러한 상황은 카메라의 좌측 또는 우측 면으로 매우 멀리까지 뻗어 있는 장면, 예컨대 소매업체의 선반 통로에 있는 그러한 장면이 카메라에 의해 촬영될 경우에 발생할 수 있다. 상기 카메라 근처에 있는 제1 퍼니싱 요소는 카메라로부터 멀리 떨어져 있는 제1 퍼니싱 요소보다 큰 이미지로 제공된다.

그러한 원근법적 이미지와 관련하여 장면-이미지에 따른 스케일의 진행 과정을 개별 (단일) 퍼니싱 요소의 왜곡으로부터 도출하는 것도 가능할 수 있다. 그러나 원근법적 평가에 따른 이러한 제1 퍼니싱 요소의 길이가 상대적으로 짧고 불행히도 상기 제1 퍼니싱 요소에 할당된 소수의 픽셀만 제공된다면 이것은 매우 부정확한 결과를 초래할 수 있다.

따라서, 장소 의존적인 스케일로 표현되는 기능을 가능하면 정확하게 한정하기 위해 바람직하게는 복수의 그러한 제1 퍼니싱 요소가 사용될 수 있으며, 이때 이러한 퍼니싱 요소는 원근법적 이미지에 따라 어느 정도 균일하게 분포된 상태로 이상적인 방식으로 제공된다. 그러한 범위는 매트릭스로 표현되기도 한다.

전술한 것처럼, 본 발명의 대상은 소매업체에서 상기 퍼니싱 요소의 바람직한 사용에 관한 것이다. 이미 알려진 실제 치수(예를 들어, 밀리미터 단위의 디지털 측정 데이터 형태)의 제1 퍼니싱 요소는 스케일 결정을 위한 기준 요소를 형성한다. 그러한 기준 요소는 다양한 형태를 구비할 수 있다. 예를 들어, 길이가 정확하게 알려진 선반이 전체적으로 제공될 수 있다. 선반의 이용이 바람직한 이유는 이러한 선반이 장면-이미지에서 종종 탁월한 역할을 수행하기 때문이다. 그러나 더욱 작은 대상, 예컨대 선반 보드의 전방 단부를 형성하는 선반 스트립과 같은 그러한 대상이 기준 요소로서 사용될 수도 있다. 또한, 전술한 것을 위해 사업장에서 상품 진열을 위해 제공된 장바구니도 적합할 수 있으며, 이때 그러한 장바구니는 개별 카메라의 캡처 영역에 배치되는 것을 전제로 한다.

그러나 상이한 소매업체의 개별 사업장에 종종 매우 다양한 제조업체에 의해, 또는 종종 소매업체의 특별한 구조적 사양에 따라 매우 다양한 치수를 갖는 선반 또는 선반 스트립 및 장바구니가 소매업체에 제공될 수 있다. 따라서, 전술한 선반 또는 선반 스트립 장바구니는 적용 분야가 매우 적은 경우에만 제1 퍼니싱 요소로서 적합하다.

이러한 배경하에서, 특히 바람직한 것으로서 입증된 것은 이미 알려진 실제 치수로 제공된 제1 퍼니싱 요소가 전자 가격 표시기(electronic shelf label)를 통해 형성되는 것이다. 기준 요소로서 이러한 전자 가격 표시기의 사용이 바람직한 이유는 일반적으로 그러한 전자 가격 표시기에 통일된 치수가 제공되기 때문이다. 당연히 매우 상이하고 매우 가변적인 치수의 전자 가격 표시기가 존재할 수 있다. 그러나 실무에서 입증된 것은 적용될 치수가 거의 변하지 않았거나, 또는 그러한 치수는 미리 정해진 범위의 서로 다른 사업장 또는 서로 다른 소매업체 사이에서만 가변적이라는 사실이다. 특히 전술한 것은 사업장에서 선반 레일 또는 이러한 선반의 선반 레일에 설치된 복수의 전자 가격 표시기에도 적용된다. 일반적으로 그러한 전자 가격 표시기는 하나 내지 두 개의 서로 다른 치수로만 선반에 제공된다. 각각의 이러한 전자 가격 표시기가 동일한 선반 레일에 접합하게 맞아야 하기 때문에 상기 전자 가격 표시기의 치수 또는 규격은 단지 너비에서만 종종 차이를 보이고, 이와 반대로 예를 들어 전자 가격 표시기의 서로 다른 두 개의 유형에서 높이는 종종 동일하다. 즉 상기 전자 가격 표시기의 실제 치수는 일반적으로 이러한 가격 표시기의 서로 다른 유형 및 설치 위치와 관련하여 균등하게 분류될 수 있다.

상기 전자 가격 표시기를 통해 특징 되는 복수의 상이한 제품과 함께 선반 보드 및 개별 선반 스트립에 부착된 전자 가격 표시기를 포함하는 선반이 사업장의 장면-이미지에 주로 제공되므로, 기준 요소로서 전자 가격 표시기의 선택은 또 다른 이유에서 특히 바람직한 것으로 입증되었다. 선반 자체 또는 선반 스트립 등의 경우와 달리 상기 전자 가격 표시기는 항상 선반의 전면에 부착되어 있고, 이로써 카메라를 통해 캡처된 장면-이미지에서 디지털 이미지 처리를 통해 문제없이, 그리고 명확하게 식별될 수 있다.

구체적으로 설명하면, 제1 퍼니싱 요소-이미지에 할당된 픽셀은 다음에서 기술된 조치 가운데 적어도 하나의 조치를 통해 감지, 즉:

- 제1 퍼니싱 요소-이미지가 평면적으로 점유하는 픽셀 수량의 감지. 이로 인해, 상기 제1 퍼니싱 요소-이미지가 점유한 표면(표면적은 계산된 픽셀의 합계로서 표시 또는 계산된 픽셀의 전체-픽셀 면을 통해 표면적이 표시됨)은 픽셀 계산을 통해 장면-이미지에서 감지되고, 제1 퍼니싱 요소(예를 들어, 제1 퍼니싱 요소 전방면 표면적은 제곱 밀리미터 단위로 표시됨)의 실질적인 표면적 인식을 바탕으로 스케일이 계산된다.

- 제1 퍼니싱 요소-이미지가 외주에서 점유하는 픽셀의 수량 또는 상기 제1 퍼니싱 요소-이미지가 외주에서 둘러싸는 픽셀의 수량 감지. 장면-이미지에서 제1 퍼니싱 요소-이미지의 범위는 가장자리 측, 즉 상기 제1 퍼니싱 요소-이미지가 점유한 픽셀을 바탕으로, 또는 제1 퍼니싱 요소-이미지와 바로 경계를 이루는 픽셀을 바탕으로 픽셀 수량을 계산함으로써 감지된다. 상기 제1 퍼니싱 요소(예를 들어, 제1 퍼니싱 요소의 전면 범위)의 실질적인 범위 인식을 바탕으로 본 발명에 따른 스케일이 계산될 수 있다.

- 제1 퍼니싱 요소-이미지의 경계선을 따라 상기 제1 퍼니싱 요소-이미지가 점유한 픽셀의 수량 또는 그러한 경계선 가운데 하나의 경계선에 인접해 있고 상기 제1 퍼니싱 요소-이미지를 둘러싸는 있는 픽셀 수량의 감지. 즉, 경계선의 길이가 스케일 결정을 위한 토대로 사용된다. 특히, 직선으로 뻗은 경계선, 예를 들어 하우징 에지를 통해 제공될 수 있는 제1 퍼니싱 요소의 직사각형 또는 정사각형 구조 면과 같은 그러한 경계선이 제공될 수 있다. 따라서, 그러한 경계선을 따라 점유된 픽셀 또는 경계선 가운데 하나의 경계선에 인접해 있고 상기 제1 퍼니싱 요소-이미지를 둘러싸는 픽셀의 수량이 계산된다. 상기 제1 퍼니싱 요소 경계선의 실질적인 길이 인식을 바탕으로 스케일이 계산될 수 있다.

요약하면, 장면에서 전술한 스케일은 장면-이미지의 픽셀 당 표면적 또는 길이의 단위를 나타낸다는 것을 확인할 수 있다.

본 발명에 따른 방법의 또 다른 측면에 따라, 적어도 하나의 제2 퍼니싱 요소-이미지가 장면-이미지에서 인식되고, 제2 퍼니싱 요소-이미지의 토대가 되는 제2 퍼니싱 요소의 적어도 실질적인 측정 정보는 장면-이미지를 위한 스케일을 이용함으로써 결정된다. 이러한 스케일을 토대로 디지털 장면-이미지에서 식별할 수 있는 또 다른 대상-이미지(제2 퍼니싱 요소-이미지) 및 이러한 대상 이미지의 실질적인(실제) 치수에 대한 또 다른 실제 간격 표시가 이차원 디지털 장면-이미지에서 탐지될 수 있다. 또 다른 대상이 제공된 소매업체 사업장의 경우, 예컨대 제1 퍼니싱 요소로써 사용된 것과 다른 전자 가격 표시기 또는 선반에 전시된 또 다른 제품이 제공될 수 있다. 이러한 또 다른 대상은 전체 선반일 수 있거나, 또는 제품의 전시에 이용된 또 다른 대상일 수 있다.

이러한 맥락에서 실질적인 측정 정보는 다음에서 설명된 것 가운데 적어도 하나의 측정 치수를 구비, 즉:

- 제2 퍼니싱 요소의 실제 크기 치수,

- 마찬가지로 장면-이미지에서 인식된 또 다른 퍼니싱 요소에 대한 제2 퍼니싱 요소의 실제 간격 치수,

- 카메라를 통해 캡처된 장면 내에서 제2 퍼니싱 요소의 실질적인 위치 치수를 구비한다는 사실을 확인할 수 있다. 이로 인해, 제2 또 다른 퍼니싱 요소의 위치 및 방향이 다양하게 설명될 수 있다.

특히, 장면-이미지에서 인식된 퍼니싱 요소-이미지의 전체를 토대로, 그리고 장면-이미지를 위한 스케일을 이용하여 제1 데이터 구조가 생성되며, 이러한 데이터 구조는 이차원 매핑을 위해 필요한 실질적인 측정 정보를 지정함으로써 장면에서 퍼니싱 요소의 이차원 디지털 지도를 생성한다. 필요한 치수는 이차원 디지털 지도와 관련한 요구 조건으로부터 발생한다. 예를 들어, 퍼니싱 요소의 위치를 확인하기 위해 링크된 측정 정보(즉, 서로 마주보는 퍼니싱 요소의 간격을 표시하는 상대적인 측정 정보)만 요구될 수 있다. 또한, 원점 또는 기준점으로부터 측정된 절대적 측정 정보가 요구될 수도 있다.

광학 이미지 캡처 장치를 통해 장면을 카메라의 이미지 센서로 투영하는 것을 나타내는 장면-이미지의 이러한 이차원 디지털 지도는 계속해서 이차원 디지털 지도를 3차원 맥락에 삽입하기 위해 사용된다. 본 발명에 따른 방법의 이러한 측면에 따라, 제1 데이터 구조는 보충 데이터를 통해 제2 데이터 구조로 전환되고, 이때 이러한 제2 데이터 구조는 위치 결정과 관련한 공간 영역에서 퍼니싱 요소의 3차원 디지털 지도를 나타내며, 상기 보충 데이터는 아래에서 설명된 데이터 요소 가운데 적어도 하나의 데이터 요소를 구비, 즉:

- 카메라의 거리, 특히 카메라에 의해 캡처된 장면, 즉 장면에 포함된 제1 퍼니싱 요소의 그러한 거리에 대해 평균 거리 또는 대표 거리를 나타내는 거리 데이터;

- 공간 영역에서 카메라의 방향을 나타내는 방향 데이터;

- 기준, 특히 중력 방향과 관련하여 카메라의 기울기를 나타내는 기울기 데이터;

- 공간 영역 내에서 카메라의 위치를 나타내는 위치 데이터를 구비한다.

이때, 거리 데이터를 통해 표시된 거리는 아래의 방법 가운데 적어도 하나의 방법을 통해 설정, 즉:

- 예컨대 카메라의 초기 설치 또는 카메라 방향 재조정시 일회적으로 실행해야 하는 사전 프로그래밍 방법 및 경우에 따라 이전 수동 측정을 통해 실시되는 방법을 통해 설정될 수 있다.

- 카메라의 광학 이미지 시스템의 매개 변수 인지를 바탕으로 자동 연산, 예컨대 카메라의 컴퓨터를 통해 완전 자동으로 실시될 수 있는 방법을 통해 설정될 수 있으며, 그 이유는 컴퓨터가 광학 이미지 시스템의 매개변수를 사전 프로그래밍 된(예컨대, 카메라 제조시) 메모리 가운데 하나의 메모리를 획득할 수 있고, 컴퓨터가 제1 퍼니싱 요소의 실제 치수를 인지하고 있기 때문이다. 예를 들어, 보편적으로 알려진 렌즈 방정식을 이용하여 실제 물체에 대한 간격이 계산될 수 있으며, 이때 카메라의 실질적인 물체에 대응하는 이미지 기능이 적용될 수 있다.

- 거리 센서를 이용한 자동 탐지 방법을 통해 설정될 수 있으며, 이를 위해 예를 들어 직접적으로 정확한 간격 측정을 가능하게 하는 LIDAR-센서 또는 이와 유사한 것이 사용될 수 있고, 카메라의 컴퓨터는 상기 LIDAR-센서로부터 전송된 데이터를 계속해서 처리한다.

사전 프로그래밍 된 거리 데이터 또는 계산된 거리 데이터는 서버에 저장되며, 그 이유는 이러한 데이터가 상기 서버에서 계산되었기 때문이다. 그러나 거리 데이터가 카메라에서 계산되거나, 또는 자동 결정을 통해 카메라에서 생성될 경우, 상기 데이터는 서버에 전송되며, 그 이유는 상기 서버에서 상기 데이터를 통해 3차원 지도가 생성되기 때문이다.

또한, 방향 데이터를 통해 표시된 방향은 아래에서 설명된 방법 가운데 하나의 방법으로 설정, 즉:

- 사전 프로그래밍 방법, 이 경우 예컨대 카메라의 초기 설치 또는 카메라 방향 재조정시 일회적으로 실행해야 하는 그러한 사전 프로그래밍 방법 및 경우에 따라 이전 수동 측정을 통해 실시되는 방법을 통해 설정될 수 있다.

- 방향 센서를 통한 자동 탐지 방법을 통해 설정될 수 있으며, 이를 위해 예컨대 전자 나침반이 사용될 수 있고, 카메라의 컴퓨터는 상기 전자 나침반으로부터 전송된 데이터를 계속해서 처리한다.

사전 프로그래밍 된 방향 데이터는 서버에 저장되어 있거나, 또는 자동 결정을 통해 획득한 방향 데이터가 서버로 전송되며, 상기 서버에서 상기 데이터를 통해 3차원 지도가 생성된다.

또한, 기울기 데이터를 통해 표시된 기울기는 아래에서 설명된 방법 가운데 적어도 하나의 방법으로 설정, 즉:

- 사전 프로그래밍 방법, 이 경우 예컨대 카메라의 초기 설치 또는 카메라 방향 재조정시 일회적으로 실행해야 하는 그러한 사전 프로그래밍 방법 및 경우에 따라 이전 수동 측정을 통해 실시되는 방법을 통해 설정될 수 있다.

- 기울기 센서(inclination sensor)를 통한 자동 탐지 방법을 통해 설정되며, 이를 위해 예컨대 전자 자이로스코프(electronic gyroscope)가 사용될 수 있고, 카메라의 컴퓨터는 상기 전자 자이로스코프로부터 전송된 데이터를 계속해서 처리한다.

사전 프로그래밍 된 기울기 데이터는 서버에 저장되어 있거나, 또는 자동 결정을 통해 획득한 기울기 데이터가 서버로 전송되며, 상기 서버에서 상기 데이터를 통해 3차원 지도가 생성된다.

또한, 위치 데이터를 통해 표시된 위치는 아래에서 설명된 방법 가운데 적어도 하나의 방법으로 설정, 즉:

- 사전 프로그래밍 방법, 이 경우 예컨대 카메라의 초기 설치 또는 카메라 방향 재조정시 일회적으로 실행해야 하는 그러한 사전 프로그래밍 방법 및 경우에 따라 이전 수동 측정을 통해 실시되는 방법을 통해 설정될 수 있다.

- 무선에 기반을 둔 자동 위치 결정, 특히 "초광대역 무선 기술"(축약해서, UWB-무선 기술)을 통해 실시되는 방법을 통해 설정될 수 있으며, 이를 위해 바람직하게는 고정된 상태로(관련 공간 영역의 서로 다른 지점에) 설치된 UWB-전송기가 사용되며, 카메라는 UWB-모듈을 구비하고, 이러한 무선 모듈을 통해 카메라와 UWB-무선 통신 상태에 있는 UWB-전송기에서 UWB-전송기와 관련한 카메라의 위치가 결정되며, 전술한 것으로부터 위치 데이터가 생성된다.

사전 프로그래밍 된 위치 데이터는 서버에 저장되어 있거나, 또는 무선에 기반을 둔 자동 위치 결정을 통해 획득한 위치 데이터가 서버로 전송하며, 상기 서버에서 상기 데이터를 통해 3차원 지도가 생성된다.

제1 퍼니싱 요소의 더욱 용이한 식별을 위해 상기 제1 퍼니싱 요소로부터 광신호가 전달되고, 상기 광신호가 제1 퍼니싱 요소-이미지의 인식을 위해 사용될 수 있다. 이때, 상기 광신호는 장면-이미지 잔여 부분의 눈에 띄는 강도 또는 확연한 스펙트럼 분포를 바탕으로 더욱 용이한 식별이 이루어지도록 한다. 전술한 것은 특히 단일 정지 이미지가 제1 퍼니싱 요소의 식별을 위해 이용될 경우 유용하다. 예를 들어, 제1 퍼니싱 요소의 유형을 식별하고, 예를 들어 치수는 유형에 따라 서로 다른 실제 치수로 분류된 상태로 사전 프로그래밍 되어 있기 때문에 상기 제1 퍼니싱 요소의 실제 치수를 추론하기 위해 식별 정보가 광신호를 통해 추가로 전달될 경우, 개별 촬영 간에 적절한 일시 중단 시간을 두고 일련의 정지 이미지를 촬영하거나, 또는 정보 전송을 다루는 비디오 시퀀스를 촬영하도록 제공된다.

광신호의 경우, 바람직하게는 발광 신호, 즉 제1 퍼니싱 요소로부터 방출된 전자기 빔이 제공된다. 이러한 발광 신호는 인간의 육안으로 식별 가능한 전자기 스펙트럼 영역의 일부를 포함할 수 있다. 바람직하게는, 카메라가 캡처할 수 있지만 인간의 육안으로 식별할 수 없는 발광 신호가 제공될 수 있다.

그러나 상기 광신호는 반사광의 영향을 통해 제공될 수 있다. 광신호의 경우, 예를 들어 코드, 예컨대 알파뉴메릭 텍스트, 바코드, QR-코드 또는 스크린, 특히 전자 종이(e-paper)-스크린에서 디스플레이되는 기호 또는 이와 유사한 것이 제공될 수 있다. 즉, 반사광은 제1 퍼니싱 요소-이미지 인식을 위해 사용되는 광신호가 발생하도록 영향을 준다.

카메라의 경우, 모바일 카메라 즉, 위치를 변경할 수 있는 그러한 카메라가 제공될 수 있다. 전술한 조치 및/또는 예를 들어 "실내 위치 확인 시스템"에 의한 자동 위치 결정을 통해 그러한 모바일 카메라의 위치가 결정될 수 있다. 상기 카메라가 자신의 경로를 따라 촬영한 개별 장면-이미지의 탐지된 스케일은 이러한 카메라의 위치와 관련하여 설정될 수 있고, 따라서 3차원 지도가 생성될 수 있다. 그러한 모바일 카메라는 예를 들어 쇼핑 카트 상에 제공될 수 있거나, 또는 상기 쇼핑 카트 내부에 내장될 수 있다.

특히 바람직한 것으로 입증된 것은 상기 카메라가 고정된 상태로 설치된 카메라로서 제공되는 것이다. 이것은 캡처된 이미지 데이터 및 캡처된 장면의 공간 할당을 용이하게 할 수 있다. 또한, 이러한 조치는 고정된 상태로 설치된 카메라가 향하고 있는 모든 영역이 영구적으로 촬영될 수 있도록 보장한다. 이로 인해, 고정된 상태로 설치된 카메라에 의해 캡처된 모든 장면은 본 발명에 따른 방법으로 생성된 3차원 지도를 통해 최신 상태를 지속적으로 유지하게 된다.

요약하면, 본 발명에 따른 조치로 인해 관련 공간 영역에 제공된 모든 퍼니싱 요소와 관련하여 최대한 효율적이고 무엇보다 정확한, 즉 뛰어난 오류 방지와 여기에 더해 매우 정확한 매핑이 실시될 수 있으며, 따라서 완전 자동으로 생성된 퍼니싱 요소의 지도가 생성되며, 이러한 지도는 소매업체과 관련하여 "플로어 플랜"으로 표현되고, 관련 공간 영역(이것은 사업장의 영역을 의미함)에서 인식된(제1 및 제2) 모든 퍼니싱 요소의 3차원 지도를 디지털 형태로 생성한다.

이어서, 보편적으로 언급될 수 있는 것은 전술한 전자 기기는 당연히 전자 장치를 구비한다는 사실이다. 상기 전자 장치는 분리된 전자 장치 또는 내장형 전자 장치 또는 전술한 두 유형의 결합을 통해 구성될 수 있다. 또한, 전술한 것은 마이크로 컴퓨터, 마이크로컨트롤러, 집적 회로(ASICs), 경우에 따라 아날로그 또는 디지털 전자 주변장치와 결합한 형태로 사용될 수도 있다. 전술한 기기의 많은 기능은 - 경우에 따라, 하드웨어 구성요소의 상호 작용 속에서 - 전자 장치의 프로세서에서 실행되는 소프트웨어를 통해 구현된다. 무선 통신을 위해 형성된 기기는 일반적으로 트랜시버 모듈의 구성요소로서 무선 신호의 송신 및 수신을 위한 안테나 형태를 구비할 수 있다. 또한, 상기 전자 기기는 내부 전력 공급장치를 구비하며, 상기 내부 전력 공급장치는 예를 들어 교체 또는 충전 가능한 배터리로 작동될 수 있다. 또한, 상기 전자 기기는 케이블 연결된 외부 전원 공급장치 또는 "Power over LAN"을 통해서도 전원을 공급받을 수 있다.

전술한 것과 본 발명의 또 다른 측면은 아래의 도면을 통해 상세하게 설명된다.

본 발명은 본 발명을 제한하지 않는 실시 예를 첨부된 도면을 통해 다시 한 번 상세하게 설명된다. 이때, 서로 다른 도면의 동일한 구성요소는 동일한 도면부호로 표기된다. 도면 설명은 다음과 같다:

도 1은 카메라 및 카메라의 캡처 영역에서 장면으로서 배치된 전자 가격 표시기를 포함하는 선반을 구비한 전자 가격 표시기-시스템을 도시하고 있고;
도 2는 전방에 배치된 카메라를 구비한 선반을 정면도로 도시하고 있고;
도 3은 전방에 배치된 카메라를 구비한 선반을 상면도로 도시하고 있고;
도 4는 전방에 배치된 카메라를 포함하는 선반을 좌측 측면도로 도시하고 있고;
도 5는 카메라를 통해 캡처된 장면의 장면-이미지 내에 있는 전자 가격 표시기의 이미지를 도시하고 있다.

도 1은 본 발명에 따른 방법을 실행 및 설명하기 위해 다음에서 ESL-시스템(1)(ESL은 "Electrronic-Shelf-Label"을 나타냄)으로 축약해서 지칭되는 전자 가격 표시기 시스템의 기본 구성을 도시하고 있다. 상기 시스템(1)은:

- 소매업체 사업장에서 퍼니싱 요소의 3차원 디지털 지도를 생성 및 계속해서 사용하기 위한 서버(16)를 구비하며, 상기 사업장에는 상품(도시되어 있지 않음)을 진열하기 위해 선반 보드(3-5)를 포함하는 선반(2)이 설치되어 있고;

- 다음에서 UWB-전송기(15)로 축약해서 지칭되는 초광대역 통신 장치(15)를 구비하며, 여기서 UWB는 사업장에서 이러한 UWB-지원 기기의 위치 결정을 위해 또 다른 UWB-지원 기기(제1 무선 신호(L1))와 UWB-무선 통신하기 위한 "초광대역(Ultra-Wide-Band)"을 나타내고;

- 다음에서 ESLs(6-12)로 축약해서 지칭되는 전자 가격 표시기(6-12)와 무선 통신(제2 무선 신호(L2)를 통해 암시됨)하기 위한 ESL-액세스-포인트(17)를 구비하고;

- 카메라(13)(세 번째 무선 신호(L3)를 통해 암시됨)와 무선 통신하기 위한 카메라-액세스-포인트(18)를 구비하고;

- 카메라(13)를 구비하며, 상기 카메라는 캡처될 장면으로서 카메라의 이미지-캡처 영역과 함께 선반(2) 방향을 향해 있고, 이러한 장면, 즉 선반(2)으로부터 디지털 장면-이미지가 생성되며, 상기 카메라는 서버로 데이터 전송을 위해 상기 카메라-액세스-포인트(18)와 무선 통신하도록 형성되어 있고, 사업장에서 상기 카메라의 위치를 결정하기 위해 이러한 카메라는 UWB-전송기와 무선 통신하도록 형성되어 있고;

- 7개의 ESLs(6-12)를 구비하며, 상기 ESLs는 해당 선반 보드(3-5)(도시되어 있지 않은 제품에 대응하여)의 전방 에지에 배치되어 있고, 선반 보드에서 제품 정보 및/또는 가격 정보의 시각화를 위해 사용되고, 서버(16)의 해당 제품 정보 및/또는 가격 정보를 위해 ESL-액세스-포인트(17)와 무선 통신하기 위해 형성되어 있다.

상기 ESLs(6-12)는 서버(16)로부터 자체로 알려진 방식대로 ESL-액세스-포인트(17)를 지나 해당 제품 정보 및/또는 가격 정보를 제공 받으며, 이것은 소위 "라벨-관리-소프트웨어(Label-Management-Software)"의 도움으로 실시된다. 이러한 맥락에서 서버(16)에 디지털 방식으로 저장된 논리적 링크가 제공되며, 이러한 링크는 각각의 ESL(6-12)을 이러한 ESL과 연결된 제품과 연결하고(전문 기술 용어로 "바인딩(binding)"으로 표현됨), 이를 위해 일반적으로 극단적인 에너지 절약형 전기영동(electrophoretic) 디스플레이로서 형성된 스크린을 통해 시각화하기 위해 ESLs(6-12)에 정확한 데이터가 전송된다.

사업장에서 선반과 이러한 선반에 제공된 제품의 정확한 위치를 완전 자동으로 결정하는 것은 본 발명에 따른 또 다른 설명의 대상이다. 이때, 사용될 방법의 결과는 사업장에 제공된 퍼니싱 요소의 디지털 3차원 지도이다. 기본적으로 모든 대상을 퍼니싱 요소로 이해할 수 있으며, 이러한 대상은 사업장의 서로 다른 지점, 바람직하게는 천장에 매달려 있거나, 또는 내장된 상태로 제공되거나, 또는 또 다른 퍼니싱 요소, 예컨대 선반(2) 자체에 고정될 수 있는 카메라(들)(13)를 통해 캡처될 수 있다. 상기 방법의 단순한 설명을 위해 본 경우는 단일 선반(2)과 단일 카메라(13)만 고려의 대상으로 하고 있지만, 본 발명이 이러한 구성에만 제한되는 것으로 이해되어서는 안 된다. 오히려, 다수의 선반(13)이 상기 카메라를 통해 캡처될 수 있다. 기본적으로, 사업장의 실제 구성에서 충분한 카메라(13)가 서로 다른 위치 및 서로 다른 방향으로 설정된 캡처 영역에 배치될 수 있으며, 이것은 본 발명에 따른 방법을 가급적 포괄적으로 사업장에 적용하고, 가급적 완전 디지털 3차원 퍼니싱 요소 지도를 획득하기 위한 것이다.

사업장에서 퍼니싱 요소를 매핑하기 위해 이러한 사업장에 직교 좌표계(19)가 우선 정의되며, 상기 직교 좌표계는 도 1의 우측 하단에 도시되어 있다. 정의에 따라 (법적 시스템의 의미에서) 서로 수직으로 놓여 있는 좌표 축(X 및 Y)은 선반(2)이 놓여 있는 평평한 바닥 면(G)을 따라 뻗어 있고, 맨 하단 기준 면을 한정하며, 이 경우 모든 퍼니싱 요소는 기준 면의 상단에 위치하고, 상기 기준 면에 대한 퍼니싱 요소의 간격은 이러한 기준 면에 수직으로 놓이며, 위쪽으로 돌출해 있는 원점이 0인 Z-좌표축을 따라 제공될 수 있다. 당연히 이러한 기준 면은 바닥(G)과 간격을 두고 뻗어 있을 수 있다. 이때, 기준 면에서 좌표의 쌍 축(X 및 Y) 방향은 임의로 선택될 수 있다. 이를 위해, 실무에서 예컨대 사업장의 코너(corner)가 이용될 수 있다.

상기 카메라의 위치 결정을 위해 상기 UWB-전송기(15)와 카메라(13) 사이에 UWB-무선 통신이 사용되며, 이때 사업장에 고정된 방식으로 설치된 UWB-전송기(15)의 위치는 이미 알려진 것이다. 이렇게 획득된 카메라(13)의 위치 데이터(KPD)는 UWB-전송기(15)로부터 예컨대 케이블 연결된 형태로 근거리 통신망(Lokal-Area-Network)(축약해서, LAN)을 지나 서버(16)로 전송된다. 여기서 상기 UWB-전송기(15)와 관련하여 카메라(13)의 상대적 위치를 나타내는 상대 좌표가 상기 서버(16)에 전송될 수 있고, 이러한 서버(16)가 좌표계(19)에서 UWB-전송기의 위치를 인지함으로써 카메라(16)의 위치 데이터를 계산하기에 충분하다는 점이 언급될 수 있을 것이다. 상기 위치 데이터(KPD)는 위치 벡터()를 나타내고, 이러한 위치 벡터는 좌표계(19)에서 카메라 좌표(KX, KY, KZ)를 통해 상기 카메라(13)의 위치를 나타낸다.

사업장에서 대상으로서 퍼니싱 요소의 위치 및 방향을 계속해서 결정하기 위해, 사업장의 공간 영역에 제공된 카메라(13)의 방향이 고려되기도 한다. 이러한 목적을 위해 상기 카메라(13)는 전자 나침반(도시되어 있지 않음)을 구비하며, 상기 전자 나침반은 평면(G')에서 바닥(G)에 대해 평행하게 상기 카메라의 방향을 표시한다. 상기 카메라(13)에서 전자 나침반을 통해 생성된 방향 데이터(KOD)는 상기 카메라(13)로부터 서버(16)로 전송되고, 서버에서 계속해서 처리된다. 각도(Betta)(β)를 통해 상기 카메라(13) 방향이 시각화되는데, 각도는 좌표 축(X 및 Y)으로 형성되는 평면에 평행하는 평면(G')에 뻗어 있고, 상기 카메라(13) 위치에 원점을 두고 있는 좌표 축(X' 및 Y')을 통해 표시되어 있다. 정의에 따라, 여기서 각도(Betta)(β)는 X'-좌표축을 기점으로 y'-좌표축으로 측정된다.

전술한 것처럼 상기 카메라(13)는 사업장의 천장에 설치되어 있고, 이러한 카메라의 캡처 영역(14)은 천장으로부터 아래쪽으로 비스듬한 방향으로 제공되며, 이것은 가능하면 선반(2)을 전체적으로 캡처하기 위한 것이다. 여기서, 카메라(13)의 중심 캡처 방향(E)은 상기 선반(2)의 중심 방향으로 도시되어 있다. 상기 평면(G')에 대한 중심 캡처 방향(E)의 투영은 투영된 캡처 방향(E')으로 입력되며, 이때 각도(Betta)(β)는 투영된 캡처 방향에 이르기까지 연장된다. 일반적으로, 캡처 영역(14)의 외부 가장자리는 점선으로 표시 또는 정의되어 있고, 이 도면에서 점선은 선반(2)의 네 개의 코너로 뻗어 있는 상태로 도시되어 있다. 전술한 것처럼 중심 캡처 방향(E)은 x'-축에 대해 각도(Betta)(β)로 회전되어 있고, 추가로 x'-y' 좌표로 형성된 평면(G')으로부터 아래쪽으로 기울어져 있다.

본 발명에 따른 방법의 또 다른 설명은 도 2 내지 도 5에서 다음과 같이 설명된다.

도 2는 도 1에 도시된 선반(2)의 정면도를 도시하고 있고, 이러한 정면도의 상단 영역에 카메라(13)가 설치되어 있으며, 도 3은 선반과 간격을 두고 배치된 카메라(13)를 포함하는 선반(2)의 평면도를 도시하고 있고, 도 4는 선반(2)과 간격을 두고 있고 카메라(13)가 사업장 천장의 바로 아래에 배치된 선반(4)을 도시하고 있다. 도 2 및 도 4에서 상기 선반(2)이 놓여 있는 바닥(G)의 단면을 식별할 수 있다.

이 경우에서 알 수 있듯이 상기 카메라(13)가 사업장의 천장에 고정되어 있고(상세하게 도시되어 있지 않음), 이러한 카메라의 중심 캡처 영역(E)이 x'-y'-좌표 축(도 1 참조)으로 형성된 평면, 즉 섹션 라인의 일부만 볼 수 있는 평면(G')으로부터 아래쪽으로 경사져 있다면, 사업장의 공간 영역에서 상기 카메라(13)의 기울기도 고려될 수 있다. 이러한 목적을 위해 카메라(13)는 평면(G')으로부터 중심 캡처 방향(E)의 기울기를 나타내는 전자 자이로스코프(도시되어 있지 않음)를 구비한다. 카메라(13)에서 전자 자이로스코프를 통해 생성된 기울기 데이터(KND)는 상기 카메라(13)로부터 서버(16)로 전송되고, 서버에서 계속해서 처리된다. 상기 카메라(13)의 기울기가 정의에 따라 평면(G')으로부터 측정된 각도(Alpha)(α)를 통해 시각화된다.

또한, 상세한 설명에서 일반적으로 상술한 것처럼 캡처된 장면과 카메라(13) 사이의 거리가 확인 또는 결정된다. 단순한 근사법에 따라 상기 카메라와 장면 또는 장면의 퍼니싱 요소 사이의 거리는 보편적으로 알려진 렌즈 방정식, 즉 관련 문헌에서 설명되어 있듯이 "이미지 방정식"이라는 용어로 알려진 렌즈 방정식을 이용하여 계산된다. 측정 또는 계산을 통해 결정된 거리, 예를 들어, 도 4에서 중심 캡처 방향(E)에 따른 평균 거리는 거리 데이터(KED)를 통해 표시되며, 상기 거리 데이터는 서버(16)에서 계산을 통해 데이터의 원점을 갖거나 또는 카메라(13)로부터 서버(16)로 전송되고 서버에서 계속해서 처리된다.

대상으로서 퍼니싱 요소를 자동으로 매우 정확하게 사업장에 배치하기 위해 스케일이 필요하며, 이러한 스케일에 의해서 카메라(13)로 캡처한 장면 또는 그 장면의 요소를 실제 치수 및 위치의 정보에 배치할수 있다. 이러한 스케일은 제1 퍼니싱 요소, 즉 기준 요소의 역할을 수행하는 ESLs(6-12)를 통해 결정되는데, 이는 이미 알려진 너비(B)(예를 들어, 60mm), 이미 알려진 높이(H)(예를 들어, 30mm) 및 이미 알려진 깊이(T)(예를 들어, 8mm)와 같이 이미 알려진 치수로 제공되므로, 이 경우 이러한 치수(B, H, T)는 모든 ESLs(6-12)에 대해 동일하다.

상기 카메라(13)를 통해 장면, 즉 도 1(또한, 도 2 내지 도 4 참조)에 따른 선반(2)의 디지털 정지 이미지가 캡처되고, 이러한 장면을 나타내는 이차원 디지털 장면-이미지가 생성되며, 상기 장면-이미지는 예를 들어 1100 x 700 픽셀로 형성된다. 이러한 픽셀은 매트릭스로 배열되며, 개별 픽셀의 위치는 픽셀 좌표(xp 및 yp)를 통해 부여되고, 이때 xp는 수량 1 내지 1100에 해당하는 자연수 성분이고, yp는 수량 1 내지 700에 해당하는 자연수 성분이다. 이러한 장면-이미지에서 장면의 모든 실제 퍼니싱 요소는 예컨대 선반 보드(3-5)를 포함하는 선반(2), 경우에 따라 이러한 선반 위에 배치된 제품을 포함한다. 그러나 상기 ESLs(6-12)는 가장 중요한 이미지 요소로서 나타나며, 이는 다른 이미지 요소에 의해 가려지지 않는다. 이러한 탁월한 위치 설정 및 이미 알려진 위치의 치수는 ESLs(6-12)를 장면-이미지의 스케일 결정을 위한 기준 요소로서 적합하게 한다.

이 경우, 카메라(13)에 내장된 인공 지능을 통해 디지털 장면-이미지에서 ESLs(6-12)를 검색한다. 이때, 일반적으로 많은 영향을 받지 않고 검색될 수 있는 ESLs의 직사각형 형태와 같이 너비를 높이로 나눈 치수 비율이 기준으로 사용될 수 있으며, 이로 인해 디지털 장면-이미지에서 ESLs(6-12)의 컴퓨터화된 검색이 쉬워지고 정확해 진다. 이러한 검색의 결과는 예를 들어 도 5에서 볼 수 있는데, 단지 ESLs(6-12)만, 픽셀 좌표(xp 및 yp)를 통해 식별되는 1100 x 700 픽셀의 검색 결과-이미지 매트릭스에서 발견되어 볼 수 있고, 다른 모든 퍼니싱 요소는 숨겨져 있다. 당연히 이렇게 표시하는 것은 주로 간단하게 시각화하여 설명하는데 사용되고, 퍼니싱 요소의 완전한 집합체에서, 검색된 ESLs(6-12)은 디지털 방식으로 표시되고, 즉 메타 데이터로 표시되며, 이것은 경우에 따라 존재할 수 있는 여러가지의 다른 퍼니싱 요소로부터 퍼니싱 요소의 추가적인 디지털 참조를 분리시키기 위한 것이다.

도 5에서 알 수 있듯이 디지털 이미지에서 ESLs(6-12)의 비율 및 형태의 왜곡이 발생할 수 있다. 이 경우, 특히 상단 선반 보드(3)에 도시된 ESL(7)은 형태의 왜곡 또는 변조가 거의 발생하지 않는데, 왜냐하면 카메라(13)의 앞에서 중앙에 배치되어 있기 때문이다. 인접해 있는 ESLs(6 및 8)는 카메라(13) 캡처 영역(14)의 좌측과 우측의 가장자리에 놓여 있기 때문에 수평 방향으로 상당히 축소된 형태로 제공된다. 전술한 것과 달리, ESLs(9-12)는 일반적으로 약간 왜곡된 비율을 갖는데, 이는 카메라(13)가 ESLs(9-12)를 위에서 캡처하기 때문이고, 따라서 ESLs(9-12)가 하단 캡처 영역(14)에 위치할 수록 상기 카메라(13)의 이미지 센서 상에서 ESLs(9-12)의 전방표면의 투영면은 축소된다.

이로서 디지털 장면-이미지 측면에서 볼 때 ESLs(6-12)가 약간 다른 높이(H1-H4)와 약간 다른 너비(B1-B4)를 갖게 되는 결과가 초래된다. 이때, 상기 ESLs(6-12)의 치수와 비율은 인공 지능이 검색할 수 있는 정도로 유지된다.

각각의 ESLs(6-12)에 대해, 장면-이미지에서 ESLs(6-12)를 검색하거나 식별한 후에, 각각의 ESLs(6-12)의 위치에서 유효한 장면-이미지에 대한 각각의 스케일이 결정된다. 기본적으로 스케일은, 장면-이미지 내의 픽셀이 얼마나 많이 실제 치수, 즉 이미 알려진 치수(예를 들어, ESLs의 너비(B) 및/또는 높이(H))의 길이 단위에, 예컨대 1mm에 대응하는지를 나타낸다.

스케일은 각각의 인식된 ESLs(6-12)에 대해 윤곽을 따라 픽셀을 계산함으로써 결정된다. 각각 이미지화된 ESLs(6-12)의 픽셀 좌표(xp)를 따라 결정된 너비-픽셀의 개수는 실제 너비(나뉨수로서)를 너비-픽셀의 개수로 나누기 위한 약수(divisor)로 사용된다. 예를 들어 전술한 것처럼, 실제 너비가 mm 단위로 주어질 경우, 스케일은 픽셀 좌표(xp)를 따라 mm/픽셀의 단위를 갖는다.

이미지화된 개별 ESLs(6-12)의 픽셀 좌표(yp)를 따라 결정된 높이-픽셀 수량은 실제 높이(나뉨수로서)를 높이-픽셀 수량으로 나누기 위한 약수로서 사용된다. 전술한 것처럼 실제 높이가 mm 단위로 주어질 경우 스케일은 픽셀 좌표(yp)를 따라 mm/픽셀의 단위를 갖는다.

각각의 ESLs(6-12)에 속하는 이러한 개별 스케일은 일반적으로 각각의 ESLs(6-12)의 위치 또는 ESLs(6-12)의 주변에서만 유효하기 때문에, 개별 ESLs(6-12) 사이에서 스케일 과정이 보간(interpolate)된다. 이러한 보간법은 픽셀 레벨에서 준연속적(quasi-continuous)으로 또는 예를 들어 10x10 픽셀 또는 20x20 픽셀 등과 같은 픽셀 클러스터를 기반으로 실시될 수 있다.

이런식으로 정해지는, 장소에 따라 달리지는 장면-이미지의 스케일로 인해, 장면-이미지에 포함된 선반(2)의 실제 치수를 정확하게 결정할 수 있고, 선반(2)에 배열된 선반 보드(3-5)의 위치가 정해질 수 있으며, 이때 선반 보드는 선반 보드의 전방 에지에서, 고정된 ESLs(6-8, 9-10, 11-12) 그룹의 수평 배열을 따라 뻗어 있다. 상기 선반 보드(3-5)를 따라 제공된 각각의 ESLs(6-12)의 위치와 함께 상호 간격은, 실제 치수(예를 들어, mm 단위로)로 표시될 수도 있다.

전술한 모든 것은, 장면-이미지에 포함된 각각의 퍼니싱 요소-이미지(선반 윤곽선, 선반 보드(2-3) 또는 선반 보드(2-3)의 상호 간격, 경우에 따라 제품의 포장 윤곽 등)에 대해 픽셀은 픽셀 좌표(xp 및 yp)를 따라 계산된다는 것과, 개별 픽셀 좌표(xp 및 yp)를 따라 결정된 픽셀의 개수에, 각각의 경우에 사용되는 픽셀 좌표(xp) 또는 픽셀 좌표(yp)에 대해 장소에 좌우되는 각각의 스케일이 곱해진다는 접근법을 바탕으로 한다. 실제 치수로 매핑된 장면-이미지의 퍼니싱-요소 이미지 전체는, 카메라(13)의 이차원 이미지 센서상에서의 이미지화 때문에 그 작도법으로 매핑된 전체가 단지 장면의 이차원 디지털 지도를 구성하는데, 나중에, 진입하는 카메라(13)의 전술한 거리 데이터(KED), 방향 데이터(KOD), 기울기 데이터(KND) 및 위치 데이터(KPD)를 사용하는 좌표계(19)를 참고하여, 3차원 상태로 전환될 수 있다. 이러한 목적을 위해 결정된 실제 치수를 특정하는 장면의 이차원 디지털 지도가 서버(16)로 전송되고, 보충 데이터로 부르는, 진입하는 카메라(13)의 거리 데이터, 방향 데이터, 기울기 데이터 및 위치 데이터로 보충이 실시된다.

전술한 것처럼, 소매업체의 매장 공간에 실제로 설치된 많은 선반 또는 또 다른 제품 전시물-퍼니싱 요소는 원칙상 임의로 존재할 수 있으며, 상기 퍼니싱 요소는 전술한 조치를 통해 그룹을 지어 또는 개별적으로 3차원으로 매핑될 수 있다. 이때, 캡처될 이러한 퍼니싱 요소의 위치 및 방향은 각기 단일 카메라(13) 또는 적어도 부분적으로 오버랩된 적어도 두 개의 카메라(13)에 의해 캡처될 수 있다. 모든 실시 형태의 변형에서 실제 치수가 이미 알려진 제1 퍼니싱 요소는 장면-이미지를 위한 스케일 결정을 위해 중요한 역할을 하며, 이것은 개별 장면-이미지에 포함된 퍼니싱 요소-이미지를 실제 치수로 제공하기 위한 것이며, 퍼니싱 요소-이미지 상호 간의 상대 위치를 실제 치수로 표시하거나, 또는 장면에서 절대적 위치를 표시하기 위한 것이므로 상기 카메라(13)를 통해 캡처될 모든 퍼니싱 요소의 디지털 3차원 지도를 형성하는 디지털 "플로어 플랜(Floor Plan)"의 컴퓨터화된 자동 생성이 가능하다. 이러한 디지털 플로어 플랜은 추가 이용을 위해 서버(6)에서 라벨 관리 소프트웨어(Label-Management-Software)에 접근할 수 있다.

상기 카메라(13)를 통해 예컨대 스크린의 내용이 캡처되고, 사업장에서 정확한 ESLs의 실질적인 위치를 제어하기 위한 라벨 관리 소프트웨어의 내용이 전달될 수 있다.

ESLs-시스템에서 예컨대 LED(Light Emitting Diode)와 같은 발광 장치를 구비한 ESLs가 사용될 경우, 개별 ESLs의 식별 코드는 예를 들어 상기 카메라(13)를 통해 일련의 정지 이미지로 캡처될 수 있거나, 또는 비디오 시퀀스를 통해 캡처될 수 있고, 경우에 따라 즉시 평가될 수 있으며, 라벨 관리 소프트웨어의 추가 사용을 위해 서버(16)에 전달될 수 있다. 방출된 빛은 장면 이미지에서 카메라(13)에 의한 개별 ESLs의 검색을 경감시키기 위해 사용될 수 있다.

전술한 것과 유사하게 본 발명의 맥락에서 소위 선반-분리기가 제1 퍼니싱 요소 또는 기준 요소로서 사용될 수도 있으며, 그 이유는 선반-분리기 역시 기본적으로 이미 알려진 실제 치수를 구비하기 때문이다. 선반-분리기는 일반적으로 직사각형, 대략 평평한 형태의 구조를 지니며, 이러한 구조는 선반 보드에 인접하게 제공된 제품들 간의 제품 분리를 위해 제공된다. 이러한 선반-분리기에 ESLs와 유사하게 LED가 제공될 수도 있고, 전술한 목적을 위해 광신호로서 발광 신호를 전송할 수도 있다.

ESL-시스템의 또 다른 구성 또는 시스템의 하위 영역에 따라 카메라(13)가 사업장의 천장에 고정되는 것이 아니라, 예를 들어 선반의 중앙 위치에 제공된 선반 레일에 고정될 수도 있다. 카메라(13)는 선반 통로를 지나 또 다른 선반을 장면으로서 캡처하며, 장면-이미지에서 경우에 따라 발생하는 왜곡은 장면-이미지를 중심으로 대칭으로 진행되고, 경우에 따라 더 쉽게 식별될 수 있다. 이러한 구성에서 카메라(13)를 위한 추가 고정 조치는 거의 필요하지 않다.

이어서, 언급될 수 있는 것은 장면-이미지에 대해, 위치에 의존하는 스케일을 사용하는 것이 반드시 필요한 것은 아니라는 것이다. 소매업체의 개별 요구 프로파일로부터 발생할 수 있는 오류가 수용 가능하거나, 또는 등한시될 경우 전체 장면-이미지를 위해 통일된 스케일이 사용될 수 있다.

마지막으로 다시 한 번 언급될 수 있는 것은 상세하게 설명된 상기 도면 설명은 본 발명의 범위를 넘어서지 않는 상태에서 당업자가 상이한 방식으로 변형시킬 수 있는 실시 예에 해당한다는 사실이다. 완전성을 기하기 위해 부정관사 "ein" 및 "eine"의 사용이 배제되지 않으며, 해당 특징이 여러 번 반복해서 등장한다는 것을 밝혀둔다.

Claims (15)

1. 퍼니싱 요소의 위치를 결정하기 위한 방법으로서,
   - 카메라(13)를 사용하여, 상기 카메라로 캡처되고 적어도 하나의 제1 퍼니싱 요소(6-12)가 존재하는 장면으로부터 디지털 장면-이미지가 생성되고, 상기 디지털 장면-이미지는 특히 픽셀 간격 또는 픽셀 치수를 알고 있는 픽셀로 구성되고, 상기 디지털 장면-이미지는 디지털 제1 퍼니싱 요소-이미지를 포함하고,
   - 적어도 하나의 상기 제1 퍼니싱 요소-이미지가 상기 장면-이미지에서 자동으로 인식되고,
   상기 제1 퍼니싱 요소-이미지에 관련된 장면-이미지의 픽셀을 결정하고, 제1 퍼니싱 요소(6-12)의 실제 치수를 파악함으로써, 장면-이미지의 스케일이 결정되는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 장면-이미지에서, 복수의 제1 퍼니싱 요소-이미지, 바람직하게는 동일하게 형성된 제1 퍼니싱 요소(6-12)가 식별되며, 복수의 제1 퍼니싱 요소(6-12)의 토대가 되는 실제 치수는 이미 알려져 있고, 실제 치수를 인지함으로써 상기 장면-이미지에 대한 스케일이 결정되는 것을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서,
   실제 치수가 이미 알려진 상기 제1 퍼니싱 요소(6-12)는 전자 가격 표시기(6-12)에 의해 형성되는 것을 특징으로 하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 장면-이미지에서 제1 퍼니싱 요소-이미지에 할당된 픽셀은,
   - 제1 퍼니싱 요소-이미지의 영역이 점유하는 픽셀의 수량을 결정하는 단계;
   - 제1 퍼니싱 요소-이미지가 외주를 따라 점유하는 픽셀의 수량 또는 상기 제1 퍼니싱 요소-이미지가 외주를 따라 둘러싸는 픽셀의 수량을 결정하는 단계; 및
   - 제1 퍼니싱 요소-이미지의 경계선 중 하나를 따라 상기 제1 퍼니싱 요소-이미지가 점유하는 픽셀의 수량 또는 제1 퍼니싱 요소-이미지의 경계선 중 하나에 인접하여 상기 제1 퍼니싱 요소-이미지를 둘러싸고 있는 픽셀의 수량을 결정하는 단계;
   중 적어도 하나의 단계를 사용하여 결정되는 것을 특징으로 하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 스케일은 상기 장면 내의 상기 장면-이미지에 대한 픽셀 당 면적 또는 길이의 단위를 나타내는 것을 특징으로 하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   적어도 하나의 제2 퍼니싱 요소-이미지가 상기 장면-이미지에서 인식되고, 상기 제2 퍼니싱 요소-이미지의 토대가 되는 상기 제2 퍼니싱 요소의 적어도 하나의 실제 치수는 장면-이미지에 대한 스케일을 이용하여 결정되는 것을 특징으로 하는 방법.
7. 제6항에 있어서,
   상기 실제 치수는,
   - 상기 제2 퍼니싱 요소의 실제 크기 치수;
   - 상기 장면-이미지에서 인식된 또 다른 퍼니싱 요소로부터, 상기 제2 퍼니싱 요소의 실제 간격 치수; 및
   - 상기 카메라(13)를 통해 캡처된 장면 내에서 상기 제2 퍼니싱 요소의 실제 위치 치수;
   중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 장면-이미지에서 인식된 퍼니싱 요소-이미지 전체를 기초로, 그리고 상기 장면-이미지에 대한 스케일을 이용하여, 상기 장면에서 상기 퍼니싱 요소의 이차원 디지털 지도를 나타내는 제1 데이터 구조가 생성되고, 이차원 매핑에 필요한 실제 치수를 나타내는 것을 특징으로 하는 방법.
9. 제8항 내지 제12항 중 어느 한 항에 있어서,
   상기 제1 데이터 구조는 보충 데이터를 통해 제2 데이터 구조로 전환되고, 상기 제2 데이터 구조는 위치 결정와 관련된 공간 영역에서 퍼니싱 요소의 3차원 디지털 지도를 나타내며,
   상기 보충 데이터는,
   - 상기 카메라에 의해 캡처된 장면, 특히 상기 장면에 포함된 상기 제1 퍼니싱 요소(6-12)에 대한 상기 카메라(13)의 거리, 특히 평균 거리 또는 대표 거리를 나타내는 거리 데이터(KED);
   - 상기 공간 영역에서 상기 카메라(13)의 방향을 나타내는 방향 데이터(KOD);
   - 기준, 특히 중력 방향에 대한 상기 카메라(13)의 기울기를 나타내는 기울기 데이터(KND); 및
   - 상기 공간 영역 내에서 상기 카메라(13)의 위치를 나타내는 위치 데이터(KPD);
   중 적어도 하나의 데이터 요소를 포함하는 것을 특징으로 하는 방법.
10. 제9항에 있어서,
    상기 거리 데이터(KED)를 통해 표시된 거리는,
    - 사전 프로그래밍 방법;
    - 상기 카메라(13)의 광학 이미지 시스템의 매개 변수에 대한 지식으로 자동 연산하는 방법; 및
    - 거리 센서를 이용한 자동 결정 방법;
    중 적어도 하나의 방법을 통해 결정되는 것을 특징으로 하는 방법.
11. 제9항 내지 제10항 중 어느 한 항에 있어서,
    상기 방향 데이터(KOD)를 통해 표시된 방향은,
    - 사전 프로그래밍 방법; 및
    - 방향 센서를 통한 자동 결정 방법;
    중 적어도 하나의 방법을 통해 결정되는 것을 특징으로 하는 방법.
12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 기울기 데이터(KND)를 통해 표시된 기울기는,
    - 사전 프로그래밍 방법; 및
    - 기울기 센서를 통한 자동 결정 방법;
    중 적어도 하나의 방법을 통해 결정되는 것을 특징으로 하는 방법.
13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 위치 데이터(KPD)를 통해 표시된 위치는,
    - 사전 프로그래밍 방법; 및
    - 무선에 기반을 둔, 특히 "초광대역 (UWB) 무선 기술"에 의한 자동 위치 결정 방법;
    중 적어도 하나의 방법을 통해 결정되는 것을 특징으로 하는 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 퍼니싱 요소(6-12)로부터 광신호가 전달되고, 상기 광신호는 상기 제1 퍼니싱 요소-이미지를 인식하는데 사용되는 것을 특징으로 한는 방법.
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 카메라(13)는 고정된 상태로 설치된 카메라(13)인 것을 특징으로 하는 방법.