KR101991464B1

KR101991464B1 - 인식정보를 인식하는 인식시스템, 인식 장치 및 인식 방법.

Info

Publication number: KR101991464B1
Application number: KR1020170140481A
Authority: KR
Inventors: 박준표; 송영윤; 권구포; 정태영
Original assignee: 씨제이대한통운 (주)
Priority date: 2017-10-26
Filing date: 2017-10-26
Publication date: 2019-06-20
Also published as: KR20190050874A

Abstract

본 발명에 따른 인식시스템은 대상체의 영상정보를 획득하는 카메라;
복수개의 센서를 포함하고, 상기 대상체를 감지하여, 센서정보를 획득하는 센서부; 및 상기 카메라 및 상기 센서부로부터 획득한 정보를 바탕으로, 상기 대상체의 인식정보를 인식하는 인식장치; 를 포함할 수 있다.
본 발명을 통해, 영상의 왜곡을 방지하여, 인식률 및 정확도를 개선시킬 수 있다.
또한, 본 발명을 통해, 하드웨어를 사용한 인식장치보다 제조단가를 감소시킬 수 있다.

Description

인식정보를 인식하는 인식시스템, 인식 장치 및 인식 방법. {Recognizing system, apparatus and method for recognizing recognition information}

본 발명은 인식시스템, 인식장치 및 인식방법에 관한 것이다. 보다 자세하게는, 영상을 이용해서 대상체의 인식정보를 인식할 때, 영상의 왜곡을 보정하는 인식시스템, 인식장치 및 인식방법에 관한 것이다.

상거래가 고도로 발달한 현대사회에서는, 물건을 사고 파는 데 있어서, 인터넷거래가 많이 사용된다.

인터넷거래를 통해, 사고 판 물체를 추적 또는 인식하기 위해 인식코드가 사용되었다.

일반적으로 많이 사용되는 2차원 코드는 식별, 보안, 쇼핑 등을 위해 광범위하게 사용되어 왔다.

2차원 바코드로도 알려진 2차원 인식코드는, 데이터 및 심볼 정보를 기록하기 위한 소정의 규칙들에 따라 평면(2차원) 상에 배치된 바(bar) 부분과 빈(empty) 부분으로 구성되는 구조를 갖는다.

상기 2차원 코드는 큰 정보 용량, 넓은 코딩 범위, 높은 결함 허용 능력(fault-tolerance ability), 디코딩의 우수한 신뢰가능성, 제작의 용이성 및 낮은 비용 등의 장점을 가진다.

예를 들어, 2차원코드는 택배화물의 품목과 주소 등의 데이터를 포함할 수 있다.

택배화물을 배송하기 전, 택배화물은 2차원코드로 분류될 수 있다.

별도로 고용된 택배 분류원이 택배화물의 2차원코드를 인식하도록 수작업으로 택배화물을 일일이 구분하고 있다.

2차원코드가 택배에 부착될 때, 일정한 방향과 모양으로 부착되는 것이 아니기 때문에, 택배 물량이 많을 경우, 그 많은 물량을 처리하는 데 있어서, 어려움이 많다.

또한, 2차원코드가 택배에 부착될 때, 일정한 방향과 모양으로 부착되더라도, 택배가 진입되는 방향에 따라 인식이 어려울 수 있다.

따라서, 이를 해결하고자 많은 장치와 인식 방법들이 시도되고 있다.

본 발명은 영상을 이용하여 대상체의 인식정보를 인식할 때, 영상의 왜곡을 보정하는 인식시스템, 인식 장치 및 방법을 제공하고자 한다.

본 발명은 대상체의 인식정보를 인식하는 확률 및 정확도를 개선시킨 인식시스템, 인식장치 및 방법을 제공하고자 한다.

본 발명은 제조단가를 감소시킨 인식시스템, 인식장치 및 방법을 제공하고자 한다.

본 발명에 따른 인식시스템은 대상체의 영상정보를 획득하는 카메라;

복수개의 센서를 포함하고, 상기 대상체를 감지하여, 센서정보를 획득하는 센서부; 및 상기 카메라 및 상기 센서부로부터 획득한 정보를 바탕으로, 상기 대상체의 인식정보를 인식하는 인식장치; 를 포함할 수 있다.

상기 인식정보는 바코드, 문자, 기호 및 패턴 중 적어도 하나이상을 포함할 수 있다.

상기 인식정보는 상기 대상체의 표면에 인쇄 또는 부착될 수 있다.

상기 센서부는 레이저 센서, 적외선 센서, 깊이 센서, 광 센서, 근접센서 중 적어도 하나 이상을 포함할 수 있다.

상기 카메라는 복수 개로 구성되어, 대상체의 영상정보를 획득할 수 있다.

상기 카메라는 렌즈, 이미지센서 및 프로세서로 구성될 수 있다.

카메라 및 센서부로부터 정보를 수신하는 통신부; 상기 정보를 이용하여, 대상체의 진입정보를 파악하는 연산부; 상기 대상체의 진입정보를 바탕으로, 영상정보를 회전시키는 영상회전부; 상기 대상체의 인식정보를 인식하는 인식부; 상기 통신부; 상기 연산부; 상기 영상회전부; 및 상기 인식부;를 제어하는 제어부; 및 상기 제어부의 처리 또는 제어를 위한 프로그램을 위한 데이터를 저장하는 메모리부; 를 포함할 수 있다.

상기 진입정보는 대상체의 진입방향 및 진입각도를 포함할 수 있다.

상기 연산부는 상기 통신부로부터 카메라 영상정보를 수신하여, 대상체의 인식정보가 위치된 영역을 파악할 수 있다.

상기 인식정보는 바코드, 문자, 기호 및 패턴 중 적어도 하나 이상을 포함할 수 있다.

상기 연산부는, 센서부로부터 수신한 센서정보를 바탕으로, ToF 기술에 기반한 알고리즘을 수행하여, 대상체의 ToF 값을 추출할 수 있다.

상기 연산부는, 외곽선 검출기법에 기반한 알고리즘을 수행하여, 상기 영상정보에서 대상체의 외곽선을 검출할 수 있다.

상기 영상회전부는, 대상체의 영상정보를 3차원으로 회전시킬 수 있다.

상기 인식부는, 광학스캐너로 구성될 수 있다.

본 발명에 따른 영상 기반 인식방법은 대상체를 감지하여, 센서정보를 획득하는 단계; 상기 대상체의 영상정보를 획득하는 단계; 상기 센서부 및 카메라로부터 정보를 수신하여, 대상체의 진입정보를 파악하여, 대상체의 인식정보를 인식하는 단계; 를 포함할 수 있다.

상기 센서정보를 획득하는 단계는, 상기 대상체의 존재여부를 파악하는 단계; 및 상기 대상체의 ToF 기술에 기반한 알고리즘을 수행하는데 필요한 정보를 획득하는 단계;를 더 포함할 수 있다.

상기 대상체의 영상정보를 획득하는 단계는, 상기 영상정보의 배율을 조절하는 단계;를 더 포함할 수 있다.

상기 센서부 및 카메라로부터 센서정보 및 영상정보를 수신하는 단계; 상기 영상정보를 이용하여, 상기 대상체의 인식정보가 위치한 영역을 확인하는 단계; 상기 센서정보를 이용하여, 대상체의 진입정보를 파악하는 단계; 상기 대상체의 진입정보를 반영하여, 상기 영상정보를 회전시키는 단계; 및 상기 회전된 영상정보를 바탕으로, 상기 대상체의 인식정보를 인식하는 단계; 를 포함할 수 있다.

상기 대상체의 진입정보를 파악하는 단계는, ToF 기술에 기반한 알고리즘을 수행하여, ToF 값을 추출하여, 상기 영상정보를 보정하는 단계; 외곽선 검출기법에 기반한 알고리즘을 수행하여, 상기 대상체의 외곽선을 검출하여 상기 영상정보를 보정하는 단계; 및 상기 보정된 영상정보를 이용하여, 대상체의 진입방향 및 진입각도를 계산하는 알고리즘을 수행하여 결과값을 얻는 단계;를 더 포함할 수 있다.

상기 영상정보를 회전시키는 단계는, 영상정보를 3차원으로 회전시킬 수 있다.

본 발명을 통해, 영상정보의 왜곡을 보정하여, 인식률 및 정확도를 개선시킬 수 있다.

또한, 본 발명을 통해, 하드웨어를 사용한 인식장치보다 제조단가를 감소시킬 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 인식시스템에 대해 개략적으로 도시한 것이다.
도 2는 본 발명에 따른 인식장치에 대해 개략적으로 도시한 것이다.
도 3은 진입각도의 일 예를 도시한 것이다.
도 4는 본 발명에 따른 인식방법의 핵심적인 순서도이다.
도 5는 S110 단계에 대해, 보다 구체적으로 대상체를 감지하여 센서정보를 획득하는 순서도를 나타낸 것이다.
도 6은 인식장치가 진입정보를 파악하여, 대상체의 인식정보를 인식하는 순서도를 나타낸 것이다.
도 7은 S230 단계에 대해, 보다 구체적으로 센서정보 및 영상정보를 이용하여, 대상체의 진입정보를 파악하는 순서도를 나타낸 것이다.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다.

본 발명의 설명에 있어서, 이하 사용되는 제1, 제2 등과 같은 용어는 동일 또는 상응하는 구성 요소들을 구별하기 위한 식별 기호에 불과하며, 동일 또는 상응하는 구성요소들이 제1, 제2등의 용어에 의하여 한정되는 것은 아니다.

단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. “포함한다” 또는 “가진다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하기 위한 것으로, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들이 부가될 수 있는 것으로 해석될 수 있다.

이하 사용되는 “포함한다(Comprises)” 및/또는 “포함하는(comprising)”은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이후, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다.

도 1은 본 발명에 따른 인식시스템을 개략적으로 도시한 것이다.

본 발명에 따른 인식시스템은 대상체(200), 센서부(300), 카메라(100) 및 인식장치(400)를 포함한다.

대상체(200)는 다양한 형상을 포함할 수 있다.

대상체(200)는 대상체(200) 표면에 대상체(200)를 구분할 수 있는 인식정보(220)를 포함한다.

상기 인식정보(220)는 대상체(200)의 표면에 인쇄 또는 부착될 수 있다.

상기 인식정보(220)는 바코드, 기호, 문자 및 패턴 중 적어도 하나이상을 포함할 수 있다.

상기 인식정보(220)는 대상체(200)의 정보를 포함할 수 있다.

예를 들어, 대상체(200)의 종류, 보내는 사람, 받는 사람정보 등을 포함할 수 있다.

상기 센서부(300)는 복수 개로 구성되어, 대상체(200)를 감지할 수 있다.

상기 센서부(300)는 레이저 센서, 적외선 센서, 깊이 센서, 근접센서 중 적어도 하나 이상을 포함할 수 있다.

근접센서는 대상체(200)가 센서부(300)에 가깝게 이동되었을 때, 대상체(200)의 존재를 인식할 수 있다.

레이저 센서 및 광 센서는 광을 방출하여, 대상체(200)에 반사되어 나오는 광 입자를 통해, 이후 인식장치(400)에서 대상체(200)의 진입정보를 파악하는 데 필요한 정보(센서정보)를 제공할 수 있다.

카메라(100)는 복수개의 카메라로 구성될 수 있다.

카메라(100)가 1개일 경우, 카메라(100)는 대상체(200)의 한 영역에 대해서 영상정보를 생성할 수 있다.

상기와 같은 경우, 카메라(100)가 대상체(200)의 인식정보를 생성할 수 있도록, 인식정보(220)가 배치된 영역을 파악하여 대상체(200)를 재배치하는 단계가 선행되어야 한다.

카메라(100)는 렌즈(20), 이미지 센서(40) 및 프로세서(60)를 포함할 수 있다.

렌즈(20)는 대상체(200)를 인식하는 눈과 같은 역할을 수행한다.

이미지 센서(40)(예를 들어, CMOS 또는 CCD)는 대상체(200)의 정지 영상 또는 동영상을 얻을 수 있다.

프로세서(60)는 촬영되는 영상을 컴퓨터 처리하여, 데이터 또는 정보를 생성하고, 생성된 데이터 또는 정보를 제어부(425)에 전달할 수 있다.

카메라(100)에 포함되는 프로세서(60)는 하드웨어 적으로, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable ligic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controller), 마이크로 프로세서(micro processor), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

카메라(100)에 포함되는 프로세서(60)는 인식장치(400)의 제어를 받을 수 있다.

복수의 카메라(100)에서 촬영된 각각의 이미지는 프로세서(60)에 전달될 수 있다.

상기 프로세서(60)는 각각의 이미지를 합성하여, 대상체(200)의 영상을 생성할 수 있다.

카메라(100)는 상기 생성된 대상체(200)의 영상정보를 인식장치(400)로 송신할 수 있다.

예를 들어, 카메라(100)는 센서부(300)에서 대상체(200)를 감지한 후, 1초 내지 3초 후에 대상체(200)의 이미지 및 영상을 촬영할 수 있다.

인식장치(400)는 센서부(300) 및 카메라(100)로부터 수신한 정보를 이용하여, 대상체(200)의 진입정보를 파악할 수 있다.

또한, 인식장치(400)는 파악한 진입정보를 바탕으로, 영상을 보정하여, 대상체(200)의 인식정보(220)를 인식할 수 있다.

상기 인식장치(400)에 대해서는 도 2를 참조하여 자세히 설명한다.

도 2는 본 발명에 따른 인식장치(400)를 도시한 것이다.

본 발명에 따른 인식장치(400)는 통신부(405), 연산부(410), 영상회전부(415), 인식부(420), 디스플레이부(430) 및 제어부(425)를 포함할 수 있다.

상기 통신부(405)는 센서부(300) 및 카메라(100)로부터 정보를 수신할 수 있다.

상기 통신부(405)는 센서부(300) 및 카메라(100)로부터 정보 수신시, 무선통신을 활용할 수 있으며, 이를 위해 근거리 통신모듈을 포함할 수 있다.

근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다.

상기 근거리 통신 (short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Idenitification), 적외선 통신( IrDa, infrared Data Association), UWB(Ultra Field Communication), 지그비(Zigbee) 등이 이용될 수 있다.

이러한, 근거리 통신모듈은 근거리 무선 통신망(Wireless Area Networks)을 통해, 인식장치(400)와 적어도 하나의 외부 디바이스 사이에서 근거리 통신을 수행할 수 있다.

예를 들어, 근거리 통신모듈은 카메라(100)와 무선으로 데이터를 수신할 수 있다.

연산부(410)는 상기 카메라(100)로부터 수신한 영상을 바탕으로, 대상체(200)의 인식정보(220)가 위치된 영역을 파악할 수 있다.

연산부(410)는 센서부(300) 및 카메라(100)로부터 수신한 정보를 이용하여 대상체(200)의 진입정보를 파악할 수 있다.

연산부(410)는 진입정보를 파악할 수 있는 알고리즘을 수행하는 소프트웨어를 포함할 수 있다.

상기 소프트웨어는 코딩 등으로 이루어진 알고리즘을 포함할 수 있으나 이에 한정하지는 않는다.

연산부(410)가 포함하는 알고리즘은 동시에 여러 개의 알고리즘을 수행할 수 있다.

연산부(410)는 ToF 기술에 기반한 알고리즘을 수행할 수 있다.

상기 ToF 기술에 기반한 알고리즘을 통해, 연산부(410)는 대상체(200)의 영상정보의 각 픽셀(fixel)별로 ToF(Time of Flight) 값을 계산할 수 있다.

후술하는 영상회전부(415)에서, 영상정보의 각 픽셀을 새로운 좌표로 매핑하여 영상정보를 회전시키므로, 연산부(410)에서 각 픽셀 별로 계산된 ToF 값에 의해, 새로운 좌표를 설정할 수 있다..

상기 ToF 기술은 광 에너지가 대상체(200)에 반사되어 돌아오는 시간 값을 통해, 광원 대상체(200) 사이의 거리를 계산하여, 공간을 인식할 수 있다.

연산부(410)는 ToF 값을 반영하여, 영상정보를 보정할 수 있다.

또한, 연산부(410)는 외곽선 검출기법에 기반한 알고리즘을 수행하여, 상기 대상체(200)의 외곽선을 검출하여 대상체(200)의 영상정보를 보정할 수 있다.

상기 외곽선 추출(Edge Detection) 기법은 외곽선에 해당하는 화소를 찾는 방법으로, 차 연산자 기법, 임계 값을 이용한 기법, 1차 미분, 2차미분을 통한 기법, 로버츠 마스크, 프리윗 마스크, 소벨 마스크를 이용한 기법 등을 이용할 수 있으나 이에 한정하지는 않는다..

연산부(410)는 상기 보정된 영상정보를 이용하여, 대상체(200)의 진입방향 및 진입각도를 계산하는 알고리즘을 수행할 수 있다.

상기 알고리즘을 통해, 대상체(200)의 진입방향 및 진입각도에 대한 결과값을 얻을 수 있다.

진입각도는 보정된 영상정보에서 좌표를 설정하여, 기준점에서 대상체(200)까지 거리를 계산하여, 파악할 수 있다.

상기 좌표는 보정된 영상정보의 프레임을 기준으로 설정할 수 있으나 이에 한정하지는 않는다.

도 3을 참조하면, 상기 대상체(200)가 x, y 평면에 배치되어 있을 때, 상기 대상체(200)의 진입각도는 다음과 같은 식을 바탕으로 구할 수 있다.

[식 1]

진입각도 (O) = atan

진입방향은 대상체(200)에 임의의 지점을 설정하여, 보정된 영상정보에서, 설정된 지점이 이동된 방향을 파악하여, 확인할 수 있다.

영상회전부(415)는 대상체(200)의 진입정보를 카메라(100)로부터 수신한 영상정보에 반영하여, 상기 영상정보를 회전시킬 수 있다.

영상회전부(415)는 상기 연산부(410)로부터 획득한 진입정보를 바탕으로, 카메라(100)로부터 수신한 영상정보를 회전시킬 수 있다.

상기 영상회전부(415)는 x축, y축, z축을 기준으로 3차원으로 영상을 회전할 수 있다.

예를 들어, 대상체(200)가 육면체형상인 경우, 총 6면에 인식정보(220)가 부착 또는 인쇄될 수 있다.

대상체(200)의 각 면마다 회전해야 하는 축이 다르므로, 상기 영상회전부(415)는 행렬을 통해 각 픽셀의 좌표를 새로운 좌표로 매핑(mapping)함으로써 영상정보를 회전시킬 수 있다.

Z축 기준인 경우, XY 평면에서 회전되며, 이 때 매핑되는 행렬좌표는 다음과 같다.

Y축 기준인 경우, ZX 평면에서 회전되며, 이 때 매핑되는 행렬좌표는 다음과 같다.

X축 기준인 경우, YZ 평면에서 회전되며, 이때 매핑되는 행렬좌표는 다음과 같다.

상기 행렬좌표를 매핑함으로써, 영상회전부(415)는 상기 영상정보를 3차원으로 회전시킬 수 있다.

디스플레이부(430)는 인식부(420)로부터, 인식정보(220)를 수신하여, 영상을 출력한다.

상기 디스플레이부(430)는 영상회전부(415)로부터 수신한 대상체(200)의 보정된 영상정보를 출력할 수 있다.

또한, 디스플레이부(430)는 상기 인식부(420)로부터 인식된 대상체(200)의 인식정보(220)를 출력할 수 있다.

또한, 디스플레이부(430)는 상기 인식정보(220)와 매칭된 대상체(200)의 정보를 서식에 따라 출력할 수도 있다.

디스플레이부(430)는 브라운관, CRF, LCD, 플렉서블 디스플레이, 모니터 등 일반적으로 사용될 수 있는 디스플레이 장치를 포함할 수 있다.

인식부(420)는 상기 영상회전부(415)로부터 획득한 영상에서 대상체(200)의 인식정보(220)를 인식할 수 있다.

상기 인식부(420)는 광학스캐너로 구성될 수 있고, 상기 광학스캐너를 통해 대상체(200)의 인식정보(220)를 인식할 수 있다.

상기 인식정보(220)는 바코드, 기호, 문자 및 패턴 중 적어도 하나 이상을 포함할 수 있다.

상기 인식정보(220)는 대상체(200)의 정보를 포함한다.

상기 대상체(200)의 정보는 물품의 종류, 보내는 사람, 받는 사람 등의 정보를 포함할 수 있으나 이에 한정하지는 않는다.

상기 인식정보(220)는 대상체(200) 표면에 인쇄 또는 부착될 수 있다.

인식부(420)는 인식정보(220)를 인식하여, 대상체(200)를 분류할 수 있다.

더 나아가, 상기 인식정보(220)는 통신부(405)를 통해 관리서버(미도시)로 전달될 수 있다.

인식부(420)를 통해 인식된 인식정보(220)에 대응되는 대상체(200)의 정보와, 관리 서버 내에 저장되어 있는 대상체(200)의 정보를 비교할 수 있다.

상기 대상체(200)의 정보가 서로 동일한 경우, 상기 인식정보(220)가 제대로 인식되었음을 확인할 수 있다.

상기 대상체(200)의 정보가 서로 상이한 경우, 대상체(200)는 따로 분류되어, 별도의 디스플레이 인식장치(미도시)를 통해, 인식정보(220)를 재인식할 수 있다.

예를 들어, 상기 디스플레이 인식장치(미도시)는 바코드 스캔부로 구성될 수 있고, 광학방식의 바코드 리더기일 수 있다.

재인식된 인식정보(220)와 대응되는 대상체(200)의 정보와 관리 서버 내에 저장되어 있는 대상체(200)의 정보가 상이하다면, 별도로 분류되어 처분되거나, 보관될 수 있다.

또한, 상기 관리 서버는 인식정보(220)를 바탕으로 대상체(200)를 분류할 수 있다.

예를 들어, 대상체(200)가 택배화물인 경우, 인식부(420)에서 인식된 인식정보(220)에 대응되는 대상체(200)의 정보를 통해 관리 서버는 종류별로 분류할 수 있다.

상기 택배화물은 인식정보(220)를 바탕으로, 인력을 동원하지 않아도 컨베이어 벨트로 이동되면서, 관리 서버에서 송출하는 제어신호를 통해 깨지기 쉬운 물품, 식품 등을 각각 분류할 수 있다.

제어부(425)는 인식시스템의 각 구성의 전반적인 동작을 제어할 수 있다.

예를 들어, 제어부(425)는 센서부(300), 카메라(100), 인식장치(400)에 대한 전반적인 동작을 제어할 수 있다.

또한, 제어부(425)는 인식장치(400) 내의 각 구성의 전반적인 동작을 제어할 수 있다.

예를 들어, 제어부(425)는 센서부(300)로부터 대상체(200)의 정보를 수신할 수 있도록 통신부(405)를 제어할 수 있다..

제어부(425)는 수신된 대상체(200)의 정보를 바탕으로, 대상체(200)의 인식정보(220)가 위치된 영역을 파악할 수 있도록 연산부(410)를 제어할 수 있다.

제어부(425)는 대상체(200)의 진입정보를 파악하도록, 연산부(410)를 제어할 수 있다.

제어부(425)는 하드웨어적으로, ASICs (application specific integrated circuits). DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices). FPGAs (field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controller), 마이크로 프로세서(micro processors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

메모리부(435)는 제어부(425)와 전기적으로 연결된다.

메모리부(435)는 제어부(425)의 처리 또는 제어를 위한 프로그램 등 인식장치(400) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.

메모리부(435)는 데이터 저장영역을 포함할 수 있다.

메모리부(435)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.

예를 들어, 메모리부(435)는 상기 연산부(410)에서 계산된 값을 저장할 수 있다.

메모리부(435)는 상기 연산부(410)에서 계산된 값을 저장할 수 있도록, 메모리 내의 소프트웨어 프로그램 및 모듈을 실행할 수 있다.

또한, 연산부(410)뿐 만 아니라, 다른 구성에 의해 생성되는 데이터를 저장할 수 있다.

도 4를 참조하여, 본 발명에 따른 영상 기반 인식 방법에 대해 설명한다.

도 4는 본 발명에 따른 영상 기반 인식 정보 인식 방법의 핵심적인 단계를 순서도로 나타낸 도면이다.

그러나 이는 본 발명의 목적을 달성함에 있어, 바람직한 예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

우선, 대상체(200)를 감지하여, 센서정보를 획득한다. (S110)

센서부(300)는 복수개의 센서로 구성되고, 상기 복수개의 센서를 통해 대상체(200)를 감지할 수 있다.

또한, 센서부(300)는 근접센서를 통해, 대상체(200)의 존재여부를 파악할 수 있다.

센서부(300)는 인식장치(400)에서 대상체(200)의 진입정보를 파악하는 데 필요한 정보(센서정보)를 제공할 수 있다.

예를 들어, 센서부(300)는 센서신호를 통해, 센서부(300) 및 대상체(200)사이의 거리를 검출하거나, 대상체(200)에 의해 반사된 신호를 검출하여 인식장치(400)로 송신할 수 있다.

한편, S110 단계는 도 5에 도시된 바와 같이, 상기 대상체(200)의 존재여부를 파악하는 단계(S112) 및 상기 대상체(200)의 ToF를 기반으로 하는 알고리즘을 수행하는 데 필요한 정보를 획득하는 단계(S114)를 더 포함할 수 있다.

또한, S110 단계에 대한 설명은 S112 및 S114 단계에 대한 설명에 모두 동일하게 적용될 수 있다.

S112 및 S114 단계는 S110 단계에 포함되므로, 반드시 S110 단계가 수행된 이후에 수행되어야 하는 것은 아니다.

S110 단계에서 대상체(200)를 감지하고, 대상체(200)의 존재여부를 파악하는 단계(S112)가 동시에 수행될 수 있다.

한편, 이하의 설명에서 S110 단계에서 획득한 센서정보와, S112 및 S114 단계에서 획득한 센서정보는 동일한 것을 전제로 설명한다.

상기 대상체(200)의 영상정보를 획득한다.(S120)

상기 대상체(200)의 영상정보는 카메라(100)를 통해 획득한다.

상기 영상정보는 복수개의 카메라(100)가 각각 촬영한 영상일 수 있다.

카메라(100)는 인식장치(400)의 제어신호를 통해, 동작할 수 있다.

센서부(300)로부터 대상체(200) 감지 정보를 수신한 인식장치(400)는 제어신호를 통해, 카메라(100)가 대상체(200)의 영상정보를 획득하도록 제어할 수 있다.

카메라(100)는 대상체(200)의 영상정보를 인식장치(400)로 송신할 수 있다.

또한, 카메라(100)가 대상체(200)의 영상정보를 획득한 후, 상기 영상정보의 배율을 조절하는 단계를 더 포함할 수 있다.

영상정보 내의 대상체(200)의 인식정보(220)가 차지하고 있는 영역의 크기가 지나치게 작은 경우, 대상체(200)의 인식정보(220)를 기 설정된 배율만큼 확대할 수 있다.

예를 들어, 영상정보에 포함되어 있는 대상체(200)의 인식정보(220)가 1cm x 1cm x 1cm의 크기인 경우, 4배율 크기로 확대하여, 대상체(200)의 인식정보(220)를 4cm x 4cm 크기로 확대할 수 있다.

한편, 카메라(100)는 센서(미도시)를 더 포함할 수 있다.

상기 카메라(100)가 포함하는 자체 동작센서를 통해, 대상체(200)가 진입되면 전원이 공급되어, 카메라(100)가 동작할 수 있다.

상기 센서부(300) 및 카메라(100)로부터 정보를 수신하여, 대상체(200)의 인식정보(220)를 인식할 수 있다.(S130)

인식장치(400)는 상기 센서부(300) 및 카메라(100)로부터 센서정보 및 영상정보를 수신할 수 있다.

도 6를 참조하여, 인식장치(400)가 수행하는 인식방법에 대해 설명한다.

상기 센서부(300) 및 카메라(100)로부터 센서정보 및 영상정보를 수신한다. (S210)

상기 영상정보를 이용하여, 상기 대상체(200)의 인식정보(220)가 위치한 영역을 파악한다. (S220)

연산부(410)는 복수개의 카메라(100)가 각각 촬영한 영상정보를 바탕으로, 상기 대상체(200)의 인식정보(220)가 위치한 영역을 파악할 수 있다.

후술하는 단계들은, 대상체(200)의 인식정보(220)가 위치한 영역의 영상정보를 바탕으로 수행한다.

상기 센서정보를 이용하여, 대상체(200)의 진입정보를 파악한다. (S230)

연산부(410)는 진입정보를 파악할 수 있는 알고리즘을 포함할 수 있다.

상기 연산부(410)가 포함하는 알고리즘은 동시에 여러 개의 알고리즘을 수행할 수 있다.

한편, 도 7에 도시된 바와 같이, S230 단계는 ToF 기술에 기반한 알고리즘을 수행하여, ToF 값을 추출하여 상기 영상정보를 보정하는 단계(S232), 외곽선 검출기법에 기반한 알고리즘을 수행하여, 상기 대상체(200)의 외곽선을 검출하여 상기 영상정보를 보정하는 단계(S234) 및 상기 보정된 영상정보를 이용하여, 대상체(200)의 진입방향 및 진입각도를 계산하는 알고리즘을 수행하여 결과값을 얻는 단계(S236)를 더 포함할 수 있다.

상기 S232 단계는 상기 센서정보를 바탕으로, 센서부(300)의 신호송출시간과 대상체(200)에 반사되어 돌아오는 신호수신시간의 차를 계산하여, ToF 값을 추출할 수 있다.

또한, 상기 ToF 기술에 기반한 알고리즘을 통해, 연산부(410)는 대상체(200)의 영상정보 각 픽셀(fixel)별로 ToF 값을 추출할 수 있다.

상기 외곽선 추출(Edge Detection) 기법은 외곽선에 해당하는 화소를 찾는 방법으로, 차 연산자 기법, 임계 값을 이용한 기법, 1차 미분, 2차 미분을 통한 기법, 로버츠 마스크, 프리윗 마스크, 소벨 마스크를 이용한 기법 등을 이용할 수 있으나 이에 한정하지는 않는다.

상기 S236 단계에서, S232 단계 및 S234 단계에서 보정된 영상정보를 이용하여, 대상체(200)의 진입방향 및 진입각도를 계산하는 알고리즘을 수행한다.

예를 들어, 상기 대상체(200)의 진입각도를 계산하는 알고리즘은, 대상체(200)가 x,y 좌표에 존재한다고 가정했을 때, 다음과 같은 식을 수행하여, 결과값을 얻을 수 있다.

[식 1]

진입각도 (O) = atan

상기 대상체(200)의 진입정보를 반영하여, 상기 영상정보를 회전한다. (S240)

대상체(200)의 진입정보를 카메라(100)로부터 수신한 영상정보에 반영하여, 상기 영상정보를 회전시킬 수 있다.

대상체(200)의 진입정보를 상기 보정된 영상정보에 반영하여, 상기 영상정보를 회전시킬 수 있다.

x축, y축, z축을 기준으로 3차원으로 영상을 회전시킬 수 있다.

상기 회전된 영상정보를 통해, 대상체(200)의 인식정보(220)를 인식한다. (S250)

상기 S240 단계에서 획득한 영상정보에서, 대상체(200)의 인식정보(220)를 인식할 수 있다.

또한, 상기 인식정보(220)는 대상체(200)의 정보를 포함한다.

상기 대상체(200)의 정보는 대상체(200)의 종류, 보내는 사람, 받는 사람 등의 정보를 포함할 수 있으나 이에 한정하지는 않는다.

이상과 같이 본 발명을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 기술적 사상과 필수적 특징을 유지한 채로 다른 형태로도 실시될 수 있음을 인지할 수 있을 것이다.

본 발명의 범위는 특허청구범위에 의하여 규정되어질 것이지만, 특허청구범위 기재사항으로부터 직접적으로 도출되는 구성은 물론 그 외 등가인 구성으로부터 도출되는 모든 변경 또는 변형된 형태 또한 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

20 : 렌즈
40 : 이미지 센서
60 : 프로세서
100 : 카메라
200 : 대상체
300: 센서부
400: 인식장치
405 : 통신부
410 : 연산부
415 : 영상회전부
420 : 인식부
425 : 제어부
430 : 디스플레이부
435 : 메모리부

Claims

대상체의 영상정보를 획득하는 카메라;
복수개의 센서를 포함하고, 상기 대상체를 감지하여, 센서정보를 획득하는 센서부; 및
상기 카메라 및 상기 센서부로부터 획득한 정보를 바탕으로, 상기 대상체의 인식정보를 인식하는 인식장치; 를 포함하고,
상기 인식장치는,
상기 영상정보 및 센서정보를 이용하여 대상체의 진입정보를 파악하고,
상기 센서정보를 바탕으로 ToF 기술에 기반한 알고리즘을 수행하여 대상체의 ToF 값을 추출하고, 상기 추출된 ToF 값을 기반으로 상기 영상정보를 보정하며,
상기 진입정보는 진입방향 및 진입각도를 포함하되,
상기 진입방향은 상기 대상체의 임의의 지점을 설정하고, 상기 보정된 영상정보에서 상기 설정된 지점이 이동된 방향을 기반으로 산출되고,
상기 진입각도는 상기 보정된 영상정보에서 설정된 좌표 상의 기준점에서 대상체까지의 거리를 이용해 산출되는 것을 특징으로 하는 인식시스템.
제1항에 있어서,
상기 인식정보는 바코드, 문자, 기호 및 패턴 중 적어도 하나이상을 포함하는 것을 특징으로 하는 인식시스템.
제1항에 있어서,
상기 인식정보는 상기 대상체의 표면에 인쇄 또는 부착되는 것을 특징으로 하는 인식시스템.
제1항에 있어서,
상기 센서부는 레이저 센서, 적외선 센서, 깊이 센서, 광 센서, 근접센서 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 인식시스템.
제1항에 있어서,
상기 카메라는 복수 개로 구성되어, 대상체의 영상정보를 획득하는 것을 특징으로 하는 인식시스템.
제5항에 있어서,
상기 카메라는 렌즈, 이미지센서 및 프로세서로 구성되는 것을 특징으로 하는 인식시스템.
카메라 및 센서부로부터 정보를 수신하는 통신부;
상기 정보를 이용하여, 대상체의 진입정보를 파악하는 연산부;
상기 대상체의 진입정보를 바탕으로, 영상정보를 회전시키는 영상회전부;
상기 대상체의 인식정보를 인식하는 인식부;
상기 통신부, 상기 연산부, 상기 영상회전부, 및 상기 인식부를 제어하는 제어부; 및
상기 제어부의 처리 또는 제어를 위한 프로그램을 위한 데이터를 저장하는 메모리부; 를 포함하고,
상기 연산부는, ToF 기술에 기반한 알고리즘을 수행하여 대상체의 ToF 값을 추출하고, 상기 추출된 ToF 값을 기반으로 상기 영상정보를 보정하며,
상기 진입정보는 진입방향 및 진입각도를 포함하되,
상기 진입방향은 상기 대상체의 임의의 지점을 설정하고, 상기 보정된 영상정보에서 상기 설정된 지점이 이동된 방향을 기반으로 산출되고,
상기 진입각도는 상기 보정된 영상정보에서 설정된 좌표 상의 기준점에서 대상체까지의 거리를 이용해 산출되는 것을 특징으로 하는 인식장치.
삭제
제7항에 있어서,
상기 연산부는 상기 통신부로부터 카메라 영상정보를 수신하여, 대상체의 인식정보가 위치된 영역을 파악하는 것을 특징으로 하는 인식장치.
제9항에 있어서,
상기 인식정보는 바코드, 문자, 기호 및 패턴 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 인식장치.
삭제
제7항에 있어서,
상기 연산부는,
외곽선 검출기법에 기반한 알고리즘을 수행하여, 상기 영상정보에서 대상체의 외곽선을 검출하는 것을 특징으로 하는 인식장치.
제7항에 있어서,
상기 영상회전부는,
대상체의 영상정보를 3차원으로 회전시키는 것을 특징으로 하는 인식장치.
제7항에 있어서,
상기 인식부는,
광학스캐너로 구성되는 것을 특징으로 하는 인식장치.
대상체를 감지하여, 센서정보를 획득하는 단계;
상기 대상체의 영상정보를 획득하는 단계;
센서부 및 카메라로부터 정보를 수신하여, 대상체의 진입정보를 파악하여, 인식정보를 인식하는 단계; 를 포함하고,
상기 인식정보를 인식하는 단계는,
상기 센서정보를 이용하여 대상체의 진입정보를 파악하고, ToF 기술이 기반한 알고리즘을 수행하여 대상체의 ToF 값을 추출하고, 상기 추출된 ToF 값을 기반으로 상기 영상정보를 보정하는 단계;를 포함하고,
상기 진입정보는 진입방향 및 진입각도를 포함하되,
상기 진입방향은 상기 대상체의 임의의 지점을 설정하고, 상기 보정된 영상정보에서 상기 설정된 지점이 이동된 방향을 기반으로 산출되고,
상기 진입각도는 상기 보정된 영상정보에서 설정된 좌표 상의 기준점에서 대상체까지의 거리를 이용해 산출되는 것을 특징으로 하는 영상 기반 인식방법.
제15항에 있어서,
상기 센서정보를 획득하는 단계는,
상기 대상체의 존재여부를 파악하는 단계; 및
상기 대상체의 ToF 기술에 기반한 알고리즘을 수행하는데 필요한 정보를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 영상 기반 인식 방법
제15항에 있어서,
상기 대상체의 영상정보를 획득하는 단계는,
상기 영상정보의 배율을 조절하는 단계;를 더 포함하는 것을 특징으로 하는 영상 기반 인식 방법.
센서부 및 카메라로부터 센서정보 및 영상정보를 수신하는 단계;
상기 영상정보를 이용하여, 대상체의 인식정보가 위치한 영역을 확인하는 단계;
상기 센서정보를 이용하여, 대상체의 진입정보를 파악하는 단계;
상기 대상체의 진입정보를 반영하여, 상기 영상정보를 회전시키는 단계; 및
상기 회전된 영상정보를 바탕으로, 상기 대상체의 인식정보를 인식하는 단계; 를 포함하고,
상기 대상체의 진입정보를 파악하는 단계는,
ToF 기술에 기반한 알고리즘을 수행하여 대상체의 ToF 값을 추출하고, 상기 추출된 ToF 값을 기반으로 상기 영상정보를 보정하며,
상기 진입정보는 진입방향 및 진입각도를 포함하되,
상기 진입방향은 상기 대상체의 임의의 지점을 설정하고, 상기 보정된 영상정보에서 상기 설정된 지점이 이동된 방향을 기반으로 산출되고,
상기 진입각도는 상기 보정된 영상정보에서 설정된 좌표 상의 기준점에서 대상체까지의 거리를 이용해 산출되는 것을 특징으로 하는 인식방법.
제18항에 있어서,
상기 대상체의 진입정보를 파악하는 단계는,
외곽선 검출기법에 기반한 알고리즘을 수행하여, 상기 대상체의 외곽선을 검출하여 상기 영상정보를 보정하는 단계; 및
상기 보정된 영상정보를 이용하여, 대상체의 진입방향 및 진입각도를 계산하는 알고리즘을 수행하여 결과값을 얻는 단계;를 더 포함하는 것을 특징으로 하는 인식방법.
제18항에 있어서,
상기 영상정보를 회전시키는 단계는,
영상정보를 3차원으로 회전시키는 것을 특징으로 하는 인식방법.