KR20200095767A

KR20200095767A - 멀티카메라를 이용한 물체 인식 방법 및 장치

Info

Publication number: KR20200095767A
Application number: KR1020190013544A
Authority: KR
Inventors: 추연학; 김현기; 윤기욱
Original assignee: 라온피플 주식회사
Priority date: 2019-02-01
Filing date: 2019-02-01
Publication date: 2020-08-11
Also published as: KR20210056974A

Abstract

멀티카메라를 이용한 물체 인식 방법 및 장치를 제시하며, 멀티카메라를 이용한 물체 인식 방법 및 장치는 상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 통신부 및 상기 복수의 이미지를 기초로 상기 물체를 인식하는 제어부를 포함할 수 있다.

Description

멀티카메라를 이용한 물체 인식 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFYING OBJECT USING MULTI- CAMERAS}

본 명세서에서 개시되는 실시예들은 멀티카메라를 이용한 물체 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 멀티카메라를 이용하여 물체를 촬영하여 각 카메라에서 촬영된 이미지를 하나의 학습데이터로서 학습하고, 학습된 결과를 이용하여 멀티카메라를 이용하여 촬영된 물체를 인식하는 방법 및 장치에 관한 것이다.

컴퓨팅 기술의 발전에 따라 기계학습의 적용이 증가하고 있다. 특히, 최근에는 기계학습 중에서 인공신경망으로 대변되는 딥러닝 기술이 비약적으로 발전하고 있으며, 다양한 산업 현장에서 응용 사례가 늘어가고 있다. 제조업 분야에 있어서도 인공신경망은 혁신적으로 제조 현장을 변화시켜 가고 있다.

기존 룰(Rule) 기반의 테스트 방식은 생산라인에서 발생하는 비정형 불량을 검출하지 못했지만, 인공신경망은 비정형 불량을 사람과 같이 추출하는 것이 가능하다. 기존에는 비정형 불량에 대해 제품의 생산라인에서 사람이 직접 불량을 판단하였으나, 이제는 인공신경망을 이용한 머신비전을 이용하여 제품의 불량여부를 판단하여 적용하는 사례가 늘고 있다.

특히, 인공신경망은 카메라를 통해 물품의 특징이 촬영된 이미지를 기초로 물체를 인식할 수 있지만, 물품의 특징이 있는 위치가 카메라의 화각 또는 사각 문제로 촬영되지 못한 경우 비슷한 유형의 인식 또는 분류가 어렵다는 문제점이 있다.

관련하여 선행기술 문헌인 한국특허공개번호 제10-2000-0087346 호는 인터넷 인공지능 학습 및 관리 방법에 관한 것이다. 인터넷을 통하여 선생과 학습자를 등록시키고 선생은 사용하고자 하는 문제출제와 시험문제를 만들어 사용할 수 있으며, 학습자는 문제데이터 베이스에 수록된 문제를 출제받아 학습하고 그 학습 결과를 정밀하게 평가 받은 내용에 대해 기술하고 있다. 하지만, 상술된 문제점을 해결할 수 없다.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 명세서에서 개시되는 실시예들은, 복수의 카메라를 이용하여 물체를 다양한 방향에서 촬영한 다중 이미지를 입력받아 물체를 학습하는 물체인식방법 및 장치를 제시하는데 있다.

본 명세서에서 개시되는 실시예들은, 복수의 카메라를 통해 촬영된 이미지에 대해 물체의 특징이 강조되도록 전처리를 수행하는 물체인식방법 및 장치를 제시하는 데 목적이 있다.

본 명세서에서 개시되는 실시예들은, 복수의 카메라를 통해 획득된 다중의 이미지를 입력하여 다중 연산을 하나의 인공신경망으로 처리하는 물체인식방법 및 장치를 제시하는데 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 복수의 카메라를 이용하여 물체를 인식하는 장치에 있어서, 상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 통신부 및 상기 복수의 이미지를 기초로 상기 물체를 인식하는 제어부를 포함할 수 있다.

다른 실시예에 따르면, 물체인식장치가 복수의 카메라를 이용하여 물체를 인식하는 방법에 있어서, 상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 단계 및 상기 복수의 이미지를 기초로 상기 물체를 인식하는 단계를 포함할 수 있다.

또 다른 실시예에 따르면, 물체인식방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체로서, 상기 물체인식방법은, 상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 단계 및 상기 복수의 이미지를 기초로 상기 물체를 인식하는 단계를 포함할 수 있다.

다른 실시예에 따르면, 물체인식장치에 의해 수행되며, 물체인식방법을 수행하기 위해 기록매체에 저장된 컴퓨터프로그램으로서, 상기 물체인식방법은, 상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 단계 및 상기 복수의 이미지를 기초로 상기 물체를 인식하는 단계를 포함할 수 있다.

전술한 과제 해결 수단 중 어느 하나에 의하면, 복수의 카메라를 이용하여 물체를 다양한 방향에서 촬영한 다중 이미지를 입력받아 물체를 학습함으로써 비슷한 유형의 물체를 분류하는 물체인식방법 및 장치를 제시할 수 있다.

전술한 과제 해결 수단 중 어느 하나에 의하면, 복수의 카메라를 통해 촬영된 이미지에 대해 물체의 특징이 강조되도록 전처리를 수행하는 물체인식방법 및 장치를 제시할 수 있다.

전술한 과제 해결 수단 중 어느 하나에 의하면, 복수의 카메라를 통해 획득된 다중의 이미지를 입력하여 다중 연산을 하나의 인공신경망으로 처리함으로써 각 이미지간의 연관성을 학습하여 물체인식의 정확성을 높이는 물체인식방법 및 장치를 제시할 수 있다.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1 은 일 실시예에 따른 물체인식장치를 도시한 블록도이다.
도 2 및 도 3 은 일 실시예에 따른 물체인식방법을 설명하기 위한 순서도이다.
도 4 내지 도 6 은 일 실시예에 따른 물체인식방법을 설명하기 위한 예시도이다.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.

다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.

‘채널’은 이미지상의 각 픽셀의 벡터값을 구성하는 성분으로 각 픽셀은 성격에 따라 적어도 하나의 채널로 구성될 수 있다.

‘인공신경망’은 생물 신경계의 고도의 정보처리기구를 공학적으로 모방해서 입력과 출력을 상호간에 상세히 관련지어 복잡한 제어를 하는 정보처리기술로 스위치나 각 센서 등에서 신호를 보내는 입력 레이어, 그 정보를 바탕으로 입력과 출력의 우선순위를 정하면서 상호관계를 조정하는 은닉 레이어, 이것을 바탕으로 필요한 제어량을 산출해서 출력하는 출력 레이어로 구성된 3종류의 뉴론(신경세포) 모델이 복수로 연결된 네트워크이다.

그리고 인공신경망을 구성하는 각 ‘레이어’는 적어도 하나의 ‘노드’로 구성될 수 있다. 그리고 각 레이어의 노드는 다음 레이어의 노드와의 연결관계를 형성할 수 있다.

‘파라미터’는 인공신경망의 학습을 통해 결정되는 값으로 인공신경망을 구성하는 레이어 또는 노드의 연결관계가 제어될 수 있다.

‘채널’은 이미지의 픽셀을 구성하는 정보 중 특정 종류 값만을 포함하는 정보로 예를 들어, 이미지를 구성하는 픽셀의 값이 RGB형식이면, 이미지는 R 채널, G채널, B 채널로 구성될 수 있다.

‘증강(Augmentation)처리’는 이미지에 인위적인 값의 변화를 주는 것으로 예를 들어, 이미지의 밝기, 명암, 색상 등을 변화하거나 이미지의 크기, 배치 등을 변경하는 확대, 축소, 회전, 대칭 등을 적용하여 이미지를 인위적으로 변화시키는 것을 의미한다.

위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.

이하에서 설명할 물체인식장치(100)는 인공신경망으로 구현될 수 있으며, 예를 들어 머신 비전을 이용한 검사장치에 결합 또는 연결될 수 있으며, 미신 비전용 카메라를 통해 획득된 이미지에 포함된 물체를 검사하거나 인식할 수 있도록 학습할 수 있다.

여기서 머신 비전이란, 물체를 검사하거나 측정하기 위해, 사람이 육안으로 판단하던 기존의 방식을 대신하여, 카메라(시각 인식), CPU, SW를 통해 산업을 자동화 시켜주는 것을 의미한다.

또한, 물체인식장치(100)는 머신 비전용 복수의 카메라를 통해 복수의 방향에서 물체를 촬영하여 획득된 복수의 이미지를 이용하여 물체의 특징을 학습할 수 있다.

그리고 학습된 물체인식장치(100)는 복수의 카메라에 의해 획득된 이미지에 포함된 물체의 특징인 패턴(pattern)을 매칭하거나, 점, 선 또는 면을 피팅(fitting)하거나, 컬러를 구분하거나, 대상을 측정(gauging)하기도 하고, 로봇 가이드를 위해 위치정보를 제공하거나, 물체에 표시된 1D, 2D 바코드를 판독하거나 광학문자판독(OCR)을 수행하기도 한다. 이러한 과정을 통해 물체가 검사, 측정 또는 판독되어 산업의 자동화가 구현될 수 있다.

도 1은 일 실시예에 따른 물체인식장치(100)를 설명하기 위한 구성도이다.

물체인식장치(100)는 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함한다.

도 1 을 참조하면, 일 실시예에 따른 물체인식장치(100)는 선택적으로 입출력부(110)를 구성으로 포함할 수 있다. 그리고 물체인식장치(100)는 제어부(120), 통신부(130) 및 메모리(140)를 포함할 수 있다.

입출력부(110)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 물체인식장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.

구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 머신 비전용 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다.

그리고 입출력부(110)는 머신 비전용 카메라를 복수개 포함할 수 있다. 이때, 복수의 카메라는 촬영할 물체로부터 일정한 거리만큼 이격되어 물체 주위에 배치될 수 있으며, 각 카메라간 일정한 거리만큼 이격되도록 배치될 수 있다. 예를 들어, 입출력부(110)의 복수의 카메라는 촬영할 물체로부터 1m 정도 이격되어 원형으로 물체 주위에 배치되되, 물체의 주위를 30도 단위로 촬영할 수 있도록 복수의 카메라가 이격되어 배치될 수 있다.

이러한 복수의 카메라 각각은 후술할 통신부(130)와 직접 연결되거나 또는 네트워크를 통해 연결될 수 있으며, 복수의 카메라 각각이 촬영한 이미지는 통신부(130)를 통해 제어부(120)로 제공될 수 있다.

또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.

이러한 입출력부(110)는 실시예에 따라 물체인식장치(100)의 구성으로 포함될 수 있으며, 특히 복수의 카메라는 물체인식장치(100)의 구성에 선택적으로 포함될 수 있는 구성이다.

제어부(120)는 물체인식장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(120)는 입출력부(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 물체인식장치(100)에 포함된 다른 구성들을 제어할 수 있다.

예를 들어, 제어부(120)는 메모리(140)에 저장된 프로그램을 실행시키거나, 메모리(140)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(140)에 저장할 수도 있다.

이러한 제어부(120)는 통신부(130)를 통해 복수의 카메라 각각에서 다양한 방향으로 물체를 촬영한 복수의 이미지를 병렬적으로 입력받을 수 있다.

이에 앞서, 제어부(120)는 복수의 이미지 각각에 대해 각 이미지를 구성하는 적어도 하나의 채널을 분리할 수 있다.

예를 들어, 제어부(120)는 물체가 촬영된 복수의 이미지 각각에 대해 각 이미지의 R채널, G채널, B채널을 분리할 수 있으며, IR(Infrared), Depth 또는 열화상 카메라로부터 획득된 이미지의 경우 하나의 채널로 분리할 수 있다.

그리고 제어부(120)는 복수의 카메라 각각으로부터 획득된 복수의 이미지의 적어도 하나의 채널을 병렬적으로 입력받을 수 있다.

예를 들어, 5개의 카메라로부터 획득된 각 이미지에 대해 3개의 R, G, B채널로 분리된 경우 제어부(120)는 15개 채널을 각각을 병렬적으로 입력할 수 있다.

그리고 제어부(120)는 입력된 복수의 이미지에 대해 증강처리할 수 있다.

하나의 실시예에 따라, 제어부(120)는 복수의 카메라 각각에 대한 기 설정된 설치조건에 기초하여 각 카메라에서 촬영된 이미지를 증강처리할 수 있다.

예를 들어, 제어부(120)는 제 1 카메라의 설치정보인 위치, 조리개, 줌 등에 대한 정보를 기초로 제 2 카메라의 설치정보와 비교하여 제 2 카메라를 통해 촬영된 이미지의 줌, 밝기, 색상 등을 제어할 수 있다.

다른 실시예에 따라, 제어부(120)는 복수의 카메라 각각 중 어느 하나의 카메라에 촬영된 이미지를 기준으로 나머지 카메라에서 촬영된 이미지를 증강처리할 수 있다.

예를 들어, 제어부(120)는 제 1 카메라에서 촬영된 이미지에 포함된 물체의 방향 또는 크기 등을 기준으로 제 2 카메라에서 촬영된 이미지를 회전, 이동, 줌, 반전 등의 증강처리를 할 수 있다.

그리고 제어부(120)는 입력된 복수의 이미지를 기초로 물체의 특징을 학습할 수 있다.

이때, 제어부(120)는 실시예에 따라 각 이미지를 촬영한 카메라의 설치정보를 함께 학습하여 카메라의 관계를 학습할 수 있다.

하나의 실시예에 따라, 제어부(120)는 기 저장된 카메라의 설치정보에 포함된 물체를 기준으로 한 위치좌표를 기초로 카메라간의 관계를 학습할 수 있다.

예를 들어, 제어부(120)는 제 1 이미지와 제 2 이미지를 촬영한 제 1 카메라와 제 2 카메라 각각의 설치정보에서 각 카메라가 배치된 위치의 좌표를 추출하여 각 카메라의 위치정보를 기초로 제 1 카메라와 제 2 카메라는 대칭되어 위치함을 학습하여, 제 1 카메라가 촬영한 물체의 반대편을 제 2 카메라가 촬영하는 것으로 제 1 카메라와 제 2 카메라의 관계를 학습할 수 있다.

다른 실시예에 따라, 제어부(120)는 각 카메라에 의해 촬영된 이미지에 포함된 위치 식별마크를 기초로 각 카메라의 관계를 학습할 수 있다.

예를 들어, 제어부(120)는 카메라가 설치된 벽면에 인쇄된 식별마크인 숫자”1(제 1 측면), 2(제 2 측면), 3(제 3 측면), 4(바닥)” 를 각 카메라가 촬영한 이미지로부터 획득할 수 있고, 이미지에 포함된 식별마크 숫자로 “1”, “4” 가 식별되면, 해당 이미지를 촬영한 카메라가 제 1 측면의 반대편인 제 3 측면 상단에 위치한 것으로 카메라의 위치를 식별할 수 있다. 그리고 제어부(120)는 이와 같이 식별된 카메라의 위치를 기초로 카메라간의 관계를 학습할 수 있다.

그리고 제어부(120)는 복수의 이미지 각각에 포함된 물체의 특징을 학습하되, 복수의 카메라 간의 관계에 기초하여 이미지 간의 연결관계를 반영하여 물체의 특징을 학습할 수 있다.

예를 들어, 제어부(120)는 제 1 이미지에 포함된 물체의 특징과 제 2 이미지에 포함된 물체의 특징을 학습하되, 제 1 카메라와 제 2 카메라가 대칭 관계에 있음을 기초로 제 1 이미지에 포함된 물체의 특징과 제 2 이미지에 포함된 물체의 특징이 대칭된 것임을 학습할 수 있다.

이와 같이 카메라의 관계를 함께 학습함으로써 각 카메라에서 촬영된 이미지에 포함된 물체의 특징을 유기적으로 연결하여 학습할 수 있어, 물체의 인식을 보다 정확하게 할 수 있다.

이후, 제어부(120)는 복수의 카메라에 의해 촬영된 물체에 대한 복수의 이미지를 기초로 물체를 인식할 수 있다.

이때, 제어부(120)는 학습 시 복수의 이미지를 입력받기 위해 채널 분리와 증강처리를 하는 것과 유사하게 물체 인식을 위해 촬영된 복수의 이미지 각각을 구성하는 채널을 분리하여 증강처리를 할 수 있다.

그리고 제어부(120)는 병렬적으로 입력된 복수의 이미지 각각에 포함된 물체의 특징에 기초하여 복수의 카메라에 의해 촬영된 물체를 인식할 수 있다.

예를 들어, 제어부(120)는 학습결과에 기초하여 복수의 이미지 각각에 포함된 물체의 특징을 인식하여 복수의 이미지에 포함된 물체를 인식할 수 있다.

통신부(130)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.

통신부(130)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.

이러한 통신부(130)는 입출력부(110)를 구성하는 복수의 카메라 각각과 직접 연결되거나 또는 네트워크를 통해 연결될 수 있으며, 각 카메라에서 물체를 촬영한 이미지를 병렬적으로 획득하여 제어부(120)로 제공할 수 있다.

메모리(140)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(120)는 메모리(140)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(140)에 저장할 수도 있다. 또한, 제어부(120)는 메모리(140)에 설치된 프로그램을 실행할 수도 있다. 도 1을 참조하면, 메모리(140)에는 물체인식방법을 수행하기 위한 프로그램이 설치될 수 있다.

도 2 및 도 3 은 일 실시예에 따른 물체인식방법을 설명하기 위한 순서도이다.

도 2 및 도 3 에 도시된 실시예에 따른 물체인식방법은 도 1 에 도시된 물체인식장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 에 도시된 물체인식장치(100)에 관하여 이상에서 기술한 내용은 도 2 및 도 3 에 도시된 실시예에 따른 물체인식방법에도 적용될 수 있다.

우선, 도 2 는 물체인식장치(100)가 물체를 촬영한 복수의 카메라로부터 획득된 복수의 이미지를 기초로 학습을 수행하는 과정을 도시한 순서도이다.

이를 참조하면, 물체인식장치(100)는 물체를 기준으로 일정한 거리만큼 이격되어 물체의 주위에 배치되는 복수의 카메라를 통해 물체의 다양한 방향을 촬영한 복수의 이미지를 병렬적으로 입력받을 수 있다(S2001).

도 4 는 물체인식장치(100)가 복수의 카메라를 이용하여 물체를 촬영하는 예시도이다. 도 4 를 참조하면, 물체인식장치(100)는 ‘나사못’(401)을 중심으로 일정한 거리만큼 이격되어 나사못(401)의 주위에 배치된 복수의 카메라(402, 403, 404, 405)를 통해 4 방향에서 나사못(401)을 촬영한 이미지를 획득할 수 있다.

그리고 물체인식장치(100)는 복수의 카메라에 의해 물체가 촬영된 복수의 이미지로부터 각 이미지를 구성하는 적어도 하나의 채널을 분리할 수 있다.

예를 들어, 물체인식장치(100)는 각 이미지를 구성하는 RGB 채널과 투명도에 대한 알파채널 각각을 분리하여 4 개의 채널로 분리할 수 있다.

그리고 물체인식장치(100)는 복수의 카메라 각각의 설치정보에 기초하여 각 이미지를 증강처리할 수 있다(S2002).

하나의 실시예에 따라, 물체인식장치(100)는 제 1 카메라의 설치정보에 기초하여 제 2 카메라에서 촬영된 이미지를 증강처리할 수 있다.

예를 들어, 물체인식장치(100)는 제 1 카메라의 설치정보에 포함된 카메라의 조리개, 노출, 줌 등에 대한 정보를 획득할 수 있고, 제 2 카메라의 설치정보와 비교하여 제 2 카메라에 의해 촬영된 이미지의 줌, 밝기, 노출 등을 제어하는 증강처리를 할 수 있다.

다른 실시예에 따라, 물체인식장치(100)는 제 1 카메라에서 획득된 이미지를 기초로 제 2 카메라에서 촬영된 이미지를 증강처리할 수 있다.

예를 들어, 물체인식장치(100)는 제 1 카메라에서 촬영된 이미지의 밝기, 줌, 물체의 형상에 대한 방향 등을 기초로 제 2 카메라에서 촬영된 이미지의 밝기, 줌, 회전 등의 증강처리를 할 수 있다.

도 5 는 물체인식장치(100)가 이미지를 증강처리하는 과정을 도시한 예시도이다. 도 5 를 참조하면, 물체인식장치(100)는 제 1 카메라에서 촬영된 제 1 이미지(501)에서의 나사못 머리의 길이(502)를 기준으로 제 2 카메라에서 촬영된 제 2 이미지(503)를 확대하여 제 1 이미지(501)와 동일한 크기의 이미지(504)로 증강처리할 수 있다.

이후, 물체인식장치(100)는 적어도 하나의 채널에 입력된 이미지를 기초로 상기 물체를 인식하는 기준인 물체의 특징을 학습할 수 있다(S2003).

예를 들어, 물체인식장치(100)는 복수의 카메라의 정보에 기초하여 물체의 정면을 촬영한 제 1 이미지의 R, G, B 채널을 기초로 물체의 정면 특징을 학습할 수 있으며, 정면에서 90도 회전된 위치에서 물체를 촬영한 제 2 이미지의 R, G, B채널로부터 90도 회전된 상태의 물체의 특징을 학습할 수 있다.

이때 실시예에 따라, 물체인식장치(100)는 각 채널별로 물체의 특징을 학습하면서, 각 채널간의 연관관계를 이용하여 물체의 특징을 결합하여 학습할 수 있다.

예를 들어, 물체인식장치(100)는 물체의 정면을 촬영한 제 1 이미지로부터 학습된 물체의 정면 특징과, 물체의 정면에서 90도 회전된 물체의 측면을 촬영한 제 2 이미지로부터 학습된 물체의 측면 특징을 조합하여 물체의 정면 및 측면 특징을 조합하여 학습할 수 있다.

또한, 실시예에 따라 물체인식장치(10)는 복수의 이미지 각각에 포함되는 물체의 특징을 조합하여 학습하여 물체의 특징간의 연결관계를 학습할 수 있다.

예를 들어, 물체인식장치(100)는 제 1 이미지에서의 물체의 정면 특징과 제 2 이미지에서의 물체의 측면 특징 간의 연결관계를 학습할 수 있고, 이를 통해 물체의 45도 방향 특징을 인식하도록 할 수 있다.

도 3 은 물체인식장치(100)가 물체를 인식하는 방법을 도시한 순서도이다. 이하에서는 설명의 편의를 위해 도 2 에서 설명한 내용과 동일한 내용은 설명을 생략한다.

도 3 을 참조하면, 물체인식장치(100)는 복수의 카메라로부터 물체가 촬영된 복수의 이미지를 병렬적으로 입력받을 수 있고(S3001), 입력된 복수의 이미지를 증강처리할 수 있다(S3002).

이후, 물체인식장치(100)는 복수의 이미지를 기초로 물체를 인식할 수 있다(S3003).

즉, 물체인식장치(100)는 입력되는 복수의 이미지 각각에 포함된 물체의 형상과 기 학습결과를 비교하여 물체를 인식할 수 있다.

예를 들어, 물체인식장치(100)는 학습결과에 기초하여 제 1 이미지에서 나사선을 가진 원기둥 형상과 제 2 이미지에서 십자 모양의 홈이 구비된 원형평면의 형상을 이용하여 ‘십자나사못’임을 인식할 수 있다.

또는 예를 들어, 물체인식장치(100)는 학습결과에 기초하여 제 1 이미지에서 나사선을 가진 원기둥 형상과 제 2 이미지에서 일자 모양의 홈이 구비된 원형평면의 형상을 이용하여 ‘일자나사못’임을 인식할 수 있다.

도 6 은 물체인식장치(100)가 복수의 이미지를 이용하여 물체를 인식하는 방법을 설명하는 예시도이다. 도 6 을 참조하면, 물체인식장치(100)는 제 1 카메라를 통해 제 1 물체(601)와 제 2 물체(602) 각각을 촬영한 제 1 이미지(603)와 제 2 이미지(604) 상의 물체의 특징이 동일하여도, 다른 방향의 제 2 카메라를 통해 제 1 물체(601)와 제 2 물체(602) 각각을 촬영한 제 3 이미지(605)와 제 4 이미지(606) 상의 물체의 특징 차이를 인식할 수 있다.

즉, 물체인식장치(100)는 제 1 물체(601)와 제 2 물체(602)가 제 1 카메라의 방향에서 촬영된 이미지상에서 동일한 특징을 가지더라도 다른 방향의 제 2 카메라에서 촬영된 이미지를 통해 제 1 물체(601)를 ‘십자나사못’으로 인식할 수 있고, 제 2 물체(602)를 ‘일자나사못’으로 인식할 수 있다.

이와 같이 다양한 방향에서 물체를 촬영한 이미지를 이용하여 물체를 인식함으로써, 일 측면에서 촬영된 물체의 형상이 동일하더라도, 타 측면에서 촬영된 물체의 형상이 상이한 경우까지 고려하여 물체 인식의 정확도를 높일 수 있다.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.

도 2 및 도 3 을 통해 설명된 실시예에 따른 물체인식방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.

또한 도 2 및 도 3 을 통해 설명된 실시예에 따른 물체인식방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 도 2 및 도 3 을 통해 설명된 실시예에 따른 물체인식방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.

100: 물체인식장치
110: 입출력부
120: 제어부
130: 통신부
140: 메모리

Claims

복수의 카메라를 이용하여 물체를 인식하는 장치에 있어서,
상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 통신부; 및
상기 복수의 이미지를 기초로 상기 물체를 인식하는 제어부를 포함하는, 물체인식장치.
제 1 항에 있어서,
상기 제어부는,
상기 복수의 이미지 각각에 대해 각 이미지를 구성하는 적어도 하나의 채널을 분리하고, 상기 복수의 이미지 각각에 대한 적어도 하나의 채널을 병렬적으로 입력받는, 물체인식장치.
제 1 항에 있어서,
상기 제어부는,
상기 복수의 카메라 각각의 기 설정된 설치조건에 기초하여 각 카메라에서 촬영된 이미지를 증강처리하는, 물체인식장치.
제 1 항에 있어서,
상기 제어부는,
제 1 카메라에서 물체를 촬영한 이미지를 기준으로 제 2 카메라가 촬영한 이미지를 증강처리하는, 물체인식장치.
제 2 항에 있어서,
상기 제어부는,
입력된 적어도 하나의 채널을 기초로 상기 물체를 인식하는 기준인 물체의 특징을 학습하는, 물체인식장치.
제 5 항에 있어서,
상기 제어부는,
상기 복수의 카메라의 설치조건에 기초하여 복수의 이미지 각각에 포함된 물체의 특징간의 연결관계를 학습하는, 물체인식장치.
물체인식장치가 복수의 카메라를 이용하여 물체를 인식하는 방법에 있어서,
상기 물체를 기준으로 일정한 거리만큼 이격되어 상기 물체의 주위에 배치되는 복수의 카메라로부터 복수의 이미지를 병렬적으로 획득하는 단계; 및
상기 복수의 이미지를 기초로 상기 물체를 인식하는 단계를 포함하는, 물체인식방법.
제 7 항에 있어서,
상기 물체인식방법은,
상기 복수의 이미지 각각에 대해 각 이미지를 구성하는 적어도 하나의 채널을 분리하는 단계; 및
상기 복수의 이미지 각각에 대한 적어도 하나의 채널을 병렬적으로 입력받는 단계를 더 포함하는, 물체인식방법.
제 7 항에 있어서,
상기 물체인식방법은,
상기 복수의 카메라 각각의 기 설정된 설치조건에 기초하여 각 카메라에서 촬영된 이미지를 증강처리하는 단계를 더 포함하는, 물체인식방법.
제 7 항에 있어서,
상기 물체인식방법은,
제 1 카메라에서 물체를 촬영한 이미지를 기준으로 제 2 카메라가 촬영한 이미지를 증강처리하는 단계를 더 포함하는, 물체인식방법.
제 8 항에 있어서,
상기 물체인식방법은,
입력된 적어도 하나의 채널을 기초로 상기 물체를 인식하는 기준인 물체의 특징을 학습하는 단계를 더 포함하는, 물체인식방법.
제 11 항에 있어서,
상기 물체인식방법은,
상기 복수의 카메라의 설치조건에 기초하여 복수의 이미지 각각에 포함된 물체의 특징간의 연결관계를 학습하는 단계를 더 포함하는, 물체인식방법.
제 7 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
물체인식장치에 의해 수행되며, 제 7 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.