KR20090049890A - 로봇의 물체인식방법 및 물체인식시스템 - Google Patents

로봇의 물체인식방법 및 물체인식시스템 Download PDF

Info

Publication number
KR20090049890A
KR20090049890A KR1020070116242A KR20070116242A KR20090049890A KR 20090049890 A KR20090049890 A KR 20090049890A KR 1020070116242 A KR1020070116242 A KR 1020070116242A KR 20070116242 A KR20070116242 A KR 20070116242A KR 20090049890 A KR20090049890 A KR 20090049890A
Authority
KR
South Korea
Prior art keywords
information
robot
database
object recognition
image
Prior art date
Application number
KR1020070116242A
Other languages
English (en)
Other versions
KR100920457B1 (ko
Inventor
백문홍
백승호
박재한
박경욱
이호길
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020070116242A priority Critical patent/KR100920457B1/ko
Publication of KR20090049890A publication Critical patent/KR20090049890A/ko
Application granted granted Critical
Publication of KR100920457B1 publication Critical patent/KR100920457B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07749—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card
    • G06K19/07758—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 서비스 로봇이 신뢰성 있는 서비스를 제공하도록 지원하기 위해 RFID 태그가 부착되어 있는 물체들을 인식하는 방법과 장치를 제공한다.
로봇에 부착된 카메라를 통해 얻어진 영상이미지로부터 특징점들을 추출하고 그것들을 통해 물체를 인식하였던 종래 방법들과 달리, 본 발명은 서비스 로봇에 부착된 RFID 리더를 통해 검출된 RFID 코드를 이용하여 물체를 인식하고, 데이터베이스에 접근하여 검출된 코드에 해당하는 영상 물체인식정보를 얻은 후, 그 정보를 기반으로 물체인식작업을 수행하므로 보다 강인하고 신뢰성 있게 물체를 인식할 수 있다.
이에 따라 본 발명에 따른 물체인식방법 및 시스템은 서비스 로봇이 간단한 하드웨어 및 소프트웨어 구성으로도 신뢰성 있게 물체를 인식하여 조작할 수 있게 해주므로 서비스의 질을 향상시키면서도 서비스 로봇의 생산 단가를 낮추어 줄 수 있는 방법이다.
물체인식방법, 로봇, RFID

Description

로봇의 물체인식방법 및 물체인식시스템 {A METHOD AND SYSTEM OF RECOGNIZING OBJECTS FOR INTELLIGENT ROBOT}
본 발명은 이동 로봇의 자율 주행 또는 물체의 핸들링 시에 필요한 물체(objects)의 인식 방법에 관한 것으로, 보다 구체적으로는 이동 로봇에 구비된 RFID 리더를 통해 각 물체에 부착된 RFID 코드를 검출함으로써 1차적으로 물체를 인식하고, 상기 RFID 코드를 활용하여 물체에 관한 정보를 보유한 데이터베이스로부터 물체의 정보를 얻어 이를 기반으로 물체를 인식함으로써, 종래에 비해 강인하고 신뢰성 있게 물체를 인식할 수 있는 방법 및 시스템에 관한 것이다.
로봇에 있어서 물체인식이란 로봇이 감지한 물체가 무엇인지를 판단하는 것이며, 로봇은 상기 판단 결과를 통해 프로그램된 대로 적절한 임무를 수행할 수 있게 된다.
한편, 물체를 인식하는 방법으로는, 3차원 물체에 대한 다량의 정보를 데이터베이스에 저장시킨 후, 로봇이 인식하는 물체와 대조하여 해당 물체의 정보를 획득하는, 소위 모델 기반형 물체인식방법이 일반적으로 사용되고 있다. 모델 기반형 물체인식방법은 크게 모델 데이터베이스 내에 모델 물체에 대한 정보의 저장단 계와 센서 시스템으로부터 얻은 입력정보로부터 모델 물체와의 비교를 위한 처리단계, 즉 특징 추출단계 및 인식단계로 나누어진다.
종래 로봇에 사용된 비전 기반의 물체인식방법은, 도 1에 도시된 바와 같이, 카메라로 물체를 촬영하여 영상 데이터를 얻고 이 영상 데이터를 처리하여 해당 물체의 특징점을 추출한 후, 데이터베이스에 저장되어 있는 물체들의 특징점과 비교하여 유사도를 판단하는 과정을 통해 물체인식작업을 수행했다.
그런데, 상기 방법에 의하면, 물체의 특징 정보가 조명이나 배경의 영향을 많이 받으며, 여러 개의 물체가 겹쳐져 위치하는 경우에는 물체의 인식효율이 떨어져 많은 횟수의 정합이 필요하게 되어, 물체인식 시간이 길어질 뿐 아니라 그 정확성도 떨어지는 문제점이 있다.
그리고 만약 데이터베이스에 n개의 물체 특징 정보가 저장되어 있고 각 물체 특징 정보는 m개의 특징점들로 구성되어 있다면, 도 2에 도시된 바와 같이, 영상에서 추출된 관심 물체의 특징점 벡터와, 데이터베이스에 저장되어 있는 물체들의 특징점 벡터를 비교하는데 n×m의 시간이 소요된다. 즉, 물체인식을 수행하기 위해 특징점들을 비교하는데 걸리는 시간은 데이터베이스에 저장되어 있는 물체의 개수와 특징 수에 비례하여 증가하게 된다. 따라서 인식되어야 할 물체의 수가 많아지면, 추출된 특징과 데이터베이스에 저장된 모델 물체와의 정합 시간에 소요되는 시간이 현저하게 증가하여, 상기 방법은 실시간으로 물체를 인식해야 하는 이동 로봇에는 적용되기 어렵다.
더욱이 상기 방법은 특정 환경과 특정 물체에 적합한 특징점들과 알고리즘을 사용하여 물체인식 작업을 수행하기 때문에 그와 다른 환경에 있는 물체를 인식할 때는 좋은 인식성능을 보여주지 못한다. 이에 따라 다른 환경에서는 다른 특징점들과 특징 비교 알고리즘을 사용해야만 하는 문제점이 있다.
또한, 예컨대 동일한 종류의 캔 음료수 2개가 인접하여 위치한 경우에는, 상기 방법에 의할 때는, 상기 2개의 물체를 전혀 구분할 수 없게 되므로, 서비스 로봇으로 기능하기에는 한계가 있다.
본 발명은 전술한 종래의 물체인식방법의 여러 문제점을 해결하기 위해 안출된 것으로서, 이동 로봇이 물체를 감지한 후 감지된 물체의 특징점을 추출하는 과정을 수행하지 않으며 물체가 위치한 배경이나 환경에 강인하고도 신뢰성 있게 물체를 인식할 수 있는 물체인식방법 및 시스템을 제공하는 것을 목적으로 한다.
또한 본 발명의 다른 목적은 데이터베이스로부터 이동 로봇이 인지한 물체의 정보를 추출하는 속도가 현저하게 개선되어 이동 로봇이 실시간으로 물체를 인식할 수 있는 물체인식방법 및 시스템을 제공하는 것이다.
전술한 본 발명의 목적을 달성하기 위한 이동 로봇의 물체인식방법은, 물체에 부착된 RFID 태그를 통해 물체의 유무를 인지하고, 검출된 RFID 코드를 이용하여 상기 물체에 관한 정보가 저장된 데이터베이스로부터 상기 물체에 관한 정보를 추출하여, 추출된 물체 정보와 상기 로봇에 구비된 촬영장치를 통해 수득한 이미지 정보를 대조함으로써, 상기 물체의 위치 또는 자세 정보를 획득하는데 구성적 특징이 있다.
본 발명에 따른 물체인식방법에 의하면, 도 3에 도시된 바와 같이 RFID 코드를 이용하여 데이터베이스를 조회하므로, n개의 물체 정보를 보유한 데이터베이스로부터 상기 RFID 코드와 일치하는 1개의 물체정보를 다운로드 받기만 하면 되므로, 이동 로봇이 물체정보를 데이터베이스로부터 추출하는데 소요되는 시간은 데이 터베이스에 저장된 물체의 개수(n)에만 비례하게 된다(도 4 참조). 즉, 본 발명에 따른 물체인식방법은, RFID 코드라는 하나의 주 키필드(primary key field) 또는 특징점을 사용하여 물체의 특징정보를 다운로드 받은 후 비교 또는 검색하기 때문에, 전술한 종래 방법과 달리 실시간 동작으로 서비스를 제공해야 하는 이동 로봇에 적합하게 된다.
또한, RFID 태그를 통해 물체를 인식하기 때문에, 물체가 겹쳐 있거나, 카메라 등이 감지하기 어려운 환경에 물체가 위치하더라도 그에 영향을 받지 않고 물체의 유무를 용이하게 식별할 수 있어, 강인하고 신뢰성이 있는 물체인식이 가능하게 된다.
또한, 본 발명에 따른 로봇의 물체인식방법에 있어서, 상기 물체에 관한 정보는 표준화되어 있으며, 네트워크를 통해 하나 이상의 데이터베이스로부터 다운로드받을 수 있으며, 또한 상기 물체에 관한 정보를 해당 물체를 제조한 제조사의 데이터베이스로부터 다운로드 받게 할 수도 있다. 이를 통해, 여러 업체에서 제조되는 다양한 물체에 대해 각 업체별로 구축된 데이터베이스를 이용할 수 있게 된다.
또한, 본 발명에 따른 로봇의 물체인식방법에 있어서, 상기 물체에 관한 정보는 XML 형식의 파일로 제공되는 것이 바람직하다. 이처럼 물체의 특징 정보를 XML로 표현함으로써 환경 변화에 유연한 물체인식작업을 수행할 수 있으며 각 물체에 적합한 다양한 인식 알고리즘을 선별 사용할 수 있다.
또한, 본 발명에 따른 로봇의 물체인식방법에 있어서, 상기 로봇은 우선적으로 자체적으로 보유한 데이터베이스로부터 물품에 관한 정보를 스캔하여 인지된 물 체에 관한 정보를 추출할 수 없을 때에, 무선네트워크를 통해 외부의 데이터베이스로부터 인지된 물체에 관한 정보를 획득하게 할 수 있다.
또한, 본 발명에 따른 로봇의 물체인식방법에 있어서, 바람직하게는 상기 로봇에 구비된 데이터베이스 또는 외부의 데이터베이스로부터 물체에 관한 정보와 함께 상기 로봇이 속한 환경에 대한 정보도 획득할 수 있게 한다.
또한, 본 발명에 따른 로봇의 물체인식방법에 있어서, 상기 로봇이 속한 환경에 따라 상기 정보를 대조하는 알고리즘이 변경되도록 할 수 있다. 이를 통해 최적화된 물체인식이 가능하게 된다.
또한, 본 발명은 서비스 로봇의 물체인식 시스템으로, RFID 태그를 구비한 물체와, RFID 리더와, 상기 물체의 영상을 촬영하는 카메라와, 외부와 무선으로 정보를 교환하게 하는 무선통신모듈과, 획득한 정보를 처리하는 연산장치와, 로봇의 동작을 제어하는 제어장치를 구비하는 서비스 로봇과, 상기 서비스 로봇과 무선으로 정보를 교환하게 하는 무선통신모듈과, 상기 물체의 정보를 보관하는 데이터베이스와, 획득한 정보를 처리하는 연산장치를 구비한 서버를 포함하는 서비스 로봇의 물체인식 시스템을 제공한다.
또한, 본 발명에 따른 물체인식 시스템은 추가로 상기 서비스 로봇에도 물체의 데이터를 저장하는 데이터베이스가 구비될 수 있다.
또한, 본 발명에 따른 물체인식 시스템에 있어서, 상기 데이터베이스는 물체의 이미지 정보를 저장하는 이미지 데이터베이스와 물체를 기술(description) 정보를 저장하는 기술 데이터베이스로 분리되어 있을 수 있다.
본 발명에 따른 물체인식방법 및 시스템에 의하면, 물체에 부착된 RFID 태그를 인식하여 RFID 코드를 통해 데이터베이스를 검색하기 때문에, 데이터베이스로부터 물체정보를 추출하는 시간이 현저하게 단축되므로, 실시간적인 동작이 요구되는 이동 로봇에 적합하다.
또한, 본 발명에 따른 물체인식방법 및 시스템은, 조명이 겹쳐진 물체 등 환경의 영향을 잘 받지 않는 RFID 기술을 이용하여 물체를 인식하기 때문에, 종래에 비해 강인하고 신뢰성 있는 물체인식이 가능하다.
또한, 본 발명에 따른 물체인식방법 및 시스템에 의하면, 물체정보를 보유한 데이터베이스에서 물체정보와 함께 환경정보를 함께 다운로드할 수 있으므로, 이동 로봇이 환경에 최적화된 알고리즘을 선별해서 사용함으로써, 최적의 물체인식결과를 도출해 낼 수 있다.
또한, 본 발명에 따른 물체인식방법 및 시스템에 의하면, 예컨대 동일한 캔 코카콜라 2개가 책상 위에 놓여져 있는 경우와 같이 종래 영상을 통한 특징점을 가지고 인식작업을 수행했을 때에는 구별할 수 없었던 동일한 형태의 물체도 인식할 수 있다.
이하, 본 발명의 바람직한 실시예를 참조하여 본 발명에 대해 보다 구체적으로 설명한다. 그러나 하기 실시예는 단지 예시에 불과한 것으로서, 본 발명을 한정하는 것으로 해석되어서는 안 된다.
도 5는 본 발명에 따른 물체인식방법을 위한 시스템에 대한 구성도이다. 도시된 바와 같이, 본 발명에 따른 물체인식방법을 수행하기 위한 시스템은, RFID 태그를 구비한 물체(10)와, RFID 리더와 상기 물체의 영상을 촬영하는 카메라(21)와 외부와 무선으로 정보를 교환하게 하는 무선통신모듈(22)을 구비한 서비스 로봇(20)과, 물체에 관한 정보를 저장하는 객체이미지데이터베이스(Object Image Database; OIDB)(30)로 이루어져 있다.
상기 물체(10)는 통상적으로 제조업체에 의해 제조되는 물품으로, 본 발명의 실시예에서는 각 물체별로 고유한 번호를 부여한 RFID 태그를 부착하였다. RFID 태그에 사용된 코드는 국내에서 표준화가 추진중인 모바일 RFID 관련 코드인 Mcode를 사용하였다.
상기 서비스 로봇(20)은 공지의 USB 카메라(21)를 이용하여 영상 이미지를 획득하였으며, 물체에 부착된 RFID 태그를 인식할 수 있는 RFID 리더기(미도시)와, 상기 데이터베이스(30)와의 무선통신을 위한 RF 트랜시버(22)를 구비하고 있으며, 도 3에 도시된 바와 같이, 각종 정보를 처리하는 컴퓨터(미도시)를 구비하고 있으며, 상기 컴퓨터에는 이동 로봇이 인식하고 데이터베이스로부터 주고 받는 정보를 처리할 수 있는 프로그램이 내장되어 있다.
상기 물체이미지데이터베이스(30)는 MPEG-7의 색상(Color), 무늬(Texture), 모양(Shape) 시각 기술자(descriptor) 중 색상 및 무늬 기술자를 이용하여 구축하였다. 한편 본 발명의 실시예에서는 물체이미지데이터베이스만을 사용하였으나, 물체의 기술적인 정보 및 환경에 대한 정보를 저장하는 물체기술데이터베이 스(Object Description Database)를 별도로 구축하여, 양 데이터베이스로부터 물체정보를 획득하도록 할 수도 있다.
상기 색상(Color) 정보는 물체(object)의 특성을 파악하는데 있어서 가장 기본적인 정보 중 하나로서, 물체의 색상 정보를 기술하기 위해서 MPEG-7 시각 정보 기술자 중 이미지의 대표적인 색상 정보들을 기술하는 DCL(Dominant Color Descriptor)를 사용하였다. 펜, 식탁, 냉장고 등과 같이 일반적인 물체들은 대개 1 ~ 2개의 대표적인 색상들을 가지며 이는 로봇의 물체인식에 있어서 중요한 정보가 될 수 있다. 예를 들어, 축구공은 대표적인 색상들로서 흰색과 검은색을 가질 확률이 높으며 이 정보는 축구공 식별을 위한 유사도 측정 시 중요한 시각 정보가 된다. 색상 정보의 유사도는 하기 식 1과 같이 계산될 수 있으며 여기서 h(I)와 h(Q)는 비교 이미지 I와 검색 이미지 Q의 K-bin 히스토그램을 각각 나타내며 A는 K×K 유사도 행렬을 의미한다.
[식 1]
dhist(I,Q)=(h(I)-h(Q))TA(h(I)-h(Q))
상기 무늬(Texture) 정보는 물체들이 가지는 고유한 무늬를 시각 정보로서 표현한 것으로서, 유사도 측정 시 물체를 구분해내는 중요한 파라미터로 활용될 수 있다. MPEG-7의 시각 정보 기술자 중 무늬 기술자는 HTD(Homogeneous Texture Descriptor), EHD(Edge Histogram Descriptor), 및 TBD(Texture Browsing Descriptor)의 3가지가 있는데, 본 발명자들의 연구에 의하면, 이중 이미지의 에지 분포를 이용하는 EHD가 자연 이미지나 인터넷 이미지에 관해서 가장 좋은 검색 성능을 보였을 뿐 아니라, 80bin의 로컬 에지 분포 정보로서 무늬 정보가 표현되어 데이터의 경량화에도 도움이 되기 때문에, 본 발명의 실시예에서는 EHD를 사용하였다. 한편, 무늬 정보의 유사도는 하기 식 2에 의해 계산되는데, 여기서 T(i)는 이미지 I의 i픽셀 위치에서의 무늬 서술자 벡터를 의미하며, T(Q)는 선택된 픽셀위치에 대한 무늬 서술자 벡터를 각각 나타낸다.
[식 2]
dpick _and_click(I,Q) = mini∈I ∥T(i)-T(Q)∥2
다음으로 본 발명의 실시예에 따른 시스템을 이용하여 물체를 인식하는 방법에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 물체인식과정의 전체 구조를 나타내는 모식도이다. 도시된 바와 같이, 이동 로봇의 RFID 리더기를 통해 특정 물체의 RFID 코드, 예컨대 "0013FF7AB359OC"를 인식하게 되면, 이를 데이터베이스에 전송하여 데이터베이스에서 상기 코드 번호에 해당하는 물체의 색상 및 무늬 정보를 전송받게 된다.
이후, 이동 로봇이 보유한 USB 카메라를 통해 영상 정보를 획득한 영상 정보와 데이터베이스로부터 받은 물체의 정보를 기반으로 하여 물체를 인식하게 된다.
물체의 인식과정은, 도 6에 도시된 바와 같이, 크게 데이터베이스로부터 전 송받은 색상 정보 기술자를 이용하여 이동 로봇이 촬영한 이미지 정보를 가우시안 색상 모델(GCM: Gaussian Color Model)을 적용하여 상기 이미지 정보를 변환하고 DC0-1이에 의해 필터링하여 물체가 있는 후보 영약들을 선별하는 Blob 검출을 수행하는 제1 단계와, DC0 ~1의 정보가 공통적으로 나타나는 Blob을 찾아 물체일 가능성이 높은 이미지 영역들을 선별하여 처리하는 제2 단계와, 전술한 EHD를 이용하여 최종적으로 대상 물체를 선택하는 제3 단계로 구분되며, 구체적으로는 다음과 같이 수행된다.
색상 정보 기술자에 의한 필터링
색상 정보는 물체와 카메라 간의 거리 및 방향의 변화에 불변하는 특징 정보로서, 하나의 물체는 보통 1 ~ 3 종류의 주요 색상들로 이루어진다. MPEG-7 색상 정보 기술자들 중 하나인, 주요 색상 정보 기술자는 이미지 또는 특정 이미지 영역 안에 대표 색상들을 추출하고, 이를 명세하기 위한 간단한 기술서를 제공하는데, 주요 색상 정보 기술자를 통해서 생성되는 명세서는 하기 식 3과 같은 형식으로 표현된다.
[식 3]
F = {(Ci, Pi, Vi), s}, (i = 1, 2, ..., N)
여기서 N은 주요 색상들의 개수를 의미하며, 각 주요 색상 정보 값 Ci는 해당 색상 공간(RGB 색상 공간)의 벡터이다. 그리고 Pi는 Ci값을 갖는 이미지 안에 픽셀들의 백분율을 나타내며, Vi는 하나의 대표 색상을 나타내는 클러스터 안에 존재하는 픽셀들의 색상 값들의 분산을 나타낸다. 또한 공간 응집도 s는 이미지 안에서 대표 색상의 전체 공간상의 동질성을 의미한다. 한편, 본 발명의 실시예에서는 계산상의 효율성을 위하여 N개의 대표 색상들이 아닌 가장 높은 Pi를 차지하는 2개의 대표 색상들의 DC0 ~1만을 이용하였다.
[가우시안 색상 모델(GCM)에 의한 이미지 변환]
일반적으로 RGB 색상 공간은 광도나 그늘 같은 외부 환경 조건에 매우 민감하므로 본 발명의 실시예에서는 그림자나 하이라이트와 같은 이미지의 명암부에 덜 민감한 특징을 갖는 가우시안 색상 모델 (Gaussian Color Model)을 이용하였다.
RGB 색상 공간을 가우시안 색상 모델로 변환하기 위한 최적의 선형 변환으로서, 하기 식 4와 같은 행렬 계수들이 알려져 있으며, 본 발명의 실시예에서도 하기 식 4의 계수들을 이용하여 USB 카메라로부터 입력받은 이미지들과 물체의 DC0 ~1을 가우시안 색상 모델로 변환하였다.
[식 4]
Figure 112007081779407-PAT00001
여기서 E, Eλ, Eλλ 는 각각 스펙트럼의 세기, 이의 1차 미분계수, 2차 미분계수를 의미한다.
[컬러 필터링]
다음으로 가우시안 색상 모델을 통하여 변환된 이미지 I의 픽셀들 중에서 DC0~1과 유사한 색상 값들을 가지는 픽셀들을 하기 식 5에 의해 필터링한다.
[식 5]
Figure 112007081779407-PAT00002
[Blob 추출]
색상에 의한 필터링을 수행한 이후, 후보 영역들을 생성하기 위하여, 먼저 Blob이라고 불리는 8-connected 컴포넌트들을 추출한다. 다음으로 최소/최대 영역을 임계값들로 하여 처음에 추출된 Blob들 중에서 해당 범위에 속하지 않는 Blob들을 제거한다.
MBR (Minimum Bounding Rectangle) 조합
물체 영역 인식을 위한 다음 단계로서 영역 생성 과정을 통하여 추출된 Blob들 중에서 공간상에서 서로 교차하는 Blob들을 하나의 Blob으로 조합한다. 다시 말해, 각각 I0 ~1에 속하는 Blob들에서 서로 겹치는 Blob들을 하기 식 6과 같은 MBR 판별 조건식을 통해 하나의 최종 Blob 영역으로 조합함으로써 더욱 적합한 물체 후보 영역 필터링을 수행한다.
[식 6]
Figure 112007081779407-PAT00003
여기서 각각의 xs, xe는 x축 상에서의 시작과 끝점의 위치를 나타내며 ys와 ye 또한 이와 동일하다.
도 7은 전술한 MBR 조합의 예를 나타낸 것으로서 3개의 Blob a, b, c 중에서 a와 b가 공간상에서 겹쳐지므로 하나의 Blob으로 합병됨을 알 수 있다.
EHD 에 의한 무늬(Texture) 매칭
전 단계에서 선택된 후보 영역들에 대하여 색상으로만 판별할 수 없는 경우, EHD에 의한 무늬 매칭은 최종적인 객체의 선택을 가능하게 한다. MPEG-7 시각 무늬 기술자 중에서 EHD는 자연 이미지나 인터넷 이미지에 대하여 좋은 검색성능을 보이며, 이는 80bin의 히스토그램 형태로 무늬 정보를 로컬 에지 분포 정보로 표현하고 있으며 하기 식 7에 의해 유사도를 구할 수 있다.
[식 7]
Figure 112007081779407-PAT00004
물체 인식 시험 결과
본 발명의 실시예에서는, 본 발명에 따른 물체인식방법이, 유사한 모양을 지니며 3 ~ 4가지의 비슷한 색상이 존재하는 조건에서도 물체를 신속하고 정확하게 검출할 수 있는지를 확인하기 위하여, 이동 로봇이 인식해야할 물체로 도 8의 사진과 같이 유사한 형태를 갖는 6종류의 캔음료를 사용하였다.
또한, 이동 로봇의 실 환경의 적용시 고려되어야 할 두 가지 조건 즉, 거리의 변화와 조명의 변화 측면에서 검출 성능을 평가하였다. 거리는 50 ~ 200cm의 범위에서 50cm 단위로 거리를 이동하였으며, 조명의 변화는 시험 물체 근처에 보조조명을 설치하여 조명을 켰을 때와 껐을 때에 대하여 물체 검출을 시험하였다.
도 9는 DCD(색상)와 EHD(무늬) 정보를 같이 이용하여 물체인식을 시험한 결과를 나타낸 것이다.
도 9에서 알 수 있는 바와 같이, 50cm의 가까운 거리에서는 평균 95%이상의 우수한 인식결과를 나타내었다. 이에 반해 200cm의 먼 거리에서는 큰 차이가 나타나지 않는데, 이는 먼 거리에서는 이미지의 크기가 작아서 무늬 정보를 추출할 수 없기 때문으로 추정된다. 또한, 조명의 변화에 따라서도 먼 거리에서는 다소의 차이가 있었으나, 50cm의 가까운 거리에서는 거의 차이를 보이지 않는다. 즉, 본 발명의 실시예에 따른 물체인식방법에 의하면, 물체를 보다 강인하고 신뢰성 있게 인식할 수 있게 된다.
한편, 도 10은 물체인식 알고리즘에 소요되는 수행시간을 나타낸 것인데, 도 10에서 알 수 있는 바와 같이, 본 발명에 따른 물체인식방법의 경우, 물체의 거리에 관계없이 모든 물체에 대해 80msec 이내로 측정되었다. 따라서 본 발명에 따른 물체인식방법은 이동 로봇의 실시간 작업에도 적용할 수 있음이 확인되었다.
도 1은 종래의 물체인식방법에 대한 개략적인 구성을 나타내는 도면이다.
도 2는 종래의 물체인식방법에 있어서, 카메라를 통해 입수한 영상 데이터의 특징점과 데이터베이스에 저장된 물체들의 특징점을 비교하는 과정을 나타내는 도면이다.
도 3은 본 발명에 따른 물체인식방법의 개략적인 구성을 나타내는 도면이다.
도 4는 본 발명에 따른 물체인식방법에 있어서, 로봇의 RFID 리더를 통해 인지한 RFID 코드를 이용하여 데이터베이스로부터 해당 물체의 정보를 도출하는 과정을 나타내는 도면이다.
도 5는 본 발명에 따른 물체인식방법을 위한 시스템에 대한 구성도이다.
도 6은 본 발명의 실시예에 따른 물체인식방법에 있어서, 물체인식과정을 나타내는 모식도이다.
도 7은 본 발명의 실시예에 따른 물체인식방법에 있어서, Blob의 조합 예를 나타내는 도면이다.
도 8은 본 발명의 실시예에서 사용한 인식대상의 사진이다.
도 9는 본 발명의 실시예에 따라 물체를 인식한 결과를 나타내는 그래프이다.
도 10은 본 발명의 실시예에 따라 물체를 인식하는 알고리즘을 수행한 시간을 측정한 결과를 나타내는 그래프이다.

Claims (10)

  1. 로봇의 물체인식방법으로서, 물체에 부착된 RFID 태그를 통해 물체의 유무를 인지하고, 검출된 RFID 코드를 이용하여 상기 물체에 관한 정보가 저장된 데이터베이스로부터 상기 물체에 관한 정보를 추출하여, 추출된 물체 정보와 상기 로봇에 구비된 촬영장치를 통해 수득한 이미지 정보를 대조함으로써, 상기 물체의 위치 또는 자세 정보를 획득하는 것을 특징으로 하는 로봇의 물체인식방법.
  2. 제 1 항에 있어서, 상기 물체에 관한 정보는 표준화되어 있으며, 네트워크를 통해 하나 이상의 데이터베이스로부터 다운로드받을 수 있는 것을 특징으로 하는 로봇의 물체인식방법.
  3. 제 2 항에 있어서, 상기 물체에 관한 정보는 해당 물체를 제조한 제조사의 데이터베이스로부터 다운로드 받는 것을 특징으로 하는 로봇의 물체인식방법.
  4. 제 2 항 또는 제 3 항에 있어서, 상기 물체에 관한 정보는 XML 형식의 파일로 되어 있는 것을 특징으로 하는 로봇의 물체인식방법.
  5. 제 2 항에 있어서, 상기 로봇은 우선적으로 자체적으로 보유한 데이터베이스로부터 물품에 관한 정보를 스캔하여 인지된 물체에 관한 정보를 추출할 수 없을 때에, 무선네트워크를 통해 외부의 데이터베이스로부터 인지된 물체에 관한 정보를 획득하는 것을 특징으로 하는 로봇의 물체인식방법.
  6. 제 5 항에 있어서, 상기 로봇에 구비된 데이터베이스 또는 외부의 데이터베이스로부터 물체에 관한 정보와 함께 물체에 대한 최적의 인식방법 및 상기 로봇이 속한 환경에 대한 정보도 획득할 수 있는 것을 특징으로 하는 로봇의 물체인식방법.
  7. 제 6 항에 있어서, 상기 로봇이 속한 환경에 따라 상기 정보를 대조하는 알고리즘이 변경되는 것을 특징으로 하는 로봇의 물체인식방법.
  8. 서비스 로봇의 물체인식 시스템으로,
    RFID 태그를 구비한 물체와,
    RFID 리더와, 상기 물체의 영상을 촬영하는 카메라와, 외부와 무선으로 정보를 교환하게 하는 무선통신모듈과, 획득한 정보를 처리하는 연산장치와, 로봇의 동작을 제어하는 제어장치를 구비하는 서비스 로봇과,
    상기 서비스 로봇과 무선으로 정보를 교환하게 하는 무선통신모듈과, 상기 물체의 정보를 보관하는 데이터베이스와, 획득한 정보를 처리하는 연산장치를 구비한 서버를 포함하는 서비스 로봇의 물체인식 시스템.
  9. 제 8 항에 있어서, 추가로 상기 서비스 로봇에도 물체의 데이터를 저장하는 데이터베이스가 구비되는 것을 특징으로 하는 물체인식 시스템.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 데이터베이스는 물체의 이미지 정보를 저장하는 이미지 데이터베이스와 물체의 기술(description) 정보를 저장하는 기술 데이터베이스로 분리되어 있는 것을 특징으로 하는 물체인식 시스템.
KR1020070116242A 2007-11-14 2007-11-14 로봇의 물체인식방법 및 물체인식시스템 KR100920457B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070116242A KR100920457B1 (ko) 2007-11-14 2007-11-14 로봇의 물체인식방법 및 물체인식시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070116242A KR100920457B1 (ko) 2007-11-14 2007-11-14 로봇의 물체인식방법 및 물체인식시스템

Publications (2)

Publication Number Publication Date
KR20090049890A true KR20090049890A (ko) 2009-05-19
KR100920457B1 KR100920457B1 (ko) 2009-10-08

Family

ID=40858508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070116242A KR100920457B1 (ko) 2007-11-14 2007-11-14 로봇의 물체인식방법 및 물체인식시스템

Country Status (1)

Country Link
KR (1) KR100920457B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347148B1 (ko) * 2012-06-11 2014-01-03 (주)스토디 입력 제어 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3822592B2 (ja) * 2003-10-24 2006-09-20 東芝テリー株式会社 無線タグ所有物体の特定装置及び方法
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347148B1 (ko) * 2012-06-11 2014-01-03 (주)스토디 입력 제어 방법 및 시스템

Also Published As

Publication number Publication date
KR100920457B1 (ko) 2009-10-08

Similar Documents

Publication Publication Date Title
US11335092B2 (en) Item identification method, system and electronic device
CN110334708A (zh) 跨模态目标检测中的差异自动校准方法、系统、装置
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
US11232589B2 (en) Object recognition device and object recognition method
Ren et al. General traffic sign recognition by feature matching
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN105009170A (zh) 物体识别设备、方法和存储介质
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
US20220415012A1 (en) Image processing based methods and apparatus for planogram compliance
US11367270B2 (en) Recognition apparatus and method
JP2009163682A (ja) 画像識別装置及びプログラム
JP2012150552A (ja) 物体認識処理装置及び物体認識処理方法
Mukhopadhyay et al. PCB inspection in the context of smart manufacturing
KR102597692B1 (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
KR100920457B1 (ko) 로봇의 물체인식방법 및 물체인식시스템
CN116704270A (zh) 一种基于图像处理的智能设备定位标记方法
KR20230036675A (ko) Cnn 영상처리기법을 이용한 의류 원단의 불량검출 방법
Fowers et al. An effective color addition to feature detection and description for book spine image matching
Park et al. A new object recognition system for service robots in the smart environment
CN113139946A (zh) 一种基于视觉的衬衫污渍定位设备
CN109754003B (zh) 基于深度学习的智能机器人视觉技术应用检测系统和方法
JP7207862B2 (ja) 物体認識装置および方法
Vongbunyong et al. Vision System
Takano et al. New object detection for on-board robot vision by lifting complex wavelet transforms
Teng et al. 3D object detection based on geometrical segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150612

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20150908

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 10