KR101878239B1 - 모바일 로봇 기반의 도서 관리 시스템 - Google Patents

모바일 로봇 기반의 도서 관리 시스템 Download PDF

Info

Publication number
KR101878239B1
KR101878239B1 KR1020170036504A KR20170036504A KR101878239B1 KR 101878239 B1 KR101878239 B1 KR 101878239B1 KR 1020170036504 A KR1020170036504 A KR 1020170036504A KR 20170036504 A KR20170036504 A KR 20170036504A KR 101878239 B1 KR101878239 B1 KR 101878239B1
Authority
KR
South Korea
Prior art keywords
book
books
label
color
library
Prior art date
Application number
KR1020170036504A
Other languages
English (en)
Inventor
이상용
이세한
김아람
Original Assignee
경남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경남대학교 산학협력단 filed Critical 경남대학교 산학협력단
Priority to KR1020170036504A priority Critical patent/KR101878239B1/ko
Application granted granted Critical
Publication of KR101878239B1 publication Critical patent/KR101878239B1/ko

Links

Images

Classifications

    • G06K9/20
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0009Constructional details, e.g. manipulator supports, bases
    • G06K9/3258
    • G06K9/38
    • G06K9/40
    • G06K9/4652
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템은 다수의 도서가 비치된 책장 사이를 이동하는 로봇을 통해 도서관의 영상을 촬영하고, 획득한 영상에서 상기 도서의 위치를 인식하는 로봇에 의한 이미지 획득 단계와, 상기 로봇에 의한 이미지 획득 단계에서 획득된 상기 도서의 각각에 부착된 레이블을 인식한 후 상기 도서의 정보를 상기 도서관의 데이터베이스와 비교할 수 있도록 하기 위해 상기 레이블 획득을 위한 상기 도서 간의 경계선을 추출하는 도서의 경계선 추출 단계와, 상기 도서의 경계선 추출 단계에서 획득한 상기 도서의 경계선을 기준으로 상기 레이블이 있는 영역을 찾기 위해 관심영역을 설정하고, 상기 관심영역에서 RGV 모델과 HSV의 모델을 사용하여 색상 특징값을 추출하며, 상기 색상 특징값에 의한 색상인식을 이용해 상기 레이블의 위치를 확인하여 청구기호의 영역을 획득한 뒤 광학 문자 판독장치를 통한 광학 문자 인식으로 청구기호를 인식하는 클래스 번호 인식 단계 및 상기 클래스 번호 인식 단계로부터 인식한 상기 도서의 청구기호를 상기 도서관의 데이터베이스와 비교해 잘못된 위치에 놓여있는 상기 도서를 검출하여 결과를 상기 데이터베이스에 저장하는 도서관 관리 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 로봇 기반의 도서 관리 시스템을 개시한다.

Description

모바일 로봇 기반의 도서 관리 시스템{DEVELOPMENT OF LIBRARY MANAGEMENT SYSTEM BASED ON A MOBILE ROBOT}
본 명세서에 개시된 내용은 모바일 로봇 기반의 도서 관리 시스템에 관한 것으로, 특히, 모바일 로봇 기반으로 각 도서의 위치를 확인하고 위치를 검증해서 도서관에서 잘못 비치된 도서를 사서에게 알려주어 직접 도서관 전체를 돌아다니며 잘못 비치된 도서를 찾는 인력 낭비가 최소화 되고, 이로 인해 일의 효율을 증가시킬 수 있는 모바일 로봇 기반의 도서 관리 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
현대 사회에서 많은 사람들의 생활과 실무를 편하게 하기 위하여 컴퓨터를 사용하고 있다. 도서관에서도 컴퓨터를 비치해두고 정보 검색기술을 이용해 이용자들에게 원하는 도서의 위치를 검색을 할 수 있게 지원한다.
도서의 관리를 위해 각각의 도서에 공통성을 지닌 고유번호를 정해 인식하고 분류하는 일이 요구된다. 이를 위해 영국에서 1966년 표준도서 번호를 만들었고, 이는 국제 표준화 기구에 의해 ISO 2018 표준으로 채택되어 국제 표준 도서 번호(ISBN: International Standard Book Number)가 되었다. 하지만 국제 표준 도서 번호는 도서 뒤편 바코드에 같이 삽입되어 있기 때문에, 도서 수납장에 일렬로 꽂아놓아 도서의 옆면만 보이는 상황에선 이를 이용해 도서를 인식할 수 없다.
19세기 후반 공공도서관의 출현과 함께 전 분야를 포함하는 분류법이 요구됨에 따라 여러 가지 방법이 시도되었다. 미국에서는 도서관에서 자료 분류를 하기 위해서 멜빌 듀이가 1876년 듀이 십진분류법(DDC: Dewey Decimal Classification)을 만들었다. 듀이 십진분류법은 현재 세계에서 가장 널리 쓰이고 있으며, 지속적으로 개정하고 있다.
우리나라 도서관에서는 듀이 십진분류법과 이를 우리나라 특성에 맞게 고친 한국 십진분류법(KDC: Korean Decimal Classification)을 같이 사용하고 있다. 도서관에 비치된 도서에는 도 1과 같이 관리를 위해 이름, 저자, 위치 등 책 내용을 한국 십진분류법 또는 듀이 십진분류법을 이용해 표기해놓은 청구기호를 레이블로 붙여 관리하고 있다.
도서들은 청구기호에 따라 배치되어있어서 해당 위치에 가면 쉽게 도서를 찾을 수 있는데, 이는 도서가 본래 위치에 꽂혀 있을 때 해당한다. 도서관 이용자들이 열람실에서 읽은 도서를 실수, 혹은 고의로 원래 위치에 꽂아놓고 가지 않는 경우가 발생한다.
이 경우 사서 혹은 이용자들이 해당 사실을 알기 전까진 도서가 잘못 꽂혀있는지 알 수 없게 된다. 이 문제를 해결하기 위해서는 사서가 도서관 전체를 돌아다니며 각 도서가 정상적인 위치에 꽂혀있는지 확인을 해야 한다. 이는 많은 인적자원의 손해를 일으키며, 사람이 다니며 확인하기 때문에 정확한 위치에 도서가 꽂혀 있음을 보장할 수 없는 문제를 발생시킨다.
기존에는 도서 관리를 위해서 도서 옆면에 표시된 글자를 이용해 인식 하고자 하는 연구가 수행되어 왔다. 처음에는 도서에서 제목을 추출하고자 하는 연구들이 진행되어 왔으나, 기존의 도서들과 달리 도서의 디자인을 중요시하게 되면서 도 1과 같이 도서들의 도서명, 저자명, 출판사명 등의 정보들은 출판사와 도서의 종류에 따라 각자 다른 위치에 표기하고 있다. 또한 글자체, 글자크기가 통일성이 없어 각 정보들을 추출하는데 어렵다는 단점을 지니고 있어서 영상을 이용해서 책을 인식하는 일은 쉽지 않다.
이 방법을 해결하기 위해서 미리 도서들의 정보를 저장시킨 다음, 템플릿 매칭 또는 기계 학습을 통해서 도서의 정보를 인식하고자 하는 연구들이 수행되어 왔다. 이러한 연구들은 인식률이 높고 외부 영향에 강인한 편이다. 하지만 처리속도가 늦고 많은 도서들이 새롭게 등록되어지는 도서관의 실정을 빠르게 반영하기 어렵다는 단점이 있다.
이러한 연구들과 달리 도서의 글자를 직접 인식하는 것이 아니고, 특징점들을 이용해서 도서를 대략적으로 추정하는 연구도 진행되고 있다. 이 방법은 기존에 도서의 색상정보를 이용하여 도서를 인식하는데 시간이 오래 걸린다는 점에 주안점을 두었다. 도서를 인식하는 것이 아니고 잘못 놓여진 도서의 후보영역을 찾아내어 사서들이 직접탐색을 하는 것이 아닌 제어탐색을 하게해서 사서들의 편의를 증가시키고자 했다.
영상을 이용해서 도서를 인식하지 않고, RFID를 이용해 도서관 관리를 하는 연구도 진행되어 왔다. 각각의 도서에 RFID 태그를 부착해 리더기를 용해서 대여/반납을 한다.
기존의 바코드 시스템은 한번 부착된 바코드의 갱신이 어렵고, 정보입력량이 적어서 다용도로 활용이 불가능하고 바코드만으로 도난을 방지할 수 없다는 단점이 존재한다. 하지만 기존의 방식인 바코드 시스템과는 다르게 각각의 도서마다 태그를 장착해야 한다는 단점과, 도서관에 RFID 리더기를 추가 장착해야한다는 비용적인 단점을 지니고 있다. 최근 스마트폰의 보급으로 인해 리더기의 추가 구입이 필요 없이 사서들이 서고를 다니며 도서를 관리할 수 있는 방법도 개발되고 있는 추세이나 사서들이 보다 편하게 도서 정리를 할 수 있는 실질적인 방안이 필요하다.
삭제
삭제
삭제
1. 한국 특허등록 제10-0821432호(2008.04.03) 2. 한국 특허등록 제10-1336124호(2013.11.27) 3. 한국 특허공개 제10-2016-0091662호(2016.08.03)
도서관의 관리를 위해 모바일 로봇을 이용해 잘못된 위치에 있는 도서들을 찾아내어 사서들이 보다 편하게 도서 정리를 할 수 있는 모바일 로봇 기반의 도서 관리 시스템을 제공하고자 한다.
모바일 로봇이 도서관 전역을 돌아다니며 영상을 획득하고, 획득한 영상에서 도서들의 경계를 검출하고, 도서들이 책장에 얼마나 꽂혀 있는지 개수를 확인하며, 검출한 경계 내에서 각 도서의 청구번호를 인식해 데이터베이스와 비교해 검증한 다음 잘못 비치된 도서를 확인할 수 있는 모바일 로봇 기반의 도서 관리 시스템을 제공하고자 한다.
전체 도서관의 정보는 데이터베이스에 기록되며 기록된 정보를 사서들이 확인하여 잘못 비치된 도서를 쉽게 찾아가서 도서관을 정리할 수 있는 모바일 로봇 기반의 도서 관리 시스템을 제공하고자 한다.
잘못된 위치에 놓인 도서를 로봇이 직접 올바른 위치에 꽂아 놓을 수 있는 모바일 로봇 기반의 도서 관리 시스템을 제공하고자 한다.
실시예에 의한 모바일 로봇 기반의 도서 관리 시스템은, 다수의 도서가 비치된 책장 사이를 이동하는 로봇을 통해 도서관의 영상을 촬영하고, 획득한 영상에서 상기 도서의 위치를 인식하는 로봇에 의한 이미지 획득 단계와, 상기 로봇에 의한 이미지 획득 단계에서 획득된 상기 도서의 각각에 부착된 레이블을 인식한 후 상기 도서의 정보를 상기 도서관의 데이터베이스와 비교할 수 있도록 하기 위해 상기 레이블 획득을 위한 상기 도서 간의 경계선을 추출하는 도서의 경계선 추출 단계와, 상기 도서의 경계선 추출 단계에서 획득한 상기 도서의 경계선을 기준으로 상기 레이블이 있는 영역을 찾기 위해 관심영역을 설정하고, 상기 관심영역에서 RGB 모델과 HSV의 모델을 사용하여 색상 특징값을 추출하며, 상기 색상 특징값에 의한 색상인식을 이용해 상기 레이블의 위치를 확인하여 청구기호의 영역을 획득한 뒤 광학 문자 판독장치를 통한 광학 문자 인식으로 청구기호를 인식하는 클래스 번호 인식 단계 및 상기 클래스 번호 인식 단계로부터 인식한 상기 도서의 청구기호를 상기 도서관의 데이터베이스와 비교해 잘못된 위치에 놓여있는 상기 도서를 검출하여 결과를 상기 데이터베이스에 저장하는 도서관 관리 단계를 포함하는 구성으로 이루어진다.
실시예에 의하면, 상기 도서의 경계선 추출 단계는, 상기 로봇의 카메라 센서로부터 입력된 상기 영상으로부터 윤곽선 검출의 위한 엣지를 보존하면서 잡영을 제거하도록 필터링 하는 양방향 필터링 단계와, 상기 양방향 필터링 단계로부터 잡영이 제거된 상기 영상에 임계값 기반의 이진화를 수행하여 이진화하는 이진화 단계와, 상기 이진화 단계로부터 이진화된 상기 영상의 상기 도서 사이의 경계 부분에 대한 유실 방지를 위한 모폴로지 연산을 수행하는 모폴로지 연산 단계와, 상기 모폴로지 연산 단계에 의해 경계가 하나로 합쳐진 영상에 대한 상기 도서들의 엣지 부분의 추출을 위한 엣지 검출 단계와, 상기 엣지 검출 단계로부터 추출된 상기 도서들의 엣지 부분의 경계를 토대로 하여 상기 도서 사이의 경계를 검출하는 허프 변환 단계를 포함한다.
실시예에 의하면, 상기 클래스 번호 인식 단계는, 상기 도서의 경계선 추출 단계에서 획득한 상기 도서들의 전체 영상 중 상기 도서의 하단에 부착된 상기 레이블 영역만을 지정해 연산속도를 증가되도록 하는 관심 영역 설정 단계와, 상기 도서의 분류를 위해 색을 조합하여 각 색상으로 표현된 상기 도서의 레이블 색상의 특징값을 구분하여 색상 검출기로 추출하는 색상 추출 단계와, 상기 색상 추출 단계로부터 추출된 상기 색상 특징값으로 상기 레이블의 경계를 인식하는 색상 인식 단계와, 상기 색상 검출기로 상기 레이블의 색상을 찾아 y축의 임계점을 획득하여 이진화를 수행한 영상에서 히스토그램을 획득하고, 상기 레이블의 색상으로부터 획득한 임계점에서부터 x축으로 투영을 수행해 히스토그램을 획득하여 상기 색상 검출기로 검출한 임계점에 대한 상기 히스토그램 값의 변화를 통해 상기 청구기호의 영역을 판단하는 레이블 위치 찾기 단계와, 상기 레이블 위치 찾기 단계로부터 획득한 상기 청구기호의 영역을 상기 광학 문자 판독장치를 통해 상기 청구기호를 인식하는 클래스 번호 인식 단계를 포함한다.
실시예에 의하면, 상기 로봇은, 상기 도서관에 설정된 간격으로 다수로 배치된 상기 책장 간 사이 공간에 이동가능한 체적의 크기를 갖고, 양측면에 바퀴가 구비된 몸체부와, 상기 몸체부에 일단이 연결되어 연장된 타단이 상부를 향하도록 상기 몸체부에 나란하게 한 쌍으로 구비된 슬라이더부 및 상기 슬라이더부에서 상하 이동되며 상기 책장에 구비된 상기 도서를 촬영하는 촬영부를 포함하여 이루어진다.
실시예에 의하면, 상기 바퀴는 상기 몸체부의 양측면 각각에 적어도 하나 이상으로 구비되어 정방향 또는 역방향으로 회전되되, 상기 몸체부의 하나의 측면과 다른 하나의 측면에서 동시 또는 개별적으로 선택적인 회전이 가능하다
실시예에 의하면, 상기 슬라이더부는, 상기 몸체부의 내부에 한 쌍으로 설치된 슬라이더 액추에이터와, 상기 슬라이더 액추에이터의 각각에 일단이 연결되어 연장된 단부가 상기 몸체부의 상부에 위치되는 한 쌍의 슬라이더와, 상기 슬라이더의 상측 단부에 일단과 타단이 각각 연결된 연결편과, 상기 슬라이더 액추에이터를 통해 상기 슬라이더 각각에서 상하로 이동되는 브라켓을 포함한다.
이상에서와 같은 모바일 로봇 기반의 도서 관리 시스템은, 도서관의 관리를 위해 모바일 로봇을 이용해 잘못된 위치에 있는 도서들을 찾아내어 사서들이 보다 편하게 도서 정리를 할 수 있는 장점을 갖는다.
모바일 로봇이 도서관 전역을 돌아다니며 영상을 획득하고, 획득한 영상에서 도서들의 경계를 검출하고, 도서들이 책장에 얼마나 꽂혀 있는지 개수를 확인하며, 검출한 경계 내에서 각 도서의 청구번호를 인식해 데이터베이스와 비교해 검증한 다음 잘못 비치된 도서를 확인할 수 있는 장점을 갖는다.
전체 도서관의 정보는 데이터베이스에 기록되며 기록된 정보를 사서들이 확인하여 잘못 비치된 도서를 쉽게 찾아가서 도서관을 정리할 수 있는 장점을 갖는다.
잘못된 위치에 놓인 도서를 로봇이 직접 올바른 위치에 꽂아 놓을 수 있는 장점을 갖는다.
도 1은 도서관에 비치된 도서들을 보여주기 위한 도면.
도 2는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템의 개략적으로 표현한 구성도.
도 3은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템의 전체 시스템의 구성을 표현한 구성도.
도 4는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 잡영 제거 후 적응형 이진화를 수행한 영상의 예.
도 5는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 허프 변환으로 경계를 획득한 결과를 보여주는 예.
도 6은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 색상에 따른 도서 분류 색상표를 보여주는 예.
도 7의 (a)는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 원본 색상 영상을 보여주는예, 도 7의 (b)는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 색상 인식 후 경계선 추출의 예.
도 8은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 색상 검출기로 추출한 영상과 히스토그램을 보여주는 예.
도 9는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템이 적용된 도서관에서의 로봇 주행을 보여 주는 예.
도 10은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템의 도서관 로봇의 개략적인 모형의 보여주는 예.
도 11은 도 10에 도시된 로봇에 집게를 구비시킨 예.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템은 도서관의 관리를 위해 모바일 로봇을 이용해 잘못된 위치에 있는 도서들을 찾아내어 사서들이 보다 편하게 도서 정리를 할 수 있는 방안을 제시하는 것으로, 모바일 로봇이 도서관 전역을 돌아다니며 영상을 획득하고, 획득한 영상에서 도서들의 경계를 검출해내며, 도서들이 책장에 얼마나 꽂혀 있는지 개수를 확인하고, 검출한 경계 내에서 각 도서의 청구번호를 인식해 데이터베이스와 비교해 검증한 다음 잘못 비치된 도서를 확인하며, 전체 도서관의 정보는 데이터베이스에 기록되며 기록된 정보를 사서들이 확인하여 잘못 비치된 도서를 쉽게 찾아가서 도서관을 정리할 수 있게 도와주는 모바일 로봇 기반의 도서 관리 시스템에 관한 것이다.
상기된 바를 위해 본 개시는, 로봇은 도서관에서 자동으로 이동하며 도서관의 영상을 획득하고, 획득한 영상에서 도서의 위치를 인식한다. 또한, 각 도서의 정보는 도서에 붙인 레이블을 획득해 인식한 다음 도서관 데이터베이스와 비교한다. 그리고, 레이블을 획득하기 위해 각 도서의 경계선을 추출하는데, 경계선의 추출을 위해 먼저 영상을 양방향 필터(Bilateral Filter)를 사용해 잡영을 제거하고 지역 적응형 이진화를 사용해 영상에서 밝기 값이 차이가 있는 부분을 획득한다. 그 다음 모폴로지 연산(Morphology Operator)을 수행해 분리된 경계선을 이어진 요소로 만들고, 그 다음 획득한 영상에서 캐니 엣지 검출기(Canny Edge Detector)를 사용하여 엣지라고 판단되는 부분을 우선 검출한다. 이때, 도서와 도서 사이의 경계는 직선이기 때문에 획득한 선분 중 직선을 추출해야 하는데, 이를 위하여 허프 변환을 이용하고, 획득한 도서의 경계선을 기준으로 레이블이 있는 영역을 찾기 위해 관심 영역(ROI:Region of Interest)을 설정한다. 또한, 설정한 관심영역에서 HSV, RGB 색상 특징값을 추출하고 색상인식을 이용해 레이블의 위치를 확인하고 광학 문자 인식(OCR: Optical Character Recognition)을 이용해 청구기호를 인식하고, 인식한 청구기호를 도서관의 데이터베이스와 비교해 잘못된 위치에 놓여있는 도서를 검출하고 결과를 데이터베이스에 저장한다.
도 2는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템의 개략적으로 표현한 구성도이다.
도 2를 참조하면, 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템은 크게 로봇에 의한 이미지 획득 단계(S1), 도서의 경계선 추출 단계(S2), 클래스 번호 인식 단계(S3) 및 도서관 관리 단계(S4)를 포함하는 구성으로 이루어진다.
로봇에 의한 이미지 획득 단계(S1)는 다수의 도서가 비치된 책장 사이를 이동하는 로봇을 통해 도서관의 영상을 촬영하고, 획득한 영상에서 도서의 위치를 인식한다.
도서의 경계선 추출 단계(S2)는 로봇에 의한 이미지 획득 단계에서 획득된 도서의 각각에 부착된 레이블을 인식한 후 도서의 정보를 도서관의 데이터베이스와 비교할 수 있도록 하기 위해 레이블 획득을 위한 도서 간의 경계선을 추출한다.
클래스 번호 인식 단계(S3)는 도서의 경계선 추출 단계에서 획득한 도서의 경계선을 기준으로 레이블이 있는 영역을 찾기 위해 관심영역을 설정하고, 관심영역에서 RGB 모델과 HSV의 모델을 사용하여 색상 특징값을 추출하며, 색상 특징값에 의한 색상인식을 이용해 레이블의 위치를 확인하여 청구기호의 영역을 획득한 뒤 광학 문자 판독장치를 통한 광학 문자 인식으로 청구기호를 인식한다.
도서관 관리 단계(S4)는 클래스 번호 인식 단계로부터 인식한 도서의 청구기호를 도서관의 데이터베이스와 비교해 잘못된 위치에 놓여있는 도서를 검출하여 결과를 상기 데이터베이스에 저장한다.
한편, 도 3은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템의 전체 시스템의 구성을 표현한 구성도이다.
이하, 전술된 바에 따른 본 개시의 모바일 로봇 기반의 도서 관리 시스템을 보다 자세히 설명하기로 한다.
도 3을 참조하면, 본 개시의 도서의 경계선 추출 단계(S2)는, 양방향 필터링 단계(S21)와, 이진화 단계(S22)와, 모폴로지 연산 단계(S23)와, 엣지 검출 단계(S24) 및 허프 변환 단계(S25)를 포함하는 구성으로 이루어진다.
양방향 필터링 단계(S21)는 로봇의 카메라 센서로부터 입력된 영상으로부터 윤곽선 검출의 위한 엣지를 보존하면서 잡영을 제거하도록 필터링 한다. 즉, 도서들의 경계를 찾기 위해선 영상에서 물체의 경계를 찾아내야 하는데, 카메라 센서로부터 입력된 영상은 많은 잡영을 포함하고 있다, 따라서, 강인한 윤곽선 검출을 위해선 잡영을 효과적으로 제거해서 경계선을 뚜렷하게 강조시켜 주는 것이 필요하다. 이를 위해 잡영 제거를 위해선 메디안 필터, 가우시안 필터 등을 사용하지만, 이 방법들은 엣지 근처에서 문제가 발생하기 때문에 주변 값들과 상관성이 적은 엣지 부근에서도 영상을 평탄하게 만듦으로써 엣지를 없애버리는 단점이 존재한다. 따라서, 본 개시는 다양한 분야에서 사용되는 양방향 필터를 사용하는데, 이러한 양방향 필터는 엣지를 보존하고 잡영을 제거할 수 있는 비선형 필터이며, 본 개시에의 양방향 필터에 의해 예측된 픽셀은 아래의 수학식 1과 같다.
Figure 112017028576886-pat00001
여기서, Y(m,n)은 결과 영상이고, H(m,n;l,k)는 국부 창 안의 화소(l,k)와 국북 창의 중심 화소(m,n) 사이의 비선형 조합이고, X(l,k)는 원 영상이다.
이진화 단계(S22)는 양방향 필터링 단계로부터 잡영이 제거된 영상에 임계값 기반의 이진화를 수행하여 이진화한다. 이때, 잡영을 제거한 다음 지역(Local) 적응형 이진화를 수행하는데, 임계값 기반의 이진화를 사용하게 되면 임의로 결정 임계값에 따라 결과 영상이 달라질 수 있기 때문에 지역 적응형 이진화 방법을 사용한다.
도 4는 양방향 필터를 사용한 상태에서 이진화를 수행한 영상을 보여준다.도 4는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 잡영 제거 후 적응형 이진화를 수행한 영상의 예를 볼 수 있다. 이때, 잡영 제거 후 적응형 이진화를 수행하게 되면 찾고자 하는 도서 사이의 경계 부분이 일부 유실되어 끊어지는 경우가 발생하게 된다. 이를 해결하기 위해 모폴로지 연산을 수행한다.
모폴로지 연산 단계(S23)는 이진화 단계로부터 이진화된 영상의 도서 사이의 경계 부분에 대한 유실 방지를 위한 모폴로지 연산을 수행한다.
엣지 검출 단계(S24)는 모폴로지 연산 단계에 의해 경계가 하나로 합쳐진 영상에 대한 도서들의 엣지 부분을 추출 한다. 이때, 경계를 하나로 합친 다음에 영상에서 엣지를 찾기 위해서 캐니 연산을 수행한다. 캐니 알고리즘의 특징은 각각의 엣지 후보 픽셀들을 외곽선 형태로 모으는 작업에 있다. 따라서 본 개시에서 필요로 하는 도서들의 경계 추출에 적합하고 할 수 있다. 이때, 엣지 연산에서 엣지 크기에 관한 임계값 설정에 따라 윤곽선 검출 성능이 차이 나게 된다. 따라서, 본 개시에서는 이 문제를 해결하기 위해 사람의 개입으로 임의로 설정하지 않고, 오츠(Otsu) 알고리즘을 바탕으로 한 적응형 방법으로 하단 임계값과 상단 임계값을 설정하는 알고리즘을 사용한다.
허프 변환 단계(S25)는 엣지 검출 단계로부터 추출된 도서들의 엣지 부분의 경계를 토대로 하여 도서 사이의 경계를 검출한다.즉, 캐니 연산의 결과로 영상에서 엣지를 추출한 다음 허프 변환을 수행해 도서들의 경계를 추출하는데, 본 개시에 서는 허프 변환을 통해서 출력된 도서 사이의 경계를 직선으로 추출하여 도서 사이의 경계를 검출한다. 이는 전체 영역에 대해 모든 직선을 식으로 표현하며 아래의 수학식 2와 같이 직선을 표현할 수 있다.
Figure 112017028576886-pat00002
여기에서 변화값 p는 원점으로부터 선에 수직인 벡터를 따른 라인의 거리이며, θ는 x축과 이 벡터가 이루는 각이다.
허프 변환은 (x,y) 평면에 위치한 직선을 위의 식을 통해 θ와 p의 파라미터를 생성하여 허프 영역에서 곡선으로 표현되는데, 허프 영역의 x축과 y축에 해당하는 p와 θ값의 범위는 -90°≤θ≤90°와 -D ≤θ≤ D 이며 D는 x,y 평면에서 원점을 기준으로 최대 대각선 길이이다. 여기서, 모든 θ 값을 연산하여 영상 내의 모든 직선을 찾는 기존의 방법의 경우 도서 사이의 경계뿐만이 아니라 영상 전체에서 나타나는 모든 직선을 추출하기 때문에 경계 인식에 어려움이 있다. 따라서, 이 문제를 해결하기 위하여 누적 셀의 구분 기준을 각도값인 θ 만을 설정하여 도서 사이의 경계를 추출한다. 이때, 일정각도 값의 선분들 중에서 지역 최대값(Local Maxima)을 구해서 임계값 이상인 직선들을 구해서 도서 사이의 경계를 찾아내며, 도서 사이의 경계를 찾아낸 결과는 도 5에서 보여준다. 여기서, 도 5는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 허프 변환으로 경계를 획득한 결과를 보여주는 예이다.
한편, 본 개시의 클래스 번호 인식 단계(S3)는 관심 영역 설정 단계(S31)와, 색상 추출 단계(S32)와, 색상 인식 단계(S33)와, 레이블 위치 찾기 단계(S34) 클래스 번호 인식 단계(S35)를 포함하는 구성으로 이루어진다.
관심 영역 설정 단계(S31)은 도서의 경계선 추출 단계에서 획득한 도서들의 전체 영상 중 도서의 하단에 부착된 레이블 영역만을 지정해 연산속도를 증가되도록 한다. 즉, 도서 사이의 경계가 추출되어지면 도서들의 위치 추정을 하기 위해서 도서들의 영역으로부터 레이블 영역을 추출하여 도서의 정보를 획득한다. 이를 위해 우선 레이블이 있는 영역을 추정해야 하는데, 레이블은 도서들의 옆면에 표기된 도서명, 저자명, 출판사명 등을 가리지 않게 하기 위하여 도서의 하단에 붙여놓으므로, 전체 영상 중에서 아래쪽 1/3영역을 관심 영역으로 지정해 연산속도를 증가시키고, 색상인식을 할 때 혼란이 없게 한다.
색상 추출 단계(S32)는 도서의 분류를 위해 색을 조합하여 각 색상으로 표현된 상기 도서의 레이블 색상의 특징값을 구분하여 색상 검출기로 추출한다. 즉, 도서에는 한국 십진분류법에 따른 청구기호 외 청구기호 앞자리와 색을 조합하여 도서 분류를 각 색상으로 표현하는 레이블도 함께 사용되는 이는 멀리서도 쉽게 도서 분류를 파악할 수 있다는 장점이 있기 때문이며 이는 도 6에 도시된 바와 같다. 그리고, 색상으로 레이블을 구분하고자 할 때 도서의 색상이 레이블의 색과 비슷한 경우가 존재할 수 있다. 이때, 색상 레이블의 위와 아래 영역에 하얀색 바탕이 들어가 있으므로, 본 개시에서는 도서의 하단에서부터 색상을 검출한다. 그리고, 도서관 조명의 위치에 따라 도서의 색상이 다르게 들어올 수 있으므로, 빛의 영향에 따른 값의 차이가 큰 RGB 모델만을 사용하지 않고 HSV 모델을 같이 사용해 색상 검출기를 만든다.
색상 인식 단계(S33)는 색상 추출 단계로부터 추출된 색상 특징값으로 레이블의 경계를 인식한다.
레이블 위치 찾기 단계(S34)는 색상 검출기로 레이블의 색상을 찾아 y축의 임계점을 획득하여 이진화를 수행한 영상에서 히스토그램을 획득하고, 레이블의 색상으로부터 획득한 임계점에서부터 x축으로 투영을 수행해 히스토그램을 획득하여 색상 검출기로 검출한 임계점에 대한 히스토그램 값의 변화를 통해 청구기호의 영역을 판단한다. 여기서, 도 8은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템을 구현하기 위해 색상 검출기로 추출한 영상과 히스토그램을 보여주는 예이다. 상기된 바를 도 8을 참조하면, 색상 검출기로 레이블의 색상을 찾아 하단 y축의 임계점을 획득한 다음, 적응형 이진화를 수행한 영상에서 히스토그램을 구한다. 레이블의 색상으로부터 획득한 임계점에서부터 x축으로 투영을 수행하여 얻어진 히스토그램을 구하게 되면, 청구기호가 있는 부분에서 히스토그램의 값이 커진다. 따라서 색상 검출기로 검출한 임계점부터 값이 커졌다가 일정하게 적게 검출되는 사이의 영역을 청구기호의 영역으로 판단할 수 있다.
클래스 번호 인식 단계(S35)는 레이블 위치 찾기 단계로부터 획득한 청구기호의 영역을 상기 광학 문자 판독장치를 통해 청구기호를 인식한다. 즉,레이블에서 청구기호의 영역을 획득한 뒤 OCR을 이용하여 청구기호를 인식한다. 본 개시에서는 기존 상용 기능인 OCR을 직접 개발하지 않고 오픈 소스 OCR 엔진인 4차원육방체 즉, Tesseract를 사용한다. Tesseract는 HP(Hewlett and Packard)에서 1984년부터 개발되어온 오픈 소스 OCR 엔진이며, 현재 Google사에서 지원하고 있다. Tesseract는 입력한 이미지를 지역적응형 이진화를 한 다음, 이진화한 이미지의 연결된 구성요소를 분석하여 각 구성 요소의 외곽선을 추출해 이진 데이터로 저장한다. 이때, 텍스트 라인을 분석해 구성요소를 체계화 한 뒤 자간에 따라 단어의 단위로 나눈다. 마지막으로, 단어 단위로 나뉜 구성요소를 단어 단위와 페이지 단위로 인식한다. 이러한, Tesseract는 조명, 각도, 폰트 모양에 따라 인식률이 저하될수 있으나, 본 개시에서는 전처리 과정을 거쳐서 이진화된 문자 부분만 추출해서 전달하기 때문에 인식률을 저하시키지 않는다.
본 개시의 클래스 번호 인식 단계(S4)는 도서 분류 번호와 데이터베이스 비교 단계(S41)과 알림 단계(S42)를 포함하는 구성으로 이루어진다.
도서 분류 번호와 데이터베이스 비교 단계(S41)는 기본적으로 도서관 데이터베이스는 도서의 정보 외에 각 책장의 위치, 책장 안에서의 도서 위치, 도서의 비치 상태, 현재 도서의 위치를 추가적으로 저장한다. 따라서, 클래스 번호 인식 단계(S3)의 과정을 거쳐서 획득한 도서 정보와 데이터베이스의 도서 정보를 비교한다.
알림 단계(S42)는 비교한 도서의 정보를 바탕으로 책장 안에서의 도서위치가 잘못되었는가, 잘못된 책장에 도서가 꽂혀있는지, 또는 도서가 책장에서 존재하지 않는지 확인할 수 있다. 만약 도서가 올바른 위치에 꽂혀있지 않다거나 도서가 존재하지 않는다면 이러한 정보들은 기록되어 사서에게 전달된다. 이런 과정을 통해 각 서가마다 도서들이 현재 올바르게 자리하고 있는지 확인할 수 있으며, 잘못 비치된 도서들뿐만 아니라 분실된 도서들을 사서들이 쉽게 확인할 수 있다.
도 9는 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템이 적용된 도서관에서의 로봇 주행을 보여 주는 예, 도 10은 본 개시의 실시예에 따른 모바일 로봇 기반의 도서 관리 시스템의 도서관 로봇의 개략적인 모형의 보여주는 예이다.
전술된 바에 따른 본 개시의 모바일 로봇 기반의 도서 관리 시스템이 구현을 위한 실시예를 설명하면 다음과 같다.
먼저, 마이크로소프트 비주얼 스튜디오 2013, OpenCV 2.4.11를 사용하고, NTREX사에서 제작한 주행로봇 Stella-B3에 직접 설계한 트레이에 카메라 센서들을 부착하여 사용한다. 이때, 로봇 제어와 데이터베이스와의 연동은 로봇에 설치된 노트북에서 이루어지며, 서버의 사양은 Intel i5-2300 2.8GHz, 6GB의 메모리 사양이며, 노트북은 Intel Atom N450 1.66GHz, 1GB의 메모리 사양이다. 물론, 이에 한정되지 않고 다양한 구성으로 설계될 수 있음은 물론이다.
도 9와 도 10을 참조하면, 본 개시의 로봇(10)은 몸체부(11), 슬라이더부(12), 촬영부(13)로 구성되어 이루어진다.
몸체부(11)는 도서관에 설정된 간격으로 다수로 배치된 책장 간 사이 공간에 이동가능한 체적의 크기를 갖고, 양측면에 바퀴(111)가 구비된다. 이때, 본 개시의 바퀴(111)는 몸체부(11)의 양측면 각각에 적어도 하나 이상으로 구비되어 정방향 또는 역방향으로 회전되되, 몸체부(11)의 하나의 측면과 다른 하나의 측면에서 동시 또는 개별적으로 선택적인 회전이 가능하도록 구비된다. 여기서, 몸체부(11)의 내부에는 도면에 도시되지 않았지만, 두 개의 엔코더와 두 개의 DC 모터가 장착되며, 이를 통해 좌우측 2개의 모터를 각각 제어하여 주행 및 조향을 할 수 있으며, 이러한 형태는 제자리 회전이 가능하므로 비좁은 도서관의 책장 사이를 효율적으로 이동할 수 있다.
슬라이더부(12)는 몸체부(11)에 일단이 연결되어 연장된 타단이 상부를 향하도록 몸체부(11)에 나란하게 한 쌍으로 구비되며, 슬라이더 액추에이터(121), 슬라이더(122), 연결편(123), 브라켓(124)을 포함하는 구성으로 이루어진다.
슬라이더 액추에이터(121)는 몸체부(11)의 내부에 한 쌍으로 설치된다.
슬라이더(122)는 슬라이더 액추에이터(121)의 각각에 일단이 연결되어 연장된 단부가 몸체부(11)의 상부에 위치되는 한 쌍으로 구비된다. 이러한, 슬라이더(122)의 내부에는 회전되는 한 쌍의 바퀴와 이 바퀴의 외주에 감겨 바퀴에 의해 회전되는 로프타입의 벨트풀리가 구성되거나, 체인에 의해 구성되거나, 실린더 타입의 구성이 탑재되어 슬라이더 액추에이터(121)에 연결되어 작동될 수 있고, 여기에 후술될 브라켓(124)이 연결되어 상하로 이동되게 된다.
연결편(123)은 슬라이더(122)의 상측 단부에 일단과 타단이 각각 연결되는데, 이는 슬라이더(122)가 몸체부(11)에 견고히 고정되어 안정되게 위치될 수 있도록 한다.
브라켓(124)은 슬라이더 액추에이터(121)를 통해 슬라이더(122) 각각에서 상하로 이동된다.
한편, 도 11은 도 10에 도시된 로봇에 집게를 구비시킨 예이다.
도 11을 참조하면, 전술된 바와 같은 본 개시의 슬라이더(122)는 이송부(125a)와 집게(125b)로 구성된 집게부(125)를 더 포함하는 구성으로 이루어지는 것도 가능하다. 이때, 이송부(125a)는 브라켓(124)과 일체로 구비되거나 브라켓(124)으로부터 소정 거리 이격되어 슬라이더(122)에 구비될 수 있다. 한편, 이송부(125a)의 양측면에는 측방향으로 길이가변 가능하게 결합되되, 상호 반대방향으로 가변되는 집게(125b)가 구비된다. 이때, 본 개시는 도 11에 도시된 바와 같이 집게부(125)가 슬라이더(122)에 상하로 이격되어 한 쌍으로 구비된다. 이를 통해 상부 또는 하부중의 하나의 집게(125a)는 책을 잡는 용도로 사용되고, 다른 하나는 책장에 꽂혀 있는 도서 사이의 틈을 벌려주는 용도로 사용함으로써 책장에 책을 넣거나 뺄 수 있도록 할 수 있다. 이때, 집게(125a)는 전방으로 길이가변 가능하게 구비됨으로써 바퀴(111)를 통한 로봇(10)의 이동없이 직접적인 도서 정리 및 관리가 가능하게 할 수 있음은 물론이다. 물론, 집게부(125)를 다관절 구조로 구비하면 몸체부(11)에 여러권의 책을 로봇(10) 스스로가 실어두거나 내리면서 보다 용이하게 정리 및 관리할 수 있음은 물론이다.
촬영부(13)는 슬라이더부(12)에서 상하 이동되며 책장에 구비된 도서를 카메라(131)를 통해 촬영한다. 일반적인 도서관은 서로 마주보는 형태로 책장을 배치하고 있으므로, 본 개시의 로봇(10)은 그 사이를 주행하면서 좌우측 슬라이더(122)에 부착된 카메라(131)를 통해서 양측 책장에 비치된 도서의 영상을 획득할 수 있다. 이때, 슬라이더(122)에 부착된 카메라(131)는 층별로 비치된 도서의 높이에 맞추어 상하 방향으로 이동할 수 있다. 이때, 촬영부(13)에는 위치센서, 거리센서 등을 두어 책장으로부터 무분별하게 튀어나오게 꽂혀 있는 도서로부터 카메라(131)를 비롯한 로봇(10) 자체의 부딪힘으로 인한 파손으로부터 보호되게 하거나, 도서의 꽂혀 있는 깊이를 바르게 정렬되도록 할 수 있다.
상기된 바를 통한 본 개시는 도서관이 개관해 있는 중에는 많은 사람들이 도서관을 이용하기 때문에 로봇(10)이 돌아다니며 영상을 획득하는 것이 쉽지 않고, 이용 중인 사람들에게 피해를 줄 수 있기 때문에 도서관이 폐관한 다음 사람들이 없을 때를 로봇(10)의 동작시간으로 하는 것이 바람직하다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
S1 : 로봇에 의한 이미지 획득 단계 S2 : 도서의 경계선 추출 단계
S21 : 양방향 필터링 단계 S22 : 이진화 단계
S23 : 모폴로지 연산 단계 S24 : 엣지 검출 단계
S25 : 허프 변환 단계 S3 : 클래스 번호 인식 단계
S31 : 관심 영역 설정 단계 S32 : 색상 추출 단계
S33 : 색상 인식 단계 S34 : 레이블 위치 찾기 단계
S35 : 클래스 번호 인식 단계 S4 : 도서관 관리 단계
S41 : 도서 분류 번호와 데이터베이스 비교 단계 S42 : 알림 단계
10 : 로봇 11 : 몸체부
111 : 바퀴 12 : 슬라이더부
121 : 슬라이더 액추에이터 122 : 슬라이더
123 : 연결편 124 : 브라켓
125 : 집게부 125a : 이송부
125b : 집게 13 : 촬영부
131 : 카메라

Claims (6)

  1. 다수의 도서가 비치된 책장 사이를 이동하는 로봇을 통해 도서관의 영상을 촬영하고, 획득한 영상에서 상기 도서의 위치를 인식하는 로봇에 의한 이미지 획득 단계;
    상기 로봇에 의한 이미지 획득 단계에서 획득된 상기 도서의 각각에 부착된 레이블을 인식한 후 상기 도서의 정보를 상기 도서관의 데이터베이스와 비교할 수 있도록 하기 위해 상기 레이블 획득을 위한 상기 도서 간의 경계선을 추출하는 도서의 경계선 추출 단계;
    상기 도서의 경계선 추출 단계에서 획득한 상기 도서의 경계선을 기준으로 상기 레이블이 있는 영역을 찾기 위해 관심영역을 설정하고, 상기 관심영역에서 RGB 모델과 HSV의 모델을 사용하여 색상 특징값을 추출하며, 상기 색상 특징값에 의한 색상인식을 이용해 상기 레이블의 위치를 확인하여 청구기호의 영역을 획득한 뒤 광학 문자 판독장치를 통한 광학 문자 인식으로 청구기호를 인식하는 클래스 번호 인식 단계; 및
    상기 클래스 번호 인식 단계로부터 인식한 상기 도서의 청구기호를 상기 도서관의 데이터베이스와 비교해 잘못된 위치에 놓여있는 상기 도서를 검출하여 결과를 상기 데이터베이스에 저장하는 도서관 관리 단계;를 포함하되,
    상기 클래스 번호 인식 단계는,
    상기 도서의 경계선 추출 단계에서 획득한 상기 도서들의 전체 영상 중 상기 도서의 하단에 부착된 상기 레이블 영역만을 지정해 연산속도를 증가되도록 하는 관심 영역 설정 단계와,
    상기 도서의 분류를 위해 색을 조합하여 각 색상으로 표현된 상기 도서의 레이블 색상의 특징값을 구분하여 색상 검출기로 추출하는 색상 추출 단계와,
    상기 색상 추출 단계로부터 추출된 상기 색상 특징값으로 상기 레이블의 경계를 인식하는 색상 인식 단계와,
    상기 색상 검출기로 상기 레이블의 색상을 찾아 y축의 임계점을 획득하여 이진화를 수행한 영상에서 히스토그램을 획득하고, 상기 레이블의 색상으로부터 획득한 임계점에서부터 x축으로 투영을 수행해 히스토그램을 획득하여 상기 색상 검출기로 검출한 임계점에 대한 상기 히스토그램 값의 변화를 통해 상기 청구기호의 영역을 판단하는 레이블 위치 찾기 단계와,
    상기 레이블 위치 찾기 단계로부터 획득한 상기 청구기호의 영역을 상기 광학 문자 판독장치를 통해 상기 청구기호를 인식하는 클래스 번호 인식 단계를 포함하는 것을 특징으로 하는 클래스 번호 인식 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 로봇 기반의 도서 관리 시스템.
  2. 청구항 1에 있어서, 상기 도서의 경계선 추출 단계는,
    상기 로봇의 카메라 센서로부터 입력된 상기 영상으로부터 윤곽선 검출의 위한 엣지를 보존하면서 잡영을 제거하도록 필터링 하는 양방향 필터링 단계와,
    상기 양방향 필터링 단계로부터 잡영이 제거된 상기 영상에 임계값 기반의 이진화를 수행하여 이진화하는 이진화 단계와,
    상기 이진화 단계로부터 이진화된 상기 영상의 상기 도서 사이의 경계 부분에 대한 유실 방지를 위한 모폴로지 연산을 수행하는 모폴로지 연산 단계와,
    상기 모폴로지 연산 단계에 의해 경계가 하나로 합쳐진 영상에 대한 상기 도서들의 엣지 부분의 추출을 위한 엣지 검출 단계와,
    상기 엣지 검출 단계로부터 추출된 상기 도서들의 엣지 부분의 경계를 토대로 하여 상기 도서 사이의 경계를 검출하는 허프 변환 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 로봇 기반의 도서 관리 시스템.
  3. 삭제
  4. 청구항 1에 있어서, 상기 로봇은,
    상기 도서관에 설정된 간격으로 다수로 배치된 상기 책장 간 사이 공간에 이동가능한 체적의 크기를 갖고, 양측면에 바퀴가 구비된 몸체부;
    상기 몸체부에 일단이 연결되어 연장된 타단이 상부를 향하도록 상기 몸체부에 나란하게 한 쌍으로 구비된 슬라이더부; 및
    상기 슬라이더부에서 상하 이동되며 상기 책장에 구비된 상기 도서를 촬영하는 촬영부;를 포함하여 이루어지는 것을 특징으로 하는 모바일 로봇 기반의 도서 관리 시스템.
  5. 청구항 4에 있어서,
    상기 바퀴는 상기 몸체부의 양측면 각각에 적어도 하나 이상으로 구비되어 정방향 또는 역방향으로 회전되되,
    상기 몸체부의 하나의 측면과 다른 하나의 측면에서 동시 또는 개별적으로 선택적인 회전이 가능한 것을 특징으로 하는 모바일 로봇 기반의 도서 관리 시스템.
  6. 청구항 4에 있어서, 상기 슬라이더부는,
    상기 몸체부의 내부에 한 쌍으로 설치된 슬라이더 액추에이터와, 상기 슬라이더 액추에이터의 각각에 일단이 연결되어 연장된 단부가 상기 몸체부의 상부에 위치되는 한 쌍의 슬라이더와, 상기 슬라이더의 상측 단부에 일단과 타단이 각각 연결된 연결편과, 상기 슬라이더 액추에이터를 통해 상기 슬라이더 각각에서 상하로 이동되는 브라켓을 포함하는 것을 특징으로 하는 모바일 로봇 기반의 도서 관리 시스템.
KR1020170036504A 2017-03-22 2017-03-22 모바일 로봇 기반의 도서 관리 시스템 KR101878239B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170036504A KR101878239B1 (ko) 2017-03-22 2017-03-22 모바일 로봇 기반의 도서 관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170036504A KR101878239B1 (ko) 2017-03-22 2017-03-22 모바일 로봇 기반의 도서 관리 시스템

Publications (1)

Publication Number Publication Date
KR101878239B1 true KR101878239B1 (ko) 2018-07-13

Family

ID=62913470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170036504A KR101878239B1 (ko) 2017-03-22 2017-03-22 모바일 로봇 기반의 도서 관리 시스템

Country Status (1)

Country Link
KR (1) KR101878239B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097572A (ko) * 2019-02-08 2020-08-19 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
KR102234088B1 (ko) * 2019-11-01 2021-03-30 동의대학교 산학협력단 컨테이너영상의 플래카드 자동 인식 시스템
CN116403232A (zh) * 2023-04-13 2023-07-07 南京少昊网络科技有限公司 一种基于像素值波动的图书信息提取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004338889A (ja) * 2003-05-16 2004-12-02 Hitachi Ltd 映像認識装置
KR20090001999A (ko) * 2007-05-31 2009-01-09 (주)포스비브테크 서지정보를 이용한 도서관리 방법
JP2013203481A (ja) * 2012-03-27 2013-10-07 Hitachi Solutions Ltd 物品管理システムおよび物品管理方法
JP2014021932A (ja) * 2012-07-23 2014-02-03 Ricoh Co Ltd 検索システムおよびプログラム
JP2014029586A (ja) * 2012-07-31 2014-02-13 Rakuten Inc 物品推定システム、物品推定方法、及び物品推定プログラム
KR101409340B1 (ko) * 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템
KR20150039367A (ko) * 2013-10-02 2015-04-10 주식회사 유라이프소프트 차량번호 인식 시스템
JP2015143155A (ja) * 2013-12-26 2015-08-06 日本ファイリング株式会社 図書保管管理システムの図書点検装置、図書点検方法、及びプログラム
KR20150093453A (ko) * 2014-02-07 2015-08-18 전북대학교산학협력단 차량 번호판 이중 검출 방법 및 장치
JP2015147649A (ja) * 2014-02-06 2015-08-20 株式会社ビジュアルジャパン 書籍背表紙撮影システム及び書棚確認用部材
KR101717613B1 (ko) * 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004338889A (ja) * 2003-05-16 2004-12-02 Hitachi Ltd 映像認識装置
KR20090001999A (ko) * 2007-05-31 2009-01-09 (주)포스비브테크 서지정보를 이용한 도서관리 방법
JP2013203481A (ja) * 2012-03-27 2013-10-07 Hitachi Solutions Ltd 物品管理システムおよび物品管理方法
JP2014021932A (ja) * 2012-07-23 2014-02-03 Ricoh Co Ltd 検索システムおよびプログラム
JP2014029586A (ja) * 2012-07-31 2014-02-13 Rakuten Inc 物品推定システム、物品推定方法、及び物品推定プログラム
KR101409340B1 (ko) * 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템
KR20150039367A (ko) * 2013-10-02 2015-04-10 주식회사 유라이프소프트 차량번호 인식 시스템
JP2015143155A (ja) * 2013-12-26 2015-08-06 日本ファイリング株式会社 図書保管管理システムの図書点検装置、図書点検方法、及びプログラム
JP2015147649A (ja) * 2014-02-06 2015-08-20 株式会社ビジュアルジャパン 書籍背表紙撮影システム及び書棚確認用部材
KR20150093453A (ko) * 2014-02-07 2015-08-18 전북대학교산학협력단 차량 번호판 이중 검출 방법 및 장치
KR101717613B1 (ko) * 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097572A (ko) * 2019-02-08 2020-08-19 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
KR102178013B1 (ko) * 2019-02-08 2020-11-12 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
KR102234088B1 (ko) * 2019-11-01 2021-03-30 동의대학교 산학협력단 컨테이너영상의 플래카드 자동 인식 시스템
CN116403232A (zh) * 2023-04-13 2023-07-07 南京少昊网络科技有限公司 一种基于像素值波动的图书信息提取方法
CN116403232B (zh) * 2023-04-13 2024-03-08 南京少昊网络科技有限公司 一种基于像素值波动的图书信息提取方法

Similar Documents

Publication Publication Date Title
Chen et al. Robust text detection in natural images with edge-enhanced maximally stable extremal regions
US9483704B2 (en) Realogram scene analysis of images: superpixel scene analysis
Wang et al. Character location in scene images from digital camera
EP3032461A1 (en) Detecting unkown identical products in an image
KR101878239B1 (ko) 모바일 로봇 기반의 도서 관리 시스템
Rosado et al. Supervised learning for Out-of-Stock detection in panoramas of retail shelves
Ye et al. Scene text detection via integrated discrimination of component appearance and consensus
Peng et al. Text extraction from video using conditional random fields
Tabassum et al. Text detection using MSER and stroke width transform
Verma et al. Automatic container code recognition via spatial transformer networks and connected component region proposals
Phan et al. Recognition of video text through temporal integration
CA3162655A1 (en) Image processing based methods and apparatus for planogram compliance
Mörzinger et al. Visual Structure Analysis of Flow Charts in Patent Images.
Kumar An efficient text extraction algorithm in complex images
Giri Text information extraction and analysis from images using digital image processing techniques
Srivastav et al. Text detection in scene images using stroke width and nearest-neighbor constraints
Duan et al. Identifying books in library using line segment detector and contour clustering
Tran et al. A novel approach for text detection in images using structural features
Ryu et al. A system for supporting paper-based augmented reality
Chowdhury et al. Extracting and segmenting container name from container images
KR20230150625A (ko) 수하물 분류 시스템
Arai et al. Method for extracting product information from TV commercial
Yang et al. Text detection in video images using adaptive edge detection and stroke width verification
Sharma Extraction of text regions in natural images
Sathish et al. Automatic road sign detection and recognition based on SIFT feature matching algorithm

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration