WO2011076127A1 - 基于计算机视觉及射频识别技术的书本登记管理装置 - Google Patents

基于计算机视觉及射频识别技术的书本登记管理装置 Download PDF

Info

Publication number
WO2011076127A1
WO2011076127A1 PCT/CN2010/080150 CN2010080150W WO2011076127A1 WO 2011076127 A1 WO2011076127 A1 WO 2011076127A1 CN 2010080150 W CN2010080150 W CN 2010080150W WO 2011076127 A1 WO2011076127 A1 WO 2011076127A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
book
module
unit
radio frequency
Prior art date
Application number
PCT/CN2010/080150
Other languages
English (en)
French (fr)
Inventor
刘汉光
Original Assignee
上海阿艾依智控系统有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海阿艾依智控系统有限公司 filed Critical 上海阿艾依智控系统有限公司
Priority to US13/519,071 priority Critical patent/US8885048B2/en
Priority to EP10838690.5A priority patent/EP2551833A4/en
Publication of WO2011076127A1 publication Critical patent/WO2011076127A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to a book registration management apparatus, and more particularly to a book registration management apparatus applicable to a library automation management system realized by using embedded information technology, computer vision and image processing technology, and radio frequency identification technology ("RFID").
  • RFID radio frequency identification technology
  • barcode system When using, the bar code reader reads the bar code information attached to the book, connects the computer and the database, and then according to the situation of each library. Other processes are manually processed by the operator. Barcode systems have many disadvantages, including the need to scan one by one, the scanning direction and position must be specific and unobstructed; the barcode has a small data capacity, only very small characters, and can only contain numbers and letters, so it is impossible to store more books-related Information; The quality of the bar code is prone to deterioration, and it is susceptible to foreign objects and dust.
  • RFID tag can store a large amount of data, and can store more book-related information, including the unique characteristics of the book, such as length, Width, height Degree, weight and written image characteristics.
  • the object of the present invention is to solve the above problems, and provide an advanced smart book registration management device, which can collect, analyze, acquire and store the characteristics of a book, and combine the unique advantages of the RFID technology to pass a single device, one-stop, one-step method.
  • the way to complete the book registration process while solving the shortcomings of existing technologies and systems, to establish a new foundation for the future of automated book management requirements.
  • the technical solution of the present invention is:
  • the invention discloses a book registration management device based on computer vision and radio frequency identification technology, which comprises an image collection working platform, an image acquisition device, a radio frequency identification tag reader and an antenna group, and an electronic anti-theft charge degaussing The device, the weight measuring device and the embedded central processor, wherein:
  • the image capture working platform provides an operation platform for causing the spine and the book mouth image to appear on the same optical acquisition plane as the first written image group and connected to each other, and the spine and the book mouth image are reflected to the image collection range of the camera group.
  • the camera group performs real-time synchronous shooting to obtain images of the book in the three directions of the spine, the book mouth, and the first writing, wherein the image capturing work platform includes a plane board on which the book is placed, and the plane board has the camera group for use as the camera group.
  • the calibration pattern, the transparent baffle group and the mirror surface group are vertically disposed on the corners of the image collection working platform to form a right angle for the book to be close to the right angle of the transparent baffle to ensure the spine and the book mouth
  • the transparent baffle can be completely adhered to the other side of the transparent baffle and form an angle with the image capture work platform to completely reflect the entire spine and book image to the image set of the camera group mounted above. Scope
  • the image capturing device is composed of the camera group and is installed above the image capturing working platform. An image for collecting a book on the image acquisition work platform;
  • the RFID tag reader is connected to the antenna group for reading and writing the RFID tag;
  • the antenna group is composed of a plurality of RF antenna elements, and the adjustment circuit inside the RF antenna element is used to adjust the sensitivity of the RF antenna element , the antenna group is placed under the image collection working platform;
  • Electronic anti-theft charging degaussing device used to eliminate or restore the magnetic properties of the book anti-theft magnetic strip.
  • a weight measuring device disposed under the plane plate of the image capturing working platform for measuring the weight of the book on the image collecting working platform;
  • Embedded CPU control and run all embedded firmware modules, including image acquisition module, storage module, computer vision image processing module, image analysis module, RFID tag reading and writing module, RFID tag data storage module, monitoring Engine module, management service module, prompt to run the module.
  • the image acquisition module further includes:
  • the image manual acquisition sub-module is a multi-lens image acquisition system, which can collect the book image group in order or at the same time;
  • a light source control sub-module for providing and controlling an effective uniform light source for image acquisition
  • the image automatic acquisition triggering sub-module is connected to the image acquisition sub-module, and the image acquisition module is automatically triggered by the image change within the image acquisition range to realize the image acquisition function.
  • the storage module is connected to the image collection device and the computer vision image processing module, and includes an original image storage database unit and a book registration data storage database unit.
  • the original image storage database unit is configured to store an original image of the collected book
  • the book registration data storage database unit is configured to store the book feature acquired after the analysis.
  • the computer vision image processing module is connected to the image acquisition device, and the collected book image group is formed into a two-dimensional book image, and is two-dimensionally
  • the book image is subjected to image analysis to obtain a book feature
  • the computer vision image processing module is provided with a computer image creation sub-module for making a two-dimensional book image, the computer image production sub-module further comprising:
  • a measuring unit detecting a two-dimensional position of the camera group calibration pattern in the camera;
  • An image correcting unit corrects a distortion image acquired by one or more cameras;
  • an image combining unit that is connected to the image correcting unit to combine the corrected images by detecting the similarities and differences of the plurality of images;
  • the intelligent selection unit automatically divides and eliminates the non-book image area according to the background of the book image and the image collection working platform in the book image group, identifies the book edge line, and forms the spine, the book mouth and the writing; the processed image storage database unit, and connects the An intelligent selection unit for storing processed book images.
  • the computer vision image processing module is provided with an image analysis submodule for performing image group analysis on the two-dimensional book image group to obtain the book feature.
  • the image analysis sub-module further includes: an image size measuring unit, configured to measure a length, a width, and a height of the book;
  • the image template capturing unit extracts the template of the book by using the feature points of the book image, and is used as a feature for distinguishing the book image in the future;
  • the library barcode recognition unit identifies the location of the library barcode and captures the image of the library barcode
  • the international standard number barcode identification unit identifies the international standard number barcode position and extracts the international standard number barcode image
  • the call number identification unit of the call number identifies the barcode position of the call number, and extracts the barcode image of the call number;
  • Threshold analysis and selection unit to find and set optimal model threshold, system distortion and size error and matching kernel
  • An optical character analysis unit for analyzing character information from the extracted library barcode, the international standard number barcode, and the call number barcode image
  • a feature image storage database unit configured to store a book image and a book feature, the book image comprising a written image template, an image template of the spine, an image template of the book back, an image template of the book, the book feature including the length and width of the book, High size and size classification, weight and weight classification, international standard number location, library barcode location, call number location, RFID tag location, RFID tag chip number, international standard number, library barcode number, call number, Recorded information of the radio frequency identification tag chip that is read and written.
  • a radio frequency identification tag data storage module for defining an access unit location of a tag of all images and book features stored in the chip, the unique The access unit location is for the user to read and write the book features stored in the chip.
  • the radio frequency identification tag reading and writing module is connected to the radio frequency identification tag data storage module, and the radio frequency identification tag reading and writing module further includes:
  • a reader firmware for performing the function of reading and writing a radio frequency identification tag chip in the book, reading or writing the book feature into the radio frequency identification tag chip in the book based on the access unit position in the radio frequency identification tag data storage module;
  • the RFID tag position analysis unit uses a non-contact electromagnetic induction method to identify the position of the RFID tag on the book.
  • the apparatus further includes:
  • the monitoring engine module is connected to each component of the book registration management device to monitor the running status of all components, and the monitoring engine module further includes:
  • the module running status reporting unit extracts the current running status of each component in the device, establishes a fault log, and sends the fault status information to the designated recording location;
  • the automatic repair unit repairs the faulty module without disturbing the system application or business program based on the predicted improper operation.
  • the apparatus further includes:
  • the management service module is provided for the operator to remotely or on-site manage and monitor the information of the book registration management device, and further includes:
  • Upgrade unit upgrade firmware or software through local port or remote network; report unit, send the current running status of each module in the device to the operator; parameter setting unit, for the operator to input the relevant parameters of each module in the device, set System setting value;
  • the image area setting unit selects or defines a specific range of image areas in the original image of the storage module to manually cut out the correct written or spine picture.
  • An embodiment of a book registration management apparatus based on computer vision and radio frequency identification technology according to the present invention further comprising:
  • the operation status module is prompted to send a prompt signal to the operator according to the running status, and further includes: a voice prompt control unit, prompting the operator to register the management status by means of a voice signal;
  • the flashing prompt control unit prompts the operator to register the state of management in the form of an optical signal.
  • the present invention has the following innovative effects:
  • the technical solution of the book registration management device provided by the present invention captures the characteristics of the book itself through embedded information technology, computer vision and image processing technology and radio frequency identification technology.
  • the analysis allows for rapid acquisition, storage, correction, merging and analysis of images and acquisition of the characteristics of each registered book, recorded in a storage database and RFID tags.
  • the radio frequency identification tag can record a written image template of the book, an image template of the spine, an image template of the book back, an image template of the book mouth, the book features including the size (length, width, thickness) of the book or its size classification, weight or Weight classification, library barcode location, international standard number location, call number location, RFID tag location, RFID tag chip number, international standard number, library barcode number, call number, record of read and write RFID tags Information, the principle of which is similar to the registration of human biometric data. Even if the RFID tag is damaged or invalid, the future automation system can identify the book identity based on other book characteristics, effectively improving the efficiency and effectiveness of the book automated circulation system.
  • the book registration management device provided by the invention is an independent embedded device, and the operator can collect the desired book image at a time, capture and analyze the image features, perform degaussing work, and finally pass the characteristics of the book through the radio frequency identification tag. The reader is written into the RFID tag of the book.
  • FIG. 1 is a schematic view showing an example of a book used in the present invention.
  • Fig. 2 is a block diagram showing the structure of a preferred embodiment of the book registration management apparatus of the present invention.
  • 3A is a schematic diagram of the mirror surface and the image acquisition work platform forming an angle sufficient to reflect the entire spine image.
  • Figure 3B is a schematic illustration of the first written and spine image acquisition.
  • Figure 3C is a schematic illustration of a second written image acquisition.
  • Figure 5 is a schematic diagram of the application of registering/returning books.
  • Figure 6 is a flow chart of the original image processing of the present invention.
  • FIG. 7 is a flow chart of image template capture of the present invention.
  • FIG. 8 is a flow chart of measuring the size of a book based on an edge detection algorithm according to the present invention.
  • FIG. 9 is a flow chart of extracting a barcode based on an edge detection algorithm and optical character analysis according to the present invention.
  • Figure 10 is a flow chart showing the startup initialization of the book registration management device of the present invention.
  • Figure 11 is a schematic diagram showing the flow of implementation of the book registration management apparatus of the present invention.
  • Figure 12 is a schematic view showing the edge of a book in red lines according to the present invention. Detailed description of the invention
  • FIG. 1 An example of a book used in the book registration management apparatus of the present invention is shown in FIG. 1.
  • the cover of the book is called a book
  • the binding side of the book is called a spine
  • the opening of the book is called a book
  • a book The top of the book is called the top of the book
  • the bottom of the book is called the root of the book.
  • the book has general library management materials, including library barcodes, international standard number barcodes, call number codes on the spine, and radio frequency identification tags stored in the books.
  • the example of Fig. 1 is an example of the convenience of the description of the present invention.
  • the book registration management apparatus of the present invention can be grasped and recognized by any other form of placement of book management materials inside and outside the book.
  • Fig. 2 shows the construction of a preferred embodiment of the book registration device of the present invention.
  • the book registration device of the embodiment includes an image collection device 11, an image collection work platform 12, a radio frequency identification tag reader/writer and an antenna group 13, an electronic anti-theft degaussing device 14, a weight measuring device 15, and a prompt operation module. 16.
  • Communication interface including network cable interface 17 and RS-232 interface 19), power switch 18, and embedded central processing unit 20.
  • the image capturing device 11 includes a plurality of sets of imaging devices, which are shown in the present embodiment as three groups, and are installed in the image collection.
  • each set of camera equipment includes one or more fixed cameras, and an optical filter is installed in the camera.
  • the three sets of camera devices are used to respectively collect the first written, spine and top images of the book.
  • the user can reverse the book to collect the second written, book and book images, that is, a total of six different angles of the book image (first written, spine, book top, second written, book mouth) , book root), Finally, all the images are combined to form an image of a stereo book.
  • the number of cameras and the pixels are determined according to different book sizes and image quality.
  • the book size is equivalent to A4 paper, a 4 megapixel camera image and setting resolution is 200 dpi, that is, 200 optical dots on 1 inch;
  • the four 4 megapixel cameras are combined with the image merging unit in the computer vision image processing module to merge the four book images into a book image equivalent to an 8 megapixel camera. If an 8 megapixel camera is used directly, the height of the camera and image capture work platform 12 needs to be increased, so that the volume of the entire device will be multiplied and the weight will be relatively increased. Therefore, image matching techniques are used to merge multiple visual images into A frame of image is a better solution.
  • a diffuser 112 is disposed on the top plate of the image capturing device, and a white LED lighting strip module 113 is mounted on both sides of the book registration management device to provide active side illumination, providing uniform and sufficient luminosity for the entire image capturing work platform 12, and improving the book and The contrast of the background, thereby improving the accuracy and efficiency of image processing operations.
  • the image acquisition work platform 12 is made of non-metallic materials. This is because the RF antenna group is placed under the image acquisition work platform 12, and metal interference may affect the card reading distance and even cause the card to be unreadable.
  • Figures 3A-3C illustrate how a book is placed on the image capture work platform 12 and the placed book is sampled.
  • the image capture work platform 12 provides an operating platform for displaying the spine or book image on the same optical acquisition plane as the first written image set, and is connected to each other.
  • the image of the spine and the book opening is tilted by the mirror behind the transparent shutter 124.
  • the group reflects the image acquisition range of the upper camera group, and performs real-time synchronous shooting to obtain images of the book in the three directions of the spine, the book mouth and the writing.
  • the image collection work platform 12 includes a flat panel on which a book is placed, the flat panel has a pattern for camera group calibration, a transparent shutter group 124, and a mirror surface group, and the operator can accurately and stably place the book on the image collection work platform 12 for making
  • the transparent baffle set 124 is vertically disposed on the corner of the image capture work platform 12 to form a right angle for the book to be in close contact with the right angle of the transparent baffle 124, ensuring that the spine and the book opening can also completely abut the transparent baffle 124.
  • Position identification is performed by two position sensors 125, the distance between the two position sensors 125 being sufficient to cause an image of the call number encoded on the spine to be cast on the tilt mirror set 114.
  • the sensor 125 ensures that the book is placed in front of the two sets of transparent shutters 124.
  • the mirror cover is mounted obliquely on the other side of the transparent shutter 124 to form an angle with the image capture work platform 12 sufficient to completely and accurately reflect the entire spine and book image to the collection range of the camera set mounted above.
  • the book is reversed.
  • the image of the book and the book root and the second written image appear on the same acquisition plane and are connected to each other.
  • the image of the book and the book root is reflected laterally to the collection range of one or more cameras. To get the entire image, you also need to correct and merge the image with computer vision technology.
  • the image acquisition work platform 12 also includes a plan view template (such as a black and white checkerboard pattern) that the camera uses for calibration.
  • Black and white checkerboard patterns can be used not only for camera calibration, but also for: Some books have no obvious features (such as all black or all white books). If the image capture work platform 12 is a single color, it is not conducive to these no obvious features and
  • the image acquisition work platform 12 has a similar tone book for edge detection. The edge of the image is used as an essential feature of the image and is used to analyze the length, width, thickness, etc. of the book.
  • the book can be affixed with a fractal pattern formed by irregular fractal variables to increase the number of image point vectors (vectors of two points in the image).
  • the fractal pattern can increase the feature points of the book, and as the feature points of the book increase, the image point vector will also increase.
  • the RFID tag reader/writer group and antenna group 13 includes an array of RF antenna groups and readers composed of a plurality of RF antenna elements.
  • the position error of the RF antenna element affects the phase of the signal received by the antenna element.
  • the RF antenna element internally adjusts the sensitivity of the RF antenna element with an adjustment circuit, and adjusts the phase of the signal by using the decomposed DOA algorithm. .
  • the reader writes the book image features to the RFID tag and can also read the relevant features from the RFID tag.
  • the RFID tag reader/writer and antenna group 13 can be of two types, one of which is composed of an ultra-high frequency or high frequency RF antenna element and a reader/writer, and the other is an array of ultra-high frequency or high frequency.
  • the RF antenna group 131 and the reader/writer 132 are composed (the structure shown in FIG. 2).
  • the arrayed RF antenna group 131 is composed of a plurality of RF antenna elements.
  • the array RF antenna group 131 can be connected to the reader 132 to increase the sensing range.
  • the position of the radio frequency identification tag on the image collection work platform 12 of the book registration management device is found by the array type radio frequency antenna group 131 and the reader/writer 132.
  • the location of the radio frequency identification tag is one of the book features and can be stored in the book registration data storage database unit.
  • the electronic anti-theft charging and degaussing device 14 includes an electronic anti-theft charging degaussing device 141 and a magnetic stripe verification inspection device 142. Degaussing the electronic anti-theft tag on the book and verifying whether the book has been degaussed, so that the book operator can register the book by the reader when borrowing the book, and complete the one-stop registration and return procedure.
  • the weight measuring device includes a sensor 151 and a spring 152 for measuring the weight of the book, and storing the measurement result in the book registration data storage database unit.
  • the sensor 151 is disposed under the entire image capture device 11 to prevent the sensor 151 from obscuring the book back image. Each time the book registration management device is activated, the sensor 151 is reset to zero, so the weight measuring device 15 calculates only the weight of the book being processed.
  • the prompt running status device sends a signal to the book operator indicating whether the book registration is successful according to the running status, including a digital liquid crystal display 161, a power indicator light 162, a voice prompt buzzer 163, and a flash indicator light 164.
  • Fig. 4 shows the principle of each module of the book registration management apparatus of the present invention, and the following contents are explained in conjunction with Fig. 4.
  • the embedded central processing unit 20 is the core of the book registration device, and controls and runs all embedded firmware modules, including an image acquisition module, a storage module, a computer vision image processing module, a radio frequency identification tag reading and writing module, and a radio frequency identification tag data. Storage module, module monitoring engine, management service module, prompt operation module.
  • the operator only needs to place the book on the image collection work platform 12 in the book registration management device, and does not need to adjust the device position and the shooting angle. Pressing the shooting button on the book registration management software can be conveniently collected as needed. To the desired book image, other buttons are provided on the software for degaussing and writing the book features to the RFID tag through the reader.
  • the device can use the calculation result of the background transition difference to trigger the camera to automatically capture the image and collect the book image in three directions by using the tilt mirror group.
  • the electronic anti-theft charging and degaussing device performs the degaussing work on the magnetic strip in the book, and the magnetic stripe verification checker performs the magnetic verification test on the magnetic strip.
  • the information that can be obtained and recorded includes: a written image template, an image template of the spine, an image template of the book back, an image template of the book, Book features include book size or size classification, weight or weight classification, library bar code location, international standard number location, call number location, RFID tag location, RFID tag chip number, international standard number, library barcode number , the call number, the recorded information of the radio frequency identification tag chip that is read and written.
  • the image acquisition module includes an image manual acquisition sub-module and a light source. Control submodule and image automatic acquisition trigger submodule.
  • the Image Manual Acquisition sub-module is based on DirectShow's multi-lens image acquisition system, and DirectShow is the latest standard for media application development on the Windows platform. The invention fully utilizes the characteristics of DirectShow and hardware device independence.
  • the light source control sub-module in the image capture device 11 is used for auxiliary purposes, for illumination during image acquisition and for providing a uniform light source for image contrast of the text and background.
  • the image automatic acquisition triggering sub-module uses the image of the book registration management device collected by the image acquisition sub-module to find the corresponding point conversion relationship generated by the continuous two images (the corresponding point is that the book is not placed)
  • the image captures a point on the work platform 12, when this point changes, the manual is placed on the image collection work platform 12, and the image capture is automatically triggered), and the absolute difference of the background background is calculated. If the threshold is greater than the threshold, the camera is automatically triggered. Take a picture of the book.
  • the corresponding points must be appropriate. If the corresponding points are too many, the calculation speed is slow. If there are too few, there will be a false alarm.
  • the computer vision image processing module creates the original image of the collected book as a two-dimensional book image, and performs image analysis on the two-dimensional book image to obtain the book feature.
  • the computer vision image processing module is divided into two sub-modules: a computer image production sub-module and an image analysis sub-module.
  • the measurement unit, the image correction unit, the image merging unit, the intelligent selection unit, and the processed image storage database unit are included.
  • the analysis sub-module including image size measuring unit, image template capturing unit, library barcode recognition unit, international standard number barcode recognition unit, call number barcode recognition unit, threshold analysis and selection unit, optical character analysis unit and feature image Store database unit.
  • the original image of the book is used as a backup in the original image storage database unit so that the corresponding original image can be extracted from the original image storage database unit at any time.
  • the measuring unit detects the two-dimensional position of the black and white checkerboard pattern in the camera, and continuously tests the analyzed image data, corrects image distortion and aberration, and finds conjugate points of multiple images.
  • the image correction unit corrects the distorted image acquired by one or more cameras.
  • the image merging unit detects the same points of the multiple pictures, acquires the parallax between the pictures, and combines all the collected images into one frame image by image fitting technology, and generates Binarized image.
  • the image merging unit can also remove noise and repair white space by common image processing techniques. Output the corrected and merged image to the intelligent selection unit, then automatically segment the book image group from the background and remove the non-book image area, identify the book edge, make the spine, book mouth and paper, and store it in the processed image storage database. unit.
  • the image size measurement unit in the image analysis sub-module is used to measure the length, width and thickness (also called height) of the book. Measuring these features of a book requires image detection by means of edge detection algorithms, international standard formats, topological features, and optical character analysis.
  • the edge detection algorithm uses a differential operation as a tool to determine the position of the edge line using a function that uses grayscale as a parameter. First, from left to right, top to bottom, select the seed point in the image line by line, compare the center point of the seed point with the adjacent pixels in the four directions, find the seed point with a certain edge intensity, and then These seed points are joined to form a closed border so that the book size (length, width and thickness) can be calculated.
  • the relative length of the book is calculated by referring to the length, the intersection, and the intersection angle of the length, width, and thickness of the book.
  • the intelligent selection unit is then used to automatically segment and eliminate non-book image areas, identifying the edge of the book (eg, displaying the edge of the book in red lines).
  • the absolute value between the background and the book image result difference is used to find out the non-book image part that needs to be segmented and eliminated, and the background maintenance algorithm is used to generate the binarized output, the image noise is removed, and the accumulator is updated and segmented.
  • the removal of the book image has good efficiency in capturing the characteristics of the book image.
  • the image template is defined as "bad"
  • the number of image point vectors is increased by attaching a fractal pattern to the book image.
  • the so-called fractal pattern is a well-known technique.
  • This algorithm uses the SIFT (Scale Invariant Feature Transform) feature extraction method, which is a public scale invariant feature change method. The more uniform the feature points are distributed in the image, the more stable the effect of matching the feature points is.
  • SIFT Scale Invariant Feature Transform
  • the sign is the scattered image feature points. Due to the difference in brightness of the captured image environment, the difference in reflectivity of the book surface, the direction of the surface of the book and the direction of the camera, the color and brightness of the image will be different at the same projection point.
  • the image feature point extraction algorithm is used to solve The above questions. Specifically, for the book image processed by the computer vision image processing module, the feature vector descriptor is generated by the image gray model, and then the image feature points are initially screened according to the ratio of the distance between the nearest neighbor and the nearest neighbor. There are many feature points. As long as they are different from each other, they can be feature points. The initial screening is to compare the neighbors and find many feature points.
  • the feature points are further selected by using the geometric constraint model between the estimated feature points, and the number of feature points is determined.
  • the number of feature points obtained after the selection is used as the threshold.
  • the threshold of the feature point is a pointer for the number of feature points. For example, different people's finger models have different feature points. If the feature points are too many operations and the processing speed will be slow, the opposite feature points are too small, and the accuracy is not high.
  • the above methods all use a balance point to create an image template, such as the creation of a finger template, used for identification of human identity, can be used in the self-service clearance system, and the book image template can be used for self-service after the working day.
  • Output point set matching relationship (so-called point set matching relationship, the real-time picture is divided into multiple sub-areas in the matching, the sub-area gray standard deviation and the spectrum histogram are used to judge the matchability, and the matching result is constrained by the position distribution relationship of each sub-area Matching the relationship), thereby obtaining a long sequence to represent the image features of the book and storing it in the feature image storage database unit.
  • the edge detection algorithm described above is also used to search for the number of the call number, the library barcode, and the international standard number barcode position.
  • the library barcode recognition unit uses the topological characteristics of the barcode multi-line to find the location of the library barcode and capture the image of the library barcode.
  • the international standard number barcode identification unit also uses the topological features of the barcode multi-line straight line to find the position of the international standard number barcode, so that the international standard number barcode image is taken out.
  • the call number identification unit of the call number since the position of the call number of the call number on the spine is specific, it is easy to determine the position of the callback number of the spine, thereby capturing the image of the call number.
  • the threshold analysis and selection unit finds and sets the optimal model threshold, system distortion and size difference and matching kernel.
  • the library number, the international standard number, and the call number are then extracted from the barcode image by the optical character analysis unit, and these numbers are stored in the feature image storage database unit.
  • the feature image storage database unit is for storing book images and book features.
  • the book image includes a written image template, an image template of the spine, an image template of the book back, and an image template of the book mouth.
  • the book features include the length, width, height and size of the book, weight and its weight classification, and international standard number position. , library bar code location, call number location, radio frequency identification tag location, radio frequency identification tag chip number, international standard number, library bar code number, call number, recorded information of the radio frequency identification tag chip being read and written.
  • a radio frequency identification tag data storage module that defines the location of access units stored in the chip for all images and book features.
  • the memory of the E2PROM in the chip is divided into multiple sectors, and they do not interfere with each other. Each sector can set its own different password and set access control as needed. Each sector has multiple blocks, one for each access unit.
  • the RFID tag reader reads and writes the book features stored in the chip based on this unique access unit location.
  • the RFID tag reading and writing module includes a reader firmware and a radio frequency identification tag position analysis unit.
  • the reader firmware is used to sense and read and write the RFID tag chip in the book, and uses the array RF antenna group to find the location of the RFID tag in the book, and connects the RFID tag data storage module to write the book feature.
  • the RFID tag position analysis unit uses a non-contact electromagnetic induction method to identify the position of the RFID tag on the book. Store the RFID tag location in the book Registration data storage database unit
  • the monitoring engine module is for the operator to manage and monitor the information of the book registration management device remotely or on site.
  • the monitoring engine module includes a module running status reporting unit and an automatic repair unit.
  • the module running status reporting unit continuously extracts the current running state from the computer vision image processing module and the radio frequency identification tag reading and writing module. In the event of a failure, a fault log is created and the fault status information is sent to the book operator.
  • the automatic repair unit starts the corrective operation without disturbing the system application or business program based on the detected improper operation, ensuring that the entire system will not affect the stability and accuracy of the entire system due to data loss or damage.
  • the prompt running module sends a voice control signal to the voice prompter through the voice prompt control unit, and simultaneously sends a flash control signal to the flash prompter through the flash prompt control unit to prompt the library operator to register the management state.
  • the management service module is mainly for the operator to remotely monitor the information of the book registration management device and the switching device, including a reporting unit, an upgrading unit, a parameter setting unit, an extraction download data unit, and an image area setting unit.
  • the reporting unit sends the current operating state of each module in the device to the monitoring computer of the operator (such as issuing a fault conclusion made by the module monitoring engine).
  • the operator can also access the server through the local area network to understand abnormal and fault information.
  • the upgrade unit upgrades and updates the firmware and software of the device via a local or remote network.
  • the operator can input the relevant parameters of each module through the parameter setting unit and set the system setting value.
  • the extracted download data unit provides an interface for extracting downloaded book image features from the database at any time. Subsequently, the image area setting unit can freely select or define a specific image area, and the amount of calculation of each analysis module can be reduced by the local detection area to achieve fast image analysis.
  • the entire workflow of the book registration management apparatus of the present invention will be described below.
  • the first is the startup initialization process of the book registration management device.
  • the image capturing module, the computer vision image processing module, the radio frequency identification tag reading and writing module, and the prompt running module are sequentially activated, and then the module monitoring engine is determined to accept the relevant. Start, if you accept the relevant startup, it means that the system application or business process has been started.
  • the program will display the initialization interface and perform initialization of each software and hardware in the background. If some initialization fails to complete (such as unable to connect to the database), the program will give you relevant information and close the application. If everything is initialized smoothly, the program will activate the image capture device 11. Since the background image needs to be defined for each activation of the program, in order to adapt to different lighting environments, it is not allowed to place debris on the surface of the image acquisition work platform 12 before the formal registration work. When the program successfully sets the background image without debris, , the program initialization is officially completed.
  • Figure 11 is a flow chart of the implementation steps, see Figure 11.
  • the user enters the login interface. If you want to cancel the book registration, you can exit the program on this interface. To continue book registration, you need to let the system determine the identity of the user.
  • the RFID tag reading and writing module reads the RFID tag and determines that the book can be registered. If there is no RFID tag or the tag is damaged, the user is prompted to paste the new tag.
  • the RF tag reading and writing module senses the RFID tag attached to the book, it can enter the first step of book registration: Barcode acquisition.
  • the invention has two methods for inputting the barcode information of the book into the system: one is to use the library barcode scanner fixed at the corner of the image collection work platform to read the library barcode; the second is to use the library barcode recognition unit and the optical character
  • the analysis unit obtains the barcode number.
  • the system obtains the library barcode information by any of the above methods, the corresponding book information record is extracted from the library barcode database provided by the library. At this time, if the library barcode database feeds back the error information, the user needs to check whether the barcode is acquired incorrectly.
  • the operator must Check the feedback information for errors (such as title, version information), if any, indicate that the library barcode database feedback data is incorrect, create and store a data record error log, postpone the book registration, until the library barcode database is corrected; All error logs are stored in the book registration data store database unit. If the library barcode database feedback information is correct, you can enter the second step of book registration: the acquisition of book feature information. First, put the book in the preliminary interface as prompted, and then you can enter the book front information acquisition interface. At this point, the user can see the book on the interface. Real-time image of the front and the spine.
  • errors such as title, version information
  • the image acquisition module captures the book image on the image capture work platform 12 and stores it in the original image storage database unit.
  • the computer image creation sub-module in the computer vision image processing module corrects and merges the original image and stores it in the processed image storage database unit.
  • the analysis sub-module in the computer vision image processing module analyzes the processed book image and obtains whether the surface of the book has sufficient feature information, the length, width and height (thickness) information of the book, and the weight information of the book. The system will first analyze whether there are enough feature points on the front of the book. If there are not enough feature points, the system will prompt to postpone the registration of the book until it is marked with a fragmented pattern and pasted on the book to add enough feature points.
  • the system will continue to analyze the length, width, height (thickness) information of the book. See Figure 12 for a red line showing the edge of the book.
  • the red line is stable. , indicating that the intelligent selection unit has completed the analysis of the book edge information. If the user finds that the system analysis is incorrect (such as the edge of the book is too far apart from the segmented edge), it is necessary to indicate whether the length and width information or the height (thickness) information is judged to be seriously deviated. Or wrong.
  • the user can choose the following two solutions: (1) Immediately extract the original image containing the background from the system and manually cut out the correct written and spine pictures to ensure the book's length, width and height and the feature picture information are correct; 2) Let the system record and judge the serious deviation error log, and then modify it later.
  • the system will automatically obtain the book information.
  • the system will process multiple tasks in parallel: one is to store the acquired book weight, size data and image template into the temporary storage inside the program; Collecting the image of the front side of the book and the spine, and storing the two full-size books in the original image storage database unit and dividing and removing the non-book image area in the original image according to the size information of the book, and depositing the cut image into the image.
  • the processed image storage database unit; the third is to display a real-time preview of the front of the book and the spine of the book. The reason why the screenshot is displayed here is that because of the processing and display of full-size high-resolution images, the time-consuming will be low-resolution.
  • the rate screenshot is more than ten times.
  • the main purpose is that the screenshot image can be immediately displayed on the interface of the screen, and the full-size image can be processed in the background of the system, so that the user can immediately determine whether the program has correctly cropped the image. If the user chooses to obtain written information, he or she needs to follow the prompts to place the book and enter the written information acquisition interface. At this point the user can see a written real-time image on the interface. At this interface, the system will again determine the length and width information in writing to capture the image, but the thickness of the book will not be judged. The operational process is consistent with the formal access to the book. When the completion of the written information is completed, the confirmation and storage of the book characteristic information will also be entered.
  • the user can see the text data (book title, author, publisher, etc.) obtained from the barcode database on the interface, and output from the processed image storage database.
  • the user needs to make sure that the photo of the front and back of the book is correct. If the photo of the front and back is found to be incorrect, the photos of the front and back can be interchanged.
  • All collected image feature data is stored in the feature image storage database unit for backup.
  • the user confirms that all the information in this interface is correct. If any information is found to be faulty, return to the standby interface to re-register the book. If you cancel the registration, you will return to the barcode acquisition interface without saving any data from this book. If all the information is correct, all the book images and book features are stored in the book registration data storage database unit, and the RFID tag data storage module includes the book related information including the written image template, the image template of the spine, the image template of the book back, and the book mouth.
  • Image template including book size or size classification, weight or weight classification, international standard number position, library barcode position, call number position, RFID tag position, RFID tag chip number, international standard number
  • the library barcode number, the call number, and the recorded information of the read/write RFID tag chip are written into the RFID tag attached to the book by the RFID tag reader, and then the user can choose to eliminate the magnetic properties of the magnetic strip.
  • the application enters the registration book information overview interface.
  • This interface will display the registered book status in the form of a list.
  • the unregistered books can be linked to the steps that need to be re-registered through different error logs.
  • the user can choose to register the next book, or exit to the login interface, and save the log of the book registration to complete the registration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

基于计算机视觉及射频识别技术的书本登记管理装置 发明领域
本发明涉及书本登记管理装置， 尤其涉及一种使用嵌入式信息技术、 计算 机视觉及图像处理技术和射频识别技术 （ "RFID " ) 实现的可应用在图书馆自 动化管理系统中的书本登记管理装置。 背景技术
现时全球图书馆量数以十万计， 单以政府、 公共及大学所属的图书馆便超 过万间， 因此迅捷有效的图书馆服务是现代社会所必需的。 纵观世界， 许多社 会的公共和大学图书馆从九十年代起已经开始使用射频识别技术来取代或优 化在图书馆广泛使用多年的条形码识别及磁条防盗技术， 其最终目的是为了提 升管理效率及准确性， 提供更方便公众的服务。
现在一般图书登记管理方式及系统有几种， 比较普遍的是条形码系统， 在 使用时， 通过条形码阅读器读取书本上贴上的条形码信息， 接连计算机和数据 库， 再按各图书馆的情况， 由操作人员手动处理其它流程。 条形码系统的缺点 很多， 包括必须逐一扫描， 扫描方向及位置必须特定和无阻挡； 条形码的数据 容量较小， 只有极小字符， 而且只能包含数字和字母， 所以无法存储更多和书 本相关的信息； 条形码的打印质素容易变差， 易受外物、 尘埃影响效果； 在进 行书本登记时， 其它信息的输入， 仍然需要由操作人员手工完成； 在图书借还 流程中， 使用者亦受条形码的缺点影响操作， 这些都大大降低了图书馆自动化 的效率。 此外， 条形码一旦损坏便无法读取， 给日常图书管理工作带来了很多 不便和麻烦。 现在逐步兴起的射频识别技术 （ "RFID " ) 图书管理系统， 正逐 步解决条形码管理系统的缺陷。 射频识别技术的不断提升和广泛应用已达到初 具规模的效果， 书本自助借出及自助归还的系统和设备已经被开发出来增加图 书馆的书本流通和使用量， 进一步改善了提供给使用者的服务。 这些系统和设 备可以通过贴在书本内的射频识别标签芯片中存储的唯一识别码和其相关的 数据， 准确和快捷地获取该书本的信息， 并进行识别。 在书本登记时， 操作人 员会为每一书本贴上射频识别标签， 利用 RFID标签可储存大量数据的特点， 可存储入更多与书本相关的信息， 包括该书本的独有特征， 如长度、 阔度、 高 度、 重量及书面图像特征等。
但要实现 RFID系统需要花费大量金钱、 人力及时间， 同时要为原有的藏 书进行重新的贴标签及条形码数据转换的工作。 此外， 在图书借还过程中， 现 时的 RFID 图书系统仍有缺点， 例如出现使用者撕下标签， 偷换至另一书本的 情况， 所以原来希望通过 RFID 图书管理系统实现自助借还的目的又受到了局 限。 因此， RFID 标签若能够储存更多该书本自身特征的数据， 以进行自我核 实， 即可填补这些缺点。 但现时并没有一个先进的智能书本登记管理装置可以 提供此功能， 能快速地采集、 分析及获取书本的特征， 并实现实时储存于该书 本的射频识别标签中。 发明概述
本发明的目的是解决上述问题， 提供了一种先进的智能书本登记管理装 置， 可采集、 分析、 获取及储存书本的特征， 结合 RFID技术的独特优点以通过 单一装置、 一站式、 一步法的方式完成书本登记流程， 在解决既有技术和系统 缺点的同时， 为未来自动化图书管理要求建立新基础。
本发明的技术方案为： 本发明揭示了一种基于计算机视觉及射频识别技术 的书本登记管理装置， 包括图像采集工作平台、 图像采集装置、 射频识别标签 读写器及天线组、 电子防盗充消磁装置、重量测量装置以及嵌入式中央处理器， 其中：
该图像采集工作平台提供一操作平台， 该操作平台使书脊及书口图像与第 一书面的图像组出现在同一光学采集平面上且彼此相连， 书脊及书口图像反射 到摄像头组的图像采集范围， 该摄像头组进行实时同步拍摄以获得书本在书 脊、 书口以及第一书面这三个方向上的图像， 其中该图像采集工作平台包括放 置书本的平面板， 平面板具有供该摄像头组用作定标的图样、 透明挡板组、 反 射镜面组， 该透明挡板组垂直安置在该图像采集工作平台边角上， 形成直角， 供书本紧贴透明挡板的直角， 确保书脊及书口亦可完全紧贴透明挡板， 该反射 镜面组倾斜安装在透明挡板的另一边， 与图像采集工作平台构成一角度， 以完 整反射整个书脊和书口图像到安装于上方的摄像头组的图像采集范围；
图像采集装置， 由该摄像头组构成， 安装在该图像采集工作平台的上方， 用于采集该图像采集工作平台上的书本的图像；
射频识别标签读写器，连接该天线组，用于对射频识别标签进行读写操作； 天线组， 由多个射频天线元组成， 射频天线元内部的调整电路用于调整射 频天线元的敏感性， 天线组放置于该图像采集工作平台下；
电子防盗充消磁装置， 用于消除或者恢复书本防盗磁条的磁性。
重量测量装置， 设置在该图像采集工作平台的平面板之下， 用于测量图像 采集工作平台上的书本的重量；
嵌入式中央处理器， 控制及运行所有已嵌入安装的固件模块， 包括图像采 集模块、 储存模块、 计算机视觉图像处理模块、 图像分析模块、 射频识别标签 读写模块、 射频识别标签数据存储模块、 监视引擎模块、 管理服务模块、 提示 运行模块。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 该图像采集模块进一步包括：
图像手动采集子模块， 是多镜头图像采集系统， 可按次序或同时的采集方 式来采集书本图像组；
光源控制子模块， 用于为图像采集提供及控制有效均匀的光源；
图像自动采集触发子模块， 连接该图像采集子模块， 利用图像采集范围内 的图像变化自动触发图像采集模块来实现图像采集功能。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 该储存模块连接该图像采集装置和该计算机视觉图像处理模块， 包括 原始图像存储数据库单元和书本登记资料存储数据库单元， 其中该原始图像存 储数据库单元用于储存采集到的书本的原始图像， 该书本登记资料存储数据库 单元用于存储分析后获取到的书本特征。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 计算机视觉图像处理模块连接该图像采集装置， 将采集到的书本图像 组制作成二维书本图像， 并对二维书本图像进行图像分析以获取书本特征， 该 计算机视觉图像处理模块中设有用于制作二维书本图像的计算机图像制作子 模块， 该计算机图像制作子模块进一步包括：
测定单元， 检测摄像头组定标图样在摄像头中的二维位置； 图像矫正单元， 矫正一个或多个摄像头采集到的扭曲变形的图像； 图像合并单元， 连接该图像矫正单元， 通过检测多幅图像的异同合并矫正 后的图像；
智能选择单元， 在书本图像组中根据书本图像和图像采集工作平台的背景 自动分割及消除非书本图像区域， 标识书本边线， 制成书脊、 书口及书面； 处理后图像存储数据库单元， 连接该智能选择单元， 用于存储经过处理的 书本图像。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 该计算机视觉图像处理模块中设有用于对二维书本图像组进行图像组 分析以获取书本特征的图像分析子模块， 该图像分析子模块进一步包括： 图像尺寸测算单元， 用于测量书本的长、 宽、 高；
图像模板撷取单元， 利用书本图像的特征点撷取出书本的模板， 用作以后 判别书本图像的特征；
图书馆条形码辨识单元， 辨识图书馆条形码的位置， 撷取图书馆条形码的 图像；
国际标准编号条形码辨识单元， 辨识国际标准编号条形码位置， 撷取出国 际标准编号条形码图像；
索书号条形码辨识单元， 辨识索书号条形码位置， 撷取出索书号条形码图 像；
阈值分析及选择单元， 找出及设定最优化的模型阈值、 系统畸变及尺寸误 差值和匹配核数；
光学字符分析单元， 用于从撷取出的图书馆条形码、 国际标准编号条形码 和索书号条形码图像中分析出字符信息；
特征图像存储数据库单元， 用于存储书本图像和书本特征， 该书本图像包 括书面的图像模板、 书脊的图像模板、 书背的图像模板、 书口的图像模板， 该 书本特征包括书本的长、 宽、 高尺寸及其尺寸分类、 重量及其重量分类、 国际 标准编号位置、 图书馆条形码位置、 索书号位置、 射频识别标签位置、 射频识 别标签芯片编号、 国际标准编号、 图书馆条形码编号、 索书号、 被读写的射频 识别标签芯片的记录信息。 根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 射频识别标签数据存储模块， 用来定义所有图像及书本特征的标签在 芯片中存储的存取单位位置， 该唯一的存取单位位置是供使用者读写芯片中存 储的书本特征。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 该射频识别标签读写模块连接射频识别标签数据储存模块， 该射频识 别标签读写模块进一步包括：
读写器固件， 用于执行读写书本中射频识别标签芯片的特征， 基于射频识 别标签数据存储模块中的存取单位位置将书本特征读取出来或者写入书本内 的射频识别标签芯片中；
射频识别标签位置分析单元， 采用非接触式电磁感应方式来识别射频识别 标签在书本上的位置。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 装置还包括：
监视引擎模块， 连接该书本登记管理装置的各个组件， 对所有组件的运行 状态进行监控， 该监视引擎模块进一步包括：
模块运行状态汇报单元， 提取装置内各组件当前的运行状态， 建立故 障日志， 并发送故障状态的信息到指定的记录地点；
自动修复单元， 根据预测到的不当运行， 在不干扰系统应用程序或业 务程序的情况下对出错的模块进行修复。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 装置还包括：
管理服务模块， 供操作人员远程或现场管理和监控书本登记管理装置的信 息， 进一步包括：
升级单元， 通过本地端口或远程网络为固件或软件升级； 汇报单元， 向操作人员发送装置内各模块当前的运行状态； 参数设定单元， 供操作人员输入装置内各模块的相关参数， 设定系统 设定值；
提取下载数据单元， 提取下载数据， 自动建立相关的数据下载连接； 图像区域设定单元， 在储存模块的原始图像中选择或定义一个特定范 围的图像区域， 用以手动剪裁出正确的书面或书脊图片。
根据本发明的基于计算机视觉及射频识别技术的书本登记管理装置的一 实施例， 该装置还包括：
提示运行状态模块，根据运行状态向操作人员发出提示信号，进一步包括： 语音提示控制单元， 以语音信号的方式提示操作人员登记管理的状 态；
闪光提示控制单元， 以光信号的方式提示操作人员登记管理的状态。 本发明对比现有技术有如下的创新性效果： 本发明提供的书本登记管理装 置的技术方案， 通过嵌入式信息技术、 计算机视觉及图像处理技术和射频识别 技术对书本本身的特征进行撷取和分析， 可以快速地采集、 储存、 矫正、 合并 和分析图像并获取每一本登记书本的特征， 记录于储存数据库和射频识别标签 内。 射频识别标签可以记录书本的书面的图像模板、 书脊的图像模板、 书背的 图像模板、 书口的图像模板、 该书本特征包括书本的尺寸（长、 宽、 厚度）或其 尺寸分类、 重量或其重量分类、 图书馆条形码位置、 国际标准编号位置、 索书 号位置、 射频识别标签位置、 射频识别标签芯片编号、 国际标准编号、 图书馆 条形码编号、 索书号、 被读写的射频识别标签芯片的记录信息， 其原理和人类 生物特征数据的登记类似。 即使射频识别标签遭损毁或失效， 日后的自动化系 统仍可依据其它的书本特征， 鉴别书本身份， 有效提高书本自动化流通系统的 效率和效果。 由于书本本身的特征是无法改变的，且书本上可抓取的特征极多， 这就保证了鉴别的准确性。 本发明所提供的书本登记管理装置是一个独立的嵌 入式装置， 操作人员可以一次采集到所需的书本图像， 撷取及分析图像特征， 进行充消磁工作， 最后把书本的特征通过射频识别标签读写器写入书本的射频 识别标签中。 附图说明
图 1是本发明中所用书本的一个示例的示意图。
图 2是本发明的书本登记管理装置的较佳实施例的结构示意图。 图 3A是反射镜面与图像采集工作平台构成某角度足以反射整个书脊图像的示 意图。
图 3B是第一书面及书脊图像采集的示意图。
图 3C是第二书面图像采集的示意图。
图 4是本发明的书本登记管理装置的各固件模块的原理图。
图 5是登记 /借还书本的应用示意图。
图 6为本发明的原始图像处理的流程图。
图 7为本发明的图像模板撷取的流程图。
图 8为本发明的基于边缘侦测算法量度书本尺寸的流程图。
图 9为本发明的基于边缘侦测算法和光学字符分析来撷取条形码的流程图。 图 10为本发明的书本登记管理装置启动初始化的流程图。
图 11为本发明的书本登记管理装置的实施流程的示意图。
图 12为本发明以红线显示书本边缘示意图。 发明的详细说明
下面结合附图和实施例对本发明作进一步的描述。 本发明的书本登记管理装置所用的书本的一个示例请参见图 1 所示， 在本发 明中， 书本的封面称为书面， 书本的装订侧称为书脊， 书本打开的开口称为书口， 书本的顶部称为书顶， 书本的底部称为书根。 书本上具有一般的图书管理资料， 包 括图书馆条形码、国际标准编号条形码、书脊上的索书号编码以及藏于书内的射频 识别标签。图 1的示例是为本发明的描述方便而举的一个例子，任何其它图书内外 的图书管理资料的放置形式， 本发明的书本登记管理装置都可以掌握辨认。
图 2示出了本发明的书本登记装置的较佳实施例的结构。请参见图 2， 本实施 例的书本登记装置包括图像采集装置 11、 图像采集工作平台 12、 射频识别标签读 写器及天线组 13、 电子防盗充消磁装置 14、 重量测量装置 15、 提示运行模块 16、 通讯接口（包括网线接口 17和 RS-232接口 19)、 电源开关 18以及嵌入式中央处理 器 20。
图像采集装置 11包括多组摄像设备， 在本实施例中示为 3组， 安装在图像采 集工作平台 12的上方， 每组摄像设备包括一个或多个固定式摄像头， 在摄像头内 装有光学滤镜，这三组摄像设备用来分别采集书本的第一书面、书脊和书顶的图像， 而使用者把书本反转便可采集第二书面、书口及书根的图像，亦即一共采集了六个 不同角度的书本图像 （第一书面、 书脊、 书顶、 第二书面、 书口、 书根） ， 最后， 所有图像合并起来便形成了一个立体书本的图像。摄像头的数量及像素根据不同的 书本尺寸以及图像质量而定， 例如书本大小等同于 A4纸张， 1个 400万像素的摄 像头图像及设定分辨率为 200dpi， 即 1英寸上有 200个光学点数； 例如书本大小 等同于 A3纸张， 便用四个 400万像素的摄像头结合计算机视觉图像处理模块中的 图像合并单元，将四个书本图像合并为等同于一个 800万像素的摄像头所采集书本 图像。 而如果直接用一个 800万像素的摄像头， 摄像头和图像采集工作平台 12的 高度需要调高， 这样整个装置的体积将倍增， 重量亦相对增加， 因此利用图像贴合 技术将多个视觉图像合并为一帧图像实为一种较佳的解决方案。
在图像采集设备的顶板上设置柔光罩 112，书本登记管理装置的两侧安装白光 二极管照明条形模块 113， 提供主动侧面照明， 为整个图像采集工作平台 12提供 均匀充足的光度，提高书本与背景的对比度，从而提高图像处理运算的准确性和效 率。
图像采集工作平台 12是非金属物料制造， 这是因为射频天线组设置于图像采 集工作平台 12之下，金属干扰会影响读卡距离甚至造成无法读卡。图 3A〜3C示出 了怎样在图像采集工作平台 12上放置书本以及对放置的书本进行采样。 图像采集 工作平台 12提供一操作平台把书脊或书口图像与第一书面的图像组出现在同一光 学采集平面上，彼此形成相连， 书脊及书口的图像被透明挡板 124后方的倾斜反射 镜面组反射到上方的摄像头组的图像采集范围，进行实时同步拍摄， 以获得该书本 在书脊、 书口和书面这三方向上的图像。
图像采集工作平台 12包括放置书本的平面板， 平面板具有摄像头组定标用的 图样、 透明挡板组 124、 反射镜面组， 操作人员可准确稳当地把书本放置在图像采 集工作平台 12 以作图像采集， 透明挡板组 124垂直安置在图像采集工作平台 12 边角上，形成直角供书本紧贴透明挡板 124的直角，确保书脊及书口亦可完全紧贴 透明挡板 124。 由两个位置感应器 125进行位置鉴定， 这两个位置感应器 125之间 的距离足以让书脊上的索书号编码的图像投在倾斜反射镜面组 114。左起第二个位 置感应器 125确保了书本紧贴放置于两组透明挡板 124前。反射镜面组倾斜安装在 透明挡板 124另一边， 与图像采集工作平台 12构成某一角度足以完整准确地将整 个书脊和书口图像反射到安装于上方的摄像头组的采集范围。再将书本反转， 同样 地， 书口和书根的图像与第二书面的图像出现在同一采集平面上且彼此相连， 书口 和书根的图像横向反射到一个或多个摄像头的采集范围内以获得整个图像，还需要 用计算机视觉技术纠正和合并镜像。
图像采集工作平台 12 还包括摄像头用来校准的平面图样板（如黑白棋盘图 样）。 黑白棋盘图样不但可以用作摄像头校准， 另一目的是： 有些图书没有明显特 征 （例如全黑或全白的书本） ， 若图像采集工作平台 12为单一色调， 不利于对这 些没有明显特征并且和图像采集工作平台 12色调相似的书本进行边缘检测。 图像 的边缘作为图像的一种基本特征， 被应用于分析书本的长、 宽、 厚度等。 由于某些 图书只能提供有限的特征点，书本可以贴上不规则碎片形变量形成的碎片形图案来 增加图像点向量（图像中两点连成的向量）数量。而碎片形图案可以增加书本特征 点， 随着书本特征点的增加， 图像点向量也会随之增加。
射频识别标签读写器及天线组 13包括由多个射频天线元构成的阵列式射频天 线组、读写器。射频天线元的位置误差会影响天线阵元所接收到的信号的相位， 射 频天线元内部用一调整电路来调整射频天线元的敏感性，以及利用分解的波达方向 算法对信号的相位加以调整。读写器将书本图像特征写入射频识别标签，也可以从 射频识别标签中读出相关特征。
射频识别标签读写器及天线组 13可选择超高频 （UHF) 或高频 （HF) 的射频 识别设备， 用于读取射频识别码。 射频识别标签读写器及天线组 13可以是两种结 构，其一是由超高频或高频的射频天线元及读写器组成，其另一是由超高频或高频 的阵列式射频天线组 131和读写器 132组成（图 2所示的结构）。而阵列式射频天 线组 131是由多个射频天线元组成。如果由于需要感应特大图书而可能超出射频天 线元的感应范围时， 阵列式射频天线组 131可连接到读写器 132， 增加感应范围。 或者先通过阵列式射频天线组 131和读写器 132找出书本在书本登记管理装置的图 像采集工作平台 12上的射频识别标签的位置。 射频识别标签的位置是书本特征之 一， 可存储于书本登记资料存储数据库单元。
电子防盗充消磁装置 14包括电子防盗充消磁器 141以及磁条验证检査仪 142 对书本上的电子防盗标签进行充消磁及检验书本是否已完成消磁，这样图书操作人 员可以在读者借还书时顺便进行书本登记， 做到一站式的登记借还书手续。
重量测量装置包括传感器 151及弹簧 152， 用来测量书本重量， 把测量结果存 储在书本登记资料存储数据库单元。 其中传感器 151设置在整个图像采集装置 11 之下， 以避免传感器 151遮挡书背图像。 每次开动书本登记管理装置， 传感器 151 就会重置为零， 因而重量测量装置 15只计算处理中的书本重量。
提示运行状态装置根据运行状态向图书操作人员发出提示书本登记是否成功 的信号， 包括数码液晶显示屏 161、 电源指示灯 162、 语音提示蜂鸣器 163、 闪光 指示灯 164。
图 4示出了本发明的书本登记管理装置的各模块的原理， 下面的内容需结合 图 4来说明。 嵌入式中央处理器 20是书本登记装置的核心， 控制及运行所有已嵌 入安装的固件模块， 包括图像采集模块、 储存模块、 计算机视觉图像处理模块、 射 频识别标签读写模块、射频识别卷标资料存储模块、模块监视引擎、管理服务模块、 提示运行模块。
这一段简单介绍本装置的操作过程。请参见图 5， 操作人员只要把书放在书本 登记管理装置中的图像采集工作平台 12上， 不需要调整装置位置和拍摄角度， 按 下书本登记管理软件上的拍摄按钮可以根据需要方便地采集到所需书本图像，软件 上亦提供其它按钮可进行充消磁工作以及把书本特征通过读写器写入射频识别标 签中。本装置可利用背景转变差值的计算结果，触发摄像头自动拍摄图像以及利用 倾斜反射镜面组采集到三方向的书本图像。电子防盗充消磁装置对书本中的磁条进 行充消磁工作， 同时磁条验证检査仪对磁条进行磁力验证测试。当书本离开图像采 集工作平台 12时，所有装置便停止运作。本发明的装置不但适用于书本登记管理， 还可配合其它自动化借还书装置，这样可以增加书本管理效率。无论是图 5所示的 登记全新书本手续 /借还书本的手续， 都能获取并记录下来的信息包括： 书面的图 像模板、 书脊的图像模板、 书背的图像模板、 书口的图像模板， 该书本特征包括书 本的尺寸或其尺寸分类、重量或其重量分类、 图书馆条形码位置、 国际标准编号位 置、 索书号位置、 射频识别标签位置、 射频识别标签芯片编号、 国际标准编号、 图 书馆条形码编号、 索书号、 被读写的射频识别标签芯片的记录信息。
请同时参见图 6， 对于图像采集模块来说， 它包括图像手动采集子模块、 光源 控制子模块和图像自动采集触发子模块。 图像手动采集子模块基于 DirectShow的 多镜头图像采集系统， 而 DirectShow是 Windows平台上进行媒体应用开发的最新 标准。 本发明充分利用了 DirectShow与硬件设备无关性的特点， 使用多个 USB2. 0 摄像头作为图像采集设备，可采用顺次或同时的采集方式来进行图像采集，系统功 能主要由软件实现， 极大地节省了硬件的成本， 而对于大面积的图书图像采集， 传 统的图像采集方式在处理这样的实际问题中存在诸多的局限性，而本发明装置利用 多个摄像头来扩大采集面积的图书图像，并利用计算机视觉及图像处理技术来矫正 和合并图像。 图像采集装置 11中的光源控制子模块作辅助之用，用于图像采集时 的照明以及为了特显书本与背景的图像对比度提供均匀的光源。图像自动采集触发 子模块借助图像采集子模块采集到的书本登记管理装置上的书本图像，利用连续两 张图像找出随时间变化而产生的对应点转换关系（对应点是没有放置书本的情况下 的图像采集工作平台 12上的一点， 当这一点发生变化时即说明书本放置在图像采 集工作平台 12上， 便自动触发图像采集） ， 计算前背景绝对差值， 如果大于该阈 值则触发摄像头自动拍摄书本图像。对应点必须适量，对应点太多则计算处理速度 慢， 太少则又会有误报问题。采集到书本的原始图像之后， 发送到计算机视觉图像 处理模块和储存模块中的原始图像存储数据库单元。
计算机视觉图像处理模块将采集到的书本的原始图像制作为二维书本图像， 并对这二维书本图像进行图像分析以获取书本特征。计算机视觉图像处理模块分为 两个子模块：计算机图像制作子模块和图像分析子模块。对于计算机图像制作子模 块， 包括测定单元、 图像矫正单元、 图像合并单元、 智能选择单元、 处理后图像存 储数据库单元。 对于分析子模块， 包括图像尺寸测算单元、 图象模板撷取单元、 图 书馆条形码辨识单元、 国际标准编号条形码辨识单元、索书号条形码辨识单元、 阈 值分析及选择单元、 光学字符分析单元和特征图像存储数据库单元。
原始图像存储数据库单元中将书本的原始图像用作备份， 以便任何时候都可 从原始图像存储数据库单元中提取相应的原始图像。获取所有原始图像后，利用测 定单元检测黑白棋盘图样在摄像头中的二维位置，并且持续对所分析的图像数据进 行测验， 修正图像扭曲和像差， 寻找出多张图片的共轭点。 图像矫正单元矫正一个 或多个摄像头采集到的扭曲变形的图像。图像合并单元检测多张图片的相同点，获 取图片之间的视差，利用图像贴合技术将所有采集到的图像合并为一帧图像，产生 二值化的图像。图像合并单元还可以通过常用的图像处理技术来去除杂点以及修补 漏白。输出经矫正和合并的图像到智能选择单元，然后把书本图像组由背景自动分 割及从消除非书本图像区域， 标识书本边线、 制成书脊、 书口和书面， 并存储于处 理后图像存储数据库单元。
图像分析子模块中的图像尺寸测算单元， 是用来测量书本的长度、 宽度和厚 度 （也称为高度） 。 测量书本的这些特征需要借助边缘检测算法、 国际标准格式、 拓扑特征、 光学字符分析来提取图像特征。 请参见图 7， 其中边缘检测算法是以微 分操作为工具，利用以灰阶为参数的函数判断出边缘线所在的位置。首先由左至右、 由上至下，逐行在图像中选取种子点，把种子点中心像元和四个方向的相邻像元比 较， 找出具有一定的边缘强度的种子点， 再把这些种子点连接起来， 形成封闭的边 界， 这样便能计算书本尺寸 （长度、 宽度和厚度） 。 以书本的长度、 宽度和厚度的 边长、交点、交角值相互参考来计算出比较准确的书本尺寸。接着利用智能选择单 元自动分割及消除非书本图像区域， 标识书本边缘 （例如以红线显示书本边缘） 。 具体来说是通过背景和书本图像结果差值间的绝对值，找出需要分割及消除的非书 本图像部分， 同时利用背景维护算法产生二值化的输出， 去除图像杂色， 累加器更 新分割及脱除书本图像， 对于撷取有关书本图像特征来说具有良好的效率。
请同时参见图 8，首先利用图像分析子模块中的图像模板撷取单元基于图像特 征点提取算法提取稳定特征点，按照书本图像尺寸和图像模板复杂度进行分类，计 算图像点向量描述符， 撷取图像特征点（所谓书本图像特征点， 是书本图像中可作 为特征标识的点，例如一本全白或者全黑的书本就没有特征点，而书本上如果有很 多不规则的图案或者有丰富的颜色就是具有多特征点），根据图像模板中的图像点 向量的数量将图像模板定义为 "良好"、 "可接受"和 "不良"， 这一定义是经过 统计学来判决的， "不良"一定是书本没有任何图且只有一种颜色。如果图像模板 定义为 "不良"， 需借助贴上碎片形图案标色在书本图像上来增加图像点向量的数 量。 所谓碎片形图案是一种公知技术， 数学家 Benoit Mandelbrot发现一个二次迭 代方程 +1 = z„2 + C,z。= C可产生无限个碎片形图案， 方程式 z = + C,C = " + W， a和 b 可以通过输入不同数字来产生无限个碎片形图案。 本算法使用了 SIFT ( Scale Invariant Feature Transform) 特征提取法， 这是一种公开的尺度不变性特征变 化方法。 特征点在图像中分布越均匀， 对特征点的配对的效果也就越稳定，稳定特 征点就是指分散的图像特征点。 由于采集图像环境的亮度差异、书本表面的反射度 差异、书本表面方向与摄像头方向不同，都将导致在同一投影点上图像的颜色和亮 度会有所差异， 图像特征点提取算法就是用来解决以上问题的。具体而言， 对于经 计算机视觉图像处理模块处理后的书本图像， 由图像灰度模型生成特征向量描述 符， 然后根据向量最近邻和次近邻的距离之比， 对图像特征点进行初步筛选。特征 点可以有很多， 只要同邻近点互不相同， 便可以是特征点，初步筛选是先对比邻近 点， 找到好多特征点。 最后运用估计特征点对间的几何约束模型进一步精选特征 点， 确定特征点数量， 将精选后得到的特征点数量作为阈值。特征点的阈值是订立 特征点数量的指针，举例来说不同人的手指模有不同的特征点，如果特征点太多运 算及处理速度会变慢， 相反特征点太少则准确性不高， 以上的手段都是拿一个平衡 点来制造图像模板，如同制造手指模模板，用作人类身份的辨识，可用在自助过关系 统， 而书本图像模板可以用工作日后自助还书之用。 输出点集匹配关系 （所谓点集 匹配关系， 匹配中将实时图分为多个子区，由子区灰度标准差和频谱直方图判别其 可匹配性，用各子区位置分布关系约束匹配结果就是匹配关系） ， 从而得到一个长 序列以代表书本的图像特征， 并存储于特征图像存储数据库单元。
上述的边缘检测算法还用于搜索索书号条形码、 图书馆条形码、 国际标准编 号条形码位置。 请参见图 9， 图书馆条形码辨识单元利用条形码多行直线的拓扑特 征找出图书馆条形码的位置，撷取图书馆条形码的图像。国际标准编号条形码辨识 单元也还是利用条形码多行直线的拓扑特征找出国际标准编号条形码的位置，从而 撷取出国际标准编号条形码图像。索书号条形码辨识单元中， 由于索书号条形码在 书脊上粘贴的位置是特定的， 因此很容易断定书脊索书号的位置，从而撷取索书号 条形码图像。阈值分析及选择单元找出及设定最优化的模型阈值、系统畸变及尺寸 差值和匹配核数。然后由光学字符分析单元从条形码图像中提取出图书馆编号、国 际标准编号和索书号， 将这些编号存储于特征图像存储数据库单元。
特征图像存储数据库单元用于存储书本图像和书本特征。 书本图像包括书面 的图像模板、 书脊的图像模板、 书背的图像模板、 书口的图像模板， 书本特征包括 书本的长、 宽、 高尺寸及其尺寸分类、 重量及其重量分类、 国际标准编号位置、 图 书馆条形码位置、 索书号位置、 射频识别标签位置、 射频识别标签芯片编号、 国际 标准编号、 图书馆条形码编号、 索书号、 被读写的射频识别标签芯片的记录信息。 射频识别标签数据存储模块， 用来定义所有图像及书本特征的标签在芯片中 存储的存取单位位置。 芯片中 E2PROM的内存分多个扇区， 他们互不干扰， 每个 扇区均可分别设置各自的不同的密码及按需要设置存取控制。 每个扇区有多个块, 一块为一个存取单位。射频识别标签读写器根据此独一无二的存取单位位置来读写 芯片中存储的书本特征。
射频识别标签读写模块包括读写器固件和射频识别标签位置分析单元。 读写 器固件是用于感应和读写书本中的射频识别标签芯片，并利用阵列式射频天线组找 出书本中的射频识别标签的位置，且连接射频识别标签数据储存模块，将书本特征 写入书本内的射频识别标签芯片中。而射频识别标签位置分析单元采用非接触式电 磁感应方式来识别射频识别标签在书本上的位置。把射频识别标签位置储存于书本 登记数据存储数据库单元
监视引擎模块供操作人员远程或现场管理和监控书本登记管理装置的信息。 监控引擎模块包括模块运行状态汇报单元和自动修复单元。模块运行状态汇报单元 不断向计算机视觉图像处理模块、射频识别标签读写模块提取当前的运行状态。如 遇故障， 则建立故障日志， 并把故障状态的信息发送给图书操作人员。 自动修复单 元根据检测到的不当运行，在不干扰系统应用程序或业务程序的情况下启动修正操 作， 确保整套系统不会因为数据流失或损毁而影响整套系统的稳定及准确性。
提示运行模块通过语音提示控制单元发送语音控制信号至语音提示器， 同时 通过闪光提示控制单元发送闪光控制信号至闪光提示器，提示图书馆操作人员登记 管理状态。
管理服务模块主要是让操作人员远程监控书本登记管理装置及交换装置的信 息包括汇报单元、升级单元、参数设定单元、提取下载数据单元和图像区域设定单 元。汇报单元向操作人员的监控计算机发送装置内各模块当前的运行状态 （如发出 模块监视引擎做出的故障结论）。当然操作人员也可以用通过局域网络访问服务器， 了解异常和故障信息。升级单元借助本地端或远程网络对设备的固件和软件进行升 级和更新。操作人员可通过参数设定单元输入各个模块的相关参数，设定系统设定 值。提取下载数据单元提供一接口， 可随时从数据库中提取下载书本图像特征。 随 后， 图像区域设定单元可自由的选择或定义一个特定图像区域，通过局部检测区域 可减少各分析模块的计算量， 以实现快速的图像分析。 下面描述本发明的书本登记管理装置的整个工作流程。
首先是书本登记管理装置的启动初始化流程。 请参见图 10， 在网络接通和图 像采集装置 11启动的情况下，依次启动图像采集模块、计算机视觉图像处理模块、 射频识别标签读写模块和提示运行模块， 然后判断模块监视引擎是否接受相关启 动， 如果接受相关启动则表明系统应用程序或业务程序已全部启动。
要执行书本登记， 需开启应用程序， 程序会显示初始化接口并在后台执行各 个软硬件的初始化。 若有部分初始化未能完成（如无法与数据库连接） ， 程序会给 出相关信息并关闭应用程序。 若一切初始化顺利， 程序将激活图像采集装置 11。 由于程序每次激活均需要定义背景图像， 以便适应不同的光照环境， 因此在正式登 记工作前， 图像采集工作平台 12面上不允许放置杂物， 当程序成功设定无杂物的 背景图像后， 程序初始化正式完成。
图 11为实施步骤的流程图， 请参见图 11。 首先， 用户进入登陆接口， 若想取 消书本登记， 可在此接口退出程序。若要继续书本登记， 则需要让系统确定使用者 的身份信息。 当用户成功登陆后， 射频识别标签读写模块读取射频识别标签， 确定 书本可以准备登记。如果没有射频识别标签或者标签损坏，则提示用户粘贴新的标 签。当射频标签读写模块感应到粘贴在书本内的射频识别标签后，便可进入书本登 记的第一步： 条形码获取。本发明共有两种方法将书本的条形码信息输入系统：一 是使用固定在图像采集工作平台 12—角的图书馆条形码扫描仪来读取图书馆条形 码； 二是通过图书馆条形码辨识单元及光学字符分析单元获取条形码号。当系统通 过以上任何一种方式获取到图书馆条形码信息后，将从图书馆所提供的图书馆条形 码数据库中提取相应的书本信息记录。 此时若图书馆条形码数据库回馈错误信息， 用户则需检査条形码的获取是否有误， 如是则推迟此书的登记， 粘贴新的条形码； 若图书馆条形码数据库有相关信息回馈， 则操作人员要检査回馈的信息有无错误 (如书名、 版本信息） ， 如有则要指出图书馆条形码数据库回馈资料错误， 建立并 储存资料记录错误日志， 推迟此书登记， 直至图书馆条形码数据库更正； 所有错误 日志都存储于书本登记资料存储数据库单元中。若图书馆条形码数据库回馈信息正 确无误， 则可进入书本登记第二步： 书本特征信息的获取。 首先， 在预备接口按提 示放好书本，接着便可进入书本正面信息获取接口。此时用户可在接口上看到书本 正面以及书脊的实时图像。图像采集模块采集图像采集工作平台 12上的书本图像， 将其储存至原始图像存储数据库单元。计算机视觉图像处理模块中的计算机图像制 作子模块矫正并合并原始图像并储存至处理后图像存储数据库单元。计算机视觉图 像处理模块中的分析子模块对处理后的书本图像进行分析并获取书本的表面是否 有足够的特征信息、 书本的长宽高（厚度）信息以及书本的重量信息。 系统会首先 分析书本正面是否有足够特征点，若没有足够特征点，系统会提示推迟此书的登记 直至利用碎片形图案标色并粘贴在书本上以增加足够特征点。 若有足够的特征点， 系统会继续分析书本的长宽高 （厚度） 信息， 见图 12为本发明以红线显示书本边 缘示意图， 当接口上的两组用来显示系统分析信息的红线稳定时，说明智能选择单 元已经完成了书本边缘信息的分析， 若用户发现系统分析有误 (如书本边缘与分割 出来边线相差太远）， 则需要指出是长宽信息还是高度 （厚度） 信息判断严重偏差 或错误。 在报错之后， 用户可选择以下两种解决方案： （1 ) 立即从系统中提取含 有背景的原始图像并手动裁剪出正确的书面和书脊图片，保证书本长宽高以及特征 图片信息的正确； （2 ) 让系统记录判断严重偏差错误日志， 待日后再做修改。
若书本边缘信息的分析正常， 系统会自动获取书本信息， 此时系统会并行处 理多项任务：一是将获取的书本重量、尺寸数据以及图像模板储存至程序内部的临 时储存器中；二是采集书本正面以及书脊的图像， 并把这两幅全尺寸的书本分别存 入原始图像存储数据库单元以及根据书本的尺寸信息分割及脱除原始图像中非书 本图像区域，把裁剪后的图像存入处理后图像存储数据库单元； 三是采集时显示书 本正面以及书脊的实时预览截图，此处之所以使用截图显示，是因为若要处理和显 示全尺寸的高分辨率图像，耗时将是低分辨率截图显示的十倍以上，主要目的是截 图图像可以立即显示在屏幕的接口上， 同时在系统后台可处理全尺寸图像，让用户 可以立即确定程序是否已正确裁剪图像。若用户选择获取书面的信息，则需要按照 提示放好书本，进入书面的信息获取接口。此时用户可以在接口上看见书面的实时 图像。在此接口， 系统会再次判断书面的长宽信息以便截取图像， 但书本厚度将不 再做判断。操作流程和正式获取书本正面信息一致。 当完成书面信息的获取后， 也 会进入书本特征信息的确认和储存。
在进入当前书本登记信息总览接口时， 用户可以在接口上看到从条形码数据 库取得的文本资料（书名、 作者、 出版社等） ， 从处理后图像存储数据库输出的经 过处理的分割及脱除了非书本图像区域的正反面以及书脊的彩色照片，从临时储存 器输出的经过计算得出的书本尺寸信息以及书本的重量信息。此时用户需要确定书 本的正反面照片正确， 若发现正反照片有误， 可将正反面的照片互换。
所有采集到的图像特征数据都会存储在特征图像存储数据库单元作备份。 此 外， 用户确认此接口中的所有信息是否正确， 若发现任何信息错漏， 可返回预备接 口重新登记此书。若取消登记，将不保存此书的任何数据而直接退至条形码获取接 口。若所有信息正确，所有书本图像和书本特征存储于书本登记资料存储数据库单 元，射频识别标签数据存储模块则把书本的相关资料包括书面的图像模板、书脊的 图像模板、 书背的图像模板、 书口的图像模板， 该书本特征包括书本的尺寸或其尺 寸分类、重量或其重量分类、国际标准编号位置、图书馆条形码位置、索书号位置、 射频识别标签位置、 射频识别标签芯片编号、 国际标准编号、 图书馆条形码编号、 索书号、被读写的射频识别标签芯片的记录信息，通过射频识别标签读写器写入书 本内粘贴的射频识别标签中， 接着用户可选择消去磁条的磁性。 同时， 应用程序进 入本次登记书本信息总览接口，此接口将以列表形式显示本次登记的书本状况，未 完成登记的书本可通过不同的错误日志链接至需要重新登记的步骤。 在此接口中， 用户可选择进行下一本书的登记，或退出至登陆接口， 同时保存本次书本登记的日 志， 完成本次登记。在登陆接口， 可选择退出应用程序， 至此， 书本登记流程完成。
上述实施例是提供给本领域普通技术人员来实现或使用本发明的， 本领域普 通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或 变化， 因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提 到的创新性特征的最大范围。

Claims

权 利 要 求 书
1、 一种基于计算机视觉及射频识别技术的书本登记管理装置， 包括图像 采集工作平台、 图像采集装置、 射频识别标签读写器及天线组、 电子防盗充消 磁装置、 重量测量装置以及嵌入式中央处理器， 其中：
该图像采集工作平台提供一操作平台， 该操作平台使书脊及书口图像与第 一书面的图像组出现在同一光学采集平面上且彼此相连， 书脊及书口图像反射 到摄像头组的图像采集范围， 该摄像头组进行实时同步拍摄以获得书本在书 脊、 书口以及第一书面这三个方向上的图像， 其中该图像采集工作平台包括放 置书本的平面板， 平面板具有供该摄像头组用作定标的图样、 透明挡板组、 反 射镜面组， 该透明挡板组垂直安置在该图像采集工作平台边角上， 形成直角， 供书本紧贴透明挡板的直角， 确保书脊及书口亦可完全紧贴透明挡板， 该反射 镜面组倾斜安装在透明挡板的另一边， 与图像采集工作平台构成一角度， 以完 整反射整个书脊和书口图像到安装于上方的摄像头组的图像采集范围；
图像采集装置， 由该摄像头组构成， 安装在该图像采集工作平台的上方， 用于采集该图像采集工作平台上的书本的图像；
射频识别标签读写器，连接该天线组，用于对射频识别标签进行读写操作； 天线组， 由多个射频天线元组成， 射频天线元内部的调整电路用于调整射 频天线元的敏感性， 天线组放置于该图像采集工作平台下；
电子防盗充消磁装置， 用于消除或者恢复书本防盗磁条的磁性。
重量测量装置， 设置在该图像采集工作平台的平面板之下， 用于测量图像 采集工作平台上的书本的重量；
嵌入式中央处理器， 控制及运行所有已嵌入安装的固件模块， 包括图像采 集模块、 储存模块、 计算机视觉图像处理模块、 图像分析模块、 射频识别标签 读写模块、 射频识别标签数据存储模块、 监视引擎模块、 管理服务模块、 提示 运行模块。
2、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 该图像采集模块进一步包括：
图像手动采集子模块， 是多镜头图像采集系统， 可按次序或同时的采集方 式来采集书本图像组；
光源控制子模块， 用于为图像采集提供及控制有效均匀的光源； 图像自动采集触发子模块， 连接该图像采集子模块， 利用图像采集范围内 的图像变化自动触发图像采集模块来实现图像采集功能。
3、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 该储存模块连接该图像采集装置和该计算机视觉图像处 理模块， 包括原始图像存储数据库单元和书本登记资料存储数据库单元， 其中 该原始图像存储数据库单元用于储存采集到的书本的原始图像， 该书本登记资 料存储数据库单元用于存储分析后获取到的书本特征。
4、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 计算机视觉图像处理模块连接该图像采集装置， 将采集 到的书本图像组制作成二维书本图像， 并对二维书本图像进行图像分析以获取 书本特征， 该计算机视觉图像处理模块中设有用于制作二维书本图像的计算机 图像制作子模块， 该计算机图像制作子模块进一步包括：
测定单元， 检测摄像头组定标图样在摄像头中的二维位置；
图像矫正单元， 矫正一个或多个摄像头采集到的扭曲变形的图像； 图像合并单元， 连接该图像矫正单元， 通过检测多幅图像的异同合并矫正 后的图像；
智能选择单元， 在书本图像组中根据书本图像和图像采集工作平台的背景 自动分割及消除非书本图像区域， 标识书本边线， 制成书脊、 书口及书面； 处理后图像存储数据库单元， 连接该智能选择单元， 用于存储经过处理的 书本图像。
5、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 该计算机视觉图像处理模块中进一步设有用于对二维书 本图像组进行图像组分析以获取书本特征的图像分析子模块， 该图像分析子模 块进一步包括： 图像尺寸测算单元， 用于测量书本的长、 宽、 高；
图像模板撷取单元， 利用书本图像的特征点撷取出书本的模板， 用作以后 判别书本图像的特征；
图书馆条形码辨识单元， 辨识图书馆条形码的位置， 撷取图书馆条形码的 图像；
国际标准编号条形码辨识单元， 辨识国际标准编号条形码位置， 撷取出国 际标准编号条形码图像；
索书号条形码辨识单元， 辨识索书号条形码位置， 撷取出索书号条形码图 像；
阈值分析及选择单元， 找出及设定最优化的模型阈值、 系统畸变及尺寸误 差值和匹配核数；
光学字符分析单元， 用于从撷取出的图书馆条形码、 国际标准编号条形码 和索书号条形码图像中分析出字符信息；
特征图像存储数据库单元， 用于存储书本图像和书本特征， 该书本图像包 括书面的图像模板、 书脊的图像模板、 书背的图像模板、 书口的图像模板， 该 书本特征包括书本的长、 宽、 高尺寸及其尺寸分类、 重量及其重量分类、 国际 标准编号位置、 图书馆条形码位置、 索书号位置、 射频识别标签位置、 射频识 别标签芯片编号、 国际标准编号、 图书馆条形码编号、 索书号、 被读写的射频 识别标签芯片的记录信息。
6、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 射频识别标签数据存储模块， 用来定义所有图像及书本 特征的标签在芯片中存储的存取单位位置， 该唯一的存取单位位置是供使用者 读写芯片中存储的书本特征。
7、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 该射频识别标签读写模块连接射频识别标签数据储存模 块， 该射频识别标签读写模块进一步包括：
读写器固件， 用于执行读写书本中射频识别标签芯片的特征， 基于射频识 别标签数据存储模块中的存取单位位置将书本特征读取出来或者写入书本内 的射频识别标签芯片中；
射频识别标签位置分析单元， 采用非接触式电磁感应方式来识别射频识别 标签在书本上的位置。
8、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 装置还包括：
监视引擎模块， 连接该书本登记管理装置的各个组件， 对所有组件的运行 状态进行监控， 该监视引擎模块进一步包括：
模块运行状态汇报单元， 提取装置内各组件当前的运行状态， 建立故 障日志， 并发送故障状态的信息到指定的记录地点；
自动修复单元， 根据预测到的不当运行， 在不干扰系统应用程序或业 务程序的情况下对出错的模块进行修复。
9、 根据权利要求 1 所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 装置还包括：
管理服务模块， 供操作人员远程或现场管理和监控书本登记管理装置的信 息， 进一步包括：
升级单元， 通过本地端口或远程网络为固件或软件升级；
汇报单元， 向操作人员发送装置内各模块当前的运行状态； 参数设定单元， 供操作人员输入装置内各模块的相关参数， 设定系统 设定值；
提取下载数据单元， 提取下载数据， 自动建立相关的数据下载连接； 图像区域设定单元， 在储存模块的原始图像中选择或定义一个特定范 围的图像区域， 用以手动剪裁出正确的书面或书脊图片。
10、 根据权利要求 1所述的基于计算机视觉及射频识别技术的书本登记管 理装置， 其特征在于， 该装置还包括：
提示运行状态模块，根据运行状态向操作人员发出提示信号，进一步包括: 语音提示控制单元， 以语音信号的方式提示操作人员登记管理的状 态；
闪光提示控制单元， 以光信号的方式提示操作人员登记管理的状态。
PCT/CN2010/080150 2009-12-24 2010-12-23 基于计算机视觉及射频识别技术的书本登记管理装置 WO2011076127A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/519,071 US8885048B2 (en) 2009-12-24 2010-12-23 Computer vision and radio frequency identification technology based book enrolment management apparatus
EP10838690.5A EP2551833A4 (en) 2009-12-24 2010-12-23 DEVICE FOR REGISTERING AND MANAGING A BOOK BASED ON COMPUTER VIEW AND RFID PROCESSING

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2009102006124A CN102110332B (zh) 2009-12-24 2009-12-24 基于计算机视觉及射频识别技术的书本登记管理装置
CN200910200612.4 2009-12-24

Publications (1)

Publication Number Publication Date
WO2011076127A1 true WO2011076127A1 (zh) 2011-06-30

Family

ID=44174475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/080150 WO2011076127A1 (zh) 2009-12-24 2010-12-23 基于计算机视觉及射频识别技术的书本登记管理装置

Country Status (4)

Country Link
US (1) US8885048B2 (zh)
EP (1) EP2551833A4 (zh)
CN (1) CN102110332B (zh)
WO (1) WO2011076127A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI450198B (zh) * 2012-10-30 2014-08-21
CN108107983A (zh) * 2018-01-29 2018-06-01 奕博文化（深圳）有限公司 一种博物馆藏品点交设备
CN110728806A (zh) * 2019-09-17 2020-01-24 张学忠 一种用于防盗的图书自助借还装置和方法
CN112217952A (zh) * 2020-09-29 2021-01-12 温州卡度琳广告设计有限公司 一种基于新一代信息技术的图像数字化采集装置
CN113487598A (zh) * 2021-07-26 2021-10-08 中国科学院国家空间科学中心 一种基于计算机视觉的图书装订错误检测系统

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295095B2 (en) * 2005-02-07 2022-04-05 Mynette Technologies, Inc. Secure reading of passport RFID tags
US20120320237A1 (en) * 2011-06-15 2012-12-20 Wei-Ting Liu Camera with function of removing unwanted object and method thereof
JP6037134B2 (ja) * 2011-08-16 2016-11-30 日本電気株式会社 特徴点対応付けシステム、特徴点対応付け方法、およびプログラム
CN102555578A (zh) * 2012-01-13 2012-07-11 上海阿法迪智能标签系统技术有限公司 Emuhf系统
US9468162B2 (en) 2012-08-01 2016-10-18 Rain Bird Corporation Irrigation controller wireless network adapter and networked remote service
ES2734348T3 (es) 2012-11-07 2019-12-05 Rain Bird Corp Sistema de control de riego
US20140185934A1 (en) * 2013-01-03 2014-07-03 Lightlibrary, Inc. Process and system for authenticating ownership of a physical book to a third party via a mobile application
CN106791262A (zh) * 2013-01-25 2017-05-31 陈旭 图文采集识别装置
CN104021436A (zh) * 2013-03-01 2014-09-03 中国石油化工股份有限公司 一种生产现场的资料借阅管理系统
CN103295034B (zh) * 2013-04-30 2015-10-21 中南大学 一种基于dsp的嵌入式图书乱架清点系统及方法
CN104133425A (zh) * 2013-05-03 2014-11-05 杨东海 自助文化中心控制系统
CN103347139B (zh) * 2013-06-23 2016-01-06 四川海普工控技术有限公司 一种控制复印用纸成本的复印方法
CN104122815B (zh) * 2014-06-26 2017-07-04 南京易周能源科技有限公司 一种基于arm的水文测控终端及其远程升级的方法
US9973671B2 (en) * 2014-08-27 2018-05-15 Symbol Technologies, Llc Method and apparatus for directing data capture devices in a mobile unit with a single operation
CN104715077B (zh) * 2015-03-27 2018-06-05 李冬 数据采集处理方法
US10559086B1 (en) 2015-05-15 2020-02-11 4DMobile, LLC System for volume dimensioning via holographic sensor fusion
US9785204B1 (en) * 2015-05-15 2017-10-10 Mobiledemand Lc Ruggedized mobile device with integrated wireless charging and snap mount
CN104966081B (zh) * 2015-06-04 2018-05-01 广州美读信息技术有限公司 书脊图像识别方法
CN106021472A (zh) * 2016-05-18 2016-10-12 上海交通大学 基于一维位置传感装置的图书定位系统及方法
US10609878B2 (en) 2016-07-15 2020-04-07 Rain Bird Corporation Wireless remote irrigation control
CN109272660A (zh) * 2017-07-18 2019-01-25 易源霖 一种移动信息载体租售系统及方法
CN107248241A (zh) * 2017-07-26 2017-10-13 山东步客互动网络科技有限公司 一种图书自助还书系统及其图书自助还书方法
CN107632319B (zh) * 2017-07-31 2019-02-15 成都理工大学 基于gst的碳酸盐岩非均质储层中溶洞识别标定方法
CN107463114B (zh) * 2017-08-04 2021-01-15 京东方科技集团股份有限公司 基于书架的书籍管理方法及系统
CN108000525B (zh) * 2017-10-23 2021-10-15 广东数相智能科技有限公司 一种图书管理机器人和基于机器人的图书错放识别方法
JP2019086310A (ja) * 2017-11-02 2019-06-06 株式会社日立製作所 距離画像カメラ、距離画像カメラシステム、及びそれらの制御方法
CN109359496B (zh) * 2017-12-29 2021-09-28 深圳Tcl新技术有限公司 一种包装盒、基于包装盒的商品识别方法及装置
CN108845786A (zh) * 2018-05-31 2018-11-20 北京智能管家科技有限公司 智能伴读方法、装置、设备和存储介质
CN109241374B (zh) * 2018-06-07 2022-05-20 广东数相智能科技有限公司 一种图书信息库更新方法及图书馆书籍定位方法
JP6587300B1 (ja) 2018-11-05 2019-10-09 Ｎｅｃプラットフォームズ株式会社 商品撮像装置、商品撮像方法、及び画像認識ｐｏｓシステム
US10825137B2 (en) * 2019-01-15 2020-11-03 Datalogic IP Tech, S.r.l. Systems and methods for pre-localization of regions of interest for optical character recognition, and devices therefor
JP6798718B2 (ja) * 2019-09-03 2020-12-09 Ｎｅｃプラットフォームズ株式会社 商品撮像装置、商品撮像方法、及び画像認識ｐｏｓシステム
CN110624848B (zh) * 2019-09-30 2021-09-10 济南职业学院 书籍自动分拣计算机系统及方法
US11669988B1 (en) 2020-02-10 2023-06-06 4DMobile, LLC System and method for three-dimensional box segmentation and measurement
CN111539431B (zh) * 2020-03-05 2022-03-15 南通大学 一种对在架紧密排布图书图像分割提取单本书脊的方法
CN111292487B (zh) * 2020-03-18 2020-12-25 山东工业职业学院 一种图书扫描机
CN111570292A (zh) * 2020-05-22 2020-08-25 南通大学 基于OpenCV的面部识别图书自动分选上架机器人系统
CN112419624A (zh) * 2020-10-28 2021-02-26 福建中锐网络股份有限公司 基于视觉、重力传感、rfid融合的智能图书柜及其工作方法
CN112307793B (zh) * 2020-10-30 2022-08-02 杭州横竖科技有限公司 一种复杂背景下批量识别书脊上的条形码的方法
CN112364740B (zh) * 2020-10-30 2024-04-19 交控科技股份有限公司 一种基于计算机视觉的无人机房监控方法及系统
CN112769937B (zh) * 2021-01-12 2021-09-03 济源职业技术学院 一种医疗固废物监管系统
CN113231326A (zh) * 2021-03-22 2021-08-10 重庆电子工程职业学院 一种基于人工智能的图书快速扫描装置
CN113808343B (zh) * 2021-10-26 2024-02-23 海信集团控股股份有限公司 图书信息入库的方法及电子设备
CN115140471B (zh) * 2022-06-29 2024-01-02 山东西部智能科技有限公司 一种物品管理方法、系统、设备及计算机可读存储介质
CN115661762B (zh) * 2022-12-15 2023-03-17 山东德普检测技术有限公司 一种图书馆环境智能监测管理系统及方法
CN116306747A (zh) * 2023-05-15 2023-06-23 民航成都物流技术有限公司 一种物品信息获取方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094346A (ja) * 2004-09-27 2006-04-06 Kyocera Mita Corp 画像形成装置、ｉｃタグ、画像形成方法、及びプログラム
US20070051793A1 (en) * 2005-09-06 2007-03-08 Masayoshi Katoh Information processing apparatus, information recording system, information recording method, and computer-readable medium storing program
CN101064026A (zh) * 2006-04-28 2007-10-31 中国科学院自动化研究所 基于射频识别技术的图书馆自动借还书系统
CN101145202A (zh) * 2007-10-25 2008-03-19 余启联 书包智能管理器
CN101447032A (zh) * 2008-12-12 2009-06-03 浙江大学宁波理工学院 图书馆内各种图书利用率的监测跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69939064D1 (de) * 1998-08-14 2008-08-21 3M Innovative Properties Co Anwendungen für radiofrequenzidentifikationssysteme
US7961936B2 (en) * 2007-03-30 2011-06-14 Intel Corporation Non-overlap region based automatic global alignment for ring camera image mosaic

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094346A (ja) * 2004-09-27 2006-04-06 Kyocera Mita Corp 画像形成装置、ｉｃタグ、画像形成方法、及びプログラム
US20070051793A1 (en) * 2005-09-06 2007-03-08 Masayoshi Katoh Information processing apparatus, information recording system, information recording method, and computer-readable medium storing program
CN101064026A (zh) * 2006-04-28 2007-10-31 中国科学院自动化研究所 基于射频识别技术的图书馆自动借还书系统
CN101145202A (zh) * 2007-10-25 2008-03-19 余启联 书包智能管理器
CN101447032A (zh) * 2008-12-12 2009-06-03 浙江大学宁波理工学院 图书馆内各种图书利用率的监测跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI450198B (zh) * 2012-10-30 2014-08-21
CN108107983A (zh) * 2018-01-29 2018-06-01 奕博文化（深圳）有限公司 一种博物馆藏品点交设备
CN108107983B (zh) * 2018-01-29 2024-03-01 北京清尚建筑装饰工程有限公司 一种博物馆藏品点交设备
CN110728806A (zh) * 2019-09-17 2020-01-24 张学忠 一种用于防盗的图书自助借还装置和方法
CN110728806B (zh) * 2019-09-17 2021-08-24 张学忠 一种用于防盗的图书自助借还装置和方法
CN112217952A (zh) * 2020-09-29 2021-01-12 温州卡度琳广告设计有限公司 一种基于新一代信息技术的图像数字化采集装置
CN112217952B (zh) * 2020-09-29 2022-06-03 深圳市梦作坊科技有限公司 一种基于信息技术的图像数字化采集装置
CN113487598A (zh) * 2021-07-26 2021-10-08 中国科学院国家空间科学中心 一种基于计算机视觉的图书装订错误检测系统

Also Published As

Publication number Publication date
US20120268606A1 (en) 2012-10-25
CN102110332A (zh) 2011-06-29
US8885048B2 (en) 2014-11-11
CN102110332B (zh) 2013-01-09
EP2551833A4 (en) 2015-01-21
EP2551833A1 (en) 2013-01-30

Similar Documents

Publication Publication Date Title
WO2011076127A1 (zh) 基于计算机视觉及射频识别技术的书本登记管理装置
US10885644B2 (en) Detecting specified image identifiers on objects
US9661216B2 (en) Automatic image capture
US10331929B2 (en) Imaging terminal, imaging sensor to determine document orientation based on bar code orientation and methods for operating the same
CN103975342B (zh) 用于移动图像捕获和处理的系统和方法
CN105528604B (zh) 一种基于ocr的票据自动识别与处理系统
US20120081551A1 (en) Monitoring System
US20120281874A1 (en) Method, material, and apparatus to improve acquisition of human frontal face images using image template
US9659206B2 (en) Station for acquiring biometric and biographic data
CN105427088A (zh) 不动产证智能发放器及其发放控制方法
JP7437837B2 (ja) 仮想セルを用いたｏｃｒベースの文書分析システム及び方法
JP7444495B2 (ja) Ｏｃｒベース文書分析システム及び方法
JP6098784B2 (ja) 画像処理装置及びプログラム
CN110705620A (zh) 一种基于翻拍识别的陈列图像检测方法、装置及存储介质
CN115238723A (zh) 一种局部顶点检测方法及装置
JP2002304597A (ja) 梱包箱に記入された手書き数値情報の認識方式
CN113486715A (zh) 图像翻拍识别方法、智能终端以及计算机存储介质
EP1006475A2 (en) Produce recognition system including a produce shape data collector
CN109543649A (zh) 一种基于人脸识别与信息通讯的身份识别系统和方法
CN1032988C (zh) 印章识别方法及其系统
US20230306630A1 (en) Image analysis server, object counting method using image analysis server, and object counting syste
CN219351795U (zh) 一种证照识读高拍仪
KR20220165423A (ko) 신분증 스푸핑 탐지 방법 및 이를 위한 서버
TWI621076B (zh) 結帳管理系統
CN116246260A (zh) 部件的识别方法和识别装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10838690

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13519071

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010838690

Country of ref document: EP