WO2019244685A1 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2019244685A1
WO2019244685A1 PCT/JP2019/022846 JP2019022846W WO2019244685A1 WO 2019244685 A1 WO2019244685 A1 WO 2019244685A1 JP 2019022846 W JP2019022846 W JP 2019022846W WO 2019244685 A1 WO2019244685 A1 WO 2019244685A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
processing apparatus
imaging
zoom magnification
Prior art date
Application number
PCT/JP2019/022846
Other languages
English (en)
French (fr)
Inventor
千明 三河
知也 浅沼
悠也 三宅
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN201980040646.3A priority Critical patent/CN112369007B/zh
Priority to KR1020217000014A priority patent/KR102457013B1/ko
Priority to EP19822637.5A priority patent/EP3813353A4/en
Publication of WO2019244685A1 publication Critical patent/WO2019244685A1/ja
Priority to US17/119,819 priority patent/US11363208B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code

Definitions

  • the present invention relates to an image processing device, an image processing method, a program, and a recording medium.
  • Patent Literature 1 discloses a technique in such a monitoring system in which a part of a captured image is specified by a pointing device such as a mouse and a camera is controlled so as to image a specified portion.
  • Patent Document 2 discloses an inventory management system that reads a barcode with a camera for inventory management.
  • the present invention has been made in view of such a problem, and an object of the present invention is to reduce a processing load related to photographing and reduce a processing time when a plurality of imaging targets exist.
  • the present invention provides an image processing device capable of communicating with an imaging device, wherein a first obtaining unit that obtains a first image generated by performing an imaging process at a first zoom magnification; Setting means for setting a division condition of a detection range included in one image, division means for dividing the detection range into a plurality of division areas according to the division condition, and an imaging direction based on each division area of the detection range.
  • the imaging control unit controls the imaging device to change and execute the imaging process at a second zoom magnification larger than the first zoom magnification, and to sequentially generate a second image. It is characterized by comprising a second acquisition unit for acquiring, and a reading unit for executing a data reading process for each of the second images.
  • FIG. 1 is an overall configuration diagram of an image processing system.
  • FIG. 2 is a hardware configuration diagram of the image processing apparatus. It is an external view of a NW camera.
  • FIG. 3 is a hardware configuration diagram of the NW camera. It is a flowchart which shows a preparation process. It is a figure showing an example of a photography screen. It is a figure showing an example of a setting screen. It is a flowchart which shows a reading process. It is a figure showing an example of a detection result. It is a figure showing a load. It is a flowchart which shows a preparation process. It is a figure showing a matching model. It is a figure showing an example of a setting screen. It is a figure showing an example of a test screen.
  • FIG. 4 is a diagram illustrating an example of a file. It is a flowchart which shows a reading process. It is a figure showing an example of a photography screen. It is a figure showing an example of a reading screen.
  • FIG. 1 is an overall configuration diagram of the image processing system.
  • the image processing system according to the present embodiment captures a load carried in a factory or the like, reads a barcode attached to the load, and compares the read barcode with the contents of a barcode registered in advance, so that the luggage or the like is on schedule. This is a system that confirms that the item has been imported. Further, in the present embodiment, it is assumed that a tag is attached to each package included in the load to be imaged, and a bar code is written on each tag. The image processing system according to the present embodiment sequentially reads and collates barcodes written on each tag attached to each package.
  • the target of reading and collation by the image processing apparatus 100 is a barcode
  • the target of reading and collation is not limited to a barcode.
  • Other examples of the object to be read may be a number, a character or a symbol itself, or a shape representing a shape such as a graphic representing such information according to a certain rule.
  • the image processing system includes an image processing apparatus 100, an NW (network) camera 110, a DB (database) 120, and a POE (Power over Ethernet) hub.
  • the image processing system also includes a PLC (programmable logic controller) 140 and a sensor 150.
  • the POE hub 130 is connected to the image processing device 100, the NW camera 110, the DB 120, and the PLC 140, communicates with each unit, and supplies power to each unit.
  • the DB 120 the contents of the barcode written on each of the plurality of tags attached to the plurality of packages to be carried are registered in advance.
  • the PLC 140 controls the entire image processing system.
  • the sensor 150 detects that a load has been carried into a predetermined location.
  • the image processing apparatus 100 is connected to the NW camera 110 via the POE hub 130, and controls shooting by the NW camera 110 by transmitting a control command described later.
  • the NW camera 110 is installed so as to capture an image of the loading location of the load A, and captures an image of the load A under the control of the image processing apparatus 100.
  • the load A is a stack of a plurality of loads to which a tag is attached.
  • the image processing apparatus 100 further receives an image obtained by the NW camera 110 via the POE hub 130.
  • the image processing apparatus 100 detects the image of the tag on which the barcode is written in the received image, and reads the barcode.
  • the image processing apparatus 100 compares the barcode information read from the image with the barcode information stored in the DB 120.
  • the luggage or the like has been carried in as scheduled.
  • the description will be made by taking as an example the loading of a load, but the present invention can also be applied to the collation at the time of loading the load.
  • FIG. 2 is a hardware configuration diagram of the image processing apparatus 100.
  • the image processing apparatus 100 has a CPU 201, a ROM 202, a RAM 203, a display 204, an HDD 205, an input device 206, a media drive 207, and an I / F 208.
  • the CPU 201 reads out the control program stored in the ROM 202 and executes various processes.
  • the RAM 203 is used as a temporary storage area such as a main memory and a work area of the CPU 201.
  • the HDD 205 stores various data, various programs, and the like.
  • the display 204 displays various information.
  • the input device 206 receives various operations by the user.
  • the media drive 207 reads data from a medium such as an SD card and writes data to the medium.
  • the I / F 208 performs communication with an external device.
  • the functions and processes of the image processing apparatus 100 described below are realized by the CPU 201 reading out a program stored in the ROM 202 or the HDD 205 and executing the program.
  • the CPU 201 may read a program stored in a recording medium such as an SD card instead of the ROM 202 or the like.
  • at least part of the functions and processing of the image processing apparatus 100 may be realized by, for example, cooperating a plurality of CPUs, a RAM, a ROM, and a storage.
  • at least part of the functions and processing of the image processing apparatus 100 may be implemented using a hardware circuit.
  • FIG. 3 is an external view of the NW camera 110.
  • Reference numeral 301 denotes a pan driving unit that changes the direction of the lens barrel 303 in a direction indicated by a pan direction 304 by driving a pan motor.
  • a tilt driving unit 302 changes the direction of the lens barrel 303 in a direction indicated by a tilt direction 305 by driving a tilt motor.
  • the lens barrel 303 including the lens is rotatable in a rotation direction 306 around the lens center position under the control of a rotation motor.
  • the lens barrel 303 includes a focus lens and a zoom lens, and each is driven by a stepping motor.
  • the NW camera 110 is entirely covered by a dome 307.
  • FIG. 4 is a hardware configuration diagram of the NW camera 110.
  • the NW camera 110 is an imaging device that can communicate with an external device via a network.
  • Reference numeral 401 denotes a lens unit
  • 402 denotes a CCD unit
  • 403 denotes a signal processing unit
  • 404 denotes an image analysis unit
  • 405 denotes an encoding unit
  • 406 denotes a communication processing unit.
  • the optical image captured from the lens unit 401 is converted into RGB digital data by the CCD unit 402 and then transmitted to the signal processing unit 403.
  • the signal processing unit 403 converts RGB digital data into YCbCr 4: 2: 0 format or YCbCr 4: 2: 2 format digital data (image data), converts a requested transmission image into an image size, and performs various filters. Perform processing and the like.
  • the processed image data is transmitted to the image analysis unit 404 and also to the encoding unit 405 at the same time.
  • the image data is transmitted by the communication processing unit 406 to an external device via a network.
  • the encoding unit 405 converts the image data into a predetermined format, for example, H.264.
  • a process for encoding and compressing into H.264 format or JPEG format is executed.
  • the H.264 generated by the encoding unit 405 The H.264 moving image stream data or each JPEG still image data is transmitted to the image processing apparatus 100 by the communication processing unit 406 according to a network protocol such as TCP / IP, HTTP, or RTP.
  • the image analysis unit 404 analyzes the captured image data to detect whether or not the target image includes the subject and the image pattern of the specified condition.
  • Each processing block of the signal processing unit 403, the image analysis unit 404, the encoding unit 405, and the communication processing unit 406 is connected to the CPU 411.
  • Reference numeral 407 denotes a camera control unit, which is connected to the motor drive unit 408 and the lens drive unit 410.
  • the camera control unit 407 controls signals for pan / tilt / rotation operations of the camera (movement in the pan direction, tilt direction, and rotation around the optical axis), and zoom and AF (automatic). Outputs a control signal for the focus operation.
  • the camera control unit 407 controls at least one of the visible range and the movable range of the NW camera 110 according to at least one of the visible range setting and the movable range setting stored in the RAM 413.
  • the motor drive unit 408 includes a motor drive circuit and the like, drives the pan / tilt / rotation motor 409 according to a control signal from the camera control unit 407, and can change the imaging direction of the camera by rotating the motor. It becomes.
  • Reference numeral 410 denotes a lens driving unit which includes a motor and a motor driving circuit for performing various controls such as zooming and AF, and is controlled according to a control signal from a camera control unit 407.
  • # 411 is a CPU (Central Processing Unit), which controls the operation of the entire apparatus by executing a control program stored in a ROM (Read Only Memory) 412.
  • the ROM 412, the RAM 413, and the flash memory 414 are connected to the CPU 411.
  • the CPU 411 is also connected to the signal processing unit 403, the image analysis unit 404, the encoding unit 405, and the communication processing unit 406, and starts / stops operation for each processing block, sets operation conditions, and obtains operation results. And the like to control each processing block.
  • the ROM 412 stores programs and data for the CPU 411 to control the apparatus such as application processing.
  • the RAM 413 is a memory for writing / reading data when the CPU 411 executes the program in the ROM 412.
  • the RAM 413 includes a work area, a temporary save area, and the like used by the CPU 411 to execute a program in device control.
  • the RAM 413 stores at least one of a visible range setting that specifies a range of a viewable angle of view and a movable range setting that specifies a movable range in a pan direction, a tilt direction, and a zoom direction.
  • the CPU 411 changes the shooting direction and the zoom magnification according to the control command received from the image processing device 100 via the communication processing unit 406.
  • the CPU 411 controls the pan / tilt so that the designated position becomes the photographing center in accordance with the control command, and controls the specified zoom magnification. Control the zoom so that
  • FIG. 5 is a flowchart showing the preparation processing by the image processing apparatus 100.
  • the preparation process is a process for setting the shooting position of the NW camera and performing various settings for reading a barcode.
  • FIG. 6 is a diagram illustrating an example of the shooting screen 600 displayed at the start of the execution of the preparation process.
  • the CPU 201 controls the NW camera 110 to capture an entire image in which the entire cargo A is included in the capturing range.
  • the user can set pan / tilt zoom in the area 601 of the capturing screen 600.
  • the CPU 201 generates a control command according to the pan / tilt zoom setting set by a user operation, and transmits the control command to the NW camera 110.
  • the NW camera 110 receives a control command from the image processing apparatus 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, acquires an entire image, and transmits the entire image to the image processing apparatus 100.
  • the CPU 201 controls to display the entire image received in the area 610.
  • the CPU 201 sets the area of the cargo A as a detection range in which barcode detection is performed. Specifically, the CPU 201 detects the area of the cargo A according to a preset image recognition process such as edge detection, and sets the coordinates of the detected area as a barcode detection range. Further, in the area 602 of the shooting screen 600, the user can change the detection range. When a user operation is performed, the CPU 201 changes the detection range according to the user operation. The CPU 201 superimposes and displays a frame 611 indicating the detection range on the entire image.
  • the CPU 201 acquires the number of divisions of the detection range in accordance with the user operation, and sets this as the number of divisions of the detection range. Specifically, when the user inputs the number of vertical and horizontal divisions in the area 603 of the photographing screen 600, the CPU 201 determines the number of divisions according to the input. For example, in the example of FIG. 6, three pieces of luggage are arranged horizontally and five pieces are arranged vertically, so the user inputs the number of divisions of 3 ⁇ 5. After setting the number of divisions according to the value input by the user, the CPU 201 draws a division line 612 for equally dividing the detection range according to the number of divisions in the detection range.
  • the CPU 201 also assigns a number indicating a shooting order to each divided area, and displays a number 614 assigned to each divided area. Note that the CPU 201 also displays a cross 613 indicating the position of the shooting center during zoom shooting described below. The cross 613 is initially displayed at the center of each divided area.
  • step S ⁇ b> 503 when the user inputs a correction value for the center position of zoom shooting in the area 604 of the shooting screen 600, the CPU 201 changes the center position of zoom shooting to the current position (the center of the divided area in the initial state) according to the input. From position) to correct. The CPU 201 further moves the display position of the cross 613 according to the movement of the center position of the zoom photographing. By changing the correction value, the user adjusts the bar code to be read so that the center position of the zoom shooting is overlapped.
  • the CPU 201 sets the zoom magnification in the zoom photographing according to the input.
  • the zoom magnification set in the area 605 is larger than the zoom magnification set in the area 601. Therefore, the photographing range of the zoom image photographed at the zoom magnification set in the area 601 is smaller than the entire image photographed at the zoom magnification set in the area 605.
  • the CPU 201 further displays a shooting range 615 determined according to the set zoom magnification and the center position of the zoom shooting on the entire image.
  • the photographing range 615 is an example of a reading range for reading a barcode
  • the processes of S502 to S504 are performed by combining the photographing range of a zoom image corresponding to each of the plurality of divided areas, that is, the barcode reading range. It is an example of a specification process for specifying the data.
  • the CPU 201 obtains the center position of the zoom shooting set in S503 for the divided area corresponding to the specified number. I do. Then, using the center position as the shooting center, a control command for shooting at the zoom magnification set in S504 is generated, and the control command is transmitted to the NW camera 110.
  • the NW camera 110 receives the control command from the image processing apparatus 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, acquires a zoom image, and transmits the zoomed image to the image processing apparatus 100.
  • the CPU 201 controls to display the zoomed image received from the NW camera 110 in the area 610.
  • the user checks whether or not the barcode is properly captured in the zoom image displayed in the area 610, and adjusts the zoom magnification by changing the value input in the area 605 as necessary. it can.
  • the CPU 201 regenerates a control command and transmits the control command to the NW camera 110.
  • the NW camera 110 performs a shooting process according to the new control command, newly acquires a zoom image, and transmits the zoom image to the image processing apparatus 100.
  • the CPU 201 can receive the zoom image photographed at the zoom magnification reflecting the change from the NW camera 110 and display the zoom image in the area 610, and the user can confirm the result of the change.
  • the CPU 201 sets the shooting order specified by the user in the area 608 as the shooting order of the zoom image.
  • two types vertical shooting and horizontal shooting, can be selected in the shooting order.
  • the vertical shooting the divided regions in the same column are sequentially photographed in the vertical direction, and then moved to the right column, and the divided regions in the same column are sequentially photographed in the vertical direction.
  • the horizontal shooting the divided regions of the same row are sequentially photographed in the horizontal direction, and then the line is moved to the next lower row to sequentially photograph the divided regions of the same row in the horizontal direction. In this way, by sequentially photographing the adjacent divided areas, the amount of pan-tilt movement for photographing the next photographing range can be reduced.
  • FIG. 6 shows a shooting order when the vertical shooting is set.
  • the display of the shooting order is also changed. Note that the above-described shooting order is an example, and any other shooting order may be used as long as the amount of pan / tilt movement is small.
  • the CPU 201 reads the reference image.
  • the reference image is an image serving as a reference for setting a reading target of the zoom image.
  • the zoom image displayed in the area 610 in step S504 is stored in the HDD 205 and is read as a reference image.
  • the CPU 201 performs various settings related to reading of a reading target (a barcode in the present embodiment) according to a user operation.
  • FIG. 7 is a diagram showing an example of a setting screen 700 for receiving a user operation when performing various settings. The user inputs various settings on the setting screen 700.
  • a reference image is displayed in an area 710 of the setting screen 700.
  • a zoom image stored in the HDD 205 in advance is read and displayed as a reference image.
  • the shooting button 702 is pressed, a control command is transmitted to the NW camera 110 to request shooting, and in response to this, an image shot by the NW camera 110 is received and displayed as a reference image. You may do so.
  • a rectangular range to be read with a barcode is designated.
  • the type of a barcode to be read is input.
  • the number of barcodes detected in the zoom image is input.
  • a dictionary for obtaining a value by selecting a dictionary by collating with a barcode reading result is selected.
  • the CPU 201 executes a process of reading a barcode value from the reference image based on the setting. Then, the CPU 201 superimposes the value 711 obtained by comparing the read barcode with the dictionary on the image and displays the value in the area 710. Thereby, the user can confirm whether various settings related to barcode reading are appropriate. Thus, the preparation processing is completed.
  • FIG. 8 is a flowchart showing the reading process.
  • the sensor 150 detects the load and notifies the PLC 140.
  • the PLC 140 Upon receiving the notification from the sensor 150, the PLC 140 sends a predetermined notification to the image processing apparatus 100 indicating that the imaging target has been detected.
  • the CPU 201 of the image processing apparatus 100 determines whether a predetermined notification has been received from the PLC 140.
  • the CPU 201 starts a reading process.
  • step S ⁇ b> 802 the CPU 201 generates a control command according to the value set in the area 601 in FIG. 6 and transmits the control command to the NW camera 110.
  • the NW camera 110 receives a control command from the image processing apparatus 100, performs pan-tilt zoom according to the setting indicated by the control command, and captures an entire image. Then, the CPU 201 receives the entire image from the NW camera 110. Further, in step S803, the CPU 201 performs image recognition processing on the entire image received in step S802, detects the area of the cargo, and compares the coordinates of the area with the coordinates of the detection range set in step S501. . Based on the result of the comparison, a deviation between the position of the detection range in the whole image used for setting on the photographing screen 600 in FIG. 6 and the position of the detection range in the whole image received in S802 is calculated. This makes it possible to correct the position of the detection range in the whole image slightly different for each cargo or each photographing. Note that the angle information of the detection range may be set in S501, and the deviation of the angle of the detection range may be calculated and corrected.
  • step S804 the CPU 201 sets the zoom magnification input in the area 605 of the photographing screen 600 shown in FIG. 6 as the zoom magnification for zoom photographing.
  • step S ⁇ b> 805 the CPU 201 sets the first divided region in the shooting order as a processing target.
  • step S806 the CPU 201 sets the center position of zoom photographing with respect to the processing target divided region. If the center position has been corrected by inputting the area 604, the corrected center position is set.
  • step S807 the CPU 201 sets a shooting range so that the NW camera 110 adjusts the pan / tilt according to the center position of the zoom shooting set in step S806.
  • This process is an example of a change control process for controlling to change the photographing range.
  • step S808 the CPU 201 generates a control command according to the zoom magnification set in step S804 and the shooting range set in step S807, and transmits the control command to the NW camera 110.
  • the NW camera 110 receives the control command from the image processing device 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, obtains a zoom image, and transmits the zoomed image to the image processing device 100. Since the zoom magnification itself is not changed in the second and subsequent divided areas, the NW camera 110 performs shooting while changing only the panning / tilting and changing the shooting range.
  • This process is an example of a shooting control process.
  • the CPU 201 receives the zoom image from the NW camera 110.
  • the CPU 201 reads a barcode from the zoom image received in S809 according to the information set on the setting screen 700 in FIG.
  • the CPU 201 reads the zoom image into the RAM 203 and detects an edge in the range of the shape designated by the area designation 703. Then, the CPU 201 determines a portion where the edges are arranged with a predetermined length and a rule as a barcode, and selects correspondence information between the interval between the edges and the output value based on the type of the barcode specified in the area 704. Then, the barcode value is read from the edge interval on the image.
  • step S811 the CPU 201 stores the result of reading the barcode in a storage unit such as the HDD 205.
  • FIG. 9 is a diagram showing an example of the result of reading the barcode stored in the storage unit.
  • the ID is identification information of the record.
  • the counter is identification information of the zoom image, and in this embodiment, is a number in the shooting order of the divided area corresponding to the zoom image.
  • the division photographing coordinates are information indicating the center position of the zoom image, and are coordinates corresponding to the X mark 613.
  • the zoom range is rectangular coordinates corresponding to a shooting range 615 determined according to the zoom magnification and the zoom shooting center position.
  • the divided shooting coordinates and the zoom range are information indicating a position in the entire image.
  • the number of detections is the number of barcodes detected in the zoom image.
  • the detection number is identification information of a barcode, and is uniquely assigned in the zoom image in the present embodiment.
  • the barcode identification information may be uniquely assigned within the detection range.
  • the center coordinates are coordinates of the center position of the barcode. Note that the center coordinates are information indicating a position in the zoom image. However, the center coordinate may be a value obtained by converting a position in the zoom image into a position in the entire image.
  • the code angle is a tilt angle of the detected barcode with respect to the zoom image.
  • the detection code is information on a code detected as a result of comparing the read barcode with the dictionary. The reliability is the barcode recognition accuracy.
  • the number of detections, the dictionary match, and the determination result of the comprehensive determination are stored.
  • the judgment is OK.
  • the discrepancy in the detected number of barcodes was, for example, the barcode seal was peeled off, the barcode was hidden by something, the barcode was dirty, and the expected barcode was not detected Occasionally, in this case, NG is determined.
  • the criteria for the comprehensive determination can be set arbitrarily.
  • step S ⁇ b> 812 the CPU 201 determines whether the shooting order of the processing target divided region is the last in the order. In the last case (YES in S812), CPU 201 advances the process to S814. If it is not the last (NO in S812), the CPU 201 advances the processing to S813. In step S813, the CPU 201 sets the next divided area in the shooting order as a processing target, and then advances the processing to step S806. In this case, the center position of zoom shooting is changed in S806, the pan / tilt is adjusted again in S807, and the shooting range is switched, and a shooting instruction is issued in S808. In this case, since the zoom magnification is not changed, an operation of once zooming out and zooming in again is not performed. For this reason, the processing time for driving the zoom of the NW camera 110 can be reduced.
  • step S814 the CPU 201 refers to the barcode reading result in FIG. 9 and determines whether there is a zoom image for which barcode reading has failed, that is, whether imaging has succeeded. If there is a failure (YES in S814), CPU 201 advances the processing to S815. When there is no failure (NO in S814), the CPU 201 ends this processing.
  • step S815 the CPU 201 generates a control command such that the NW camera 110 pans and tilts in accordance with the center position of the zoomed image and transmits the control command to the NW camera 110 in order to photograph the zoomed image that has failed to be read again.
  • the NW camera 110 receives the control command from the image processing device 100, performs a panning / tilting process according to the setting indicated by the control command, performs a shooting process, acquires a zoom image, and transmits the zoomed image to the image processing device 100.
  • the CPU 201 receives a zoom image from the NW camera 110.
  • step S816 the CPU 201 performs the barcode reading process again on the received zoom image in the same manner as in step S810, and stores the barcode read result in the storage unit.
  • This processing is the same as the processing in S808 to S811.
  • the CPU 201 generates a control command by shifting the center position of the zoom image from a preset position. For example, first, the NW camera 110 is shifted by a certain amount in the upward direction so as to shoot. Then, the CPU 201 returns to the process of S814, and determines whether the result of the comprehensive determination OK is obtained. When the comprehensive judgment OK is obtained, the processing is ended.
  • the CPU 201 subsequently generates a control command by shifting the shooting range downward by a certain amount, and causes the NW camera 110 to shoot.
  • the CPU 201 shifts the center position of the zoom image in the vertical and horizontal directions in order to shift the shooting range and perform re-shooting.
  • the CPU 201 may change the zoom magnification set in S815 to generate a control command, and cause the NW camera 110 to re-take an image. In this case, first, the CPU 201 changes the zoom magnification in the plus direction and causes the NW camera 110 to perform re-shooting.
  • the preparation processing is unnecessary for the second and subsequent loads, and the image processing apparatus 100 starts the reading processing when receiving the notification that the load has been carried in.
  • the reading process is executed using the conditions set for the cargo A.
  • the result obtained by the reading process is stored in the storage unit of the own device, and the CPU 201 checks the barcode information stored in the DB 120.
  • the subject of collation is not limited to the embodiment.
  • the DB 120 may perform the matching.
  • the reading result obtained by the image processing apparatus 100 is transmitted to the DB 120 via the POE hub 130.
  • the PLC 140 may perform the collation. In this case, the reading result is transmitted to 140 via POE hub 130.
  • the image processing system processes a cargo in which barcodes are regularly arranged in accordance with a matrix pattern and processes positions of a plurality of barcodes attached to the cargo. Can be specified collectively. Further, the image processing system can continuously capture a plurality of zoom images by performing only pan / tilt adjustment according to the specified position without changing the zoom magnification. That is, it is not necessary to perform the zoom-in / zoom-out processing for each photographing. Therefore, it is possible to reduce the load of the processing related to the photographing and shorten the processing time.
  • the user inputs the number of divisions, assuming that the number of packages arranged vertically and horizontally in the cargo may vary depending on the cargo. However, when the number of packages in the vertical and horizontal directions is constant, the input of the number of divisions is unnecessary, and the CPU 201 obtains the number of divisions set in the image processing apparatus 100 in advance, and divides the detection range accordingly. Good.
  • the image processing apparatus 100 specifies the type of the tag (a shipping company or the like) from a mark or the like attached to the tag, and performs zooming at the time of shooting a zoom image according to the specified type.
  • the magnification may be specified.
  • the image processing apparatus 100 stores in advance a table in which the type of tag is associated with the zoom factor, and determines the zoom factor based on the type of tag by referring to this table. If the distance to the cargo is predetermined, a zoom magnification suitable for the size of the barcode or character written on the tag is set in accordance with the type of the tag. Thereby, the image processing apparatus 100 can automatically set the zoom magnification.
  • the image processing apparatus 100 may automatically set the zoom magnification at the time of shooting a zoom image based on the focal length at the time of shooting the entire image.
  • the image processing system according to the second embodiment treats, as a processing target, a load B in which tags are not regularly arranged.
  • the image processing apparatus 100 performs pattern matching on the entire image, detects an area where the image of the tag appears from the entire image, and determines the range of zoom photographing according to the detection result.
  • FIG. 11 is a flowchart illustrating a preparation process performed by the image processing apparatus 100 according to the second embodiment.
  • the CPU 201 adjusts a position when capturing the entire load (the entire capturing position) in accordance with a user operation.
  • the user adjusts the pan / tilt zoom while watching the cargo image displayed on the display 204 so that the entire cargo falls within the photographing range.
  • the CPU 201 generates a control command according to the pan / tilt zoom setting adjusted according to the user operation, and transmits the control command to the NW camera 110.
  • the NW camera 110 receives a control command from the image processing apparatus 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, acquires an entire image, and transmits the entire image to the image processing apparatus 100.
  • the CPU 201 controls to display the received whole image on the display 204.
  • the CPU 201 specifies the position of the tag area including the barcode to be read in the entire image. Specifically, the user finds the tag area in the entire image while looking at the entire image displayed on the display 204, and performs an operation to specify the position. The CPU 201 specifies the position of the tag area in the entire image according to the user operation.
  • the CPU 201 creates a matching model (model image). Specifically, an image of the tag is extracted from the entire image 1200 shown in FIG. 12 in accordance with the position of the region specified in S1102, and this is used as a tag image matching model 1201.
  • the CPU 201 sets pattern matching processing. Specifically, the CPU 201 sets a target area of the pattern matching process on the setting screen 1300 shown in FIG. 13 according to the frame 1301 set by the user.
  • the CPU 201 also sets a matching model according to a user operation.
  • the setting of the matching model refers to designating a matching model image to use the matching model created in S1102 as a reference image for the matching process performed in S1103.
  • the set matching model is displayed in 1302.
  • the CPU 201 further sets a matching parameter according to the input to the area 1303.
  • the CPU 201 also determines the order of performing the matching process. For example, the pattern matching processing is set to be performed in the ascending order / descending order of the x coordinate or in the ascending order / descending order of the y coordinate.
  • the CPU 201 displays a test screen 1400 shown in FIG. In the area 1401 of the test screen 1400, the entire image is displayed, and a frame 1402 indicating the matching result is superimposed on each area where the matching model appears. In FIG. 14, all the areas of the tags 1 to 7 correspond to the matching model. Matches, indicating that detection was successful. The user refers to the matching result, and if there is an area of the tag whose detection has failed, the pattern matching processing is performed by re-designating the position of the zoom photographing in the area 1403 or setting the zoom magnification in the area 1404. Can be adjusted in accuracy. Then, at least one of the tag areas detected in the pattern matching processing is set as the zoom shooting position of the test.
  • step S1104 when the test execution button 1405 is pressed in a state where the zoom shooting position and the zoom magnification are set on the test screen 1400, the CPU 201 generates a control command according to the setting, and outputs the control command to the NW camera. Send to 110.
  • the NW camera 110 receives the control command from the image processing apparatus 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, acquires a zoom image, and transmits the zoomed image to the image processing apparatus 100.
  • CPU 201 displays the received zoom image in area 1401. The user can check whether the barcode is appropriately photographed in the zoomed image and adjust the zoom magnification.
  • step S1105 the CPU 201 further performs reading settings.
  • the process of the main reading setting is the same as the process of S507 in FIG. That is, the CPU 201 sets a rectangular area to be read, a barcode type, the number of barcodes, a dictionary, and the like.
  • the CPU 201 performs settings for storing information read in a reading process described later. Specifically, as shown in FIG. 15, a storage area for storing data is created.
  • FIG. 16 is a flowchart showing the reading process.
  • the sensor 150 detects the load and notifies the PLC 140.
  • the PLC 140 sends a predetermined notification to the image processing apparatus 100 indicating that the imaging target has been detected.
  • the CPU 201 of the image processing apparatus 100 determines whether a predetermined notification has been received from the PLC 140.
  • the CPU 201 starts a reading process.
  • the CPU 201 generates a control command under the shooting conditions set in step S1100 (FIG. 11), and transmits the control command to the NW camera 110.
  • the NW camera 110 receives a control command from the image processing apparatus 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, acquires an entire image, and transmits the entire image to the image processing apparatus 100.
  • the CPU 201 performs a pattern matching process on the entire image received in S1602 according to the information set in the flow of FIG. 11, and detects an image of the tag.
  • the number of detected tag images is N.
  • step S1604 sets the zoom magnification set in step S1104.
  • the CPU 201 sets the image of the first tag among the detected images of the tag as a processing target in accordance with the photographing order.
  • the CPU 201 sets the detection position of the image of the first tag as the center position of the photographing.
  • the CPU 201 generates a control command according to the center position set in S1606 and the zoom magnification set in S1604, and transmits the control command to the NW camera 110.
  • the NW camera 110 receives the control command from the image processing apparatus 100, performs a pan / tilt zoom according to the setting indicated by the control command, performs a shooting process, acquires a zoom image, and transmits the zoomed image to the image processing apparatus 100.
  • the NW camera 110 adjusts only the pan / tilt setting and shoots. Subsequent processing in S1608 to S1613 is the same as the processing in S808 to S813 in FIG.
  • the reading process is terminated.
  • the barcode reading process fails in S1610, or if the pan / tilt control accuracy of the NW camera in the pan / tilt setting performed in S1607 is caused by the cause, the zoom magnification setting, the matching process, and the pan / tilt setting may be performed stepwise. Good.
  • the zoom magnification setting in S1604 is set lower than the zoom magnification at which the code can be read in S1610, and the pattern matching processing of the image of the tag is performed again after the photographing instruction in S1608.
  • the setting of the center position is changed to perform pan / tilt setting, a shooting instruction is issued at the zoom magnification of S1604, and the barcode is read for the received zoom image.
  • FIG. 17 is a diagram showing an example of the photographing screen 1700 displayed when a zoom image is received (S1609). An entire image captured by the NW camera 110 is received and displayed in the area 1701, and a frame 1702 indicating a matching result obtained by detecting a tag is superimposed. Also, in a region 1703, a zoom image captured by the NW camera 110 is received and displayed.
  • FIG. 18 is a diagram illustrating an example of a reading screen 1800 displayed when reading a barcode (S1610). The reading screen 1800 displays a barcode reading result 1801.
  • the image processing system automatically specifies the positions of a plurality of barcodes on a tag and changes the zoom magnification even when the tags are not regularly arranged in the tag. Without zooming, a plurality of zoom images are shot continuously. As a result, it is possible to reduce the processing load related to the photographing and to shorten the processing time.
  • the processing load related to shooting can be reduced, and the processing time can be reduced.
  • the present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. It can also be realized by the following processing. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
  • a circuit for example, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Character Input (AREA)

Abstract

画像処理装置は、撮像装置と通信可能であって、第1のズーム倍率で撮像処理を実行して生成された第1の画像を取得する第1の取得手段と、前記第1の画像に含まれる検出範囲の分割条件を設定する設定手段と、前記分割条件にしたがって前記検出範囲を複数の分割領域に分割する分割手段と、前記検出範囲の各分割領域に基づき撮像方向を変更し、第1のズーム倍率よりも大きな第2のズーム倍率で撮像処理を実行し、第2の画像を順に生成するように撮像装置を制御する撮像制御手段と、前記第2の画像をそれぞれ取得する第2の取得手段と、前記第2の画像毎にデータの読み取り処理を実行する読取手段を備えることを特徴とする。

Description

画像処理装置、画像処理方法、プログラムおよび記録媒体
 本発明は、画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
 近年、遠隔地に設置されたカメラのパン、チルト、ズームを、ネットワークを介して監視側の端末から制御可能なシステムが普及しつつある。特許文献1には、このような監視システムにおいて、撮像された画像の一部をマウスなどのポインティングデバイスによって指定し、指定された箇所を撮像するように、カメラを制御する技術が開示されている。また、特許文献2には、在庫管理するためにカメラでバーコードを読み取る在庫管理システムが開示されている。
 しかしながら、従来技術においては、撮像対象物が複数存在する場合には、個々にパンチルトズームを指定して撮影する必要があり、処理に時間がかかるという問題があった。
 本発明はこのような問題点に鑑みなされたもので、撮像対象物が複数存在する場合において、撮影に係る処理の負荷を軽減し、処理時間を短縮することを目的とする。
特開2011-142685号公報 特開2011-150460号公報
 そこで、本発明は、撮像装置と通信可能な画像処理装置であって、第1のズーム倍率で撮像処理を実行して生成された第1の画像を取得する第1の取得手段と、前記第1の画像に含まれる検出範囲の分割条件を設定する設定手段と、前記分割条件にしたがって前記検出範囲を複数の分割領域に分割する分割手段と、前記検出範囲の各分割領域に基づき撮像方向を変更し、第1のズーム倍率よりも大きな第2のズーム倍率で撮像処理を実行し、第2の画像を順に生成するように撮像装置を制御する撮像制御手段と、前記第2の画像をそれぞれ取得する第2の取得手段と、前記第2の画像毎にデータの読み取り処理を実行する読取手段を備えることを特徴とする。
画像処理システムの全体構成図である。 画像処理装置のハードウェア構成図である。 NWカメラの外観図である。 NWカメラのハードウェア構成図である。 準備処理を示すフローチャートである。 撮影画面の一例を示す図である。 設定画面の一例を示す図である。 読み取り処理を示すフローチャートである。 検出結果の一例を示す図である。 積荷を示す図である。 準備処理を示すフローチャートである。 マッチングモデルを示す図である。 設定画面の一例を示す図である。 テスト画面の一例を示す図である。 ファイルの一例を示す図である。 読み取り処理を示すフローチャートである。 撮影画面の一例を示す図である。 読み取り画面の一例を示す図である。
 以下、本発明の実施形態について図面に基づいて説明する。
 (第1の実施形態)
 図1は、画像処理システムの全体構成図である。本実施形態に係る画像処理システムは、工場等において搬入された積荷を撮影し、積荷に付されたバーコードを読み取り、予め登録されたバーコードの内容と照合することにより、荷物等が予定通り搬入されたことを確認するシステムである。さらに、本実施形態においては、撮影対象となる積荷に含まれる各荷物に荷札が添付されており、各荷札にバーコードが記されているものとする。本実施形態に係る画像処理システムは、各荷物に添付された荷札それぞれに記されたバーコードを順次読み取り、照合する。なお、本実施形態においては、画像処理装置100による読み取り及び照合の対象がバーコードである場合を例に説明するが、読み取り及び照合の対象は、バーコードに限定されるものではない。読み取り対象の他の例としては、数字、文字や記号そのものであったり、これらの情報を一定の規則に従って表した図形など形状を表すものであってもよい。
 画像処理システムは、画像処理装置100と、NW(network)カメラ110と、DB(database)120と、POE(Power over Ethernet)ハブ130とを有している。画像処理システムはまた、PLC(programmable logic controller)140と、センサ150とを有している。
 POEハブ130は、画像処理装置100、NWカメラ110、DB120及びPLC140に接続し、各部との通信を行うと共に、各部に電源を供給する。DB120には、搬入予定の複数の荷物に添付された複数の荷札それぞれに記されたバーコードの内容が予め登録されている。PLC140は、画像処理システムの全体を制御する。センサ150は、予め定められた場所に積荷が搬入されたことを検知する。
 画像処理装置100は、POEハブ130を介して、NWカメラ110と接続し、後述する制御コマンドを送信することによりNWカメラ110による撮影を制御する。NWカメラ110は、積荷Aの搬入場所を撮影するように設置されており、画像処理装置100の制御の下、積荷Aの画像を撮影する。ここで、積荷Aは、荷札が添付された複数の荷物が積み上げられたものである。画像処理装置100は、さらに、NWカメラ110により得られた画像を、POEハブ130を介して受信する。画像処理装置100は、受信された画像においてバーコードが記された荷札の画像を検出し、バーコードの読み取りを行う。画像処理装置100は、画像から読み取ったバーコードの情報とDB120に記憶されているバーコードの情報との照合を行う。これにより、荷物等が予定通り搬入されたことを確認することができる。なお、本実施形態においては、荷物の搬入を例に説明するが、荷物の搬出時の照合にも適用可能である。
 図2は、画像処理装置100のハードウェア構成図である。画像処理装置100は、CPU201と、ROM202と、RAM203と、ディスプレイ204と、HDD205と、入力装置206と、メディアドライブ207と、I/F208とを有している。CPU201は、ROM202に記憶された制御プログラムを読み出して各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD205は、各種データや各種プログラム等を記憶する。ディスプレイ204は、各種情報を表示する。入力装置206は、ユーザによる各種操作を受け付ける。メディアドライブ207は、SDカード等のメディアからのデータの読み出しやメディアへのデータの書き込み等を行う。I/F208は、外部装置との通信を行う。
 なお、後述する画像処理装置100の機能や処理は、CPU201がROM202又はHDD205に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU201は、ROM202等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、画像処理装置100の機能や処理の少なくとも一部は、例えば複数のCPU、RAM、ROM、及びストレージを協働させることにより実現してもよい。また、他の例としては、画像処理装置100の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
 図3は、NWカメラ110の外観図である。301はパン駆動部であり、パンモータの駆動によりパン方向304で示す方向へ鏡筒部303の向きを変更させる。302はチルト駆動部であり、チルトモータの駆動によりチルト方向305で示す方向へ鏡筒部303の向きを変更させる。また、レンズを含む鏡筒部303は、ローテートモータの制御により、レンズ中心位置を中心に、ローテート方向306で示す方向に回転可能である。また、鏡筒部303はフォーカスレンズやズームレンズを含み、それぞれステッピング・モータにより駆動される。NWカメラ110は、ドーム307によって全体を覆われている。
 図4は、NWカメラ110のハードウェア構成図である。NWカメラ110は、ネットワークを介して外部の装置と通信可能な撮像装置である。401はレンズ部、402はCCD部、403は信号処理部、404は画像解析部、405は符号化部、406は通信処理部である。以下、NWカメラ110で撮像された画像データを画像処理装置100へ配信するまでの処理を説明する。レンズ部401から取り込まれた光学画像はCCD部402でRGBデジタルデータに変換された後、信号処理部403へ送信される。信号処理部403では、RGBデジタルデータをYCbCr4:2:0フォーマットまたはYCbCr4:2:2フォーマットのデジタルデータ(画像データ)に変換する処理、要求された送信画像の画像サイズへの変換処理、各種フィルタ処理等を行う。処理された画像データは画像解析部404に送信されると同時に符号化部405へも送信される。そして、画像データは、通信処理部406によってネットワークを介して外部の装置へ送信される。
 符号化部405では、画像データを、所定のフォーマット、例えば、H.264フォーマットまたはJPEGフォーマットへ符号化圧縮する処理を実行する。符号化部405で生成されたH.264の動画ストリームデータまたは各JPEG静止画データは、通信処理部406によりTCP/IP、HTTPあるいはRTP等のネットワークプロトコルに従って、画像処理装置100へ送信される。
 画像解析部404では、撮像された画像データを解析して目的とする画像中に被写体や指定条件の画像パターンが含まれているかどうかを検出する処理を行う。信号処理部403、画像解析部404、符号化部405、及び通信処理部406の各処理ブロックはCPU411と接続されている。407はカメラ制御部であり、モータ駆動部408及びレンズ駆動部410と接続されている。カメラ制御部407は、CPU411からの指示に従って、カメラのパン・チルト・ローテーション動作(パン方向、チルト方向への移動、及び光軸を中心とする回転)のための制御信号やズームやAF(オートフォーカス)動作のための制御信号を出力する。
 また、カメラ制御部407は、RAM413に記憶されている可視範囲設定及び可動範囲設定の少なくとも一方に従って、NWカメラ110の可視範囲及び可動範囲の少なくとも一方を制御する。モータ駆動部408にはモータ駆動回路等が備えられており、カメラ制御部407からの制御信号に従ってパン・チルト・ローテーションモータ409を駆動し、モータの回転によってカメラの撮像方向を変更することが可能となる。410はレンズ駆動部であり、ズーム、AF等の各制御を行うためのモータとモータ駆動回路を備えていて、カメラ制御部407からの制御信号に従って制御される。
 411はCPU(中央演算処理装置)であり、ROM(リードオンリーメモリ)412に格納されている制御プログラムを実行することで、装置全体の動作を制御する。CPU411には、ROM412、RAM413、及びFLASHメモリ414が接続されている。また、CPU411は、信号処理部403、画像解析部404、符号化部405、及び通信処理部406とも接続し、各処理ブロックに対して動作の開始・停止、動作条件の設定、動作結果の取得等を実行することで各処理ブロックの制御を行う。ROM412には、CPU411がアプリケーション処理等、本装置の制御を行うためのプログラムやデータが格納されている。
 RAM413は、CPU411がROM412のプログラムを実行する際に、データの書込/読出を行うメモリである。このRAM413には、CPU411が装置制御におけるプログラム実行に使用するワークエリア、一時退避エリア等が備えられている。RAM413は、撮像可能な画角の範囲を指定する可視範囲設定と、パン方向、チルト方向及びズーム方向への移動可能な範囲を指定する可動範囲設定との少なくとも一方を記憶する。
 CPU411は、通信処理部406を介して画像処理装置100から受信した制御コマンドに応じて撮影方向や、ズーム倍率を変更する。CPU411は、NWカメラ110から中心位置とズーム倍率を指定した制御コマンドを受信した場合には、この制御コマンドに従い、指定された位置が撮影中心となるようにパンチルトを制御し、指定されたズーム倍率になるようズームを制御する。
 図5は、画像処理装置100による、準備処理を示すフローチャートである。準備処理は、NWカメラの撮影位置の設定やバーコードの読み取りのための各種設定を行う処理である。図6は、準備処理の実行開始時に表示される撮影画面600の一例を示す図である。
 S500において、CPU201は、NWカメラ110に対し、積荷Aの全体が撮影範囲内に含まれるような全体画像を撮影するように制御する。なお、全体画像を撮影する際に、ユーザは、撮影画面600の領域601において、パンチルトズームの設定を行うことができる。CPU201は、ユーザ操作により設定されたパンチルトズームの設定に従い、制御コマンドを生成し、制御コマンドをNWカメラ110宛に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、全体画像を取得し、画像処理装置100宛に送信する。CPU201は、領域610に受信された全体画像を表示するよう制御する。
 次に、S501において、CPU201は、積荷Aの領域をバーコード検出の対象となる検出範囲として設定する。CPU201は、具体的には、エッジ検出等予め設定された画像認識処理に従い、積荷Aの領域を検出し、検出された領域の座標をバーコードの検出範囲として設定する。さらに、撮影画面600の領域602において、ユーザは、検出範囲を変更することができる。CPU201は、ユーザ操作が行われた場合には、ユーザ操作に従い、検出範囲を変更する。CPU201は、検出範囲を示す枠611を全体画像に重畳して表示する。
 次に、S502において、CPU201は、ユーザ操作に応じて、検出範囲の分割数を取得し、これを検出範囲の分割数として設定する。具体的には、ユーザが、撮影画面600の領域603において縦横の分割数を入力すると、CPU201は、この入力に従い、分割数を決定する。例えば、図6の例では、荷物は、横に3個、縦に5個並んでいるので、ユーザは、3×5の分割数を入力する。CPU201は、ユーザが入力した値にしたがって分割数を設定した後、分割数に応じて検出範囲を均等に分割するための分割線612を検出範囲内に描画する。CPU201はまた、各分割領域に撮影順を示す番号を割り当てて、分割領域ごとに割り当てられた番号614を表示する。なお、CPU201は、後述するズーム撮影時の撮影中心の位置を示すバツ印613も表示する。バツ印613は初期状態では、各分割領域の中心に表示される。
 次に、S503において、CPU201は、ユーザが撮影画面600の領域604において、ズーム撮影の中心位置の補正値を入力すると、入力に従いズーム撮影の中心位置を現在の位置(初期状態では分割領域の中心位置)から移動させて補正する。CPU201は、さらにズーム撮影の中心位置の移動に応じて、バツ印613の表示位置を移動させる。ユーザは、補正値を変更することで、読み取りの対象となるバーコード上にズーム撮影の中心位置が重なるように調整する。
 次に、S504において、CPU201は、ユーザが撮影画面600の領域605において、ズーム倍率を入力すると、入力に従いズーム撮影におけるズーム倍率を設定する。ここで、領域605で設定されるズーム倍率は、領域601で設定されるズーム倍率よりも大きい。よって、領域605で設定されるズーム倍率で撮影された全体画像に比べて、領域601で設定されるズーム倍率で撮影されたズーム画像の撮影範囲は狭い。CPU201はさらに、設定されたズーム倍率およびズーム撮影の中心位置に応じて定まる撮影範囲615を全体画像に重畳して表示する。ここで、撮影範囲615は、バーコード読み取りのための読取範囲の一例であり、S502~S504の処理は、複数の分割領域それぞれと対応するズーム画像の撮影範囲、すなわちバーコードの読取範囲を一括して特定するための特定処理の一例である。
 例えば、ズーム倍率が10と指定された場合には、全体画像における縦方向及び横方向共に10分の1の領域が撮影できるものとする。全体画像の幅をbaseW、高さをbaseHとする。また、ズーム倍率をcurZoomとする。ズーム撮影範囲の幅をzoomW、高さをzoomHとする。このとき、ズーム撮影の範囲は以下の通りとなる。
zoomW=baseW÷curZoom
zoomH=baseH÷curZoom
 CPU201は、ユーザが領域606に分割領域を指定する番号を入力し、テスト移動ボタン607を押下すると、指定された番号と対応する分割領域に対してS503で設定されたズーム撮影の中心位置を取得する。そして、その中心位置を撮影中心とし、S504で設定されたズーム倍率での撮影を行うための制御コマンドを生成し、制御コマンドをNWカメラ110へ送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。そして、CPU201は、領域610に、NWカメラ110から受信されたズーム画像を表示するよう制御する。ユーザは、領域610に表示されたズーム画像において、バーコードが適切に撮影されているかを確認し、必要に応じて領域605に入力された値を変更することで、ズーム倍率を調整することができる。ここで、CPU201は、領域605に入力された値が変更されると、制御コマンドを生成し直し、NWカメラ110に送信する。NWカメラ110は新しい制御コマンドにしたがって撮影処理を行い、新たにズーム画像を取得して画像処理装置100に送信する。これによって、CPU201は、変更を反映したズーム倍率で撮影処理されたズーム画像をNWカメラ110から受信して領域610に表示することができ、ユーザは変更の結果を確認することができる。
 次に、S505において、CPU201は、ユーザが領域608において指定した撮影順をズーム画像の撮影順として設定する。本実施形態においては、撮影順には縦撮影と横撮影の2種類が選択可能であるものとする。縦撮影は、同じ列の分割領域について縦方向に順に撮影した後、右隣の列に移動して同じ列の分割領域について縦方向に順に撮影する。横撮影は、同じ行の分割領域について横方向に順に撮影した後、下隣の行に移動して同じ行の分割領域について横方向に順に撮影する。このように、隣接する分割領域を順に撮影することで、次の撮影範囲を撮影するためのパンチルトの移動量を少なくすることができる。図6には、縦撮影が設定された場合の撮影順を示している。横撮影が設定されると、撮影順の表示も変更される。なお、上述の撮影順は例示であり、パンチルトの移動量が少なくなる撮影順であれば、他の撮影順であっても構わない。
 次に、S506において、CPU201は、基準画像を読み込む。ここで、基準画像とは、ズーム画像の読み取り対象を設定するための基準となる画像である。例えば、S504において領域610に表示されたズーム画像がHDD205に記憶されており、基準画像として読み込まれる。次に、S507において、CPU201は、ユーザ操作に応じて、読み取り対象(本実施形態ではバーコード)の読み取りに係る各種設定を行う。図7は、各種設定を行う際のユーザ操作を受け付ける設定画面700の一例を示す図である。ユーザは、設定画面700において、各種設定を入力する。設定画面700の領域710には、基準画像が表示される。読込ボタン701が押下されると、予めHDD205に記憶されたズーム画像が基準画像として読み出されて表示される。なお、撮影ボタン702が押下された場合に、NWカメラ110に制御コマンドを送信して撮影を要求し、これに応答してNWカメラ110により撮影された画像を受信して、基準画像として表示するようにしてもよい。領域指定703の操作により、バーコード読み取りの対象となる矩形範囲が指定される。また、領域704には、読み取りの対象となるバーコードの種類が入力される。領域705には、ズーム画像において検出されるバーコードの数が入力される。領域706には、バーコードの読み取り結果と照合し、値を取得するための辞書が選択される。設定画面700において、バーコード読み取りに係る設定が変更される都度、前記設定に基づいてCPU201は基準画像からバーコードの値を読み取る処理を実行する。そして、CPU201が、読み取られたバーコードと辞書を照合して得られた値711を画像に重畳して領域710に表示する。これにより、ユーザはバーコード読み取りに係る各種設定が適切か確認することができる。以上で、準備処理が完了する。
 図8は、読み取り処理を示すフローチャートである。積荷が搬入されると、センサ150が積荷を検出し、PLC140に通知する。PLC140は、センサ150から通知を受け取ると、画像処理装置100に撮影対象を検出したことを示す所定の通知を行う。S801において、画像処理装置100のCPU201は、所定の通知をPLC140から受け取ったかどうか判定する。CPU201は、PLC140からの所定の通知を受け取ると、読み取り処理を開始する。S802において、CPU201は、図6の領域601で設定された値にしたがって制御コマンドを生成し、NWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして全体画像の撮影を行う。そして、CPU201は、全体画像をNWカメラ110から受信する。さらに、S803において、CPU201は、ステップS802で受信された全体画像に対して画像認識処理を行い、積荷の領域を検出し、当該領域の座標とステップS501で設定された検出範囲の座標を比較する。比較の結果に基づき、図6の撮影画面600における設定の際に用いられた全体画像における検出範囲の位置と、S802で受信された全体画像における検出範囲の位置のずれを算出する。これによって、積荷毎や撮影毎に微かに異なる全体画像における検出範囲の位置を補正することができる。なお、S501で検出範囲の角度情報も設定しておき、検出範囲の角度のずれを算出して補正するようにしてもよい。
 次に、S804において、CPU201は、図6に示す撮影画面600の領域605において入力されたズーム倍率を、ズーム撮影時のズーム倍率として設定する。次に、S805において、CPU201は、撮影順が1番目の分割領域を処理対象に設定する。次に、S806において、CPU201は、処理対象の分割領域に対するズーム撮影の中心位置を設定する。領域604の入力により中心位置が補正されている場合には、補正後の中心位置が設定される。
 次に、S807において、CPU201は、S806において設定されたズーム撮影の中心位置に従い、NWカメラ110がパンチルトを調整するよう撮影範囲の設定を行う。本処理は、撮影範囲を変更するよう制御する変更制御処理の一例である。次に、S808において、CPU201は、S804において設定されたズーム倍率と、S807において設定された撮影範囲にしたがって制御コマンドを生成し、NWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100に送信する。なお、2番目以降の分割領域については、ズーム倍率自体は変更がないので、NWカメラ110はパンチルトの調整だけを行って撮影範囲を変更しながら撮影を行う。本処理は、撮影制御処理の一例である。
 S809において、CPU201は、ズーム画像をNWカメラ110から受信する。次に、S810において、CPU201は、S809で受信したズーム画像に対して、図7の設定画面700で設定された情報にしたがってバーコードの読み取りを行う。CPU201はRAM203にズーム画像を読み込み、領域指定703で指定された形状の範囲に対してエッジを検出する。そして、CPU201はエッジが所定の長さおよび規則で並んでいる箇所をバーコードと判定し、領域704にて指定されたバーコードの種類に基づいて、エッジの間隔と出力値の対応情報を選択し、画像上のエッジの間隔からバーコードの値を読み取る。バーコードの種類に関連づいたエッジの間隔と出力の対応情報は、HDD205に記憶しているものとする。次に、S811において、CPU201は、バーコードの読み取り結果をHDD205等の記憶部に格納する。
 図9は、記憶部に記憶されるバーコードの読み取り結果の一例を示す図である。IDは、レコードの識別情報である。カウンタは、ズーム画像の識別情報であり、本実施例ではズーム画像と対応する分割領域の撮影順の番号である。分割撮影座標は、ズーム画像の中心位置を示す情報であり、×印613に対応する座標である。ズーム範囲は、ズーム倍率およびズーム撮影中心位置に応じて定まる撮影範囲615に対応する矩形の座標である。なお分割撮影座標及びズーム範囲は、全体画像における位置を示す情報である。検出数は、ズーム画像で検出されたバーコードの個数である。検出Noは、バーコードの識別情報であり、本実施形態では、ズーム画像内で一意に付与される。ただし、バーコードの識別情報は検出範囲で一意に付与されるようにしてもよい。中心座標は、バーコードの中心位置の座標である。なお、中心座標としては、ズーム画像における位置を示す情報である。ただし、中心座標は、ズーム画像における位置を全体画像における位置に変換した値であってもよい。コード角度は、検出されたバーコードのズーム画像に対する傾きの角度である。検出コードは、読み取られたバーコードを辞書と照合した結果、検出されたコードの情報である。信頼度は、バーコードの認識精度である。これ以外に、検出数、辞書一致及び総合判定の判定結果が格納される。総合判定は、例えば検出数が一致し、辞書に予め登録されている値が共に一致し、信頼度が閾値以上の場合にOKと判定されるものとする。バーコードの検出数の不一致は、例えば、バーコードのシールがはがれていたり、バーコードが何かによって隠れていたり、バーコードが汚れていたりして、存在するはずのバーコードが検出されなかったときに起こり、この場合はNGと判定されることとなる。なお、総合判定の判断基準は、任意に設定することができるものとする。
 次に、S812において、CPU201は、処理対象の分割領域の撮影順が順番の最後か否かを判定する。CPU201は、最後の場合には(S812でYES)、処理をS814へ進める。CPU201は、最後でない場合には(S812でNO)、処理をS813へ進める。S813において、CPU201は、次の撮影順の分割領域を処理対象に設定し、その後処理をS806へ進める。この場合には、S806でズーム撮影の中心位置が変更され、S807で改めてパンチルトが調整され撮影範囲を切り替えて、S808で撮影指示が行われる。なお、この場合に、ズーム倍率が変更されないので、一旦ズームアウトして改めてズームインするといった動作は行われない。このため、NWカメラ110のズームの駆動に係る処理時間を短縮することができる。
 一方、S814においては、CPU201は、図9のバーコードの読み取り結果を参照し、バーコードの読み取りに失敗したズーム画像が存在するか否か、すなわち撮影の成否を判定する。CPU201は、失敗がある場合には(S814でYES)、処理をS815へ進める。CPU201は、失敗がない場合には(S814でNO)、本処理を終了する。
 S815において、CPU201は、読み取りに失敗したズーム画像を再度撮影するために、当該ズーム画像の中心位置に従い、NWカメラ110がパンチルトするように制御コマンドを生成し、NWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。CPU201は、NWカメラ110からズーム画像を受信する。そして、CPU201は、S816において、受信したズーム画像について再び、S810と同様にバーコードの読み取り処理を行い、バーコードの読み取り結果の記憶部への格納を行う。本処理は、S808~S811の処理と同様である。このとき、CPU201は、ズーム画像の中心位置を予め設定された位置よりもずらして制御コマンドを生成する。例えば、まず上方向に一定量だけずらしてNWカメラ110に撮影させる。そして、CPU201は、S814の処理に戻り、総合判定OKの結果が得られるか判定する。総合判定OKが得られれば、処理を終了する。
 一方、CPU201は、総合判定NGの結果が得られた場合には、続いて撮影範囲を下方向に一定量だけずらして制御コマンドを生成し、NWカメラ110に撮影させる。このように、CPU201は、上下左右に順にズーム画像の中心位置をずらすことで、撮影範囲をずらして再撮影を行う。これによって、バーコードの荷札がずれた位置に存在していてズーム画像の撮影範囲にバーコードが収まっていないために、バーコードの読み取りが失敗していた場合に、再撮影によって、正しくバーコードの読み取りを行うことができる。なお、ズーム画像の中心位置をずらす代わりに、他の例としては、CPU201は、S815で設定されたズーム倍率を変更して制御コマンドを生成し、NWカメラ110に再撮影をさせてもよい。この場合には、CPU201は、まず、ズーム倍率をプラス方向に変更してNWカメラ110に再撮影を行わせる。
 そして、S814で総合判定NGの場合には、再度ズーム倍率をマイナス方向に変更してNWカメラ110に再撮影を行わせる。これによって、積荷の一部が前後にずれて置かれていてバーコードに合焦していないために、バーコードの読み取りが失敗していた場合に、再撮影によって、正しくバーコードの読み取りを行うことができる。さらには、他の例としては、フォーカスのモードやフォーカス値を変更、露出(モード、シャッタースピード、絞り、ゲインなど)の変更、ホワイトバランス設定の変更などを行い、制御コマンドを生成し、NWカメラ110に再撮影をさせてもよい。
 なお、積荷Aの搬入後に、積荷Aと荷物の数や積み方が等しい積荷が連続して複数搬入される場合がある。この場合には、2つ目以降の積荷においては、準備処理は不要であり、画像処理装置100は、積荷が搬入された旨の通知を受けると、読み取り処理を開始する。なお、この場合、積荷Aにおいて設定された条件を利用して読み取り処理を実行する。
 読み取り処理により得られた結果は、自装置の記憶部に格納され、CPU201が、DB120に記憶されているバーコードの情報と照合する。ただし、照合を行う主体は実施形態に限定されるものではない。他の例としては、DB120が照合を行うものとしてもよい。この場合には、画像処理装置100において得られた読み取り結果は、POEハブ130を介してDB120に送信される。また、PLC140が照合を行うこととしてもよい。この場合には、読み取り結果は、POEハブ130を介して140に送信される。
 以上のように、第1の実施形態に係る画像処理システムは、バーコードが行列のパターンにしたがって規則的に並んでいるような積荷を処理対象とし、積荷に付された複数のバーコードの位置を一括して特定することができる。さらに、画像処理システムは、特定した位置に従い、ズーム倍率を変えることなく、パンチルトの調整だけを行うことで連続して複数のズーム画像を撮影することができる。すなわち、撮影毎にズームインズームアウトの処理を行う必要がない。したがって、撮影に係る処理の負荷を軽減し、処理時間を短縮することができる。
 第1の変形例について説明する。本実施形態においては、積荷において縦横に並べられた荷物の数が積荷によって変わり得る場合を想定し、分割数をユーザが入力することとした。ただし、縦横の荷物の数が一定の場合には、分割数の入力は不要であり、CPU201は、予め画像処理装置100に設定された分割数を取得し、これに従い、検出範囲を分割すればよい。
 第2の変形例としては、画像処理装置100は、荷札に付されたマーク等から荷札の種類(発送元の会社等)を特定し、特定した種類に応じて、ズーム画像の撮影時のズーム倍率を特定してもよい。画像処理装置100は、荷札の種類とズーム倍率とを対応付けたテーブルを予め、記憶しておき、このテーブルを参照することで、荷札の種類からズーム倍率を決定する。積荷までの距離が予め定まっているような場合には、荷札に記されたバーコードや文字の大きさに適したズーム倍率を荷札の種類に対応して設定しておく。これにより、画像処理装置100は、ズーム倍率の設定を自動で行うことができる。
 第3の変形例としては、画像処理装置100は、全体画像の撮影時の焦点距離に基づいて、ズーム画像の撮影時のズーム倍率を自動で設定してもよい。
 (第2の実施形態)
 次に、第2の実施形態に係る画像処理システムについて、第1の実施形態に係る画像処理システムと異なる点を主に説明する。第2の実施形態に係る画像処理システムは、図10に示すように、処理対象の積荷において、荷札が規則的に配置されていないような積荷Bを処理対象とする。画像処理装置100は、全体画像に対してパターンマッチングを行うことにより全体画像から荷札の画像が出現する領域を検出し、検出結果に応じて、ズーム撮影の範囲を決定する。
 図11は、第2の実施形態に係る画像処理装置100による、準備処理を示すフローチャートである。S1100において、CPU201は、ユーザ操作に応じて、積荷の全体を撮影する際の位置(全体撮影位置)を調整する。ユーザは、ディスプレイ204に表示された積荷の画像を見ながら、撮影範囲内に積荷の全体が収まるように、パンチルトズームを調整する。CPU201は、このユーザ操作に応じて調整されたパンチルトズームの設定に従い、制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、全体画像を取得し、画像処理装置100へ送信する。CPU201は、受信された全体画像をディスプレイ204に表示するよう制御する。
 次に、S1101において、CPU201は、全体画像における、読み取り対象のバーコードを含む荷札の領域の位置を指定する。具体的には、ユーザは、ディスプレイ204に表示された全体画像を見ながら、全体画像において荷札の領域を見つけ、その位置を指定するよう操作する。CPU201は、このユーザ操作に応じて全体画像における荷札の領域の位置を指定する。次に、S1102において、CPU201は、マッチングモデル(モデル画像)を作成する。具体的には、図12に示す全体画像1200から、S1102で指定された領域の位置にしたがって荷札の画像を抜き出し、これを荷札画像のマッチングモデル1201とする。
 次に、S1103において、CPU201は、パターンマッチング処理の設定を行う。具体的には、CPU201は、図13に示す設定画面1300において、ユーザにより設定された枠1301に応じて、パターンマッチング処理の対象エリアを設定する。CPU201はまた、ユーザ操作に応じて、マッチングモデルを設定する。ここで、マッチングモデルの設定とは、S1102で作成されたマッチングモデルをS1103で行うマッチング処理の基準画像として使用するためにマッチングモデル画像を指定することである。設定されたマッチングモデルは1302に表示される。CPU201はさらに、領域1303への入力に応じて、マッチングパラメータの設定を行う。CPU201はまた、マッチング処理を行う順番を決定する。例えば、x座標の昇順/降順、またはy座標の昇順/降順にパターンマッチング処理を行うことを設定する。
 パターンマッチング処理が行われると、CPU201は、図14に示すテスト画面1400をディスプレイ204に表示する。テスト画面1400の領域1401には、全体画像が表示され、マッチングモデルが出現した領域ごとに、マッチング結果を示す枠1402が重畳され、図14では1~7のすべての荷札の領域がマッチングモデルと一致し、検出に成功していることを示している。ユーザは、マッチング結果を参照し、検出に失敗した荷札の領域があれば、領域1403において、ズーム撮影の位置を指定し直したり、領域1404にズーム倍率を設定し直したりして、パターンマッチング処理の精度を調整することができる。そして、パターンマッチング処理で検出された荷札の領域のうち少なくとも1つが、テストのズーム撮影の位置として設定される。
 次に、S1104において、CPU201は、テスト画面1400において、ズーム撮影の位置とズーム倍率が設定された状態でテスト実行ボタン1405が押下されると、設定に従い制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。そして、CPU201は、領域1401に受信されたズーム画像を表示する。ユーザは、ズーム画像において、バーコードが適切に撮影されているかを確認し、ズーム倍率を調整することができる。次に、S1105において、CPU201は、さらに、読み取り設定を行う。本読み取り設定の処理は、図5のS507の処理と同様である。すなわち、CPU201は、バーコードの読み取り対象となる矩形領域、バーコードの種類、バーコードの数、辞書等を設定する。次に、S1106において、CPU201は、後述の読み取り処理において読み取られた情報を格納するための設定を行う。具体的には、図15に示すように、データを格納する記憶領域を作成する。
 図16は、読み取り処理を示すフローチャートである。積荷が搬入されると、センサ150が積荷を検出し、PLC140に通知する。PLC140は、センサ150から通知を受け取ると、画像処理装置100に撮影対象を検出したことを示す所定の通知を行う。S1601において、画像処理装置100のCPU201は、所定の通知をPLC140から受け取ったかどうか判定する。CPU201は、PLC140からの所定の通知を受け取ると、読み取り処理を開始する。S1602において、CPU201は、S1100(図11)において設定された撮影条件で、制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、全体画像を取得し、画像処理装置100へ送信する。次に、S1603において、CPU201は、S1602で受信された全体画像において、図11のフローで設定された情報に従い、パターンマッチング処理を行い、荷札の画像を検出する。ここで、検出された荷札の画像の数をNとする。次に、S1604において、CPU201は、S1104において設定されたズーム倍率を設定する。
 次に、S1605において、CPU201は、撮影順に従い、検出された荷札の画像のうち1番目の荷札の画像を処理対象として設定する。次に、S1606において、CPU201は、1番目の荷札の画像の検出位置を撮影の中心位置として設定する。次に、S1607において、CPU201は、S1606において設定された中心位置とS1604で設定されたズーム倍率に従い制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。なお、2番目以降の荷札の画像については、ズーム倍率自体は変更がないので、NWカメラ110はパンチルトの設定だけを調整して撮影を行う。続く、S1608~S1613の処理は、図8のS808~S813の処理と同様である。
 なお、第2の実施形態においては、S1612において、撮影順が最後(N番目)の場合には(S1612でYES)、読み取り処理を終了することとする。但し、第1の実施形態において説明したのと同様に、読み取りに失敗したズーム画像が存在する場合に、ズーム画像の再撮影を行うこととしてもよい。さらには、S1610でバーコード読み取り処理に失敗した場合、S1607で行ったパンチルト設定におけるNWカメラのパンチルト制御精度が原因だとした場合、ズーム倍率設定、マッチング処理、パンチルト設定を段階的に行ってもよい。具体的には、S1604のズーム倍率設定をS1610のコード読み取りが行えるズーム倍率よりも低く行い、S1608の撮影指示の後に荷札の画像のパターンマッチング処理を再度行う。そのマッチング結果の座標が画面中央に近い荷札に対し、中心位置の設定を変更してパンチルト設定を行い、S1604のズーム倍率で撮影指示を行い、受信したズーム画像に対してバーコード読み取りを行う。以上のように、ズーム倍率が高いほど、位置ずれが大きくなる。このため、ズーム倍率を一旦、低くしてパンチルトズームの設定を変更して撮影をやり直すことで、バーコードが貼付された正確な位置を取得することができ、バーコードの読み取りに成功できるようになる。
 図17は、ズーム画像の受信時(S1609)に表示される撮影画面1700の一例を示す図である。領域1701にはNWカメラ110により撮影された全体画像が受信されて表示され、荷札の検出によるマッチング結果を示す枠1702が重畳されている。また、領域1703には、NWカメラ110により撮影されたズーム画像が受信されて表示される。図18は、バーコード読み取り時(S1610)に表示される読み取り画面1800の一例を示す図である。読み取り画面1800には、バーコード読み取りの結果1801が表示される。
 以上のように、第2の実施形態に係る画像処理システムは、積荷において荷札が規則的に並んでいない場合においても、荷札における複数のバーコードの位置を自動で特定し、ズーム倍率を変更することなく、複数のズーム画像を連続して撮影する。これにより、撮影に係る処理の負荷を軽減し、処理時間を短縮することができる。
 また、以上のように、本発明によれば、撮像対象物が複数存在する場合において、撮影に係る処理の負荷を軽減し、処理時間を短縮することができる。
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
 本願は、2018年6月19日提出の日本国特許出願特願2018-116378を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1.  撮像装置と通信可能な画像処理装置であって、
     第1のズーム倍率で撮像処理を実行して生成された第1の画像を取得する第1の取得手段と、
     前記第1の画像に含まれる検出範囲の分割条件を設定する設定手段と、
     前記分割条件にしたがって前記検出範囲を複数の分割領域に分割する分割手段と、
     前記検出範囲の各分割領域に基づき撮像方向を変更し、第1のズーム倍率よりも大きな第2のズーム倍率で撮像処理を実行し、第2の画像を順に生成するように撮像装置を制御する撮像制御手段と、
     前記第2の画像をそれぞれ取得する第2の取得手段と、
     前記第2の画像毎にデータの読み取り処理を実行する読取手段を備えることを特徴とする画像処理装置。
  2.  前記設定手段は、ユーザ操作にしたがって前記分割条件を設定することを特徴とする請求項1に記載の画像処理装置。
  3.  前記分割条件は、分割数であることを特徴とする請求項1または2に記載の画像処理装置。
  4.  前記第1の画像に対して所定のモデル画像とのパターンマッチング処理を実行するパターンマッチング処理手段をさらに備え、
     前記設定手段は、前記パターンマッチング処理の認識結果に基づいて前記分割条件を設定することを特徴とする請求項1~3のいずれか1項に記載の画像処理装置。
  5.  前記設定手段は、さらに前記検出範囲をユーザ操作にしたがって設定することを特徴とする請求項1~4のいずれか1項に記載の画像処理装置。
  6.  前記第1のズーム倍率は、ユーザ操作にしたがって決定されることを特徴とする請求項1~5のいずれか1項に記載の画像処理装置。
  7.  前記第1のズーム倍率は、前記検出範囲の被写体に対する焦点距離に基づいて決定されることを特徴とする請求項1~5のいずれか1項に記載の画像処理装置。
  8.  前記第2のズーム倍率は、前記分割条件に基づいて決定されることを特徴とする請求項1~7のいずれか1項に記載の画像処理装置。
  9.  前記検出範囲は、荷札の画像を含み、
     前記荷札の種類を判定する判定手段をさらに備え、
     前記第2のズーム倍率は、荷札の種類とズーム倍率とを対応付けたテーブルを参照することにより決定されることを特徴とする請求項1~7のいずれか1項に記載の画像処理装置。
  10.  前記第1の取得手段および前記第2の取得手段は、ネットワークを介して前記撮像装置から前記第1の画像および前記第2の画像をそれぞれ取得することを特徴とする請求項1~9のいずれか1項に記載の画像処理装置。
  11.  前記撮像制御手段は、前記読取手段による前記データの読み取り処理が失敗すれば、前記撮像方向の変更および前記第2のズーム倍率の変更のうち少なくとも一方を行って、再度、撮像処理を実行して前記第2の画像を生成するように前記撮像装置を制御することを特徴とする請求項1~10のいずれか1項に記載の画像処理装置。
  12.  前記撮像制御手段は、前記ズーム倍率および前記撮像方向のうち少なくとも1つにしたがって制御コマンドを生成し、前記制御コマンドを前記撮像装置へ送信することによって前記撮像装置を制御することを特徴とする請求項1~11のいずれか1項に記載の画像処理装置。
  13.  POE(Power over Ethernet)ハブを介して前記撮像装置と通信する通信手段をさらに備え、
     前記制御コマンドは、前記POEを介して前記撮像装置へ送信されることを特徴とする請求項12に記載の画像処理装置。
  14.  前記データは、バーコード、QRコード(登録商標)および文字列のうち少なくとも1つであることを特徴とする請求項1~13のいずれか1項に記載の画像処理装置。
  15.  前記撮像制御手段は、さらに、前記第1のズーム倍率で撮像処理を実行して、前記第1の画像とは異なる第3の画像を生成するよう前記撮像装置を制御し、
     前記分割手段は、前記分割条件にしたがって前記第3の画像に含まれる検出範囲を複数の分割領域に分割し、
     前記撮像制御手段は、さらに、前記第3の画像の検出範囲の各分割領域に基づき撮像方向を変更し、前記第2のズーム倍率で撮像処理を実行して前記第2の画像とは異なる第4の画像を順に生成するように撮像装置を制御することを特徴とする請求項1~14のいずれか1項に記載の画像処理装置。
  16.  外部のセンサにより検知された情報を受信する受信手段をさらに有し、
     前記撮像制御手段は、前記センサからの情報に応答して、前記第1のズーム倍率で撮像処理を実行して前記第3の画像を生成するよう前記撮像装置を制御することを特徴とする請求項15に記載の画像処理装置。
  17.  前記第1の画像の前記検出範囲に基づき、前記第3の画像の前記検出範囲を調整する調整手段をさらに備えることを特徴とする請求項15または16に記載の画像処理装置。
  18.  撮像装置と通信可能な画像処理装置の制御方法であって、
     第1のズーム倍率で撮像処理を実行して生成された第1の画像を取得するステップと、
     前記第1の画像に含まれる検出範囲の分割条件を設定するステップと、
     前記分割条件にしたがって前記検出範囲を複数の分割領域に分割するステップと、
     前記検出範囲の各分割領域に基づき撮像方向を変更し、第1のズーム倍率よりも大きな第2のズーム倍率で撮像処理を実行し、第2の画像を順に生成するように撮像装置を制御するステップと、
     前記第2の画像をそれぞれ取得するステップと、
     前記第2の画像毎にデータの読み取り処理を実行するステップを備えることを特徴とする制御方法。
  19.  コンピュータを請求項1~17のいずれか1項に記載の画像処理装置の各手段として機能させるプログラム。
  20.  請求項19に記載のプログラムをコンピュータ読み出し可能に記憶した記憶媒体。
PCT/JP2019/022846 2018-06-19 2019-06-10 画像処理装置、画像処理方法、プログラムおよび記録媒体 WO2019244685A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980040646.3A CN112369007B (zh) 2018-06-19 2019-06-10 图像处理设备、图像处理设备的控制方法和存储介质
KR1020217000014A KR102457013B1 (ko) 2018-06-19 2019-06-10 화상처리장치, 화상처리방법, 컴퓨터프로그램 및 기록 매체
EP19822637.5A EP3813353A4 (en) 2018-06-19 2019-06-10 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIA
US17/119,819 US11363208B2 (en) 2018-06-19 2020-12-11 Image processing apparatus and image processing meihod

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-116378 2018-06-19
JP2018116378A JP7199845B2 (ja) 2018-06-19 2018-06-19 画像処理装置、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/119,819 Continuation US11363208B2 (en) 2018-06-19 2020-12-11 Image processing apparatus and image processing meihod

Publications (1)

Publication Number Publication Date
WO2019244685A1 true WO2019244685A1 (ja) 2019-12-26

Family

ID=68983954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022846 WO2019244685A1 (ja) 2018-06-19 2019-06-10 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US11363208B2 (ja)
EP (1) EP3813353A4 (ja)
JP (1) JP7199845B2 (ja)
KR (1) KR102457013B1 (ja)
CN (1) CN112369007B (ja)
WO (1) WO2019244685A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169772B2 (en) * 2018-03-19 2021-11-09 Gopro, Inc. Image capture device control using mobile platform voice recognition
US11631196B2 (en) 2020-07-31 2023-04-18 Zebra Technologies Corporation Systems and methods to optimize imaging settings for a machine vision job
JP7113257B2 (ja) * 2020-12-28 2022-08-05 パナソニックIpマネジメント株式会社 荷物検品装置、荷物検品方法、プログラム、及び荷物検品システム
CN115131788A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 一种标签信息获取方法、装置、计算设备及存储介质
JP2022178159A (ja) 2021-05-19 2022-12-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011142685A (ja) 2011-04-05 2011-07-21 Canon Inc カメラ制御システムおよびその方法およびその動作処理プログラムを記憶した記憶媒体
JP2011150460A (ja) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd 入出庫管理システムおよび入出庫管理方法
JP2012064110A (ja) * 2010-09-17 2012-03-29 Casio Comput Co Ltd 情報読取装置及びプログラム
JP2013161097A (ja) * 2012-02-01 2013-08-19 Centrix Co Ltd 非接触通信を利用したパネル情報管理システム、およびこれに用いる情報管理サーバ、情報管理用プログラム
JP2018116378A (ja) 2017-01-17 2018-07-26 株式会社ナリス化粧品 明るさ感の評価方法、評価プログラム、装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114913A (ja) * 1995-10-17 1997-05-02 Casio Comput Co Ltd 読取装置及び情報端末装置
JP4192847B2 (ja) * 2004-06-16 2008-12-10 カシオ計算機株式会社 コード読取装置およびプログラム
KR100828539B1 (ko) * 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체
JP4626493B2 (ja) * 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
ES2632746T3 (es) * 2009-04-20 2017-09-15 Metaform Ltd. Sistema y procedimiento de detección de códigos de barras múltiples
WO2010134502A1 (ja) * 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
DE102009049932B4 (de) * 2009-10-19 2016-04-07 Polytec Gmbh Vorrichtung und Verfahren zur interferometrischen Schwingungsmessung an einem Objekt
JP5534207B2 (ja) * 2010-08-31 2014-06-25 カシオ計算機株式会社 情報読取装置及びプログラム
JP5161939B2 (ja) * 2010-08-31 2013-03-13 キヤノン株式会社 画像処理装置、撮像システム、及び画像処理装置の制御方法
CN103238097B (zh) * 2010-11-30 2015-08-05 富士胶片株式会社 成像设备和对焦位置检测方法
CN102184405B (zh) * 2011-04-19 2012-12-26 清华大学 图像采集分析方法
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
JP5947548B2 (ja) * 2012-01-13 2016-07-06 キヤノン株式会社 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
CN102880850B (zh) * 2012-09-19 2015-08-19 腾讯科技(深圳)有限公司 一种二维码批量扫描的方法及扫描设备
JP6027287B2 (ja) * 2014-03-28 2016-11-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN105100578A (zh) * 2014-05-05 2015-11-25 南昌欧菲光电技术有限公司 图像处理系统及其图像处理方法
JP5911557B2 (ja) * 2014-12-16 2016-04-27 オリンパス株式会社 撮像装置
JP6436760B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
CN204462371U (zh) * 2015-03-08 2015-07-08 无锡桑尼安科技有限公司 电表缺陷智能化检测设备
JP6719901B2 (ja) * 2015-12-28 2020-07-08 あおい精機株式会社 検体処理装置
JP6786253B2 (ja) * 2016-04-15 2020-11-18 キヤノン株式会社 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150460A (ja) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd 入出庫管理システムおよび入出庫管理方法
JP2012064110A (ja) * 2010-09-17 2012-03-29 Casio Comput Co Ltd 情報読取装置及びプログラム
JP2011142685A (ja) 2011-04-05 2011-07-21 Canon Inc カメラ制御システムおよびその方法およびその動作処理プログラムを記憶した記憶媒体
JP2013161097A (ja) * 2012-02-01 2013-08-19 Centrix Co Ltd 非接触通信を利用したパネル情報管理システム、およびこれに用いる情報管理サーバ、情報管理用プログラム
JP2018116378A (ja) 2017-01-17 2018-07-26 株式会社ナリス化粧品 明るさ感の評価方法、評価プログラム、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3813353A4

Also Published As

Publication number Publication date
JP7199845B2 (ja) 2023-01-06
CN112369007A (zh) 2021-02-12
EP3813353A1 (en) 2021-04-28
EP3813353A4 (en) 2022-03-16
KR20210016454A (ko) 2021-02-15
CN112369007B (zh) 2022-07-15
US20210099650A1 (en) 2021-04-01
US11363208B2 (en) 2022-06-14
KR102457013B1 (ko) 2022-10-20
JP2019220829A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
WO2019244685A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4942185B2 (ja) 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
JP7493927B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5200800B2 (ja) 撮影装置及び撮影システム
CN108259755B (zh) 摄像装置及控制方法
JP4855662B2 (ja) カメラシステム、カメラ制御方法、及びプログラム
JP7497203B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2012015660A (ja) 撮像装置及び撮像方法
JP2022178159A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021100238A (ja) 画像処理装置、撮像装置および画像処理方法
JP2015133020A (ja) 管理クライアント装置および管理システム、管理方法及びプログラム
US20210195119A1 (en) Image processing apparatus, image capturing apparatus and image processing method
JP6819478B2 (ja) コンピュータプログラム、プリセット情報登録方法およびプリセット情報登録装置
KR20190110369A (ko) 지정 피사체의 자동 추적이 가능한 지능형 카메라 시스템 및 이를 이용한 영상촬영 방법
JP6395513B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2008228039A (ja) ネットワークカメラ装置及びその制御方法
JP2018164220A (ja) 撮影制御装置及びプログラム
JP2010028274A (ja) 撮影装置および無線通信設定方法
JP2000059671A (ja) カメラ制御装置、方法、コンピュータ読み取り可能な記憶媒体及びデータを記憶した記憶媒体
JP2023091490A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2006287799A (ja) 監視システム及び監視方法
CN116634258A (zh) 影像捕获装置及其应用的自动取景方法
JP5398359B2 (ja) 情報処理装置、撮像装置及び制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19822637

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217000014

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019822637

Country of ref document: EP

Effective date: 20210119