WO2018167971A1 - 画像処理装置、制御方法及び制御プログラム - Google Patents

画像処理装置、制御方法及び制御プログラム Download PDF

Info

Publication number
WO2018167971A1
WO2018167971A1 PCT/JP2017/011034 JP2017011034W WO2018167971A1 WO 2018167971 A1 WO2018167971 A1 WO 2018167971A1 JP 2017011034 W JP2017011034 W JP 2017011034W WO 2018167971 A1 WO2018167971 A1 WO 2018167971A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing apparatus
meter
unit
image
Prior art date
Application number
PCT/JP2017/011034
Other languages
English (en)
French (fr)
Inventor
貴彦 深澤
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to JP2019505667A priority Critical patent/JP6821007B2/ja
Priority to PCT/JP2017/011034 priority patent/WO2018167971A1/ja
Publication of WO2018167971A1 publication Critical patent/WO2018167971A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Definitions

  • the present disclosure relates to an image processing device, a control method, and a control program, and more particularly, to an image processing device, a control method, and a control program for detecting a meter portion from an image obtained by photographing a meter.
  • Patent Document 1 An image processing apparatus that performs recognition processing on an image obtained by photographing a recognition object with a camera and outputs a recognition result is disclosed (see Patent Document 1).
  • an image suitable for the evidence image needs to be stored, and an appropriate instruction is given to the user so that the user can photograph the meter well. It is hoped that it will be done.
  • the purpose of the image processing apparatus, the control method, and the control program is to make it possible to give an appropriate instruction to a user who photographs the meter.
  • An image processing apparatus is a portable image processing apparatus, and includes an output unit, an imaging unit that sequentially generates an input image obtained by capturing a meter, and a detection unit that detects a meter portion from the input image Based on the inclination or size of the meter portion detected in the input image, the image processing device for the user is set so that the numerical value in the meter is captured at a predetermined position or a predetermined size in the input image.
  • An instruction unit that outputs a movement instruction to the output unit.
  • a control method is a control method for a portable image processing apparatus, which includes an output unit and an imaging unit that sequentially generates an input image obtained by photographing a meter.
  • the meter portion is detected from the user, and based on the inclination or size of the meter portion detected in the input image, the numerical value in the meter is captured at a predetermined position or a predetermined size in the input image. Outputting an instruction to move the image processing apparatus to the output unit.
  • a control program is a control program for a portable image processing apparatus that includes an output unit and an imaging unit that sequentially generates an input image obtained by capturing a meter.
  • the meter portion is detected from the user, and based on the inclination or size of the meter portion detected in the input image, the numerical value in the meter is captured at a predetermined position or a predetermined size in the input image.
  • the image processing apparatus is caused to output an instruction to move the image processing apparatus to the output unit.
  • the image processing apparatus, the control method, and the control program can give appropriate instructions to the user who takes a picture of the meter.
  • FIG. 2 is a diagram illustrating a schematic configuration of a storage device 110 and a CPU 120.
  • FIG. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a figure for demonstrating a coordinate system. It is a flowchart which shows the example of operation
  • FIG. 6 is a diagram illustrating an example of a warning displayed on the display device 103.
  • FIG. 6 is a diagram illustrating an example of a warning displayed on the display device 103.
  • FIG. It is a flowchart which shows the example of operation
  • It is a figure which shows the example of an input image.
  • 6 is a diagram illustrating an example of a movement instruction displayed on the display device 103.
  • FIG. 6 is a diagram illustrating an example of a movement instruction displayed on the display device 103.
  • It is a figure which shows the example of an input image.
  • It is a figure which shows the example of an input image.
  • It is a figure which shows the example of an input image.
  • 6 is a figure which shows the example of an input image.
  • 6 is a figure which shows the example of an input image.
  • 6
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an image processing apparatus 100 according to the embodiment.
  • the image processing apparatus 100 is a portable information processing apparatus such as a tablet PC, a multi-function mobile phone (so-called smart phone), a portable information terminal, and a notebook PC, and is used by an operator who is the user.
  • the image processing apparatus 100 includes a communication apparatus 101, an input apparatus 102, a display apparatus 103, a sound output apparatus 104, a vibration generation apparatus 105, an imaging apparatus 106, a sensor 107, a storage apparatus 110, and a CPU (Central Processing Unit) 120 and a processing circuit 130.
  • CPU Central Processing Unit
  • the communication device 101 includes a communication interface circuit including an antenna mainly having a 2.4 GHz band, a 5 GHz band, or the like as a sensitive band.
  • the communication apparatus 101 performs wireless communication with an access point or the like based on an IEEE (The Institute of Electrical and Electronics Electronics, Inc.) 802.11 standard wireless communication system.
  • the communication device 101 transmits / receives data to / from an external server device (not shown) via an access point.
  • the communication apparatus 101 supplies the data received from the server apparatus via the access point to the CPU 120, and transmits the data supplied from the CPU 120 to the server apparatus via the access point.
  • the communication device 101 may be any device that can communicate with an external device.
  • the communication device 101 may communicate with a server device via a base station device (not shown) according to a mobile phone communication method, or may communicate with a server device according to a wired LAN communication method.
  • the input device 102 is an example of an input unit, and includes a touch panel type input device, an input device such as a keyboard and a mouse, and an interface circuit that acquires signals from the input device.
  • the input device 102 receives a user input and outputs a signal corresponding to the user input to the CPU 120.
  • the display device 103 is an example of an output unit, and includes a display composed of liquid crystal, organic EL (Electro-Luminescence), and the like, and an interface circuit that outputs image data or various information to the display.
  • the display device 103 is connected to the CPU 120 and displays the image data output from the CPU 120 on a display. Note that the input device 102 and the display device 103 may be integrally configured using a touch panel display.
  • the sound output device 104 is an example of an output unit, and includes a speaker and an interface circuit that outputs audio data to the speaker.
  • the sound output device 104 is connected to the CPU 120 and outputs sound data output from the CPU 120 from a speaker.
  • the vibration generator 105 is an example of an output unit, and includes a motor that generates vibration and an interface circuit that outputs a signal for generating vibration in the motor.
  • the vibration generator 105 is connected to the CPU 120 and generates vibrations according to the instruction signal output from the CPU 120.
  • the imaging device 106 includes a reduction optical system type imaging sensor including an imaging element made up of a CCD (Charge Coupled Device) arranged one-dimensionally or two-dimensionally, and an A / D converter.
  • the imaging device 106 is an example of an imaging unit, and sequentially captures a meter according to an instruction from the CPU 120 (for example, 30 frames / second).
  • the image sensor generates an analog image signal obtained by photographing the meter and outputs the analog image signal to the A / D converter.
  • the A / D converter performs analog-digital conversion on the output analog image signal to sequentially generate digital image data, and outputs the digital image data to the CPU 120.
  • an equal magnification optical system type CIS Contact Image Sensor
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • digital image data output by the imaging device 106 taken by a meter may be referred to as an input image.
  • the sensor 107 is an acceleration sensor, detects acceleration applied to the image processing apparatus 100 for each of the three axis directions in accordance with an instruction signal output from the CPU 120, and outputs the detected acceleration as movement information of the image processing apparatus 100.
  • the sensor 107 can be, for example, a piezoresistive triaxial acceleration sensor that utilizes a piezoresistive effect, or a capacitive triaxial acceleration sensor that utilizes a change in capacitance.
  • a gyro sensor that detects the rotational angular velocity of the image processing apparatus 100 may be used as the sensor 107 instead of the acceleration sensor, and the rotational angular velocity may be output as movement information of the image processing apparatus 100 instead of the acceleration.
  • the storage device 110 is an example of a storage unit.
  • the storage device 110 includes a memory device such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a fixed disk device such as a hard disk, or a portable storage device such as a flexible disk and an optical disk. Further, the storage device 110 stores computer programs, databases, tables, and the like used for various processes of the image processing apparatus 100.
  • the computer program may be installed from a computer-readable portable recording medium such as a CD-ROM (compact disk read only memory) or a DVD ROM (digital versatile disk read only memory).
  • the computer program is installed in the storage device 110 using a known setup program or the like.
  • the CPU 120 operates based on a program stored in the storage device 110 in advance.
  • the CPU 120 may be a general purpose processor. Instead of the CPU 120, a DSP (digital signal processor), an LSI (large scale integration), or the like may be used. Instead of the CPU 160, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or the like may be used.
  • DSP digital signal processor
  • LSI large scale integration
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 120 is connected to the communication device 101, the input device 102, the display device 103, the sound output device 104, the vibration generating device 105, the imaging device 106, the sensor 107, the storage device 110, and the processing circuit 130, and controls each part thereof.
  • the CPU 120 performs data transmission / reception control via the communication device 101, input control of the input device 102, output control of the display device 103, sound output device 104 and vibration generator 105, imaging control of the imaging device 106, sensor 107 and storage device 110. Control. Further, the CPU 120 recognizes a numerical value in the meter reflected in the input image generated by the imaging device 106 and stores the evidence image in the storage device 110.
  • the processing circuit 130 performs predetermined image processing such as correction processing on the input image acquired from the imaging device 106.
  • predetermined image processing such as correction processing on the input image acquired from the imaging device 106.
  • an LSI, DSP, ASIC, FPGA, or the like may be used as the processing circuit 130.
  • FIG. 2 is a diagram showing a schematic configuration of the storage device 110 and the CPU 120.
  • the storage device 110 stores programs such as a detection program 111, a moving distance detection program 112, a determination program 113, an instruction program 114, a numerical value recognition program 115, and a storage control program 116.
  • Each of these programs is a functional module implemented by software operating on the processor.
  • the CPU 130 reads each program stored in the storage device 110 and operates according to each read program, thereby detecting the detection unit 121, the movement distance detection unit 122, the determination unit 123, the instruction unit 124, the numerical value recognition unit 125, and the storage control. It functions as the unit 126.
  • the imaging direction from the imaging position 150 by the imaging device 106 is the z axis
  • the direction perpendicular to the z axis and parallel to the horizontal plane is the x axis.
  • the direction perpendicular to the z axis and the x axis is the y axis.
  • the image processing apparatus 100 captures an image of the meter 300
  • the image capturing direction from the image capturing position 150 by the image capturing apparatus 106 is determined by the user according to the numerical value such as the electric energy measured by the meter 300. It is moved to face the meter portion 301 shown.
  • FIGS. 3 to 6B illustrate a case where the image processing apparatus 100 is photographed so that the longitudinal direction is parallel to the horizontal line.
  • a plane on which the display of the display device 103 is provided may be referred to as a display surface
  • a surface on which the imaging position 150 by the imaging device 106 on the back side is provided may be referred to as a back surface.
  • FIG. 3 shows an example of horizontal movement of the image processing apparatus 100 in the optical axis (z-axis) direction of the imaging apparatus 106.
  • the image processing apparatus 100 instructs the user to move horizontally in the direction of the arrow A1 or in the opposite direction.
  • FIG. 4A shows an example of horizontal movement of the image processing apparatus 100 in the y-axis direction along a plane (xy plane) perpendicular to the optical axis (z-axis) of the imaging apparatus 106.
  • the image processing apparatus 100 is horizontally moved in the direction of the arrow A2 or in the opposite direction.
  • FIG. 4B shows an example of horizontal movement in the x-axis direction of the image processing apparatus 100 along a plane (xy plane) perpendicular to the optical axis (z-axis) of the imaging device 106.
  • the image processing apparatus 100 instructs the user to move horizontally in the direction of the arrow A3 or in the opposite direction. In these horizontal movements, the image processing apparatus 100 is moved while keeping the orientation of the display surface or the back surface with respect to the meter 300 constant.
  • FIG. 5 shows an example of rotational movement of the image processing apparatus 100 around the optical axis (z-axis) of the imaging device 106.
  • the image processing apparatus 100 is moved so that the display surface or the rear surface rotates along a plane (xy plane) perpendicular to the optical axis (z axis) with the arrangement position of the imaging position 150 as the center.
  • a rotation angle an angle at which the image processing apparatus 100 rotates during this rotational movement may be referred to as a rotation angle.
  • the clockwise direction is the positive direction and the counterclockwise direction is the negative direction.
  • the image processing apparatus 100 When the longitudinal direction of the image processing apparatus 100 is inclined ( ⁇ 1 ) so as to rotate counterclockwise with respect to the horizontal line, the image processing apparatus 100 rotates in the direction of the arrow A4 (clockwise direction). To the user. On the other hand, when the longitudinal direction of the image processing apparatus 100 is inclined ( ⁇ 1 ) so as to rotate in the clockwise direction with respect to the horizontal line, the image processing apparatus 100 rotates in the reverse direction (counterclockwise direction) of the arrow A4. Instruct the user to move.
  • FIG. 6A shows an example of rotational movement of the image processing apparatus 100 in the elevation angle direction with respect to the optical axis (z axis) of the imaging apparatus 106.
  • the image processing apparatus 100 is moved so that the display surface or the back surface rotates about a straight line that passes through the imaging position 150 and is parallel to the x-axis.
  • the angle at which the image processing apparatus 100 rotates during this rotational movement may be referred to as the elevation angle.
  • the clockwise direction is the positive direction
  • the counterclockwise direction is the negative direction.
  • the image processing apparatus 100 When the display surface or back surface of the image processing apparatus 100 is inclined ( ⁇ 2 ) so as to rotate counterclockwise with respect to the xy plane orthogonal to the optical axis (z axis), the image processing apparatus 100 is The user is instructed to rotate in the direction of A5 (clockwise direction). On the other hand, when the display surface or the back surface of the image processing apparatus 100 is inclined ( ⁇ 2 ) so as to rotate clockwise with respect to the xy plane orthogonal to the optical axis (z axis), the image processing apparatus 100 is The user is instructed to rotate in the reverse direction of A5 (counterclockwise direction).
  • FIG. 6B shows an example of rotational movement of the image processing apparatus 100 in the azimuth direction with respect to the optical axis (z-axis) of the imaging apparatus 106.
  • the image processing apparatus 100 is moved such that the display surface or the back surface rotates about a straight line that passes through the imaging position 150 and is parallel to the y-axis.
  • an angle at which the image processing apparatus 100 rotates during this rotational movement may be referred to as an azimuth angle.
  • the clockwise direction is the positive direction
  • the counterclockwise direction is the negative direction.
  • the image processing apparatus 100 displays an arrow The user is instructed to rotate in the direction of A6 (clockwise direction).
  • the display surface or the back surface of the image processing apparatus 100 is inclined ( ⁇ 3 ) so as to rotate clockwise with respect to the xy plane orthogonal to the optical axis (z axis)
  • the image processing apparatus 100 is The user is instructed to rotate in the reverse direction of A6 (counterclockwise direction).
  • FIG. 7 is a flowchart showing an example of the operation of the entire process performed by the image processing apparatus 100.
  • the operation flow described below is mainly executed by the CPU 120 in cooperation with each element of the image processing apparatus 100 based on a program stored in the storage device 110 in advance.
  • the detection unit 121 receives a shooting start instruction when a user inputs a shooting start instruction for instructing the start of shooting of the meter portion using the input device 102 and receives a shooting start instruction signal from the input device 102. (Step S101). Upon receiving a shooting start instruction, the detection unit 121 initializes information used for image processing and sets parameters such as the shooting size and focus of the imaging device 106.
  • the movement distance detection unit 122 sets position information indicating the current position of the image processing apparatus 100 as an initial position (step S102).
  • the detection unit 121 causes the imaging device 106 to start photographing the meter and generate an input image (step S103).
  • the detection unit 121 acquires the input image generated by the imaging device 106 and stores it in the storage device 110 (step S104).
  • the movement distance detection unit 122 receives the movement information output from the sensor 107, calculates the movement amount and movement direction of the image processing apparatus 100 based on the received movement information, and determines the position of the image processing apparatus 100. Update information. Based on the updated position information, the movement distance detection unit 122 detects a movement distance from the initial position, that is, a movement distance after the input device 102 receives a photographing start instruction (step S105).
  • the detection unit 121 executes meter detection processing for detecting a meter portion from the acquired input image (step S106).
  • FIG. 8 is a diagram showing an example of an input image 800 obtained by photographing a meter (device).
  • a meter has a black casing 801, and a white plate 802 inside the casing 801.
  • the plate 802 is visible through glass (not shown), and a meter portion 803 on which a numerical value such as the amount of electric power measured by the meter is displayed is disposed on the plate 802.
  • the numerical value is shown in white and the background is shown in black.
  • the detection unit 121 detects the plate 802.
  • the detection unit 121 detects differences in luminance values or color values (R value, B value, G value) of pixels adjacent to each other in the horizontal and vertical directions in the input image or a plurality of pixels that are separated from the pixels by a predetermined distance. If the absolute value exceeds the first threshold, the pixel is extracted as an edge pixel.
  • the detection unit 121 uses a Hough transform, a least square method, or the like to extract a straight line that passes through the vicinity of each extracted edge pixel, and includes four straight lines in which two of the extracted straight lines are approximately orthogonal to each other. The largest rectangle among the rectangles to be detected is detected as the plate 802.
  • the detection unit 121 determines whether each extracted edge pixel is connected to other edge pixels, and labels the connected edge pixels as one group.
  • the detection unit 121 may detect a region surrounded by the group having the largest area among the extracted groups as the plate 802.
  • the detection unit 121 may detect the plate frame using the difference between the color of the housing 801 and the color of the plate 802.
  • the detection unit 121 has a luminance value or a color value of each pixel that is less than the second threshold value (indicating black), and a luminance value or color of a pixel adjacent to the pixel on the right side or a pixel that is a predetermined distance away from the pixel on the right side. If the value is greater than or equal to the second threshold (indicating white), that pixel is extracted as the left edge pixel.
  • the second threshold value is set to an intermediate value between the value indicating black and the value indicating white.
  • the detection unit 121 has a luminance value or a color value of each pixel that is less than the second threshold value, and a luminance value or a color value of a pixel adjacent to the pixel on the left side or a pixel that is a predetermined distance away from the pixel on the left side. If it is greater than or equal to the second threshold, that pixel is extracted as the right edge pixel. Similarly, the detecting unit 121 has a luminance value or color value of each pixel that is less than the second threshold value, and a luminance value or color of a pixel adjacent to the pixel on the lower side or a pixel separated by a predetermined distance from the pixel on the lower side.
  • the detection unit 121 has a luminance value or a color value of each pixel that is less than the second threshold value, and a luminance value or a color value of a pixel adjacent to the pixel on the upper side or a pixel away from the pixel by a predetermined distance on the upper side. If it is greater than or equal to the second threshold, that pixel is extracted as the lower edge pixel.
  • the detection unit 121 uses a Hough transform, a least square method, or the like to extract straight lines connecting the extracted left end edge pixel, right end edge pixel, upper end edge pixel, and lower end edge pixel, and is configured from the extracted straight lines. Are detected as a plate 802.
  • the detection unit 121 detects the meter portion 803 from the detected area in the plate 802.
  • the detection unit 121 detects the meter portion 803 by a discriminator that has been pre-learned so as to output the position information of the meter portion 803 when an image showing the plate 802 including the meter portion 803 is input.
  • This discriminator is pre-learned using a plurality of images obtained by photographing the meter, for example, by deep learning, and stored in the storage device 110 in advance.
  • the detection unit 121 detects the meter portion 803 by inputting an image including the detected plate 802 to the discriminator and acquiring position information output from the discriminator.
  • the detection unit 121 may detect the meter portion 803 based on the edge pixels in the input image, as in the case of detecting the plate 802.
  • the detection unit 121 extracts edge pixels from the region including the plate frame of the input image, extracts straight lines passing through the vicinity of the extracted edge pixels, and four of the extracted straight lines are approximately orthogonal to each other. The largest rectangular area is detected among the rectangles composed of the straight lines. Or the detection part 121 detects the rectangular area
  • the detection unit 121 detects a predetermined digit number from each detected area by using a known OCR (Optical Character Recognition) technique, and if the predetermined digit number can be detected, detects the area as a meter portion 803. To do.
  • OCR Optical Character Recognition
  • the detection unit 121 may detect a rectangular region using the difference between the color of the plate 802 and the color of the meter portion 803 as in the case of detecting the plate 802.
  • the detection unit 121 has a luminance value or color value of each pixel equal to or greater than the second threshold (indicating white), and a luminance value or color of a pixel adjacent to the pixel on the right side or a pixel separated by a predetermined distance from the pixel to the right side. If the value is less than the second threshold (indicating black), the pixel is extracted as the left edge pixel. Similarly, the detection unit 121 extracts the right edge pixel, the upper edge pixel, and the lower edge pixel.
  • the detection unit 121 extracts a straight line passing through the vicinity of each of the extracted left end edge pixel, right end edge pixel, upper end edge pixel, and lower end edge pixel using a Hough transform or a least square method, and the like. Detect the configured rectangular area.
  • the detection unit 121 detects the mark 804 and is an area sandwiched between the marks 804 in the horizontal and vertical directions.
  • the meter portion 803 may be detected within.
  • the determination unit 123 determines whether or not the entire meter portion is included in the input image based on whether or not the meter portion is detected in the meter detection process (step S107).
  • FIG. 9A and 9B are diagrams illustrating examples of input images 900 and 910 that do not include the entire meter portion 803.
  • FIG. 9A and 9B are diagrams illustrating examples of input images 900 and 910 that do not include the entire meter portion 803.
  • FIG. 9A shows an input image 900 in which the entire meter portion 803 is not included by photographing the meter portion 803 near the end.
  • FIG. 9B shows an input image 910 that does not include the entire meter portion 803 due to the photographing size of the meter portion 803 becoming too large. Since the entire meter portion 803 is not shown in the input image 900 or the input image 910, the numerical value in the meter portion 803 is not detected in the meter detection process, and the meter portion 803 is not detected.
  • the instructing unit 124 outputs a warning that the entire meter portion is not included in the input image, notifies the user (step S108), and proceeds to step S104. And waits until a new input image is acquired.
  • the instruction unit 124 may output an instruction to move the image processing apparatus 100 so that the entire meter portion is captured as a warning that the entire meter portion is not included in the input image.
  • the instruction unit 124 outputs a warning by displaying it on the display device 103, outputting it as sound from the sound output device 104, or causing the vibration generator 105 to generate a predetermined vibration.
  • the instruction unit 124 may change the display size of the warning according to the moving distance after the input device 102 receives the shooting start instruction.
  • the image processing apparatus 100 is likely to be at the user's hand so that the user can easily operate.
  • the meter is not necessarily installed at a position where it can be easily photographed, and the user may shoot the meter with an unreasonable posture, such as extending his arm, and the display device 103 may be difficult to see while photographing the meter. is there.
  • the instruction unit 124 When the movement distance of the image processing apparatus 100 detected in step S105 is less than the distance threshold value, the instruction unit 124 is at the user's hand. When the movement distance is equal to or greater than the distance threshold value, the instruction unit 124 Is considered to be away from the user's hand. Then, the instruction unit 124 makes the warning display size when the moving distance of the image processing apparatus 100 is equal to or larger than the distance threshold larger than the display size of the warning when the moving distance of the image processing apparatus 100 is less than the distance threshold. . Note that the instruction unit 124 may increase the warning display size stepwise as the moving distance of the image processing apparatus 100 increases.
  • FIG. 9C and 9D are diagrams illustrating examples of warnings displayed on the display device 103.
  • FIG. 9C and 9D are diagrams illustrating examples of warnings displayed on the display device 103.
  • FIG. 9C shows a warning 921 that is displayed when the moving distance of the image processing apparatus 100 is less than the distance threshold
  • the screen 930 shown in FIG. 9D shows the moving distance of the image processing apparatus 100.
  • a warning 931 displayed when the distance is equal to or greater than the distance threshold is displayed.
  • the warning 931 is displayed larger than the warning 921, and the user can easily check the warning 931 even when the image processing apparatus 100 (display screen) is located away from the hand.
  • step S109 when the entire meter portion is included in the input image, the determination unit 123 and the instruction unit 124 execute an image determination process (step S109).
  • the determination unit 123 determines whether the input image is appropriate as an evidence image based on the inclination or size of the meter portion detected in the input image.
  • the instruction unit 124 moves the image processing apparatus 100 relative to the user so that the numerical value in the meter is captured at a predetermined position or a predetermined size in the input image when the input image is not appropriate as the evidence image.
  • Output instructions Details of the image determination process will be described later.
  • the determination unit 123 determines whether or not the input image is determined to be appropriate as an evidence image in the image determination process (step S110).
  • the determination unit 123 returns the process to step S104 and waits until a new input image is acquired.
  • the numerical value recognition unit 125 executes numerical value recognition processing (step S111).
  • the numerical value recognition unit 125 is reflected in the meter portion by a discriminator that has been pre-learned so as to output the numerical value in the image when the image in which the numerical value is reflected is input. Specify a numerical value.
  • This discriminator is pre-learned using a plurality of images obtained by photographing each numerical value in the meter, for example, by deep learning, and stored in the storage device 110 in advance.
  • the numerical value recognition unit 125 inputs an image including the meter portion to the discriminator, and specifies the numerical value output from the discriminator as a numerical value reflected in the meter portion.
  • the numerical value recognition unit 125 may specify a numerical value shown in the meter portion using a known OCR technique.
  • the numerical value recognition unit 125 determines whether or not the numerical value in the meter has been recognized in the numerical value recognition process (step S112).
  • the numerical value recognition unit 125 returns the process to step S104 and waits until a new input image is acquired.
  • the storage control unit 126 associates the numerical value recognized by the numerical value recognition unit 125 with the at least part of the input image as an evidence image and stores it in the storage device 110 (step S113). .
  • the storage control unit 126 stores, for example, an image obtained by cutting out the meter area from the input image in the storage device 110 as an evidence image. Note that the storage control unit 126 may store the image obtained by cutting out the plate area from the input image or the input image itself in the storage device 110 as an evidence image.
  • the storage control unit 126 displays the numerical value recognized by the numerical value recognition unit 125 and / or the evidence image stored by the storage control unit 126 on the display device 103 (step S114), and ends a series of steps. Further, the storage control unit 126 may transmit the numerical value recognized by the numerical value recognition unit 125 and / or the evidence image selected by the storage control unit 126 to the server device via the communication device 101.
  • steps S109 and S110 may be executed after the processing of steps S111 and S112, and the image determination processing may be executed only for an image whose numerical value in the meter is recognized in the numerical value recognition processing.
  • the moving distance detection unit 122 is not the position of the image processing apparatus 100 when the input apparatus 102 receives a shooting start instruction, but the image processing apparatus 100 when the apparatus is activated or when an application program for executing the entire process is activated. May be set as the initial position.
  • FIG. 10 is a flowchart showing an example of the operation of the image determination process. The operation flow shown in FIG. 10 is executed in step S109 of the flowchart shown in FIG.
  • the determination unit 123 determines whether or not the size of the meter portion detected in the input image is included within a predetermined range (step S201).
  • the size of the meter portion is defined by the area (number of pixels) or the length in the horizontal or vertical direction (number of pixels). For example, when the number of pixels in the horizontal direction of the input image is 640 pixels, the predetermined range is set to a range in which the number of pixels in the horizontal direction is 400 pixels or more and 600 pixels or less. Note that the upper limit of the predetermined range may not be set.
  • FIG. 11A is a diagram illustrating an example of an input image 1100 in which the size of the meter portion is not included in the predetermined range.
  • FIG. 11A shows an input image 1100 in which the meter is photographed from a distant position and the meter portion 803 is small.
  • the input image 1100 since the size of the meter portion 803 is small, it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.
  • the instruction unit 124 instructs the horizontal movement of the image processing apparatus 100 in the optical axis (z-axis) direction of the imaging apparatus 106 to move the image processing apparatus 100 to the user. It outputs as an instruction
  • the instruction unit 124 outputs a horizontal movement instruction so that the size of the meter portion is included in a predetermined range.
  • the instruction unit 124 outputs a movement instruction for horizontally moving the image processing apparatus 100 in the direction of arrow A1 in FIG.
  • the instruction unit 124 outputs a movement instruction for horizontally moving the image processing apparatus 100 in the direction opposite to the arrow A1 in FIG.
  • the instruction unit 124 displays the information on the display device 103, outputs the sound from the sound output device 104, or outputs predetermined vibrations to the vibration generation device 105, as in the case of outputting a warning.
  • the instruction unit 124 may change the display size of the movement instruction in accordance with the movement distance from when the input device 102 receives the shooting start instruction, as in the case of outputting a warning.
  • the instruction unit 124 may change the display mode of the movement instruction according to the movement distance after the input device 102 receives the imaging start instruction.
  • FIG. 11B and 11C are diagrams showing examples of movement instructions displayed on the display device 103.
  • FIG. 11B and 11C are diagrams showing examples of movement instructions displayed on the display device 103.
  • a screen 1110 in FIG. 11B shows a movement instruction 1111 displayed when the moving distance of the image processing apparatus 100 is less than the distance threshold, and the moving distance of the image processing apparatus 100 is a distance on the screen 1120 in FIG. 11C.
  • a movement instruction 1121 displayed when the value is equal to or greater than the threshold is shown.
  • the movement instruction 1121 is displayed larger than the movement instruction 1111. Further, the movement instruction 1121 is displayed more simply than the movement instruction 1111. Further, the movement instruction 1111 is displayed using only characters, but the movement instruction 1121 is displayed using characters and storage. Accordingly, the user can easily confirm the movement instruction 1121 even when the image processing apparatus 100 (display screen) is located away from the hand.
  • the instruction unit 124 is an image processing device for the user so that the numerical value in the meter is captured at a predetermined size in the input image based on the size of the meter portion detected in the input image.
  • the movement instruction of is output.
  • the determination unit 123 determines that the input image is not appropriate as an evidence image (step S203), and ends a series of steps.
  • the determination unit 123 determines whether or not the meter portion detected in the input image includes blur (step S204). ).
  • a blur is a region where the difference in luminance value of each pixel in the image is small due to defocusing of the imaging device 106, or the same object appears in a plurality of pixels in the image due to a user's camera shake. It means an area where the difference in luminance value of each pixel is small.
  • FIG. 12A is a diagram illustrating an example of an input image 1200 in which blur is included in the meter portion.
  • FIG. 12A shows an input image 1200 in which the difference between the luminance value of the number in the meter portion 803 and the luminance value of the background is reduced due to the defocus of the imaging device 106.
  • the difference between the numerical luminance value of the meter portion 803 and the luminance value of the background is small, it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.
  • the determination unit 123 determines whether or not the meter portion includes blur by a discriminator that is pre-learned to output a blur degree indicating the degree of blur included in the input image. Determine.
  • This discriminator is pre-learned using an image obtained by photographing a meter and not including blur by, for example, deep learning, and is stored in the storage device 110 in advance. Note that this discriminator may be pre-learned using an image obtained by photographing a meter and including blur.
  • the determination unit 123 inputs an image including the detected meter portion to the discriminator, and determines whether or not the meter portion includes blur depending on whether the degree of blur output from the discriminator is equal to or greater than a third threshold. judge.
  • the determination unit 123 may determine whether the meter portion includes blur based on the edge strength of the luminance value of each pixel included in the meter portion region in the input image.
  • the determination unit 123 calculates, as the edge strength of the pixel, the absolute value of the difference between the luminance values of the pixels adjacent to each other in the horizontal or vertical direction of the pixel in the meter portion region or a plurality of pixels separated from the pixel by a predetermined distance. To do.
  • the determination unit 123 determines whether or not the meter portion includes blur depending on whether or not the average value of the edge intensity calculated for each pixel in the meter portion region is equal to or less than the fourth threshold value.
  • the determination unit 123 may determine whether or not the meter portion includes blur based on the luminance value distribution of each pixel included in the meter portion region in the input image.
  • the determination unit 123 generates a histogram of the luminance value of each pixel in the meter portion area, and determines the maximum value in each of the luminance value range indicating the numerical value (white) and the luminance value range indicating the background (black). It detects and calculates the average value of the half value width of each maximum value.
  • the determination unit 123 determines whether or not the meter portion includes blur depending on whether or not the calculated average half-value width of each local maximum value is equal to or greater than the fifth threshold value.
  • Each threshold and each range described above are set in advance by a prior experiment.
  • the instruction unit 124 When the meter portion includes blur, the instruction unit 124 outputs a command to adjust the focus of the imaging device 106 together with a notification that the meter portion includes blur (step S205). As in the case of outputting a warning, the instruction unit 124 displays the sound on the display device 103, outputs the sound from the sound output device 104, or causes the vibration generator 105 to generate a predetermined vibration. , Output instructions.
  • the instruction unit 124 may adjust the focus of the imaging device 106 to the designated position when the user inputs the designation of a predetermined position in the input image using the input device 102. In that case, the instruction unit 124 may output an instruction to designate a meter portion as a position to be focused.
  • the determination unit 123 determines that the input image is not appropriate as an evidence image (step S203), and ends a series of steps.
  • the determination unit 123 determines whether or not the meter portion detected in the input image includes shine (step S206).
  • shine means a region where the luminance value of a pixel in a predetermined region in the image is saturated (out-of-white) due to the influence of disturbance light or the like.
  • FIG. 12B is a diagram illustrating an example of the input image 1210 in which the meter portion includes the shine.
  • FIG. 12B shows an input image 1210 in which ambient light 1211 is reflected in a part of the meter part 803 due to ambient light such as illumination being reflected on the glass part covering the front surface of the meter part 803, and the area is white. Show. In the input image 1210, since some of the numbers in the meter portion 803 are whiteout, it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.
  • the determination unit 123 determines whether or not the meter portion includes the shine by the discriminator that is pre-learned so as to output the degree of shine that indicates the degree of the shine included in the input image when the image is input. Determine.
  • This discriminator is pre-learned using, for example, an image obtained by photographing a meter and not including shine by deep learning or the like, and is stored in the storage device 110 in advance. Note that this discriminator may be pre-learned using an image obtained by photographing a meter and including shine.
  • the determination unit 123 inputs an image including the detected meter portion into the discriminator, and determines whether or not the meter portion includes shine depending on whether or not the degree of shine output from the discriminator is equal to or greater than a sixth threshold. judge.
  • the determination unit 123 may determine whether or not the meter portion includes the shine based on the luminance value of each pixel included in the meter portion region in the input image.
  • the determination unit 123 calculates the number of pixels whose luminance value is greater than or equal to the seventh threshold value (white) among the pixels in the meter portion area, and determines whether the calculated number is equal to or greater than the eighth threshold value. It is determined whether or not the portion contains shine.
  • the determination unit 123 may determine whether or not the meter portion includes shine based on the luminance value distribution of each pixel included in the meter portion region in the input image.
  • the determination unit 123 generates a histogram of the luminance value of each pixel in the meter portion region, and determines whether the number of pixels distributed in the region equal to or greater than the seventh threshold is greater than or equal to the eighth threshold. It is determined whether or not shine is included.
  • Each threshold and each range described above are set in advance by a prior experiment.
  • the instruction unit 124 instructs the image processing apparatus 100 to move the image processing apparatus 100 horizontally along a plane (xy plane) perpendicular to the optical axis (z axis) of the imaging apparatus 106.
  • the movement instruction is output and notified to the user (step S207).
  • the instruction unit 124 outputs a horizontal movement instruction so that the meter portion does not include the shine.
  • the instruction unit 124 outputs a movement instruction to horizontally move the image processing apparatus 100 in the direction of the arrow A2 in FIG. 4A when the shine is present above the center position of the meter portion.
  • the instruction unit 124 outputs a movement instruction for horizontally moving the image processing apparatus 100 in the direction opposite to the arrow A2 in FIG.
  • the instruction unit 124 when the shine is present below the center position of the meter portion.
  • the instruction unit 124 outputs a movement instruction for horizontally moving the image processing apparatus 100 in the direction of the arrow A3 in FIG. 4B when there is shine on the left side of the center position of the meter portion.
  • the instruction unit 124 when there is a shine on the right side of the center position of the meter portion, the instruction unit 124 outputs a movement instruction for horizontally moving the image processing apparatus 100 in the direction opposite to the arrow A3 in FIG. 4B.
  • the imaging position 150 by the imaging apparatus 106 is arranged near the end instead of the center position on the back so that the user can easily hold the image processing apparatus 100.
  • the user misunderstands that the imaging position 150 is arranged at the center position of the image processing apparatus 100 and tends to move the center position of the image processing apparatus 100 so as to face the meter portion.
  • the image processing apparatus 100 can move the image processing apparatus 100 to an appropriate position so that the meter portion can be favorably imaged by outputting a movement instruction of the image processing apparatus 100.
  • the determination unit 123 determines that the input image is not appropriate as an evidence image (step S203), and ends a series of steps.
  • the determination unit 123 determines whether or not the meter portion is inclined in the input image (step S208).
  • FIG. 13A is a diagram illustrating an example of an input image 1300 in which the meter portion is tilted.
  • FIG. 13A is taken in a state where the image processing apparatus 100 is tilted so as to rotate in the rotation angle direction as shown in FIG. 5, particularly in a state where the image processing apparatus 100 is tilted so as to rotate in the direction opposite to the arrow A4 ( ⁇ 1 ).
  • An input image 1300 is shown. In the input image 1300, since the meter portion 803 is inclined, it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.
  • the determination unit 123 identifies a quadrilateral included in the meter portion 803 detected by the detection unit 121 in the input image.
  • the determination unit 123 specifies the rectangle extracted by the detection unit 121 as a quadrilateral included in the meter portion 803.
  • the determination unit 123 extracts a rectangle from the meter portion 803 in the same manner as described in the detection process of the meter portion 803 by the detection unit 121, and extracts the extracted rectangle. It is specified as a quadrilateral included in the meter portion 803.
  • the determination unit 123 specifies two sides 1301 and 1302 that extend in a substantially horizontal direction and face each other among the four sides of the specified quadrilateral.
  • the substantially horizontal direction means, for example, a direction having an angle of 45 ° or less with respect to the horizontal line, and the side extending in the substantially horizontal direction means a straight line whose angle formed with the horizontal line is within 45 °.
  • the determination unit 123 calculates an angle ⁇ 4 formed by the straight line 1305 that passes through the midpoints 1303 and 1304 of the specified two sides 1301 and 1302 and the vertical line 1306 of the input image 1300.
  • Judging unit 123 if the calculated angle theta 4 is a first angle (e.g. 15 °) or more, determines that the meter portion 803 is inclined, when the calculated angle theta 4 is less than the first angle, meter It is determined that the portion 803 is not tilted.
  • the determination unit 123 may determine whether the meter portion detected in the input image is inclined by a first angle or more with respect to the horizontal line of the input image. In this case, the determination unit 123 determines whether the angle formed between the straight line extending in the vertical direction and passing through the midpoints of the two opposite sides of the four sides of the specified quadrilateral and the horizontal line of the input image is the first. It is determined whether the angle is 1 angle or more.
  • the substantially vertical direction means, for example, a direction having an angle of 45 ° or less with respect to the vertical line, and the side extending in the substantially vertical direction means a straight line having an angle of 45 ° or less with the horizontal line.
  • the instruction unit 124 When the meter portion is tilted, the instruction unit 124 outputs a rotation movement instruction of the image processing apparatus 100 around the optical axis (z axis) of the imaging device 106 as a movement instruction of the image processing apparatus 100 to the user, The user is notified (step S209).
  • the instruction unit 124 has an angle formed between a straight line extending in a substantially horizontal direction of a quadrilateral included in the meter portion and passing through the midpoints of the two sides facing each other and a vertical line of the input image is equal to or less than the first angle.
  • the rotation movement instruction is output so that When the straight line rotates clockwise with respect to the vertical line (state shown in FIG.
  • the instruction unit 124 moves the image processing apparatus 100 to rotate in the direction of the arrow A4 (clockwise) in FIG. Output instructions.
  • the instruction unit 124 displays the image processing apparatus 100.
  • a movement instruction for rotating in the reverse direction (counterclockwise) of the arrow A4 of 5 is output.
  • the instruction unit 124 moves the image processing apparatus relative to the user so that the numerical value in the meter is imaged at a predetermined inclination in the input image based on the inclination of the meter portion detected in the input image. Output instructions.
  • the determination unit 123 determines that the input image is not appropriate as an evidence image (step S203), and ends a series of steps.
  • the determination unit 123 determines whether the meter portion is distorted in the vertical direction of the input image (step S210).
  • FIG. 13B is a diagram illustrating an example of an input image 1310 in which the meter portion is distorted in the vertical direction.
  • FIG. 13B shows an input image 1310 photographed in a state ( ⁇ 2 ) in which the image processing apparatus 100 is rotated in the elevation angle direction, particularly in the direction of the arrow A5, as shown in FIG. 6A.
  • the meter portion 803 is distorted in the vertical direction, and the numerical value shown in the meter portion 803 is distorted. Therefore, it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.
  • the determination unit 123 specifies a quadrilateral included in the meter portion 803 detected in the input image by the detection unit 121 in the same manner as the process in step S208. Next, the determination unit 123 specifies two sides 1311 and 1312 that extend in a substantially vertical direction and face each other out of the four sides of the specified quadrilateral. The determination unit 123 calculates an angle ⁇ 5 formed by the identified two sides 1311 and 1312. The determination unit 123 determines that the meter portion 803 is distorted in the vertical direction when the calculated angle ⁇ 5 is greater than or equal to the second angle (for example, 20 °), and the calculated angle ⁇ 5 is less than the second angle. In this case, it is determined that the meter portion 803 is not distorted in the vertical direction.
  • the second angle for example, 20 °
  • the instruction unit 124 uses a rotation movement instruction of the image processing apparatus 100 in the elevation angle direction with respect to the optical axis (z axis) of the imaging apparatus 106 as a movement instruction of the image processing apparatus 100 to the user.
  • the data is output and notified to the user (step S211).
  • the instruction unit 124 outputs a rotation movement instruction so that an angle formed by two sides extending in a substantially vertical direction of the quadrilateral included in the meter portion is equal to or smaller than the second angle.
  • the instruction unit 124 moves the image processing apparatus 100 in the reverse direction (reverse direction of the arrow A5 in FIG. 6A). Outputs a movement instruction to rotate (clockwise). On the other hand, the instruction unit 124 rotates and moves the image processing apparatus 100 in the direction of arrow A5 (clockwise) in FIG. 6A when two sides extending in a substantially vertical direction and facing each other intersect below the meter portion 803. The movement instruction to be output is output.
  • the instruction unit 124 moves the image processing apparatus relative to the user so that the numerical value in the meter is imaged at a predetermined inclination in the input image based on the inclination of the meter portion detected in the input image. Output instructions.
  • the determination unit 123 determines that the input image is not appropriate as an evidence image (step S203), and ends a series of steps.
  • the determination unit 123 determines whether the meter portion is distorted in the horizontal direction of the input image (step S212).
  • FIG. 13C is a diagram illustrating an example of an input image 1320 in which the meter portion is distorted in the horizontal direction.
  • FIG. 13C shows an input image 1320 taken in a state where the image processing apparatus 100 is rotated in the azimuth direction, particularly in a state ( ⁇ 3 ) rotated in the direction opposite to the arrow A6, as shown in FIG. 6B.
  • the meter portion 803 is distorted in the horizontal direction, and the numerical value shown in the meter portion 803 is distorted. Therefore, it is difficult for the user to visually confirm the numerical value shown in the meter portion 803.
  • the determination unit 123 specifies a quadrilateral included in the meter portion 803 detected in the input image by the detection unit 121 in the same manner as the process in step S208. Next, the determination unit 123 specifies two sides 1321 and 1322 that extend in a substantially horizontal direction and face each other out of the four sides of the specified quadrilateral. The determination unit 123 calculates an angle ⁇ 6 formed by the identified two sides 1321 and 1322. The determination unit 123 determines that the meter portion 803 is distorted in the horizontal direction when the calculated angle ⁇ 6 is greater than or equal to a third angle (for example, 20 °), and the calculated angle ⁇ 6 is less than the third angle. In this case, it is determined that the meter portion 803 is not distorted in the horizontal direction.
  • a third angle for example, 20 °
  • the instruction unit 124 uses a rotation movement instruction of the image processing apparatus 100 in the azimuth direction with respect to the optical axis (z axis) of the imaging apparatus 106 as a movement instruction of the image processing apparatus 100 to the user.
  • the data is output and notified to the user (step S213).
  • the instruction unit 124 outputs a rotational movement instruction so that an angle formed by two sides extending in a substantially horizontal direction of the quadrilateral included in the meter portion and not facing each other is equal to or smaller than a third angle.
  • the instruction unit 124 extends the image processing apparatus 100 in the direction indicated by the arrow A6 (clockwise) in FIG. ) Is output to move.
  • the instruction unit 124 rotates the image processing apparatus 100 in the reverse direction (counterclockwise) of the arrow A6 in FIG.
  • the movement instruction to move is output.
  • the instruction unit 124 moves the image processing apparatus relative to the user so that the numerical value in the meter is imaged at a predetermined inclination in the input image based on the inclination of the meter portion detected in the input image. Output instructions.
  • the determination unit 123 determines that the input image is not appropriate as an evidence image (step S203), and ends a series of steps.
  • the determination unit 123 determines that the input image is appropriate as an evidence image (step S214), and ends a series of steps. .
  • the image processing apparatus 100 captures a numerical value in the meter at a predetermined position or a predetermined size in the input image based on the inclination or size of the meter portion detected in the input image. In this manner, an instruction to move the image processing apparatus to the user is output. As a result, the image processing apparatus 100 can give an appropriate instruction to the user who takes a picture of the meter. In addition, each user can photograph the meter satisfactorily without depending on individual differences for each user. In particular, even when the meter is installed at a position where it is difficult to photograph, the user can photograph the meter satisfactorily according to the movement instruction. Further, it is suppressed that each user completes photographing without noticing that photographing with the meter has failed, and the image processing apparatus 100 can store an appropriate evidence image more reliably. It was.
  • FIG. 14 is a block diagram showing a schematic configuration of a processing circuit 230 in an image processing apparatus according to another embodiment.
  • the processing circuit 230 is used instead of the processing circuit 130 of the image processing apparatus 100, and executes the entire processing instead of the CPU 120.
  • the processing circuit 230 includes a detection circuit 231, a movement distance detection circuit 232, a determination circuit 233, an instruction circuit 234, a numerical value recognition circuit 235, a storage control circuit 236, and the like.
  • the detection circuit 231 is an example of a detection unit and has the same function as the detection unit 121.
  • the detection circuit 231 sequentially acquires input images obtained by photographing the meter from the imaging device 106, detects a meter portion from the input image, and outputs a detection result to the determination circuit 233.
  • the movement distance detection circuit 232 is an example of a movement distance detection unit and has the same function as the movement distance detection unit 122.
  • the movement distance detection circuit 232 receives the movement information output from the sensor 107, detects the movement distance of the image processing apparatus 100 based on the received movement information, and outputs the detection result to the instruction circuit 234.
  • the determination circuit 233 is an example of a determination unit and has the same function as the determination unit 123.
  • the determination circuit 233 determines whether the input image is appropriate as an evidence image based on the inclination or size of the meter portion detected in the input image, and outputs the determination result to the instruction circuit 234.
  • the instruction circuit 234 is an example of an instruction unit, and has the same function as the instruction unit 124.
  • the instruction circuit 234 outputs a movement instruction of the image processing apparatus 100 to the user to the display device 103, the sound output device 104, or the vibration generation device 105 based on the determination result by the determination circuit 233 and the detection result by the movement distance detection circuit 232. .
  • the numerical value recognition circuit 235 is an example of a numerical value recognition unit and has the same function as the numerical value recognition unit 125.
  • the numerical value recognition circuit 235 recognizes the numerical value in the meter shown in the input image, and stores the recognition result in the storage device 110.
  • the storage control circuit 236 is an example of a storage control unit and has the same function as the storage control unit 126.
  • the storage control circuit 236 stores the evidence image in the storage device 110 in association with the numerical value recognized by the numerical value recognition circuit 235.
  • the image processing apparatus 100 can give an appropriate instruction to the user who photographs the meter.
  • each discriminator used in the overall processing may be stored not in the storage device 110 but in an external device such as a server device.
  • the CPU 120 transmits each image to the server device via the communication device 101, and receives and acquires the identification result output from each identifier from the server device.
  • the image processing apparatus 100 is not limited to an information processing apparatus that can be carried by a user, and may be an information processing apparatus that can fly by a user operation, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Studio Devices (AREA)

Abstract

メータを撮影するユーザに対して適切な指示を行うことを可能とする画像処理装置、制御方法及び制御プログラムを提供する。画像処理装置は、携帯可能な画像処理装置であって、出力部と、メータを撮影した入力画像を順次生成する撮像部と、前記入力画像からメータ部分を検出する検出部と、前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する指示部と、を有する。

Description

画像処理装置、制御方法及び制御プログラム
　本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、メータを撮影した画像からメータ部分を検出する画像処理装置、制御方法及び制御プログラムに関する。
　工場、家屋等では、設備点検作業において、作業者が電力量等のメータ（装置）から電力量等を示す数値を目視により読み取り、紙の台帳である点検簿に記録している。また、近年では、設備点検作業において、カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する技術も利用されている。このような設備点検作業では、数値の目視誤り又は認識誤りが発生する可能性があるため、ユーザである作業者がカメラでメータを撮影した画像を、後で確認できるように証拠画像として保存しておくことが行われている。
　カメラで認識対象物が撮影された画像に対して認識処理を行い、認識結果を出力する画像処理装置が開示されている（特許文献１を参照）。
特開２０１０－２１８０６１号公報
　カメラでメータを撮影した画像を証拠画像として保存しておく場合、証拠画像に適した画像が保存される必要があり、ユーザがメータを良好に撮影するように、ユーザに対して適切な指示が行われることが望まれている。
　画像処理装置、制御方法及び制御プログラムの目的は、メータを撮影するユーザに対して適切な指示を行うことを可能とすることにある。
　本発明の一側面に係る画像処理装置は、携帯可能な画像処理装置であって、出力部と、メータを撮影した入力画像を順次生成する撮像部と、入力画像からメータ部分を検出する検出部と、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力する指示部と、を有する。
　また、本発明の一側面に係る制御方法は、出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御方法であって、入力画像からメータ部分を検出し、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力することを含む。
　また、本発明の一側面に係る制御プログラムは、出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御プログラムであって、入力画像からメータ部分を検出し、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力することを画像処理装置に実行させる。
　本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、メータを撮影するユーザに対して適切な指示を行うことが可能となる。
　本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。
実施形態に従った画像処理装置１００の概略構成の一例を示す図である。 記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。 座標系について説明するための図である。 座標系について説明するための図である。 座標系について説明するための図である。 座標系について説明するための図である。 座標系について説明するための図である。 座標系について説明するための図である。 全体処理の動作の例を示すフローチャートである。 メータを撮影した入力画像８００の一例を示す図である。 入力画像の例を示す図である。 入力画像の例を示す図である。 表示装置１０３に表示される警告の例を示す図である。 表示装置１０３に表示される警告の例を示す図である。 画像判定処理の動作の例を示すフローチャートである。 入力画像の例を示す図である。 表示装置１０３に表示される移動指示の例を示す図である。 表示装置１０３に表示される移動指示の例を示す図である。 入力画像の例を示す図である。 入力画像の例を示す図である。 入力画像の例を示す図である。 入力画像の例を示す図である。 入力画像の例を示す図である。 他の処理回路２３０の概略構成を示す図である。
　以下、本開示の一側面に係る画像処理装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
　図１は、実施形態に従った画像処理装置１００の概略構成の一例を示す図である。
　画像処理装置１００は、タブレットＰＣ、多機能携帯電話（いわゆるスマートフォン）、携帯情報端末、ノートＰＣ等の携帯可能な情報処理装置であり、そのユーザである作業者により使用される。画像処理装置１００は、通信装置１０１と、入力装置１０２と、表示装置１０３と、音出力装置１０４と、振動発生装置１０５と、撮像装置１０６と、センサ１０７と、記憶装置１１０と、ＣＰＵ（Central Processing Unit）１２０と、処理回路１３０とを有する。以下、画像処理装置１００の各部について詳細に説明する。
　通信装置１０１は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信装置１０１は、アクセスポイント等との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う。そして、通信装置１０１は、アクセスポイントを介して外部のサーバ装置（不図示）とデータの送受信を行う。通信装置１０１は、アクセスポイントを介してサーバ装置から受信したデータをＣＰＵ１２０に供給し、ＣＰＵ１２０から供給されたデータをアクセスポイントを介してサーバ装置に送信する。なお、通信装置１０１は、外部の装置と通信できるものであればどのようなものであってもよい。例えば、通信装置１０１は、携帯電話通信方式に従って不図示の基地局装置を介してサーバ装置と通信するものでもよいし、有線ＬＡＮ通信方式に従ってサーバ装置と通信するものでもよい。
　入力装置１０２は、入力部の一例であり、タッチパネル式の入力装置、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインターフェース回路を有する。入力装置１０２は、ユーザの入力を受け付け、ユーザの入力に応じた信号をＣＰＵ１２０に対して出力する。
　表示装置１０３は、出力部の一例であり、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有する。表示装置１０３は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力装置１０２と表示装置１０３を一体に構成してもよい。
　音出力装置１０４は、出力部の一例であり、スピーカ及びスピーカに音声データを出力するインターフェース回路を有する。音出力装置１０４は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された音声データをスピーカから出力する。
　振動発生装置１０５は、出力部の一例であり、振動を発生させるモータ及びモータに振動を発生させるための信号を出力するインターフェース回路を有する。振動発生装置１０５は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された指示信号に応じて振動を発生させる。
　撮像装置１０６は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。撮像装置１０６は、撮像部の一例であり、ＣＰＵ１２０からの指示に従ってメータを順次撮影する（例えば３０フレーム／秒）。撮像センサは、メータを撮影したアナログの画像信号を生成してＡ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、ＣＰＵ１２０に出力する。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を利用してもよい。以下では、撮像装置１０６によりメータが撮影されて出力されたデジタルの画像データを入力画像と称する場合がある。
　センサ１０７は、加速度センサであり、ＣＰＵ１２０から出力された指示信号に応じて、画像処理装置１００に加わる加速度を３軸方向毎に検出し、検出した加速度を画像処理装置１００の移動情報として出力する。センサ１０７は、例えば、ピエゾ抵抗効果を利用したピエゾ抵抗型の３軸加速度センサ、又は静電容量の変化を利用した静電容量型の３軸加速度センサとすることができる。なお、センサ１０７として、加速度センサの代わりに、画像処理装置１００の回転角速度を検出するジャイロセンサを利用し、加速度の代わりに回転角速度を画像処理装置１００の移動情報として出力してもよい。
　記憶装置１１０は、記憶部の一例である。記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１１０には、画像処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ－ＲＯＭ（compact disk read only memory）、ＤＶＤ－ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶装置１１０にインストールされる。
　ＣＰＵ１２０は、予め記憶装置１１０に記憶されているプログラムに基づいて動作する。ＣＰＵ１２０は、汎用プロセッサであってもよい。なお、ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１６０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等が用いられてもよい。
　ＣＰＵ１２０は、通信装置１０１、入力装置１０２、表示装置１０３、音出力装置１０４、振動発生装置１０５、撮像装置１０６、センサ１０７、記憶装置１１０及び処理回路１３０と接続され、これらの各部を制御する。ＣＰＵ１２０は、通信装置１０１を介したデータ送受信制御、入力装置１０２の入力制御、表示装置１０３、音出力装置１０４及び振動発生装置１０５の出力制御、撮像装置１０６の撮像制御、センサ１０７及び記憶装置１１０の制御等を行う。さらに、ＣＰＵ１２０は、撮像装置１０６により生成された入力画像に写っているメータ内の数値を認識するとともに、証拠画像を記憶装置１１０に記憶する。
　処理回路１３０は、撮像装置１０６から取得した入力画像に補正処理等の所定の画像処理を施す。なお、処理回路１３０として、ＬＳＩ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が用いられてもよい。
　図２は、記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。
　図２に示すように、記憶装置１１０には、検出プログラム１１１、移動距離検出プログラム１１２、判定プログラム１１３、指示プログラム１１４、数値認識プログラム１１５及び記憶制御プログラム１１６等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１３０は、記憶装置１１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作することにより、検出部１２１、移動距離検出部１２２、判定部１２３、指示部１２４、数値認識部１２５及び記憶制御部１２６として機能する。
　図３、４Ａ、４Ｂ、５、６Ａ、６Ｂは、本実施形態において説明に用いる座標系について説明するための図である。
　図３～６Ｂに示す例では、撮像装置１０６による撮像位置１５０からの撮像方向、即ち撮像装置１０６の光軸方向をｚ軸とし、ｚ軸に垂直であり且つ水平面に平行な方向をｘ軸とし、ｚ軸及びｘ軸に垂直な方向をｙ軸としている。図３～６Ｂに示すように、画像処理装置１００は、メータ３００を撮影する際に、ユーザにより、撮像装置１０６による撮像位置１５０からの撮像方向が、メータ３００が計測した電力量等の数値が示されるメータ部分３０１を向くように移動される。なお、図３～６Ｂでは、画像処理装置１００の長手方向が水平線に平行になるように撮影される場合を例に説明している。また、以下では、画像処理装置１００において表示装置１０３のディスプレイが設けられた平面を表示面と称し、その裏側にある撮像装置１０６による撮像位置１５０が設けられた面を背面と称する場合がある。
　図３は、撮像装置１０６の光軸（ｚ軸）方向の画像処理装置１００の水平移動の例を示す。画像処理装置１００は、メータ部分３０１との間の距離を調整するために、矢印Ａ１の方向又はその逆方向に水平移動するようにユーザに指示する。
　図４Ａは、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００のｙ軸方向の水平移動の例を示す。画像処理装置１００は、メータ部分３０１に対する撮像位置１５０の垂直位置を調整するために、矢印Ａ２の方向又はその逆方向に水平移動される。図４Ｂは、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００のｘ軸方向の水平移動の例を示す。画像処理装置１００は、メータ部分３０１に対する撮像位置１５０の水平位置を調整するために、矢印Ａ３の方向又はその逆方向に水平移動するようにユーザに指示する。これらの水平移動では、画像処理装置１００は、メータ３００に対する表示面又は背面の向きを一定に保ちながら移動される。
　図５は、撮像装置１０６の光軸（ｚ軸）を中心とする画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０の配置位置を中心として、光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿って回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を回転角と称する場合がある。図５では、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の長手方向が水平線に対して反時計回り方向に回転するように（－θ1）傾いている場合、画像処理装置１００は、矢印Ａ４の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の長手方向が水平線に対して時計回り方向に回転するように（θ1）傾いている場合、画像処理装置１００は、矢印Ａ４の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。
　図６Ａは、撮像装置１０６の光軸（ｚ軸）に対する仰俯角方向の画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０を通過するｘ軸に平行な直線を回転軸として回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を仰俯角と称する場合がある。図６Ａでは、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して反時計回り方向に回転するように（－θ2）傾いている場合、画像処理装置１００は、矢印Ａ５の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して時計回り方向に回転するように（θ2）傾いている場合、画像処理装置１００は、矢印Ａ５の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。
　図６Ｂは、撮像装置１０６の光軸（ｚ軸）に対する方位角方向の画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０を通過するｙ軸に平行な直線を回転軸として回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を方位角と称する場合がある。図６Ｂでは、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して反時計回り方向に回転するように（－θ3）傾いている場合、画像処理装置１００は、矢印Ａ６の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して時計回り方向に回転するように（θ3）傾いている場合、画像処理装置１００は、矢印Ａ６の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。
　図７は、画像処理装置１００による全体処理の動作の例を示すフローチャートである。
　以下、図７に示したフローチャートを参照しつつ、画像処理装置１００による全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置１１０に記憶されているプログラムに基づき主にＣＰＵ１２０により画像処理装置１００の各要素と協働して実行される。
　最初に、検出部１２１は、ユーザにより、入力装置１０２を用いてメータ部分の撮影の開始を指示する撮影開始指示が入力され、入力装置１０２から撮影開始指示信号を受信すると、撮影開始指示を受け付ける（ステップＳ１０１）。検出部１２１は、撮影開始指示を受け付けると、画像処理に用いられる各情報の初期化、及び、撮像装置１０６の撮像サイズ、フォーカス等のパラメータ設定を実行する。
　次に、移動距離検出部１２２は、画像処理装置１００の現在位置を示す位置情報を初期位置として設定する（ステップＳ１０２）。
　次に、検出部１２１は、撮像装置１０６にメータの撮影を開始させて入力画像を生成させる（ステップＳ１０３）。
　次に、検出部１２１は、撮像装置１０６により生成された入力画像を取得し、記憶装置１１０に記憶する（ステップＳ１０４）。
　次に、移動距離検出部１２２は、センサ１０７から出力された移動情報を受信し、受信した移動情報に基づいて画像処理装置１００の移動量及び移動方向を算出して、画像処理装置１００の位置情報を更新する。移動距離検出部１２２は、更新した位置情報に基づいて、初期位置からの移動距離、即ち入力装置１０２が撮影開始指示を受け付けてからの移動距離を検出する（ステップＳ１０５）。
　次に、検出部１２１は、取得した入力画像からメータ部分を検出するメータ検出処理を実行する（ステップＳ１０６）。
　図８は、メータ（装置）を撮影した入力画像８００の一例を示す図である。
　図８に示すように、一般に、メータは黒色の筐体８０１を有し、筐体８０１の内部に白色のプレート８０２を有する。プレート８０２は、ガラス（不図示）を介して目視可能になっており、プレート８０２には、メータが計測した電力量等の数値が示されるメータ部分８０３が配置される。メータ部分８０３において、数値は白色で示され、背景は黒色で示されている。
　まず、検出部１２１は、プレート８０２を検出する。検出部１２１は、入力画像内の画素の水平及び垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値又は色値（Ｒ値、Ｂ値、Ｇ値）の差の絶対値が第１閾値を越える場合、その画素をエッジ画素として抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形をプレート８０２として検出する。略直交とは、直角に対して±４５°以内の角度（４５°以上且つ１３５°以下）で交わることを意味する。または、検出部１２１は、抽出した各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする。検出部１２１は、抽出したグループの内、最も面積が大きいグループで囲まれる領域をプレート８０２として検出してもよい。
　なお、検出部１２１は、筐体８０１の色と、プレート８０２の色の違いを利用してプレート枠を検出してもよい。検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり（黒色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値以上である（白色を示す）場合、その画素を左端エッジ画素として抽出する。第２閾値は黒色を示す値と白色を示す値の中間の値に設定される。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に左側に隣接する画素又はその画素から左側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を右端エッジ画素として抽出する。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に下側に隣接する画素又はその画素から下側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を上端エッジ画素として抽出する。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に上側に隣接する画素又はその画素から上側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を下端エッジ画素として抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれを連結した直線を抽出し、抽出した各直線から構成される矩形をプレート８０２として検出する。
　次に、検出部１２１は、検出したプレート８０２内の領域から、メータ部分８０３を検出する。検出部１２１は、メータ部分８０３を含むプレート８０２が写っている画像が入力された場合に、メータ部分８０３の位置情報を出力するように事前学習された識別器により、メータ部分８０３を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。検出部１２１は、検出したプレート８０２を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより、メータ部分８０３を検出する。
　なお、検出部１２１は、プレート８０２を検出する場合と同様に、入力画像内のエッジ画素に基づいて、メータ部分８０３を検出してもよい。検出部１２１は、入力画像のプレート枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形の領域を検出する。または、検出部１２１は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる矩形の領域を検出する。検出部１２１は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、検出した各領域から所定桁の数字を検出し、所定桁の数字を検出できた場合、その領域をメータ部分８０３として検出する。
　または、検出部１２１は、プレート８０２を検出する場合と同様に、プレート８０２の色と、メータ部分８０３の色の違いを利用して矩形の領域を検出してもよい。検出部１２１は、各画素の輝度値又は色値が第２閾値以上であり（白色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値未満である（黒色を示す）場合、その画素を左端エッジ画素として抽出する。同様にして、検出部１２１は、右端エッジ画素、上端エッジ画素及び下端エッジ画素を抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれの近傍を通過する直線を抽出し、抽出した各直線から構成される矩形の領域を検出する。
　また、メータのプレート８０２内にメータ部分８０３が存在する位置を示す目印８０４が示されている場合、検出部１２１は、目印８０４を検出し、水平及び垂直方向において各目印８０４で挟まれた領域内でメータ部分８０３を検出してもよい。
　次に、判定部１２３は、メータ検出処理においてメータ部分が検出されたか否かにより、入力画像にメータ部分の全体が含まれるか否かを判定する（ステップＳ１０７）。
　図９Ａ、９Ｂは、メータ部分８０３の全体が含まれない入力画像９００、９１０の例を示す図である。
　図９Ａは、メータ部分８０３が端部付近に撮影されることにより、メータ部分８０３の全体が含まれていない入力画像９００を示す。また、図９Ｂは、メータ部分８０３の撮影サイズが大きくなりすぎることにより、メータ部分８０３の全体が含まれていない入力画像９１０を示す。入力画像９００又は入力画像９１０にはメータ部分８０３の全体が写っていないため、メータ検出処理ではメータ部分８０３内の数値が検出されず、メータ部分８０３は検出されない。
　入力画像にメータ部分の全体が含まれない場合、指示部１２４は、入力画像にメータ部分の全体が含まれない旨の警告を出力して、ユーザに通知し（ステップＳ１０８）、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。指示部１２４は、入力画像にメータ部分の全体が含まれない旨の警告として、メータ部分の全体が写るように画像処理装置１００を移動させる指示を出力してもよい。指示部１２４は、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、警告を出力する。
　なお、指示部１２４は、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、警告の表示サイズを変更してもよい。ユーザが撮影開始指示を入力する場合、画像処理装置１００は、ユーザが操作し易いように、ユーザの手元にある可能性が高い。一方、メータは必ずしも撮影し易い位置に設置されておらず、ユーザは腕を伸ばしたりする等、無理な体勢でメータを撮影し、メータの撮影中において表示装置１０３を見づらい状態にある可能性がある。
　指示部１２４は、ステップＳ１０５において検出した画像処理装置１００の移動距離が距離閾値未満である場合、画像処理装置１００はユーザの手元にあり、移動距離が距離閾値以上である場合、画像処理装置１００はユーザの手元から離れた位置にあるとみなす。そして、指示部１２４は、画像処理装置１００の移動距離が距離閾値以上である場合の警告の表示サイズを、画像処理装置１００の移動距離が距離閾値未満である場合の警告の表示サイズより大きくする。なお、指示部１２４は、画像処理装置１００の移動距離が大きい程、警告の表示サイズを段階的に大きくしてもよい。
　図９Ｃ及び図９Ｄは、表示装置１０３に表示される警告の例を示す図である。
　図９Ｃに示す画面９２０には、画像処理装置１００の移動距離が距離閾値未満である場合に表示される警告９２１が示され、図９Ｄに示す画面９３０には、画像処理装置１００の移動距離が距離閾値以上である場合に表示される警告９３１が示される。警告９３１は警告９２１より大きく表示され、ユーザは、画像処理装置１００（表示画面）が手元から離れた位置にあっても、警告９３１を容易に確認することができる。
　ステップＳ１０７において、入力画像にメータ部分の全体が含まれていた場合、判定部１２３及び指示部１２４は、画像判定処理を実行する（ステップＳ１０９）。画像判定処理において、判定部１２３は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、入力画像が証拠画像として適切であるか否かを判定する。また、指示部１２４は、入力画像が証拠画像として適切でない場合に、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置１００の移動指示を出力する。画像判定処理の詳細については後述する。
　次に、判定部１２３は、画像判定処理において入力画像が証拠画像として適切であると判定されたか否かを判定する（ステップＳ１１０）。
　入力画像が証拠画像として適切でなかった場合、判定部１２３は、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。一方、入力画像が証拠画像として適切であった場合、数値認識部１２５は、数値認識処理を実行する（ステップＳ１１１）。
　数値認識処理において、数値認識部１２５は、数値が写っている画像が入力された場合に、その画像に写っている数値を出力するように事前学習された識別器により、メータ部分に写っている数値を特定する。この識別器は、例えばディープラーニング等により、メータ内の各数値を撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。数値認識部１２５は、メータ部分が含まれる画像を識別器に入力し、識別器から出力された数値を、メータ部分に写っている数値として特定する。なお、数値認識部１２５は、公知のＯＣＲ技術を利用して、メータ部分に写っている数値を特定してもよい。
　次に、数値認識部１２５は、数値認識処理において、メータ内の数値を認識できたか否かを判定する（ステップＳ１１２）。
　メータ内の数値を認識できなかった場合、数値認識部１２５は、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。一方、メータ内の数値を認識できた場合、記憶制御部１２６は、入力画像の少なくとも一部を証拠画像として、数値認識部１２５が認識した数値を関連付けて記憶装置１１０に記憶する（ステップＳ１１３）。記憶制御部１２６は、例えば入力画像からメータ部分の領域を切出した画像を証拠画像として記憶装置１１０に記憶する。なお、記憶制御部１２６は、入力画像からプレートの領域を切出した画像、又は、入力画像自体を証拠画像として記憶装置１１０に記憶してもよい。
　次に、記憶制御部１２６は、数値認識部１２５が認識した数値、及び／又は、記憶制御部１２６が記憶した証拠画像を表示装置１０３に表示し（ステップＳ１１４）、一連のステップを終了する。また、記憶制御部１２６は、数値認識部１２５が認識した数値、及び／又は、記憶制御部１２６が選択した証拠画像を通信装置１０１を介してサーバ装置に送信してもよい。
　なお、ステップＳ１０９及びＳ１１０の処理は、ステップＳ１１１及びＳ１１２の処理の後に実行され、画像判定処理は、数値認識処理においてメータ内の数値を認識された画像に対してのみ実行されてもよい。
　また、移動距離検出部１２２は、入力装置１０２が撮影開始指示を受け付けたときの画像処理装置１００の位置ではなく、装置起動時又は全体処理を実行するためのアプリケーションプログラム起動時の画像処理装置１００の位置を初期位置として設定してもよい。
　図１０は、画像判定処理の動作の例を示すフローチャートである。図１０に示す動作のフローは、図７に示すフローチャートのステップＳ１０９において実行される。
　最初に、判定部１２３は、入力画像内で検出されたメータ部分の大きさが所定範囲内に含まれるか否かを判定する（ステップＳ２０１）。メータ部分の大きさは、面積（画素数）、又は、水平方向もしくは垂直方向の長さ（画素数）により規定される。例えば入力画像の水平方向の画素数が６４０画素である場合、所定範囲は、水平方向の画素数が４００画素以上であり且つ６００画素以下である範囲に設定される。なお、所定範囲の上限は設定されなくてもよい。
　図１１Ａは、メータ部分の大きさが所定範囲内に含まれない入力画像１１００の例を示す図である。
　図１１Ａは、離れた位置からメータが撮影され、メータ部分８０３が小さく写っている入力画像１１００を示す。入力画像１１００では、メータ部分８０３の大きさが小さいため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。
　メータ部分の大きさが所定範囲内に含まれない場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）方向の画像処理装置１００の水平移動指示を、ユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０２）。指示部１２４は、メータ部分の大きさが所定範囲内に含まれるように、水平移動指示を出力する。指示部１２４は、メータ部分の大きさが所定範囲の下限未満である場合、画像処理装置１００をメータに近づけるように、図３の矢印Ａ１の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の大きさが所定範囲の上限より大きい場合、画像処理装置１００をメータから離すように、図３の矢印Ａ１の逆方向に水平移動させる移動指示を出力する。
　画像判定処理において、指示部１２４は、警告を出力する場合と同様に、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、移動指示を出力する。また、画像判定処理において、指示部１２４は、警告を出力する場合と同様に、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、移動指示の表示サイズを変更してもよい。さらに、指示部１２４は、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、移動指示の表示態様を変更してもよい。
　図１１Ｂ及び図１１Ｃは、表示装置１０３に表示される移動指示の例を示す図である。
　図１１Ｂの画面１１１０には、画像処理装置１００の移動距離が距離閾値未満である場合に表示される移動指示１１１１が示され、図１１Ｃの画面１１２０には、画像処理装置１００の移動距離が距離閾値以上である場合に表示される移動指示１１２１が示される。移動指示１１２１は、移動指示１１１１より大きく表示される。また、移動指示１１２１は、移動指示１１１１より簡略化されて簡潔に表示される。また、移動指示１１１１は文字のみで表示されるが、移動指示１１２１は文字及び記憶を用いて表示される。これらにより、ユーザは、画像処理装置１００（表示画面）が手元から離れた位置にあっても、移動指示１１２１を容易に確認することができる。
　このように、指示部１２４は、入力画像内で検出されたメータ部分の大きさに基づいて、メータ内の数値が入力画像内の所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。
　次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。
　一方、ステップＳ２０１において、メータ部分の大きさが所定範囲内に含まれていた場合、判定部１２３は、入力画像内で検出されたメータ部分にボケが含まれるか否かを判定する（ステップＳ２０４）。ボケとは、撮像装置１０６の焦点ずれにより、画像内の各画素の輝度値の差が小さくなっている領域、又は、ユーザの手ぶれによって画像内の複数の画素に同一物が写り、画像内の各画素の輝度値の差が小さくなっている領域を意味する。
　図１２Ａは、メータ部分にボケが含まれる入力画像１２００の例を示す図である。
　図１２Ａは、撮像装置１０６の焦点ずれにより、メータ部分８０３内の数字の輝度値と背景の輝度値の差が小さくなっている入力画像１２００を示す。入力画像１２００では、メータ部分８０３の数字の輝度値と背景の輝度値の差が小さいため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。
　判定部１２３は、画像が入力された場合に、入力された画像にボケが含まれる度合いを示すボケ度を出力するように事前学習された識別器により、メータ部分にボケが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つボケが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つボケが含まれる画像をさらに用いて事前学習されていてもよい。判定部１２３は、検出したメータ部分を含む画像を識別器に入力し、識別器から出力されたボケ度が第３閾値以上であるか否かにより、メータ部分にボケが含まれるか否かを判定する。
　または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値のエッジ強度に基づいて、メータ部分にボケが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の画素の水平もしくは垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値の差の絶対値を、その画素のエッジ強度として算出する。判定部１２３は、メータ部分の領域内の各画素について算出したエッジ強度の平均値が第４閾値以下であるか否かにより、メータ部分にボケが含まれるか否かを判定する。
　または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値の分布に基づいて、メータ部分にボケが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の各画素の輝度値のヒストグラムを生成し、数値（白色）を示す輝度値の範囲と、背景（黒色）を示す輝度値の範囲のそれぞれにおいて極大値を検出し、各極大値の半値幅の平均値を算出する。判定部１２３は、算出した各極大値の半値幅の平均値が第５閾値以上であるか否かにより、メータ部分にボケが含まれるか否かを判定する。なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。
　メータ部分にボケが含まれる場合、指示部１２４は、メータ部分にボケが含まれる旨の通知とともに、撮像装置１０６の焦点を調節する指示を出力して、ユーザに通知する（ステップＳ２０５）。指示部１２４は、警告を出力する場合と同様に、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、指示を出力する。なお、指示部１２４は、ユーザにより、入力装置１０２を用いて入力画像内の所定位置の指定が入力されると、指定された位置に撮像装置１０６の焦点を合わせるように調節してもよい。その場合、指示部１２４は、焦点を合わせる位置として、メータ部分を指定するように指示を出力してもよい。
　次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。
　一方、ステップＳ２０４において、メータ部分にボケが含まれていなかった場合、判定部１２３は、入力画像内で検出されたメータ部分にテカリが含まれるか否かを判定する（ステップＳ２０６）。テカリとは、外乱光等の影響により、画像内の所定領域の画素の輝度値が一定の値に飽和（白飛び）している領域を意味する。
　図１２Ｂは、メータ部分にテカリが含まれる入力画像１２１０の例を示す図である。
　図１２Ｂは、メータ部分８０３の前面を覆うガラス部分に照明等の環境光が写り込むことにより、メータ部分８０３の一部に外乱光１２１１が写り、その領域が白飛びしている入力画像１２１０を示す。入力画像１２１０ではメータ部分８０３の数字の一部が白飛びしているため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。
　判定部１２３は、画像が入力された場合に、入力された画像にテカリが含まれる度合いを示すテカリ度を出力するように事前学習された識別器により、メータ部分にテカリが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つテカリが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つテカリが含まれる画像をさらに用いて事前学習されていてもよい。判定部１２３は、検出したメータ部分を含む画像を識別器に入力し、識別器から出力されたテカリ度が第６閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。
　または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値に基づいて、メータ部分にテカリが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の画素の内、輝度値が第７閾値以上（白色）である画素の数を算出し、算出した数が第８閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。
　または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値の分布に基づいて、メータ部分にテカリが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の各画素の輝度値のヒストグラムを生成し、第７閾値以上の領域に分布された画素の数が第８閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。
　メータ部分にテカリが含まれる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００の水平移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０７）。指示部１２４は、メータ部分にテカリが含まれなくなるように、水平移動指示を出力する。指示部１２４は、メータ部分の中心位置より上側にテカリが存在する場合、画像処理装置１００を図４Ａの矢印Ａ２の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の中心位置より下側にテカリが存在する場合、画像処理装置１００を図４Ａの矢印Ａ２の逆方向に水平移動させる移動指示を出力する。または、指示部１２４は、メータ部分の中心位置より左側にテカリが存在する場合、画像処理装置１００を図４Ｂの矢印Ａ３の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の中心位置より右側にテカリが存在する場合、画像処理装置１００を図４Ｂの矢印Ａ３の逆方向に水平移動させる移動指示を出力する。
　画像処理装置１００がタブレットＰＣ又はスマートフォン等である場合、ユーザが画像処理装置１００を持ちやすいように、一般に、撮像装置１０６による撮像位置１５０は、背面の中央位置ではなく、端部付近に配置される。一方、ユーザは、撮影時に、撮像位置１５０が画像処理装置１００の中央位置に配置されていると勘違いして、画像処理装置１００の中央位置がメータ部分に対向するように移動させる傾向にある。画像処理装置１００は、画像処理装置１００の移動指示を出力することにより、メータ部分が良好に撮影されるように、ユーザによって画像処理装置１００を適切な位置に移動させることが可能となる。
　次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。
　一方、ステップＳ２０６において、メータ部分にテカリが含まれていなかった場合、判定部１２３は、入力画像内でメータ部分が傾いているか否かを判定する（ステップＳ２０８）。
　図１３Ａは、メータ部分が傾いている入力画像１３００の例を示す図である。
　図１３Ａは、図５に示すように、画像処理装置１００が回転角方向に回転するように傾いた状態、特に矢印Ａ４の逆方向に回転するように（－θ1）傾いた状態で撮影された入力画像１３００を示す。入力画像１３００では、メータ部分８０３が傾いているため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。
　判定部１２３は、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。判定部１２３は、検出部１２１がメータ部分８０３を検出する際に矩形を抽出している場合、検出部１２１により抽出された矩形を、メータ部分８０３に含まれる四辺形として特定する。一方、判定部１２３は、検出部１２１が矩形を抽出していない場合、検出部１２１によるメータ部分８０３の検出処理において説明した方法と同様にしてメータ部分８０３から矩形を抽出し、抽出した矩形をメータ部分８０３に含まれる四辺形として特定する。
　次に、判定部１２３は、特定した四辺形の四辺の内、略水平方向に延伸し且つ相互に対向する二辺１３０１、１３０２を特定する。略水平方向とは、例えば水平ラインに対して４５°以内の角度を有する方向を意味し、略水平方向に延伸する辺とは、水平ラインとなす角度が４５°以内である直線を意味する。判定部１２３は、特定した二辺１３０１、１３０２の各中点１３０３、１３０４を通過する直線１３０５と入力画像１３００の垂直ライン１３０６とがなす角度θ4を算出する。判定部１２３は、算出した角度θ4が第１角度（例えば１５°）以上である場合、メータ部分８０３が傾いていると判定し、算出した角度θ4が第１角度未満である場合、メータ部分８０３が傾いていないと判定する。
　なお、判定部１２３は、入力画像内で検出されたメータ部分が入力画像の水平ラインに対して第１角度以上傾いているか否かを判定してもよい。その場合、判定部１２３は、特定した四辺形の四辺の内、略垂直方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と入力画像の水平ラインとがなす角度が第１角度以上であるか否かを判定する。略垂直方向とは、例えば垂直ラインに対して４５°以内の角度を有する方向を意味し、略垂直方向に延伸する辺とは、水平ラインとなす角度が４５°以内である直線を意味する。
　メータ部分が傾いている場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）を中心とする画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０９）。指示部１２４は、メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と入力画像の垂直ラインとがなす角度が第１角度以下になるように、回転移動指示を出力する。指示部１２４は、その直線が垂直ラインに対して時計回りに回転している場合（図１３Ａに示す状態）、画像処理装置１００を図５の矢印Ａ４の方向（時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、その直線が垂直ラインに対して反時計回りに回転している場合（図１３Ａに示す状態の逆向きにメータ部分８０３が傾いている状態）、画像処理装置１００を図５の矢印Ａ４の逆方向（反時計回り）に回転移動させる移動指示を出力する。
　このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。
　次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。
　一方、ステップＳ２０８において、メータ部分が傾いていなかった場合、判定部１２３は、メータ部分が入力画像の垂直方向において歪んでいるか否かを判定する（ステップＳ２１０）。
　図１３Ｂは、メータ部分が垂直方向において歪んでいる入力画像１３１０の例を示す図である。
　図１３Ｂは、図６Ａに示すように、画像処理装置１００が仰俯角方向に回転した状態、特に矢印Ａ５の方向に回転した状態（θ2）で撮影された入力画像１３１０を示す。入力画像１３１０では、メータ部分８０３が垂直方向において歪み、メータ部分８０３に写っている数値が歪んでいるため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。
　判定部１２３は、ステップＳ２０８の処理と同様にして、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。次に、判定部１２３は、特定した四辺形の四辺の内、略垂直方向に延伸し且つ相互に対向する二辺１３１１、１３１２を特定する。判定部１２３は、特定した二辺１３１１、１３１２がなす角度θ5を算出する。判定部１２３は、算出した角度θ5が第２角度（例えば２０°）以上である場合、メータ部分８０３が垂直方向において歪んでいると判定し、算出した角度θ5が第２角度未満である場合、メータ部分８０３が垂直方向において歪んでいないと判定する。
　メータ部分が垂直方向において歪んでいる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に対する仰俯角方向の画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２１１）。指示部１２４は、メータ部分に含まれる四辺形の略垂直方向に延伸し且つ相互に対向する二辺がなす角度が第２角度以下になるように、回転移動指示を出力する。指示部１２４は、略垂直方向に延伸し且つ相互に対向する二辺がメータ部分８０３より上側で交わる場合（図１３Ｂに示す状態）、画像処理装置１００を図６Ａの矢印Ａ５の逆方向（反時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、略垂直方向に延伸し且つ相互に対向する二辺がメータ部分８０３より下側で交わる場合、画像処理装置１００を図６Ａの矢印Ａ５の方向（時計回り）に回転移動させる移動指示を出力する。
　このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。
　次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。
　一方、ステップＳ２１０において、メータ部分が入力画像の垂直方向において歪んでいなかった場合、判定部１２３は、メータ部分が入力画像の水平方向において歪んでいるか否かを判定する（ステップＳ２１２）。
　図１３Ｃは、メータ部分が水平方向において歪んでいる入力画像１３２０の例を示す図である。
　図１３Ｃは、図６Ｂに示すように、画像処理装置１００が方位角方向に回転した状態、特に矢印Ａ６の逆方向に回転した状態（－θ3）で撮影された入力画像１３２０を示す。入力画像１３２０では、メータ部分８０３が水平方向において歪み、メータ部分８０３に写っている数値が歪んでいるため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。
　判定部１２３は、ステップＳ２０８の処理と同様にして、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。次に、判定部１２３は、特定した四辺形の四辺の内、略水平方向に延伸し且つ相互に対向する二辺１３２１、１３２２を特定する。判定部１２３は、特定した二辺１３２１、１３２２がなす角度θ6を算出する。判定部１２３は、算出した角度θ6が第３角度（例えば２０°）以上である場合、メータ部分８０３が水平方向において歪んでいると判定し、算出した角度θ6が第３角度未満である場合、メータ部分８０３が水平方向において歪んでいないと判定する。
　メータ部分が水平方向において歪んでいる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に対する方位角方向の画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２１３）。指示部１２４は、メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺がなす角度が第３角度以下になるように、回転移動指示を出力する。指示部１２４は、略水平方向に延伸し且つ相互に対向する二辺がメータ部分８０３より左側で交わる場合（図１３Ｂに示す状態）、画像処理装置１００を図６Ｂの矢印Ａ６の方向（時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、略水平方向に延伸し且つ相互に対向する二辺がメータ部分８０３より右側で交わる場合、画像処理装置１００を図６Ｂの矢印Ａ６の逆方向（反時計回り）に回転移動させる移動指示を出力する。
　このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。
　次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。
　一方、ステップＳ２１２において、メータ部分が入力画像の水平方向において歪んでいなかった場合、判定部１２３は、入力画像が証拠画像として適切であると判定し（ステップＳ２１４）、一連のステップを終了する。
　以上詳述したように、画像処理装置１００は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。これにより、画像処理装置１００は、メータを撮影するユーザに対して適切な指示を行うことが可能となった。また、各ユーザは、ユーザ毎の個人差に依存せずに、メータを良好に撮影することが可能となった。特に、撮影しづらい位置にメータが設置されている場合でも、ユーザは、移動指示に従ってメータを良好に撮影することが可能となった。また、各ユーザがメータの撮影に失敗していることに気付かないまま撮影を完了してしまうことが抑制され、画像処理装置１００は、適切な証拠画像をより確実に保存することが可能となった。
　図１４は、他の実施形態に係る画像処理装置における処理回路２３０の概略構成を示すブロック図である。
　処理回路２３０は、画像処理装置１００の処理回路１３０の代わりに用いられ、ＣＰＵ１２０の代わりに、全体処理を実行する。処理回路２３０は、検出回路２３１、移動距離検出回路２３２、判定回路２３３、指示回路２３４、数値認識回路２３５及び記憶制御回路２３６等を有する。
　検出回路２３１は、検出部の一例であり、検出部１２１と同様の機能を有する。検出回路２３１は、撮像装置１０６からメータを撮影した入力画像を順次取得し、入力画像からメータ部分を検出し、検出結果を判定回路２３３に出力する。
　移動距離検出回路２３２は、移動距離検出部の一例であり、移動距離検出部１２２と同様の機能を有する。移動距離検出回路２３２は、センサ１０７から出力された移動情報を受信し、受信した移動情報に基づいて画像処理装置１００の移動距離を検出し、検出結果を指示回路２３４に出力する。
　判定回路２３３は、判定部の一例であり、判定部１２３と同様の機能を有する。判定回路２３３は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、入力画像が証拠画像として適切であるか否かを判定し、判定結果を指示回路２３４に出力する。
　指示回路２３４は、指示部の一例であり、指示部１２４と同様の機能を有する。指示回路２３４は、判定回路２３３による判定結果及び移動距離検出回路２３２による検出結果に基づいて、ユーザに対する画像処理装置１００の移動指示を表示装置１０３、音出力装置１０４又は振動発生装置１０５に出力する。
　数値認識回路２３５は、数値認識部の一例であり、数値認識部１２５と同様の機能を有する。数値認識回路２３５は、入力画像に写っているメータ内の数値を認識し、認識結果を記憶装置１１０に記憶する。
　記憶制御回路２３６は、記憶制御部の一例であり、記憶制御部１２６と同様の機能を有する。記憶制御回路２３６は、証拠画像を数値認識回路２３５が認識した数値を関連付けて記憶装置１１０に記憶する。
　以上詳述したように、画像処理装置１００は、処理回路２３０を用いる場合においても、メータを撮影するユーザに対して適切な指示を行うことが可能となった。
　以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、全体処理で使用される各識別器は、記憶装置１１０に記憶されているのではなく、サーバ装置等の外部装置に記憶されていてもよい。その場合、ＣＰＵ１２０は、通信装置１０１を介してサーバ装置に、各画像を送信し、サーバ装置から各識別器が出力する識別結果を受信して取得する。
　また、画像処理装置１００は、ユーザによって携帯可能な情報処理装置に限定されず、例えば、ユーザの操作によって飛行する飛行可能な情報処理装置でもよい。
　１００　　画像処理装置
　１０２　　入力装置
　１０３　　表示装置
　１０４　　音出力装置
　１０５　　振動発生装置
　１０６　　撮像装置
　１０７　　センサ
　１１０　　記憶装置
　１２１　　検出部
　１２２　　移動距離検出部
　１２３　　判定部
　１２４　　指示部

Claims (10)

  1. 　携帯可能な画像処理装置であって、
    　出力部と、
    　メータを撮影した入力画像を順次生成する撮像部と、
    　前記入力画像からメータ部分を検出する検出部と、
    　前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する指示部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と前記入力画像の垂直ラインとがなす角度が第１角度以下になるように、前記撮像部の光軸を中心とする前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１に記載の画像処理装置。
  3. 　前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略垂直方向に延伸し且つ相互に対向する二辺がなす角度が第２角度以下になるように、前記撮像部の光軸に対する仰俯角方向の前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１または２に記載の画像処理装置。
  4. 　前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺がなす角度が第３角度以下になるように、前記撮像部の光軸に対する方位角方向の前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１～３の何れか一項に記載の画像処理装置。
  5. 　前記指示部は、前記入力画像内で検出された前記メータ部分の大きさが所定範囲内に含まれるように、前記撮像部の光軸方向の前記画像処理装置の水平移動指示を前記移動指示として出力する、請求項１～４の何れか一項に記載の画像処理装置。
  6. 　前記指示部は、前記入力画像に前記メータ部分の全体が含まれない場合、前記入力画像に前記メータ部分の全体が含まれない旨を前記出力部に出力する、請求項１～５の何れか一項に記載の画像処理装置。
  7. 　前記メータ部分にテカリが含まれるか否かを判定する判定部をさらに有し、
    　前記指示部は、前記判定部がテカリが含まれると判定した場合、前記撮像部の光軸に垂直な平面に沿った前記画像処理装置の水平移動指示を前記移動指示として出力する、請求項１～６の何れか一項に記載の画像処理装置。
  8. 　前記メータ部分の撮影開始指示が入力される入力部と、
    　前記画像処理装置の移動距離を検出する移動距離検出部と、をさらに有し、
    　前記指示部は、前記入力部が前記撮影開始指示を受け付けてからの移動距離に応じて、前記移動指示の表示サイズを変更する、請求項１～７の何れか一項に記載の画像処理装置。
  9. 　出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御方法であって、
    　前記入力画像からメータ部分を検出し、
    　前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する、
    　ことを含むことを特徴とする制御方法。
  10. 　出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御プログラムであって、
    　前記入力画像からメータ部分を検出し、
    　前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する、
    　ことを前記画像処理装置に実行させることを特徴とする制御プログラム。
PCT/JP2017/011034 2017-03-17 2017-03-17 画像処理装置、制御方法及び制御プログラム WO2018167971A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019505667A JP6821007B2 (ja) 2017-03-17 2017-03-17 画像処理装置、制御方法及び制御プログラム
PCT/JP2017/011034 WO2018167971A1 (ja) 2017-03-17 2017-03-17 画像処理装置、制御方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/011034 WO2018167971A1 (ja) 2017-03-17 2017-03-17 画像処理装置、制御方法及び制御プログラム

Publications (1)

Publication Number Publication Date
WO2018167971A1 true WO2018167971A1 (ja) 2018-09-20

Family

ID=63522828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011034 WO2018167971A1 (ja) 2017-03-17 2017-03-17 画像処理装置、制御方法及び制御プログラム

Country Status (2)

Country Link
JP (1) JP6821007B2 (ja)
WO (1) WO2018167971A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061524A (ja) * 2019-10-07 2021-04-15 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP2022000973A (ja) * 2020-05-13 2022-01-04 株式会社東芝 情報処理装置およびコンピュータプログラム
WO2023027133A1 (ja) * 2021-08-27 2023-03-02 パナソニックＩｐマネジメント株式会社 画像判定方法、画像判定装置および文字認識方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272076A (ja) * 2002-03-14 2003-09-26 Osaka Gas Co Ltd 検針方法
JP2012073822A (ja) * 2010-09-29 2012-04-12 Panasonic Corp 帳票読取装置
JP2015114956A (ja) * 2013-12-13 2015-06-22 公立大学法人大阪市立大学 ガスメータに表示されるガスの使用量の読取りシステム
JP2016076093A (ja) * 2014-10-07 2016-05-12 富士通株式会社 文字認識支援装置、文字認識支援プログラム及び文字認識支援方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011139115A (ja) * 2009-12-25 2011-07-14 Saitama Univ 高速度カメラ装置とその画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272076A (ja) * 2002-03-14 2003-09-26 Osaka Gas Co Ltd 検針方法
JP2012073822A (ja) * 2010-09-29 2012-04-12 Panasonic Corp 帳票読取装置
JP2015114956A (ja) * 2013-12-13 2015-06-22 公立大学法人大阪市立大学 ガスメータに表示されるガスの使用量の読取りシステム
JP2016076093A (ja) * 2014-10-07 2016-05-12 富士通株式会社 文字認識支援装置、文字認識支援プログラム及び文字認識支援方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061524A (ja) * 2019-10-07 2021-04-15 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
US11565659B2 (en) 2019-10-07 2023-01-31 Denso Corporation Raindrop recognition device, vehicular control apparatus, method of training model, and trained model
JP7272226B2 (ja) 2019-10-07 2023-05-12 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP2022000973A (ja) * 2020-05-13 2022-01-04 株式会社東芝 情報処理装置およびコンピュータプログラム
WO2023027133A1 (ja) * 2021-08-27 2023-03-02 パナソニックＩｐマネジメント株式会社 画像判定方法、画像判定装置および文字認識方法

Also Published As

Publication number Publication date
JPWO2018167971A1 (ja) 2019-07-18
JP6821007B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
JP6626954B2 (ja) 撮像装置及びフォーカス制御方法
CN109684980B (zh) 自动阅卷方法及装置
US9514524B2 (en) Optical distortion compensation
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
JP6208094B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びそのプログラム
CN110278408B (zh) 图像处理装置、图像处理方法和存储介质
US20180098200A1 (en) Position determination device, position determining method, and storage medium
CN110189322A (zh) 平整度检测方法、装置、设备、存储介质及系统
WO2018167971A1 (ja) 画像処理装置、制御方法及び制御プログラム
JP2013198062A (ja) 画像処理装置、画像処理方法及び撮像装置
JP2012141972A (ja) 画像生成装置、画像生成方法及びプログラム
JP2010217984A (ja) 像検出装置及び像検出方法
JP6530432B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109816628B (zh) 人脸评价方法及相关产品
JP6564136B2 (ja) 画像処理装置、画像処理方法、および、プログラム
WO2018167974A1 (ja) 画像処理装置、制御方法及び制御プログラム
JP6789410B2 (ja) 画像処理装置、制御方法及び制御プログラム
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN113012211A (zh) 图像采集方法、装置、系统、计算机设备及存储介质
US20230342576A1 (en) Optical symbol, information processing device, and code reading method
JP2018014572A (ja) 情報処理装置、画像処理システム、プログラム
JP6640876B2 (ja) 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体
CN109804408B (zh) 一致的球面照片和视频朝向校正
JP2011199503A (ja) 撮像装置及びプログラム
JP6851337B2 (ja) 撮像装置、制御方法及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900355

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019505667

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17900355

Country of ref document: EP

Kind code of ref document: A1