WO2017158814A1 - モバイル端末、画像処理方法、および、プログラム - Google Patents

モバイル端末、画像処理方法、および、プログラム Download PDF

Info

Publication number
WO2017158814A1
WO2017158814A1 PCT/JP2016/058674 JP2016058674W WO2017158814A1 WO 2017158814 A1 WO2017158814 A1 WO 2017158814A1 JP 2016058674 W JP2016058674 W JP 2016058674W WO 2017158814 A1 WO2017158814 A1 WO 2017158814A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation value
contrast
unit
document
image data
Prior art date
Application number
PCT/JP2016/058674
Other languages
English (en)
French (fr)
Inventor
正義 林
清人 小坂
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to PCT/JP2016/058674 priority Critical patent/WO2017158814A1/ja
Publication of WO2017158814A1 publication Critical patent/WO2017158814A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present invention relates to a mobile terminal, an image processing method, and a program.
  • the autofocus (AF) evaluation value at the document center is equal to or less than the threshold value
  • a technique for setting a position close to the document center and the AF evaluation value equal to or greater than the threshold value as a focusing position and focus at the four vertices of the document.
  • a technique is disclosed in which an average value of positions is used as a focusing position (see Patent Document 1).
  • Patent Document 2 a technique that enables focusing on a position with a long imaging distance by focusing an object from infinity is disclosed (see Patent Document 2).
  • JP 2010-41300 A Japanese Patent Application Laid-Open No. 2015-19401
  • Patent Document 1 the conventional photographing apparatus
  • Patent Document 1 has a problem that it does not have an image quality determination mechanism suited to the device or usage.
  • the present invention has been made in view of the above problems, and has an autofocus learning function for assisting automatic shooting, thereby obtaining image data with a constant image quality without depending on a device for various mobile terminals.
  • An object of the present invention is to provide a mobile terminal, an image processing method, and a program.
  • a mobile terminal includes a frame acquisition unit that acquires a frame obtained by shooting by a shooting unit, a document acquisition unit that acquires document image data of a document from the frame, and the document image.
  • the contrast evaluation value for calculating the contrast evaluation value of the data
  • the highest evaluation value determining means for determining whether or not the contrast evaluation value is equal to or higher than the highest evaluation value
  • the contrast evaluation value by the highest evaluation value determining means When it is determined that the value is equal to or higher than the highest evaluation value, the highest evaluation value setting means for setting the contrast evaluation value as a new highest evaluation value, and the new highest evaluation value is set by the highest evaluation value setting means.
  • the frame used for evaluation value determination is acquired, or a frame obtained by re-shooting by the shooting unit is acquired. Characterized by comprising an acquisition means.
  • the image processing method includes a frame acquisition step of acquiring a frame obtained by photographing by a photographing unit, a document acquisition step of acquiring document image data of a document from the frame, and a contrast evaluation value of the document image data.
  • Acquire the frame used for the determination or acquire a frame by re-shooting by the shooting unit. Characterized in that it comprises an acquisition step.
  • the program according to the present invention calculates a frame acquisition step of acquiring a frame obtained by shooting by the shooting unit, a document acquisition step of acquiring document image data of a document from the frame, and a contrast evaluation value of the document image data.
  • the contrast evaluation value is greater than or equal to the maximum evaluation value in a contrast calculation step, a maximum evaluation value determination step that determines whether or not the contrast evaluation value is equal to or greater than the maximum evaluation value, and the maximum evaluation value determination step
  • the maximum evaluation value setting step for setting the contrast evaluation value as a new maximum evaluation value and when the new maximum evaluation value is set in the maximum evaluation value setting step, the evaluation value determination is performed.
  • the used frame is acquired or the frame obtained by the imaging unit is acquired again. And resulting step, characterized by causing a computer to execute the.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a mobile terminal according to the present embodiment.
  • FIG. 2 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 3 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 4 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 5 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 6 is a diagram illustrating an example of a high-pass filter in the present embodiment.
  • FIG. 7 is a diagram illustrating an example of a Previt filter in the present embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a mobile terminal according to the present embodiment.
  • FIG. 2 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 3 is a flowchart illustrating an
  • FIG. 8 is a diagram illustrating an example of a Sobel filter in the present embodiment.
  • FIG. 9 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 10 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 11 is a diagram illustrating an example of a divided region in the present embodiment.
  • FIG. 12 is a diagram showing an example of document image data, document type, and contrast evaluation value in the present embodiment.
  • FIG. 13 is a diagram showing an example of document image data, document type, and contrast evaluation value in the present embodiment.
  • FIG. 14 is a diagram showing an example of document image data, document type, and contrast evaluation value in the present embodiment.
  • FIG. 15 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 16 is a diagram showing an example of document image data and contrast evaluation values in the present embodiment.
  • FIG. 17 is a diagram showing an example of document image data and contrast evaluation values in the present embodiment.
  • FIG. 18 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of the mobile terminal 100 according to the present embodiment.
  • the embodiment described below exemplifies the mobile terminal 100 for embodying the technical idea of the present invention, and is not intended to specify the present invention to the mobile terminal 100, and claims.
  • the present invention is equally applicable to the mobile terminal 100 of other embodiments included in the scope of the above.
  • the form of function distribution in the mobile terminal 100 exemplified in the present embodiment is not limited to the following, and may be configured to be functionally or physically distributed / integrated in arbitrary units within a range where similar effects and functions can be achieved. be able to.
  • the mobile terminal 100 is a portable information processing having portability such as a tablet terminal, a mobile phone, a smartphone, a PHS, a PDA, a notebook personal computer, or a wearable computer such as a glasses type or a watch type. It may be a device.
  • the mobile terminal 100 is generally configured to include a control unit 102, a storage unit 106, a photographing unit 110, an input / output unit 112, a sensor unit 114, and a communication unit 116.
  • an input / output interface unit (not shown) for connecting the input / output unit 112 and the control unit 102 may be further provided.
  • Each unit of the mobile terminal 100 is connected to be communicable via an arbitrary communication path.
  • the communication unit 116 is a network interface (NIC (Network Interface Controller), etc.), Bluetooth (registered trademark), infrared communication, etc. for transmitting and receiving IP data by wired communication and / or wireless communication (WiFi, etc.) May be an interface for performing wireless communication.
  • NIC Network Interface Controller
  • Bluetooth registered trademark
  • WiFi wireless communication
  • the mobile terminal 100 may be communicably connected to an external device via a network using the communication unit 116.
  • the sensor unit 114 detects a physical quantity and converts it into a signal (digital signal) of another medium.
  • the sensor unit 114 includes a proximity sensor, a direction sensor, a magnetic field sensor, a linear acceleration sensor, a luminance sensor, a gyro sensor, a pressure sensor, a gravity sensor, an acceleration sensor, an atmospheric pressure sensor, and / or a temperature sensor. Also good.
  • the input / output unit 112 performs data input / output (I / O).
  • the input / output unit 112 may be, for example, a key input unit, a touch panel, a control pad (for example, a touch pad and a game pad), a mouse, a keyboard, and / or a microphone.
  • the input / output unit 112 may be a display unit that displays a display screen of an application or the like (for example, a display, a monitor, a touch panel, or the like configured by liquid crystal or organic EL).
  • a display screen of an application or the like for example, a display, a monitor, a touch panel, or the like configured by liquid crystal or organic EL.
  • the input / output unit 112 may be an audio output unit (for example, a speaker or the like) that outputs audio information as audio.
  • the input / output unit (touch panel) 112 may include a sensor unit 114 that detects physical contact and converts it into a signal (digital signal).
  • the photographing unit 110 acquires continuous (moving image) image data (frames) by continuously photographing a subject (for example, a document or the like).
  • the imaging unit 110 may acquire video data.
  • the imaging unit 110 may acquire ancillary data.
  • the photographing unit 110 may be a camera or the like provided with an image sensor such as a CCD (Charge Coupled Device) and / or a CMOS (Complementary Metal Oxide Semiconductor).
  • an image sensor such as a CCD (Charge Coupled Device) and / or a CMOS (Complementary Metal Oxide Semiconductor).
  • the photographing unit 110 may acquire still image data by taking a still image of the subject.
  • the frame may be uncompressed image data.
  • the frame may be high-resolution image data.
  • the high resolution may be full high vision, 4K resolution, super high vision (8K resolution), or the like.
  • the photographing unit 110 may shoot moving images at 24 fps, 30 fps, or the like.
  • the storage unit 106 is a storage means, and for example, a memory such as a RAM / ROM, a fixed disk device such as a hard disk, an SSD (Solid State Drive), and / or an optical disk can be used.
  • a memory such as a RAM / ROM, a fixed disk device such as a hard disk, an SSD (Solid State Drive), and / or an optical disk can be used.
  • the storage unit 106 stores various databases, tables, buffers, and / or files (evaluation value file 106a, image data file 106b, etc.).
  • the storage unit 106 may store a computer program or the like for giving a command to a CPU (Central Processing Unit) and performing various processes.
  • CPU Central Processing Unit
  • the evaluation value file 106a stores an evaluation value of image data.
  • the evaluation value may be a contrast evaluation value, an essential evaluation value, a maximum evaluation value, and / or a previous evaluation value.
  • the evaluation value file 106a may store an evaluation value for each document type.
  • the image data file 106b stores image data (such as a frame).
  • the image data file 106b may store document image data, distortion correction image data, region image data of a partial region of the document, and / or divided region image data of a divided region of the document.
  • the image data file 106b may store position data such as a document and / or a divided area.
  • the image data file 106b may store character data corresponding to the image data.
  • the image data file 106b may store video data.
  • the image data file 106b may store ancillary data.
  • control unit 102 is a CPU, GPU (Graphics Processing Unit), DSP (Digital Signal Processor), LSI (Large Scale Integrate Integral) and ASIC (Application Specified Integral and ASIC) that collectively control the mobile terminal 100.
  • a tangible controller including an FPGA (Field-Programming Gate Array) or the like.
  • the control unit 102 has an internal memory for storing a control program, a program defining various processing procedures, and necessary data, and performs information processing for executing various processes based on these programs.
  • control unit 102 conceptually has a frame acquisition unit 102a, a document acquisition unit 102b, a distortion correction unit 102c, a corrected image acquisition unit 102d, a contrast calculation unit 102e, a document type identification unit 102f, and an evaluation value determination unit 102g. , A variation determination unit 102h, an evaluation value setting unit 102i, a reacquisition unit 102j, a calibration unit 102k, an image display unit 102m, and an OCR unit 102n.
  • the frame acquisition unit 102a acquires image data (frame).
  • the frame acquisition unit 102a may acquire image data obtained by photographing by the photographing unit 110.
  • the frame acquisition unit 102a may acquire non-compressed and high-resolution image data.
  • the frame acquisition unit 102a may acquire image data (frame) corresponding to one frame by controlling continuous image shooting or moving image shooting by the shooting unit 110.
  • the frame acquisition unit 102a may acquire image data by controlling still image shooting by the shooting unit 110.
  • the frame acquisition unit 102a may acquire ancillary data.
  • the document acquisition unit 102b acquires document image data of a document.
  • the document acquisition unit 102b may acquire document image data of a document from a frame. Further, the document acquisition unit 102b may acquire region image data of a partial region of the document from the frame.
  • the document may be a rectangular document.
  • the document acquisition unit 102b may acquire the divided area image data of the divided area of the document from the frame.
  • the document acquisition unit 102b may detect the position data of the document from the frame.
  • the document acquisition unit 102b may detect the corner coordinates (four points) of the document from the frame.
  • the document acquisition unit 102b may detect the layout of the document from the frame. Further, the document acquisition unit 102b may detect the position data of the document from the frame using the edge detection method and / or the feature point matching method, and acquire the document image data based on the position data of the document. Good.
  • the distortion correction unit 102c corrects the distortion of the document image data when the document image data is distorted.
  • the distortion correction unit 102c may determine whether or not the document image data has distortion. For example, the distortion correction unit 102c may determine that there is distortion when the shape of the document image data area is a trapezoid.
  • the corrected image acquisition unit 102d acquires document image data (distortion corrected image data) whose distortion has been corrected by the distortion correction unit 102c.
  • the corrected image acquisition unit 102d may acquire divided area image data of a divided area obtained by dividing the distortion correction image data.
  • the contrast calculation unit 102e calculates the contrast evaluation value (blur amount) of the document image data.
  • the contrast calculation unit 102e may calculate the contrast evaluation value of the divided area image data of each divided area.
  • the contrast calculation unit 102e may calculate the contrast evaluation value of the document image data using a contrast ratio or a differentiation method.
  • the document type specifying unit 102f specifies the document type of the document.
  • the document type specifying unit 102f may specify the document type of the document using a layout recognition method and / or a size detection method.
  • Evaluation value determination unit 102g determines whether or not the contrast evaluation value is equal to or greater than a predetermined value.
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation value is greater than or equal to the essential evaluation value.
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation values of the divided region image data of all the divided regions are equal to or higher than the essential evaluation value. The evaluation value determination unit 102g may determine whether or not the contrast evaluation value is equal to or higher than the maximum evaluation value.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value is equal to or higher than the maximum allowable value set near the maximum evaluation value. You may judge.
  • the maximum allowable value may be a value obtained by subtracting a value of a predetermined ratio (for example, 5%) of the essential evaluation value from the maximum evaluation value.
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation value is equal to or higher than the maximum evaluation value.
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation value is equal to or higher than the highest evaluation value based on the document type.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value is greater than or equal to the previous allowable value set in the vicinity of the previous evaluation value that is the contrast evaluation value calculated by the contrast calculation unit 102e in the previous evaluation value determination. It may be determined.
  • the previous allowable value may be a value obtained by subtracting a predetermined ratio (for example, 5%) of the essential evaluation value from the previous evaluation value.
  • the variation determination unit 102h determines whether or not there is variation in the contrast evaluation value.
  • the evaluation value determination unit 102g determines that the contrast evaluation values of all the divided regions are equal to or greater than the essential evaluation value
  • the variation determination unit 102h determines whether or not the contrast evaluation value has variation. Also good.
  • the variation determination unit 102h determines whether or not all the contrast evaluation values satisfy a variation threshold value. May be.
  • the threshold value may be a value of 90% to 110% of the average value of the contrast evaluation values of the divided area data.
  • the evaluation value setting unit 102i sets the contrast evaluation value as a new predetermined evaluation value.
  • the evaluation value setting unit 102i may set the contrast evaluation value as a new maximum evaluation value.
  • the evaluation value setting unit 102i may set the contrast evaluation value as a new maximum evaluation value when the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or higher than the maximum evaluation value.
  • the evaluation value setting unit 102i may set the contrast evaluation value as a new previous evaluation value.
  • the evaluation value setting unit 102i may set the contrast evaluation value as a new previous evaluation value when the evaluation value determination unit 102g determines that the contrast evaluation value is not greater than or equal to the previous allowable value.
  • the re-acquisition unit 102j acquires a frame used for evaluation value determination, or acquires image data obtained by re-shooting by the shooting unit 110.
  • the reacquisition unit 102j may further output pseudo shutter operation information.
  • the reacquisition unit 102j acquires a frame used for evaluation value determination, or acquires a frame obtained by re-shooting by the shooting unit 110. May be.
  • the re-acquisition unit 102j further performs calibration when the evaluation value determination unit 102g determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value, and acquires a frame obtained by re-shooting by the shooting unit 110. May be.
  • the re-acquisition unit 102j performs calibration when the evaluation value determination unit 102g determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value and the contrast evaluation value is not equal to or higher than the maximum allowable value.
  • a frame obtained by re-shooting by the shooting unit 110 may be acquired.
  • the reacquisition unit 102j determines that the contrast evaluation value is not equal to or higher than the previous allowable value by the evaluation value determination unit 102g. In such a case, calibration may be executed to obtain a frame obtained by re-shooting by the shooting unit 110.
  • the reacquisition unit 102j updates the focusing position of the imaging unit 110, executes calibration, and performs the imaging again by the imaging unit 110.
  • a frame may be acquired.
  • the re-acquisition unit 102j updates the focusing position of the imaging unit 110, executes calibration when the variation determination unit 102h determines that at least one contrast evaluation value does not satisfy the threshold value, and executes the calibration. You may acquire the flame
  • the re-acquisition unit 102j determines that there is a variation by the variation determination unit 102h, the re-acquisition unit 102j changes the focusing position of the photographing unit 110 to a divided region having the smallest contrast evaluation value, executes calibration, and performs photographing. You may acquire the flame
  • the reacquisition unit 102j may acquire a new frame by controlling shooting (continuous image shooting, moving image shooting, still image shooting, or the like) by the shooting unit 110. Further, the reacquisition unit 102j may further store the acquired frame in the image data file 106b.
  • the calibration unit 102k performs calibration.
  • the calibration may be calibration of the photographing unit 110 and / or calibration of the input / output unit 112.
  • the calibration unit 102k is set when a new maximum evaluation value is set by the evaluation value setting unit 102i or a new maximum evaluation value is set less than the specified number by the evaluation value setting unit 102i and is constant. If time has elapsed, calibration may be performed.
  • the image display unit 102m displays image data.
  • the image display unit 102m may display a frame, document image data, and / or distortion correction image data.
  • the image display unit 102m may display the image data on the input / output unit 112.
  • the image display unit 102m may display character data.
  • the OCR unit 102n performs OCR processing on the image data and acquires character data.
  • the OCR unit 102n may perform character character data by performing OCR processing on document image data or frames.
  • the OCR unit 102n may further store the acquired character data in the image data file 106b.
  • FIG. 2 is a flowchart illustrating an example of processing in the mobile terminal 100 of the present embodiment.
  • step SA-1 the control unit 102 activates the imaging unit (camera) 110 (step SA-1).
  • control unit 102 sets the essential evaluation value stored in the evaluation value file 106a as an initial value of the highest evaluation value used in contrast evaluation value (blur amount) determination, and stores it in the evaluation value file 106a ( Step SA-2).
  • the initial value of the highest evaluation value used for blur amount determination only at the first activation may be set as the essential evaluation value.
  • the image display unit 102m causes the input / output unit 112 to display the image data of the preview screen (preview image) taken by the camera 110 (step SA-3).
  • the image display unit 102m may shift the process to step SB-1 in FIG.
  • FIG. 3 is a flowchart illustrating an example of processing in the mobile terminal 100 of the present embodiment.
  • the contrast calculation unit 102e calculates the contrast evaluation value (blur amount) of the document image data included in the frame in which the blur amount determination target document is shot (step SB-1).
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value is equal to or higher than the highest evaluation value stored in the evaluation value file 106a (step SB-2).
  • step SB-2 determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value (step SB-2: No). If the evaluation value determination unit 102g determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value (step SB-2: No), the process proceeds to step SB-5.
  • step SB-2 determines that the contrast evaluation value is greater than or equal to the maximum evaluation value
  • the evaluation value setting unit 102i sets the contrast evaluation value as a new maximum evaluation value, and updates the maximum evaluation value stored in the evaluation value file 106a (step SB-3).
  • the evaluation value setting unit 102i determines whether or not the maximum evaluation value has been updated a specified number of times (step SB-4).
  • the designated number of times may be three times.
  • step SB-4 Yes
  • the process ends.
  • the evaluation value setting unit 102i may further shift the processing to step SA-4 in FIG.
  • step SB-4 determines that the highest evaluation value has not been updated the specified number of times (step SB-4: No). the process proceeds to step SB-5.
  • control unit 102 determines whether or not a predetermined time has elapsed from the start of the evaluation value learning process (step SB-5).
  • the fixed time may be 10 seconds or the like.
  • step SB-5 the control unit 102 shifts the process to step SB-1.
  • control unit 102 determines that a certain time has elapsed from the start of the evaluation value learning process (step SB-5: Yes), the process ends.
  • the control unit 102 may shift the processing to step SA-4 in FIG.
  • the evaluation value varies due to the change in resolution depending on the imaging distance and the accuracy of AF control. Therefore, in the present embodiment, it is possible to reduce the variation by performing control for learning the highest evaluation value only at the first activation, and storing and comparing the highest evaluation value.
  • the calibration unit 102k calibrates the camera 110 (step SA-4).
  • the calibration unit 102k may further perform calibration of the input / output unit 112.
  • the frame acquisition unit 102a acquires a frame of a preview image corresponding to one frame of a continuous image or a moving image taken by the camera 110 (Step SA-5).
  • the document acquisition unit 102b detects the corner coordinates of four points of the rectangular document from the frame using the edge detection method and / or the feature point matching method, and the document image data based on the corner coordinates of the rectangular document. Is acquired (step SA-6).
  • FIG. 4 is a flowchart showing an example of processing in the mobile terminal 100 of the present embodiment.
  • the document acquisition unit 102b acquires binary edge image data by binarizing a frame (step SC-1).
  • the document acquisition unit 102b extracts the document area of the rectangular document from the binary edge image data using the edge detection method and / or the feature point matching method (step SC-2).
  • the document acquisition unit 102b acquires the corner coordinates of the four vertices of the rectangular document from the document area (step SC-3), and ends the process.
  • the contrast calculation unit 102e calculates the contrast evaluation value (blur amount) of the document image data (step SA-7).
  • the contrast calculation unit 102e may calculate the contrast evaluation value of the divided area image data of the divided area of the document.
  • FIG. 5 is a flowchart illustrating an example of processing in the mobile terminal 100 of the present embodiment.
  • the document obtaining unit 102b obtains divided area image data of a divided area obtained by dividing the document area from the frame (step SD-1).
  • the contrast calculation unit 102e calculates (acquires) the contrast evaluation value of the divided area image data of each divided area (step SD-2), and ends the process.
  • FIG. 6 is a diagram illustrating an example of a high-pass filter in the present embodiment.
  • FIG. 7 is a diagram illustrating an example of a Previt filter in the present embodiment.
  • FIG. 8 is a diagram illustrating an example of a Sobel filter in the present embodiment.
  • the contrast evaluation value may be calculated based on a contrast ratio or may be calculated using a differential method.
  • L described in these equations represents Luminance, and indicates L in the Lab space.
  • a differentiation (difference) filter a high-pass filter shown in FIG. 6, a Previt filter shown in FIG. 7, a Sobel filter shown in FIG. 8, or the like may be used as an operator.
  • the evaluation value determining unit 102g determines whether or not the contrast evaluation value (blur amount) satisfies a predetermined evaluation value (step SA-8).
  • step SA-8 determines that the contrast evaluation value does not satisfy the predetermined evaluation value
  • step SA-8 determines that the contrast evaluation value satisfies the predetermined evaluation value.
  • FIG. 9 is a flowchart illustrating an example of processing in the mobile terminal 100 of the present embodiment.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value (blur amount) of the document image data is equal to or greater than the essential evaluation value stored in the evaluation value file 106a (step SE). -1).
  • the contrast evaluation value for performing the evaluation value determination may be the contrast evaluation value acquired in step SA-7 in FIG.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation values of the divided area image data of all the divided areas are equal to or higher than the essential evaluation value when the divided area image data of the divided areas of the document is acquired. May be.
  • step SE-1 only the processing in step SE-1 may be performed on the divided area image data, and the subsequent processing from step SE-2 to step SE-6 may be performed on the document image data.
  • step SE-1 determines that the contrast evaluation value is not equal to or higher than the essential evaluation value (step SE-1: No)
  • the processing is shifted to the calibration processing.
  • the evaluation value determination unit 102g may cause the process to proceed to step SA-4 in FIG.
  • step SE-1 determines that the contrast evaluation value is greater than or equal to the essential evaluation value
  • FIG. 10 is a flowchart illustrating an example of processing in the mobile terminal 100 of the present embodiment.
  • the distortion correction unit 102c corrects the original image data
  • the corrected image acquisition unit 102d divides the original image data subjected to the distortion correction.
  • the divided area image data is acquired (step SF-1).
  • the original image data to be corrected for distortion may be original image data for which the contrast evaluation value is determined to be equal to or higher than the essential evaluation value in step SE-1 in FIG.
  • FIG. 11 is a diagram illustrating an example of a divided region in the present embodiment.
  • FIG. 11 shows an image (25 divided areas) obtained by dividing the original image before distortion correction into 5 ⁇ 5 areas.
  • the contrast calculation unit 102e calculates the contrast evaluation value of the divided region image data of each divided region, and the evaluation value determination unit 102g evaluates the contrast of the divided region image data of all the divided regions (all regions). It is determined whether or not the value is greater than or equal to the essential evaluation value (step SF-2).
  • step SF-2 determines that the contrast evaluation value of the divided region image data of at least one divided region is not equal to or greater than the essential evaluation value (step SF-2: No)
  • the process proceeds to the calibration process.
  • the evaluation value determination unit 102g may cause the process to proceed to step SA-4 in FIG.
  • step SF-2 determines that the contrast evaluation value of the divided region image data of all regions is equal to or greater than the essential evaluation value (step SF-2: Yes)
  • the process proceeds to step SF-3.
  • the variation determination unit 102h determines whether or not the contrast evaluation value of the entire region satisfies the variation threshold (step SF-3).
  • step SF-3 determines that the contrast evaluation value of the entire region satisfies the variation threshold (step SF-3: Yes).
  • the variation determination unit 102h may cause the process to proceed to step SE-2 in FIG.
  • the variation determination unit 102h determines that the contrast evaluation value of the entire region does not satisfy the variation threshold (No in step SF-3), the variation determination unit 102h shifts the processing to step SF-4.
  • control unit 102 determines whether or not the focusing position of the camera 110 has been updated (step SF-4).
  • control unit 102 determines that the focusing position of the camera 110 has been updated (step SF-4: Yes), the process ends.
  • the variation determination unit 102h may cause the process to proceed to step SE-2 in FIG.
  • step SF-4 when it is determined that the focusing position of the camera 110 has not been updated (step SF-4: No), the control unit 102 shifts the process to step SF-5.
  • the reacquisition unit 102j updates the focusing position of the camera 110 (step SF-5), and shifts the process to the calibration process.
  • the reacquisition unit 102j may cause the process to proceed to step SA-4 in FIG.
  • the balance of resolution is improved by monitoring whether or not the difference satisfies the threshold value.
  • the focusing position is set to the position where the evaluation value is the lowest. It may be updated.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value (blur amount) of the document image data is equal to or greater than the maximum evaluation value stored in the evaluation value file 106a (step SE-2). ).
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation value of the divided region image data of at least one divided region is equal to or higher than the highest evaluation value when the divided region image data is acquired. .
  • step SE-2 If the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or higher than the maximum evaluation value (step SE-2: Yes), the process proceeds to step SE-3.
  • the evaluation value setting unit 102i sets the contrast evaluation value as a new highest evaluation value, updates the highest evaluation value stored in the evaluation value file 106a (step SE-3), and ends the process.
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SE-2 determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value
  • the evaluation value determining unit 102g determines whether or not the contrast evaluation value is equal to or higher than the maximum allowable value set near the maximum evaluation value (step SE-4).
  • the maximum allowable value may be a value obtained by subtracting a value of 5% of the essential evaluation value from the maximum evaluation value.
  • step SE-4 Yes
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SE-4 determines that the contrast evaluation value is not equal to or greater than the maximum allowable value
  • the evaluation value determination unit 102g sets the contrast evaluation value near the previous evaluation value stored in the evaluation value file 106a, which is the contrast evaluation value calculated by the contrast calculation unit 102e in the previous evaluation value determination. It is determined whether or not the previous allowable value is exceeded (step SE-5).
  • the previous allowable value may be a value obtained by subtracting 5% of the essential evaluation value from the previous evaluation value.
  • step SE-5 Yes
  • the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or greater than the previous allowable value (step SE-5: Yes)
  • the process ends.
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SE-5 determines that the contrast evaluation value is not equal to or greater than the previous allowable value
  • the evaluation value setting unit 102i sets the contrast evaluation value as a new previous evaluation value, updates the previous evaluation value stored in the evaluation value file 106a (step SE-6), and changes the process to the calibration process. Transition.
  • the evaluation value determination unit 102g may cause the process to proceed to step SA-4 in FIG.
  • 12 to 14 are diagrams showing examples of document image data, document type, and contrast evaluation values in the present embodiment.
  • the initial value of the maximum evaluation value is 60
  • the maximum allowable value is a value obtained by subtracting 3 from the maximum evaluation value
  • the previous allowable value is a value obtained by subtracting 3 from the previous evaluation value.
  • the previous evaluation value is set to 62 based on the A4 document 2, and the highest The evaluation value is updated from 67 to 75.
  • the previous evaluation value is set to 62 and the highest evaluation value is set to 75.
  • the previous evaluation value is updated from 67 to 62, and the highest evaluation value is set to 75.
  • the previous evaluation value is set to 62, and the highest evaluation value is updated from 67 to 75.
  • the previous evaluation value is set to 67, and the highest evaluation value is updated from 62 to 75.
  • the comparison with the previous evaluation value is also performed, so that an infinite loop that shifts to the calibration process is avoided, and automatic photographing is possible even for various documents.
  • the content in the document may be a character, a background pattern, an edge edge, or the like, and the contrast evaluation value may be obtained by a calculation method using a known technique.
  • the resolution changes depending on the size of the document, and the evaluation value varies. Therefore, depending on the document, automatic shooting is not performed only with the highest evaluation value. It solves the problem of cases.
  • FIG. 15 is a flowchart illustrating an example of processing in the mobile terminal 100 according to the present embodiment.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value (blur amount) of the document image data is equal to or higher than the maximum evaluation value based on the document type stored in the evaluation value file 106a. (Step SG-1).
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation value of the divided region image data of at least one divided region is equal to or higher than the highest evaluation value when the divided region image data is acquired. .
  • the contrast evaluation value for performing the evaluation value determination may be the contrast evaluation value acquired in step SA-7 in FIG.
  • the focus position update process shown in FIG. 10 may be executed as a pre-process of step SG-1.
  • step SG-1 If the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or higher than the maximum evaluation value (step SG-1: Yes), the process proceeds to step SG-2.
  • the evaluation value setting unit 102i sets the contrast evaluation value as a new maximum evaluation value, updates the maximum evaluation value (step SG-2), and ends the process.
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SG-1 determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value
  • the evaluation value determining unit 102g determines whether or not the contrast evaluation value is equal to or higher than the maximum allowable value set near the maximum evaluation value (step SG-3).
  • step SG-3 If the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or greater than the maximum allowable value (step SG-3: Yes), the process ends.
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SG-3 determines that the contrast evaluation value is not equal to or greater than the maximum allowable value (step SG-3: No)
  • the process proceeds to the calibration process.
  • the evaluation value determination unit 102g may cause the process to proceed to step SA-4 in FIG.
  • the highest evaluation value updated for each document type may be used for the blur amount determination processing instead of the highest evaluation value updated last time.
  • 16 and 17 are diagrams showing examples of document image data and contrast evaluation values in the present embodiment.
  • the maximum allowable value is a value obtained by subtracting 3 from the maximum evaluation value.
  • the license is photographed again, so that document image data with a contrast evaluation value of 75 with an appropriate imaging distance is obtained as shown in FIG. Obtained and the update process of the highest evaluation value is executed.
  • FIG. 18 is a flowchart illustrating an example of processing in the mobile terminal 100 of the present embodiment.
  • the document type specifying unit 102f specifies the document type of the document by using the layout recognition method and / or the size detection method for the document image data (step SH-1).
  • the focus position update process shown in FIG. 10 may be executed between step SH-1 and step SH-2.
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value (blur amount) of the document image data is equal to or higher than the maximum evaluation value based on the document type stored in the evaluation value file 106a (step SH ⁇ ). 2).
  • the evaluation value determination unit 102g may determine whether or not the contrast evaluation value of the divided region image data of at least one divided region is equal to or higher than the highest evaluation value when the divided region image data is acquired. .
  • the contrast evaluation value for performing the evaluation value determination may be the contrast evaluation value acquired in step SA-7 in FIG.
  • step SH-2 If the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or higher than the maximum evaluation value (step SH-2: Yes), the process proceeds to step SH-3.
  • the evaluation value setting unit 102i sets the contrast evaluation value as a new maximum evaluation value, updates the maximum evaluation value (step SH-3), and ends the process.
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SH-2 determines that the contrast evaluation value is not equal to or higher than the maximum evaluation value
  • the evaluation value determination unit 102g determines whether or not the contrast evaluation value is equal to or higher than the maximum allowable value set near the maximum evaluation value (step SH-4).
  • step SH-4 If the evaluation value determination unit 102g determines that the contrast evaluation value is equal to or greater than the maximum allowable value (step SH-4: Yes), the process ends.
  • the evaluation value determining unit 102g may cause the process to proceed to step SA-9 in FIG.
  • step SH-4 determines that the contrast evaluation value is not equal to or greater than the maximum allowable value (step SH-4: No)
  • the process proceeds to the calibration process.
  • the evaluation value determination unit 102g may cause the process to proceed to step SA-4 in FIG.
  • the re-acquisition unit 102j acquires a frame used for image quality determination by the corrected image acquisition unit 102d or controls shooting by the camera 110 to generate a new frame (for example, a high-resolution and uncompressed frame). And the like are stored in the image data file 106b (step SA-9).
  • the image display unit 102m sends the frame (image data) used for the image quality determination, the new frame (image data) acquired by the re-acquisition unit 102j, or the document image data included in the frame to the input / output unit 112.
  • Output (display) step SA-10, and the process ends.
  • the OCR unit 102n further performs OCR processing on the document image data or frame displayed on the input / output unit 112, acquires character data, and stores the character data in the image data file 106b. Also good.
  • the image quality determination can be realized by evaluating the image quality from the blur amount, the essential evaluation value, and the stored evaluation value (previous, highest).
  • the coordinates of four corners of a rectangular document in an image are detected in a high-resolution and uncompressed frame (image data) captured by the area sensor of the camera 110, and the detected document area is blurred.
  • the degree of image quality can be calculated to determine the image quality.
  • the camera image has a problem that it is difficult to obtain an image equivalent to the image quality of the scanner because the surrounding light quantity, shooting direction, and environment such as motion during shooting are not stable.
  • the mobile scanner application implemented in the mobile terminal 100 in the present embodiment is capable of sensing and acquiring a high-quality image.
  • image data of image quality necessary for image processing is acquired instead of image data of the highest image quality that can be captured by each device.
  • the mobile scanner application implemented in the mobile terminal 100 provides an autofocus learning function that assists automatic shooting.
  • the mobile terminal 100 may perform processing in a stand-alone form, performs processing in response to a request from a client terminal (which is a separate housing from the mobile terminal 100), and outputs the processing result to the client terminal You may make it return to.
  • a client terminal which is a separate housing from the mobile terminal 100
  • all or a part of the processes described as being automatically performed can be manually performed, or all of the processes described as being manually performed can be performed.
  • a part can be automatically performed by a known method.
  • processing procedure, control procedure, specific name, information including parameters such as registration data or search conditions for each processing, screen examples, or database configuration shown in the description and drawings are specially noted. It can be changed arbitrarily except for.
  • each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • each device of the mobile terminal 100 particularly the processing functions performed by the control unit 102, are realized by the CPU and a program interpreted and executed by the CPU.
  • it may be realized as hardware by wired logic.
  • the program is recorded on a non-transitory computer-readable recording medium including a programmed instruction for causing a computer to execute the method according to the present invention, which will be described later, and the mobile terminal 100 as necessary.
  • OS Operating System
  • the computer program may be stored in an application program server connected to the mobile terminal 100 via an arbitrary network, and may be downloaded in whole or in part as necessary. .
  • the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product.
  • the “recording medium” includes a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc.
  • program is a data processing method described in an arbitrary language or description method, and may be in any form such as source code or binary code. Note that the “program” is not necessarily limited to a single configuration, and functions are achieved in cooperation with a separate configuration such as a plurality of modules and libraries or a separate program represented by the OS. Including things. In addition, a well-known structure and procedure can be used about the specific structure for reading a recording medium in each apparatus shown in embodiment, a reading procedure, or the installation procedure after reading.
  • Various databases and the like stored in the storage unit 106 are storage means such as a memory device such as a RAM or a ROM, a fixed disk device such as a hard disk, a flexible disk, and / or an optical disk.
  • Various programs, tables, databases, and / or web page files used may be stored.
  • the mobile terminal 100 may be configured as an information processing apparatus such as a known personal computer, or may be configured by connecting an arbitrary peripheral device to the information processing apparatus.
  • the mobile terminal 100 may be realized by installing software (including programs, data, and the like) that causes the information processing apparatus to implement the method of the present invention.
  • the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.
  • the mobile terminal, the image processing method, and the program can be implemented in many industrial fields, particularly in the image processing field that handles images read by a camera, and are extremely useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

撮影部の撮影によるフレームを取得し、フレームから原稿の原稿画像データを取得し、原稿画像データのコントラスト評価値を算出し、コントラスト評価値が、最高評価値以上であるか否かを判定し、コントラスト評価値が最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定し、新たな最高評価値が設定された場合、評価値判定に用いたフレームを取得する、または、撮影部の再度の撮影によるフレームを取得する。

Description

モバイル端末、画像処理方法、および、プログラム
 本発明は、モバイル端末、画像処理方法、および、プログラムに関する。
 従来から、焦点調整処理を実行する技術が開示されている。
 ここで、原稿中心におけるオートフォーカス(AF)評価値が閾値以下であれば、原稿中心から近く且つAF評価値が閾値以上の位置を、焦点合わせ位置とする技術、および、原稿の4頂点のフォーカス位置の平均値を焦点合わせ位置とする技術が開示されている(特許文献1を参照)。
 また、被写体の焦点合わせを無限遠から行うことで撮像距離が遠い位置にピントを合わせることを可能にする技術が開示されている(特許文献2を参照)。
特開2010-41300号公報 特開2015-19401号公報
 しかしながら、従来の撮影装置(特許文献1等)においては、デバイスまたは使い方に合わせた画質判定機構を有していないという問題点を有していた。
 本発明は、上記問題点に鑑みてなされたもので、自動撮影をアシストするオートフォーカス学習機能をもつことで、多様なモバイル端末に対して、デバイス依存なく一定の画像品質の画像データを得ることができるモバイル端末、画像処理方法、および、プログラムを提供することを目的とする。
 このような目的を達成するため、本発明に係るモバイル端末は、撮影部の撮影によるフレームを取得するフレーム取得手段と、前記フレームから原稿の原稿画像データを取得する原稿取得手段と、前記原稿画像データのコントラスト評価値を算出するコントラスト算出手段と、前記コントラスト評価値が、最高評価値以上であるか否かを判定する最高評価値判定手段と、前記最高評価値判定手段により前記コントラスト評価値が前記最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定する最高評価値設定手段と、前記最高評価値設定手段により新たな前記最高評価値が設定された場合、評価値判定に用いた前記フレームを取得する、または、前記撮影部の再度の撮影によるフレームを取得する再取得手段と、を備えたことを特徴とする。
 また、本発明に係る画像処理方法は、撮影部の撮影によるフレームを取得するフレーム取得ステップと、前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、前記原稿画像データのコントラスト評価値を算出するコントラスト算出ステップと、前記コントラスト評価値が、最高評価値以上であるか否かを判定する最高評価値判定ステップと、前記最高評価値判定ステップにて前記コントラスト評価値が前記最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定する最高評価値設定ステップと、前記最高評価値設定ステップにて新たな前記最高評価値が設定された場合、評価値判定に用いた前記フレームを取得する、または、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、を含むことを特徴とする。
 また、本発明に係るプログラムは、撮影部の撮影によるフレームを取得するフレーム取得ステップと、前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、前記原稿画像データのコントラスト評価値を算出するコントラスト算出ステップと、前記コントラスト評価値が、最高評価値以上であるか否かを判定する最高評価値判定ステップと、前記最高評価値判定ステップにて前記コントラスト評価値が前記最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定する最高評価値設定ステップと、前記最高評価値設定ステップにて新たな前記最高評価値が設定された場合、評価値判定に用いた前記フレームを取得する、または、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、をコンピュータに実行させることを特徴とする。
 この発明によれば、デバイスに合わせた画像品質で撮像することが可能となる。
図1は、本実施形態に係るモバイル端末の構成の一例を示すブロック図である。 図2は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図3は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図4は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図5は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図6は、本実施形態におけるハイパスフィルタの一例を示す図である。 図7は、本実施形態におけるプレヴィットフィルタの一例を示す図である。 図8は、本実施形態におけるゾーベルフィルタの一例を示す図である。 図9は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図10は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図11は、本実施形態における分割領域の一例を示す図である。 図12は、本実施形態における原稿画像データと原稿種とコントラスト評価値との一例を示す図である。 図13は、本実施形態における原稿画像データと原稿種とコントラスト評価値との一例を示す図である。 図14は、本実施形態における原稿画像データと原稿種とコントラスト評価値との一例を示す図である。 図15は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図16は、本実施形態における原稿画像データとコントラスト評価値との一例を示す図である。 図17は、本実施形態における原稿画像データとコントラスト評価値との一例を示す図である。 図18は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。
 以下に、本発明に係るモバイル端末、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
[本実施形態の構成]
 以下、本発明の実施形態に係るモバイル端末100の構成の一例について図1を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図1は、本実施形態に係るモバイル端末100の構成の一例を示すブロック図である。
 但し、以下に示す実施形態は、本発明の技術思想を具体化するためのモバイル端末100を例示するものであって、本発明をこのモバイル端末100に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態のモバイル端末100にも等しく適用し得るものである。
 また、本実施形態で例示するモバイル端末100における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。
 ここで、モバイル端末100は、例えば、タブレット端末、携帯電話、スマートフォン、PHS、PDA、ノート型のパーソナルコンピュータ、または、メガネ型もしくは時計型などのウェアラブルコンピュータ等の可搬性を有する携帯型の情報処理装置であってもよい。
 まず、図1に示すように、モバイル端末100は、概略的に、制御部102と記憶部106と撮影部110と入出力部112とセンサ部114と通信部116とを備えて構成される。
 ここで、図1では省略しているが、本実施形態において、更に、入出力部112と制御部102とを接続する入出力インターフェース部(図示せず)を備えていてもよい。これらモバイル端末100の各部は任意の通信路を介して通信可能に接続されている。
 ここで、通信部116は、有線通信および/または無線通信(WiFi等)によりIPデータを送受信するためのネットワークインターフェース(NIC(Network Interface Controller)等)、Bluetooth(登録商標)、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。
 ここで、モバイル端末100は、通信部116を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。
 また、センサ部114は、物理量を検出して別媒体の信号(デジタル信号)に変換する。ここで、センサ部114は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および/または、温度センサ等を含んでいてもよい。
 また、入出力部112は、データの入出力(I/O)を行う。ここで、入出力部112は、例えば、キー入力部、タッチパネル、コントロールパッド(例えば、タッチパッド、および、ゲームパッド等)、マウス、キーボード、および/または、マイク等であってもよい。
 また、入出力部112は、アプリケーション等の表示画面を表示する表示部(例えば、液晶または有機EL等から構成されるディスプレイ、モニタ、または、タッチパネル等)であってもよい。
 また、入出力部112は、音声情報を音声として出力する音声出力部(例えば、スピーカ等)であってもよい。また、入出力部(タッチパネル)112は、物理的接触を検出し、信号(デジタル信号)に変換するセンサ部114を含んでいてもよい。
 また、撮影部110は、被写体(例えば、原稿等)を連続画像撮影(動画撮影)することで、連続(動画)の画像データ(フレーム)を取得する。例えば、撮影部110は、映像データを取得してもよい。また、撮影部110は、アンシラリデータを取得してもよい。
 ここで、撮影部110は、CCD(Charge Coupled Device)、および/または、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えたカメラ等であってもよい。
 また、撮影部110は、被写体を静止画撮影することで、静止画の画像データを取得してもよい。ここで、フレームは、非圧縮の画像データであってもよい。また、フレームは、高解像度の画像データであってもよい。
 ここで、高解像度とは、フルハイビジョン、4K解像度、または、スーパーハイビジョン(8K解像度)等であってもよい。また、撮影部110は、24fpsまたは30fps等で動画撮影してもよい。
 記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ、ハードディスクのような固定ディスク装置、SSD(Solid State Drive)、および/または、光ディスク等を用いることができる。
 また、記憶部106は、各種のデータベース、テーブル、バッファ、および/または、ファイル(評価値ファイル106a、および、画像データファイル106b等)を格納する。ここで、記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。
 これら記憶部106の各構成要素のうち、評価値ファイル106aは、画像データの評価値を記憶する。ここで、評価値は、コントラスト評価値、必須評価値、最高評価値、および/または、前回評価値等であってもよい。また、評価値ファイル106aは、原稿種毎に評価値を記憶していてもよい。
 また、画像データファイル106bは、画像データ(フレーム等)を記憶する。ここで、画像データファイル106bは、原稿画像データ、歪み補正画像データ、原稿の一部領域の領域画像データ、および/または、原稿の分割領域の分割領域画像データを記憶していてもよい。
 また、画像データファイル106bは、原稿、および/または、分割領域等の位置データを記憶していてもよい。また、画像データファイル106bは、画像データに対応する文字データを記憶していてもよい。
 また、画像データファイル106bは、映像データを記憶していてもよい。また、画像データファイル106bは、アンシラリデータを記憶していてもよい。
 また、制御部102は、モバイル端末100を統括的に制御するCPU、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、および/または、FPGA(Field-Programming Gate Array)等を含む有形のコントローラから構成されてもよい。
 制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
 ここで、制御部102は、機能概念的に、フレーム取得部102a、原稿取得部102b、歪み補正部102c、補正画像取得部102d、コントラスト算出部102e、原稿種特定部102f、評価値判定部102g、ばらつき判定部102h、評価値設定部102i、再取得部102j、キャリブレーション部102k、画像表示部102m、および、OCR部102nを備える。
 フレーム取得部102aは、画像データ(フレーム)を取得する。ここで、フレーム取得部102aは、撮影部110の撮影による画像データを取得してもよい。また、フレーム取得部102aは、非圧縮且つ高解像度の画像データを取得してもよい。
 また、フレーム取得部102aは、撮影部110による連続画像撮影または動画撮影を制御して、1コマに相当する画像データ(フレーム)を取得してもよい。また、フレーム取得部102aは、撮影部110による静止画撮影を制御して、画像データを取得してもよい。また、フレーム取得部102aは、アンシラリデータを取得してもよい。
 原稿取得部102bは、原稿の原稿画像データを取得する。ここで、原稿取得部102bは、フレームから原稿の原稿画像データを取得してもよい。また、原稿取得部102bは、フレームから原稿の一部領域の領域画像データを取得してもよい。ここで、原稿は、矩形原稿であってもよい。
 また、原稿取得部102bは、フレームから原稿の分割領域の分割領域画像データを取得してもよい。ここで、原稿取得部102bは、フレームから原稿の位置データを検出してもよい。ここで、原稿取得部102bは、フレームから原稿のコーナー座標(4点)を検出してもよい。
 また、原稿取得部102bは、フレームから原稿のレイアウトを検出してもよい。また、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、フレームから原稿の位置データを検出し、原稿の位置データに基づいて、原稿画像データを取得してもよい。
 歪み補正部102cは、原稿画像データに歪みがある場合、原稿画像データを歪み補正する。ここで、歪み補正部102cは、原稿画像データに歪みがあるか否か判定してもよい。例えば、歪み補正部102cは、原稿画像データ領域の形状が台形である場合、歪みがあると判定してもよい。
 補正画像取得部102dは、歪み補正部102cにより歪み補正された原稿画像データ(歪み補正画像データ)を取得する。ここで、補正画像取得部102dは、歪み補正画像データを分割した分割領域の分割領域画像データを取得してもよい。
 コントラスト算出部102eは、原稿画像データのコントラスト評価値(ボケ量)を算出する。ここで、コントラスト算出部102eは、各分割領域の分割領域画像データのコントラスト評価値を算出してもよい。
 また、コントラスト算出部102eは、コントラスト比、または、微分法を用いて、原稿画像データのコントラスト評価値を算出してもよい。
 原稿種特定部102fは、原稿の原稿種を特定する。ここで、原稿種特定部102fは、レイアウト認識法、および/または、サイズ検出法を用いて、原稿の原稿種を特定してもよい。
 評価値判定部102gは、コントラスト評価値が、所定の価値以上であるか否かを判定する。ここで、評価値判定部102gは、コントラスト評価値が、必須評価値以上であるか否かを判定してもよい。
 また、評価値判定部102gは、全ての分割領域の分割領域画像データのコントラスト評価値が、必須評価値以上であるか否かを判定してもよい。また、評価値判定部102gは、コントラスト評価値が、最高評価値以上であるか否かを判定してもよい。
 また、評価値判定部102gは、更に、コントラスト評価値が最高評価値以上ではないと判定した場合、当該コントラスト評価値が、最高評価値付近に設定された最高許容値以上であるか否かを判定してもよい。
 ここで、最高許容値は、最高評価値から、必須評価値の所定割合(例えば、5%等)の値を、引いた値であってもよい。
 また、評価値判定部102gは、コントラスト評価値が必須評価値以上であると判定した場合、コントラスト評価値が、最高評価値以上であるか否かを判定してもよい。
 また、評価値判定部102gは、コントラスト評価値が、原稿種に基づく最高評価値以上であるか否かを判定してもよい。
 また、評価値判定部102gは、コントラスト評価値が、前回の評価値判定にてコントラスト算出部102eにより算出されたコントラスト評価値である前回評価値付近に設定された前回許容値以上であるか否かを判定してもよい。
 ここで、前回許容値は、前回評価値から、必須評価値の所定割合(例えば、5%等)の値を、引いた値であってもよい。
 ばらつき判定部102hは、コントラスト評価値にばらつきがあるか否か判定する。ここで、ばらつき判定部102hは、評価値判定部102gにより全ての分割領域のコントラスト評価値が必須評価値以上であると判定された場合、当該コントラスト評価値にばらつきがあるか否か判定してもよい。
 また、ばらつき判定部102hは、評価値判定部102gにより全てのコントラスト評価値が必須評価値以上であると判定された場合、当該全てのコントラスト評価値が、ばらつきの閾値を満たすか否か判定してもよい。
 ここで、閾値は、分割領域データのコントラスト評価値の平均値の90%以上110%以下の値等であってもよい。
 評価値設定部102iは、コントラスト評価値を新たな所定の評価値として設定する。ここで、評価値設定部102iは、コントラスト評価値を新たな最高評価値として設定してもよい。
 また、評価値設定部102iは、評価値判定部102gによりコントラスト評価値が最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定してもよい。
 また、評価値設定部102iは、コントラスト評価値を新たな前回評価値として設定してもよい。ここで、評価値設定部102iは、評価値判定部102gによりコントラスト評価値が前回許容値以上ではないと判定された場合、当該コントラスト評価値を新たな前回評価値として設定してもよい。
 再取得部102jは、評価値判定に用いたフレームを取得する、または、撮影部110の再度の撮影による画像データを取得する。ここで、再取得部102jは、更に、疑似シャッター動作情報を出力させてもよい。
 ここで、再取得部102jは、評価値設定部102iにより新たな最高評価値が設定された場合、評価値判定に用いたフレームを取得、または、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、更に、評価値判定部102gによりコントラスト評価値が最高評価値以上ではないと判定された場合、キャリブレーションを実行し、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、評価値判定部102gによりコントラスト評価値が最高評価値以上ではないと判定され、当該コントラスト評価値が最高許容値以上ではないと判定された場合、キャリブレーションを実行し、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、評価値判定部102gによりコントラスト評価値が最高評価値以上ではないと判定された際に、評価値判定部102gによりコントラスト評価値が前回許容値以上ではないと判定された場合、キャリブレーションを実行し、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、更に、ばらつき判定部102hによりばらつきがあると判定された場合、撮影部110の焦点合わせ位置を更新して、キャリブレーションを実行し、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、ばらつき判定部102hにより少なくとも一つのコントラスト評価値が閾値を満たさないと判定された場合、撮影部110の焦点合わせ位置を更新して、キャリブレーションを実行し、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、ばらつき判定部102hによりばらつきがあると判定された場合、撮影部110の焦点合わせ位置をコントラスト評価値が最小の分割領域に変更して、キャリブレーションを実行し、撮影部110の再度の撮影によるフレームを取得してもよい。
 また、再取得部102jは、撮影部110による撮影(連続画像撮影、動画撮影、または、静止画撮影等)を制御して、新たなフレームを取得してもよい。また、再取得部102jは、更に、取得したフレームを画像データファイル106bに格納してもよい。
 キャリブレーション部102kは、キャリブレーションを実行する。ここで、キャリブレーションは、撮影部110のキャリブレーション、および/または、入出力部112のキャリブレーションであってもよい。
 また、キャリブレーション部102kは、評価値設定部102iにより新たな最高評価値が指定回数設定された場合、または、評価値設定部102iにより新たな最高評価値が指定回数未満設定され、且つ、一定時間経過した場合、キャリブレーションを実行してもよい。
 画像表示部102mは、画像データを表示させる。ここで、画像表示部102mは、フレーム、原稿画像データ、および/または、歪み補正画像データを表示させてもよい。
 また、画像表示部102mは、画像データを入出力部112に表示させてもよい。また、画像表示部102mは、文字データを表示させてもよい。
 OCR部102nは、画像データに対してOCR処理を行い、文字データを取得する。ここで、OCR部102nは、原稿画像データ、または、フレームに対してOCR処理を行い、文字データを取得してもよい。また、OCR部102nは、更に、取得した文字データを画像データファイル106bに格納してもよい。
[本実施形態の処理]
 上述した構成のモバイル端末100で実行される処理の一例について、図2から図18を参照して、本実施形態における自動撮影処理の一例について説明する。図2は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
[自動撮影処理]
 図2に示すように、まず、制御部102は、撮像部(カメラ)110を起動させる(ステップSA-1)。
 そして、制御部102は、評価値ファイル106aに記憶された必須評価値を、コントラスト評価値(ボケ量)判定で使用する最高評価値の初期値として設定して、評価値ファイル106aに格納する(ステップSA-2)。
 このように、本実施形態においては、初回起動時のみボケ量判定で使用する最高評価値の初期値を必須評価値として設定してもよい。
 そして、画像表示部102mは、カメラ110により撮影されたプレビュー画面(プレビュー画像)の画像データを入出力部112に表示させる(ステップSA-3)。ここで、画像表示部102mは、原稿種が特定されている場合、処理を図3のステップSB-1に移行させてもよい。
[評価値学習処理]
 ここで、図3を参照して、本実施形態において、原稿種が特定されている場合の原稿画像データの評価値学習(評価値キャリブレーション)処理の一例について説明する。図3は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図3に示すように、コントラスト算出部102eは、ボケ量判定対象の原稿が撮影されたフレームに含まれる原稿画像データのコントラスト評価値(ボケ量)を算出する(ステップSB-1)。
 そして、評価値判定部102gは、コントラスト評価値が、評価値ファイル106aに記憶された最高評価値以上であるか否かを判定する(ステップSB-2)。
 そして、評価値判定部102gは、コントラスト評価値が、最高評価値以上ではないと判定した場合(ステップSB-2:No)、処理をステップSB-5に移行させる。
 一方、評価値判定部102gは、コントラスト評価値が、最高評価値以上であると判定した場合(ステップSB-2:Yes)、処理をステップSB-3に移行させる。
 そして、評価値設定部102iは、コントラスト評価値を新たな最高評価値として設定し、評価値ファイル106aに記憶された最高評価値を更新する(ステップSB-3)。
 そして、評価値設定部102iは、最高評価値を指定回数更新したか否か判定する(ステップSB-4)。ここで、指定回数は、3回等であってもよい。
 そして、評価値設定部102iは、最高評価値を指定回数更新したと判定した場合(ステップSB-4:Yes)、処理を終了する。ここで、評価値設定部102iは、更に、処理を図2のステップSA-4に移行させてもよい。
 一方、評価値設定部102iは、最高評価値を指定回数更新していないと判定した場合(ステップSB-4:No)、処理をステップSB-5に移行させる。
 そして、制御部102は、評価値学習処理の開始から一定時間経過したか否かを判定する(ステップSB-5)。ここで、一定時間は、10秒等であってもよい。
 そして、制御部102は、評価値学習処理の開始から一定時間経過していないと判定した場合(ステップSB-5:No)、処理をステップSB-1に移行させる。
 一方、制御部102は、評価値学習処理の開始から一定時間経過したと判定した場合(ステップSB-5:Yes)、処理を終了する。ここで、制御部102は、処理を図2のステップSA-4に移行させてもよい。
 指定原稿の撮影においても、撮像距離による解像度の変化およびAF制御の精度によって評価値にバラツキが生じてしまう。そのため、本実施形態においては、初回起動時のみ最高評価値を学習する制御を実施して、最高評価値を記憶し比較することでバラツキを軽減することを可能としている。
 図2に戻り、キャリブレーション部102kは、カメラ110のキャリブレーションを行う(ステップSA-4)。ここで、キャリブレーション部102kは、更に、入出力部112のキャリブレーションを行ってもよい。
 そして、フレーム取得部102aは、カメラ110により撮影された連続画像または動画の1コマに相当するプレビュー画像のフレームを取得する(ステップSA-5)。
 そして、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、フレームから矩形原稿の4点のコーナー座標を検出し、矩形原稿のコーナー座標に基づいて、原稿画像データを取得する(ステップSA-6)。
[4点検出処理]
 ここで、図4を参照して、本実施形態における4点検出処理の一例について説明する。図4は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図4に示すように、まず、原稿取得部102bは、フレームの二値化により、二値エッジ画像データを取得する(ステップSC-1)。
 そして、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、二値エッジ画像データから、矩形原稿の原稿エリアを抽出する(ステップSC-2)。
 そして、原稿取得部102bは、原稿エリアから矩形原稿の4頂点のコーナー座標を取得し(ステップSC-3)、処理を終了する。
 図2に戻り、コントラスト算出部102eは、原稿画像データのコントラスト評価値(ボケ量)を算出する(ステップSA-7)。ここで、コントラスト算出部102eは、原稿の分割領域の分割領域画像データのコントラスト評価値を算出してもよい。
[ボケ量算出処理]
 ここで、図5から図8を参照して、本実施形態における原稿の分割領域のボケ量算出処理の一例について説明する。図5は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図5に示すように、まず、原稿取得部102bは、フレームから原稿エリアを分割した分割領域の分割領域画像データを取得する(ステップSD-1)。
 そして、コントラスト算出部102eは、各分割領域の分割領域画像データのコントラスト評価値を算出(取得)し(ステップSD-2)、処理を終了する。
 ここで、図6から図8を参照して、本実施形態におけるボケ量算出方法の一例について説明する。図6は、本実施形態におけるハイパスフィルタの一例を示す図である。図7は、本実施形態におけるプレヴィットフィルタの一例を示す図である。図8は、本実施形態におけるゾーベルフィルタの一例を示す図である。
 ここで、本実施形態において、コントラスト評価値は、コントラスト比により算出してもよいし、微分法を用いて算出してもよい。
 ここで、コントラスト評価値を、コントラスト比(輝度比)により算出する場合、例えば、「コントラスト評価値=Lmin/Lmax」、または、「コントラスト評価値(Michaelsonコントラスト)=(Lmax-Lmin)/(Lmax+Lmin)」等の式を用いて算出してもよい。
 ここで、これらの式に記載されたLは、Luminanceを表しており、Lab空間のLを示している。
 また、コントラスト評価値を、コントラスト比(相対輝度比)により算出する場合、例えば、「コントラスト評価値=(L1+0.05)/(L2+0.05)」等の式を用いて算出してもよい(JISX8341-3:2010、WCAG(Web Content Accessibility Guidelines)2.0)。
 また、コントラスト評価値を、微分法により(微分フィルタを用いて)算出する場合、「コントラスト評価値=微分(隣接する画素の差分)の総和」、または、「コントラスト評価値=微分(隣接する画素の差分)の標準偏差」等の式を用いて算出してもよい。
 ここで、本実施形態において、微分(差分)フィルタとしては、図6に示すハイパスフィルタ、図7に示すプレヴィットフィルタ、または、図8に示すゾーベルフィルタ等を演算子として用いてもよい。
 図2に戻り、評価値判定部102gは、コントラスト評価値(ボケ量)が、所定の評価値を満たすか否かを判定する(ステップSA-8)。
 そして、評価値判定部102gは、コントラスト評価値が、所定の評価値を満たさないと判定した場合(ステップSA-8:No)、処理をステップSA-4に移行させる。
 一方、評価値判定部102gは、コントラスト評価値が、所定の評価値を満たすと判定した場合(ステップSA-8:Yes)、処理をステップSA-9に移行させる。
 ここで、図9から図18を参照して、本実施形態におけるボケ量判定処理の一例について説明する。
[多様な原稿に対するボケ量判定処理]
 図9から図14を参照して、本実施形態における多様な原稿を撮影する場合のボケ量判定処理の一例について説明する。図9は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図9に示すように、評価値判定部102gは、原稿画像データのコントラスト評価値(ボケ量)が、評価値ファイル106aに記憶された必須評価値以上であるか否かを判定する(ステップSE-1)。
 ここで、評価値判定を行うコントラスト評価値は、図2のステップSA-7にて取得されたコントラスト評価値であってもよい。
 また、評価値判定部102gは、原稿の分割領域の分割領域画像データが取得された場合、全ての分割領域の分割領域画像データのコントラスト評価値が、必須評価値以上であるか否かを判定してもよい。
 なお、本実施形態において、ステップSE-1の処理のみ分割領域画像データに対して行い、以後のステップSE-2からステップSE-6の処理を原稿画像データに対して行ってもよい。
 そして、評価値判定部102gは、コントラスト評価値が必須評価値以上ではないと判定した場合(ステップSE-1:No)、処理をキャリブレーション処理に移行させる。ここで、評価値判定部102gは、処理を図2のステップSA-4に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が必須評価値以上であると判定した場合(ステップSE-1:Yes)、処理をステップSE-2に移行させる。
[焦点合わせ位置更新処理]
 ここで、図10および図11を参照して、本実施形態において原稿画像データに歪みがある場合の評価値に基づく焦点合わせ位置更新処理の一例について説明する。図10は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図10に示すように、歪み補正部102cは、原稿画像データに歪みがある場合、原稿画像データを歪み補正し、補正画像取得部102dは、歪み補正された原稿画像データを分割した分割領域の分割領域画像データを取得する(ステップSF-1)。
 ここで、本実施形態において、歪み補正対象の原稿画像データは、図9のステップSE-1にてコントラスト評価値が必須評価値以上であると判定された原稿画像データであってもよい。
 ここで、図11を参照して、本実施形態における分割領域の一例について説明する。図11は、本実施形態における分割領域の一例を示す図である。
 図11は、歪み補正前の原稿画像に対して、5×5で領域分割した画像(25分割の分割領域)を示している。
 図10に戻り、コントラスト算出部102eは、各分割領域の分割領域画像データのコントラスト評価値を算出し、評価値判定部102gは、全ての分割領域(全領域)の分割領域画像データのコントラスト評価値が、必須評価値以上であるか否かを判定する(ステップSF-2)。
 そして、評価値判定部102gは、少なくとも一つの分割領域の分割領域画像データのコントラスト評価値が必須評価値以上ではないと判定した場合(ステップSF-2:No)、処理をキャリブレーション処理に移行させる。ここで、評価値判定部102gは、処理を図2のステップSA-4に移行させてもよい。
 一方、評価値判定部102gは、全領域の分割領域画像データのコントラスト評価値が必須評価値以上であると判定した場合(ステップSF-2:Yes)、処理をステップSF-3に移行させる。
 そして、ばらつき判定部102hは、全領域のコントラスト評価値が、ばらつきの閾値を満たすか否か判定する(ステップSF-3)。
 そして、ばらつき判定部102hは、全領域のコントラスト評価値がばらつきの閾値を満たすと判定した場合(ステップSF-3:Yes)、処理を終了する。ばらつき判定部102hは、処理を図9のステップSE-2に移行させてもよい。
 一方、ばらつき判定部102hは、全領域のコントラスト評価値がばらつきの閾値を満たさないと判定した場合(ステップSF-3:No)、処理をステップSF-4に移行させる。
 そして、制御部102は、カメラ110の焦点合わせ位置を更新済みであるか否か判定する(ステップSF-4)。
 そして、制御部102は、カメラ110の焦点合わせ位置を更新済みであると判定した場合(ステップSF-4:Yes)、処理を終了する。ばらつき判定部102hは、処理を図9のステップSE-2に移行させてもよい。
 一方、制御部102は、カメラ110の焦点合わせ位置を更新済みではないと判定した場合(ステップSF-4:No)、処理をステップSF-5に移行させる。
 そして、再取得部102jは、カメラ110の焦点合わせ位置を更新し(ステップSF-5)、処理をキャリブレーション処理に移行させる。ここで、再取得部102jは、処理を図2のステップSA-4に移行させてもよい。
 正面以外からの撮影においては、同一原稿内においても撮像距離が異なることで解像度差が発生してしまい、分割した原稿領域間で評価値の差が発生してしまう。
 そこで、本実施形態においては、この差分が閾値を満たすか否かを監視することで解像感のバランスを向上させ、差分が閾値を満たさない場合、焦点合わせ位置を評価値が最も低い位置に更新してもよい。
 図9に戻り、評価値判定部102gは、原稿画像データのコントラスト評価値(ボケ量)が、評価値ファイル106aに記憶された最高評価値以上であるか否かを判定する(ステップSE-2)。
 また、評価値判定部102gは、分割領域画像データが取得された場合、少なくとも一つの分割領域の分割領域画像データのコントラスト評価値が、最高評価値以上であるか否かを判定してもよい。
 そして、評価値判定部102gは、コントラスト評価値が最高評価値以上であると判定した場合(ステップSE-2:Yes)、処理をステップSE-3に移行させる。
 そして、評価値設定部102iは、コントラスト評価値を新たな最高評価値として設定して、評価値ファイル106aに記憶された最高評価値を更新し(ステップSE-3)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が最高評価値以上ではないと判定した場合(ステップSE-2:No)、処理をステップSE-4に移行させる。
 そして、評価値判定部102gは、コントラスト評価値が、最高評価値付近に設定された最高許容値以上であるか否かを判定する(ステップSE-4)。ここで、最高許容値は、最高評価値から必須評価値の5%の値を引いた値であってもよい。
 そして、評価値判定部102gは、コントラスト評価値が最高許容値以上であると判定した場合(ステップSE-4:Yes)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が最高許容値以上ではないと判定した場合(ステップSE-4:No)、処理をステップSE-5に移行させる。
 そして、評価値判定部102gは、コントラスト評価値が、前回の評価値判定にてコントラスト算出部102eにより算出されたコントラスト評価値である、評価値ファイル106aに記憶された前回評価値付近に設定された前回許容値以上であるか否かを判定する(ステップSE-5)。
 ここで、前回許容値は、前回評価値から必須評価値の5%の値を引いた値であってもよい。
 そして、評価値判定部102gは、コントラスト評価値が前回許容値以上であると判定した場合(ステップSE-5:Yes)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が前回許容値以上ではないと判定した場合(ステップSE-5:No)、処理をステップSE-6に移行させる。
 そして、評価値設定部102iは、コントラスト評価値を新たな前回評価値として設定して、評価値ファイル106aに記憶された前回評価値を更新し(ステップSE-6)、処理をキャリブレーション処理に移行させる。ここで、評価値判定部102gは、処理を図2のステップSA-4に移行させてもよい。
 ここで、図12から図14を参照して、本実施形態における多様な原稿に対するボケ量判定の実施例について説明する。図12から図14は、本実施形態における原稿画像データと原稿種とコントラスト評価値との一例を示す図である。
 本実施例において、必須評価値が60に設定され、許容値が必須評価値の5%(60×0.05=3)に設定されている場合、最高評価値の初期値は、60となり、最高許容値は、最高評価値から3を引いた値となり、前回許容値は、前回評価値から3を引いた値となる。
 図12から図14に示すように、本実施例において、A4ドキュメント1、A4ドキュメント2、免許証の順に撮影された場合、前回評価値は、A4ドキュメント2に基づいて、62に設定され、最高評価値は、67から75に更新される。
 また、本実施例において、A4ドキュメント2、A4ドキュメント1、免許証の順に撮影される場合、前回評価値は、設定されず、最高評価値は、62から67を経て75に更新される。
 また、本実施例において、免許証、A4ドキュメント2、A4ドキュメント1の順に撮影される場合、前回評価値は、62に設定され、最高評価値は、75に設定される。
 また、本実施例において、免許証、A4ドキュメント1、A4ドキュメント2の順に撮影される場合、前回評価値は、67から62に更新され、最高評価値は、75に設定される。
 また、本実施例において、A4ドキュメント1、免許証、A4ドキュメント2の順に撮影される場合、前回評価値は、62に設定され、最高評価値は、67から75に更新される。
 また、本実施例において、A4ドキュメント2、免許証、A4ドキュメント1の順に撮影される場合、前回評価値は、67に設定され、最高評価値は、62から75に更新される。
 このように、本実施形態においては、前回評価値との比較も行うことで、キャリブレーション処理に移行する無限ループを回避し、多様な原稿においても自動撮影を可能としている。
 この際、原稿内のコンテンツは、文字、地紋、または、エッジ端等でもよく、コントラスト評価値は、公知技術による算出方法で求めてもよい。
 これにより、本実施形態において、原稿内のコンテンツからコントラスト評価値を算出すると、原稿の大きさによって解像度が変わり、評価値にバラツキが生じてしまうため、原稿によっては最高評価値だけでは自動撮影されない場合が発生するという課題を解決している。
[指定原稿種に対するボケ量判定処理]
 次に、図15から図17を参照して、本実施形態における原稿種を指定して撮影する場合のボケ量判定処理の一例について説明する。図15は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図15に示すように、評価値判定部102gは、原稿画像データのコントラスト評価値(ボケ量)が、評価値ファイル106aに記憶された原稿種に基づく最高評価値以上であるか否かを判定する(ステップSG-1)。
 また、評価値判定部102gは、分割領域画像データが取得された場合、少なくとも一つの分割領域の分割領域画像データのコントラスト評価値が、最高評価値以上であるか否かを判定してもよい。
 ここで、評価値判定を行うコントラスト評価値は、図2のステップSA-7にて取得されたコントラスト評価値であってもよい。
 なお、本実施形態において、ステップSG-1の前処理として、図10に示す焦点合わせ位置更新処理を実行してもよい。
 そして、評価値判定部102gは、コントラスト評価値が最高評価値以上であると判定した場合(ステップSG-1:Yes)、処理をステップSG-2に移行させる。
 そして、評価値設定部102iは、コントラスト評価値を新たな最高評価値として設定して最高評価値を更新し(ステップSG-2)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が最高評価値以上ではないと判定した場合(ステップSG-1:No)、処理をステップSG-3に移行させる。
 そして、評価値判定部102gは、コントラスト評価値が、最高評価値付近に設定された最高許容値以上であるか否かを判定する(ステップSG-3)。
 そして、評価値判定部102gは、コントラスト評価値が最高許容値以上であると判定した場合(ステップSG-3:Yes)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が最高許容値以上ではないと判定した場合(ステップSG-3:No)、処理をキャリブレーション処理に移行させる。ここで、評価値判定部102gは、処理を図2のステップSA-4に移行させてもよい。
 このように、異なる原稿種の最高評価値を判定に用いることで、ボケ量判定処理が、常にキャリブレーション処理へ移行することで無限ループとなることを避けるために、本実施形態においては、原稿種が特定されている場合、前回更新された最高評価値ではなく、原稿種毎に更新された最高評価値をボケ量判定処理に用いてもよい。
 ここで、図16および図17を参照して、本実施形態における指定原稿種に対するボケ量判定処理の実施例について説明する。図16および図17は、本実施形態における原稿画像データとコントラスト評価値との一例を示す図である。
 本実施例においては、最高評価値の初期値が60に設定されている場合、最高許容値は、最高評価値から3を引いた値となる。
 ここで、本実施例においては、図16に示す免許証が撮影された場合、撮像距離が遠いためにコントラスト評価値が56と算出されることから、必須評価値(=60)および最高許容値(=57)を満たさないことになる。
 それにより、本実施例においては、キャリブレーション処理の実行後、再度、免許証が撮影されることで、図17に示すように、撮像距離が適切であるコントラスト評価値が75の原稿画像データが取得され、最高評価値の更新処理が実行されることになる。
[原稿種判別を含むボケ量判定処理]
 また、図18を参照して、本実施形態における撮影した画像データに対して原稿種判別をする場合のボケ量判定処理の一例について説明する。図18は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
 図18に示すように、原稿種特定部102fは、原稿画像データに対して、レイアウト認識法、および/または、サイズ検出法を用いて、原稿の原稿種を特定する(ステップSH-1)。
 なお、本実施形態において、ステップSH-1とステップSH-2との間に、図10に示す焦点合わせ位置更新処理を実行してもよい。
 そして、評価値判定部102gは、原稿画像データのコントラスト評価値(ボケ量)が、評価値ファイル106aに記憶された原稿種に基づく最高評価値以上であるか否かを判定する(ステップSH-2)。
 また、評価値判定部102gは、分割領域画像データが取得された場合、少なくとも一つの分割領域の分割領域画像データのコントラスト評価値が、最高評価値以上であるか否かを判定してもよい。
 ここで、評価値判定を行うコントラスト評価値は、図2のステップSA-7にて取得されたコントラスト評価値であってもよい。
 そして、評価値判定部102gは、コントラスト評価値が最高評価値以上であると判定した場合(ステップSH-2:Yes)、処理をステップSH-3に移行させる。
 そして、評価値設定部102iは、コントラスト評価値を新たな最高評価値として設定して最高評価値を更新し(ステップSH-3)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が最高評価値以上ではないと判定した場合(ステップSH-2:No)、処理をステップSH-4に移行させる。
 そして、評価値判定部102gは、コントラスト評価値が、最高評価値付近に設定された最高許容値以上であるか否かを判定する(ステップSH-4)。
 そして、評価値判定部102gは、コントラスト評価値が最高許容値以上であると判定した場合(ステップSH-4:Yes)、処理を終了する。ここで、評価値判定部102gは、処理を図2のステップSA-9に移行させてもよい。
 一方、評価値判定部102gは、コントラスト評価値が最高許容値以上ではないと判定した場合(ステップSH-4:No)、処理をキャリブレーション処理に移行させる。ここで、評価値判定部102gは、処理を図2のステップSA-4に移行させてもよい。
 図2に戻り、再取得部102jは、補正画像取得部102dによる画質判定に用いたフレームを取得、または、カメラ110による撮影を制御して、新たなフレーム(例えば、高解像度且つ非圧縮のフレーム等)を取得し、画像データファイル106bに格納する(ステップSA-9)。
 そして、画像表示部102mは、画質判定に用いたフレーム(画像データ)、再取得部102jにより取得された新たなフレーム(画像データ)、または、フレームに含まれる原稿画像データを入出力部112に出力(表示)させ(ステップSA-10)、処理を終了する。
 なお、OCR部102nは、更に、入出力部112に表示された原稿画像データ、または、フレームに対してOCR処理を行い、文字データを取得し、当該文字データを画像データファイル106bに格納してもよい。
 このように、本実施形態においては、ボケ量と必須評価値と記憶してある評価値(前回、最高)とから画質を評価することで、画質判定を実現することができる。
 また、本実施形態においては、カメラ110のエリアセンサに撮像された高解像度且つ非圧縮のフレーム(画像データ)において、画像中の矩形原稿のコーナー4点座標を検出し、検出した原稿領域においてボケの程度(コントラスト値)を算出し、画質を判定することができる。
 近年、スマートフォンまたはタブレット等のモバイル端末の普及に伴い、従来ではスキャナが利用されてきた業務からカメラを有するモバイル端末へと利用形態が変化している。
 これは、カメラによるスキャニングは場所を問わないこと、または、媒体の制限が無いことによる自由度が高いという利点があるからである。
 一方、カメラ画像は、周辺の光量、撮影方向、および、撮影時の運動などの環境が安定しないことから、スキャナ画質と同等の画像を得ることが難しいという問題があった。
 そこで、本実施形態においてモバイル端末100に実装されるモバイルスキャナアプリでは、良質な画像をセンシングして取得できるようにしている。
 また、従来の自動撮影における画質判定では、既定値による判定を行うことでデバイス依存なく一定の画像品質の画像データを取得する手法があった。
 しかしながら、これらの従来の手法では、各デバイスで撮影可能な最高画質の画像データではなく、画像処理に必要な画質の画像データを取得していた。
 そのため、これらの従来の手法では、撮影可能な最高画質と画像処理に必要な画質とに差がある場合、撮影画像にバラツキが生じていた。
 ここで、これらの従来の手法に対して、デバイスに合わせた既定値を設定する解決案が考えられるが、モバイル端末が多様化する現状では、当該解決策を実装するのは現実的ではなかった。
 そこで、本実施形態においてモバイル端末100に実装されるモバイルスキャナアプリでは、自動撮影をアシストするオートフォーカス学習機能を提供している。
[他の実施形態]
 さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
 例えば、モバイル端末100は、スタンドアローンの形態で処理を行ってもよく、クライアント端末(モバイル端末100とは別筐体である)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
 また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
 このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
 また、モバイル端末100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
 例えば、モバイル端末100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPUおよび当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。
 なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてモバイル端末100に機械的に読み取られる。すなわち、ROMまたはHDDなどの記憶部106などには、OS(Operating System)と協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
 また、このコンピュータプログラムは、モバイル端末100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
 また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD-ROM、MO、DVD、および、Blu-ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。
 また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OSに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
 記憶部106に格納される各種のデータベース等は、RAMもしくはROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および/または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および/または、ウェブページ用ファイル等を格納してもよい。
 また、モバイル端末100は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、モバイル端末100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
 更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
 以上のように、モバイル端末、画像処理方法、および、プログラムは、産業上の多くの分野、特にカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。
 100 モバイル端末
 102 制御部
 102a フレーム取得部
 102b 原稿取得部
 102c 歪み補正部
 102d 補正画像取得部
 102e コントラスト算出部
 102f 原稿種特定部
 102g 評価値判定部
 102h ばらつき判定部
 102i 評価値設定部
 102j 再取得部
 102k キャリブレーション部
 102m 画像表示部
 102n OCR部
 106 記憶部
 106a 評価値ファイル
 106b 画像データファイル
 110 撮影部
 112 入出力部
 114 センサ部
 116 通信部

Claims (15)

  1.  撮影部の撮影によるフレームを取得するフレーム取得手段と、
     前記フレームから原稿の原稿画像データを取得する原稿取得手段と、
     前記原稿画像データのコントラスト評価値を算出するコントラスト算出手段と、
     前記コントラスト評価値が、最高評価値以上であるか否かを判定する最高評価値判定手段と、
     前記最高評価値判定手段により前記コントラスト評価値が前記最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定する最高評価値設定手段と、
     前記最高評価値設定手段により新たな前記最高評価値が設定された場合、評価値判定に用いた前記フレームを取得する、または、前記撮影部の再度の撮影によるフレームを取得する再取得手段と、
     を備えたことを特徴とする、モバイル端末。
  2.  前記再取得手段は、
     更に、前記最高評価値判定手段により前記コントラスト評価値が前記最高評価値以上ではないと判定された場合、キャリブレーションを実行し、前記撮影部の再度の撮影によるフレームを取得する、請求項1に記載のモバイル端末。
  3.  前記最高評価値判定手段は、
     更に、前記コントラスト評価値が前記最高評価値以上ではないと判定した場合、当該コントラスト評価値が、前記最高評価値付近に設定された最高許容値以上であるか否かを判定し、
     前記再取得手段は、
     前記最高評価値判定手段により前記コントラスト評価値が前記最高評価値以上ではないと判定され、当該コントラスト評価値が前記最高許容値以上ではないと判定された場合、前記キャリブレーションを実行し、前記撮影部の再度の撮影によるフレームを取得する、請求項2に記載のモバイル端末。
  4.  前記コントラスト評価値が、前回の評価値判定にて前記コントラスト算出手段により算出されたコントラスト評価値である前回評価値付近に設定された前回許容値以上であるか否かを判定する前回評価値判定手段、
     を更に備え、
     前記再取得手段は、
     前記最高評価値判定手段により前記コントラスト評価値が前記最高評価値以上ではないと判定された際に、前記前回評価値判定手段により前記コントラスト評価値が前記前回許容値以上ではないと判定された場合、前記キャリブレーションを実行し、前記撮影部の再度の撮影によるフレームを取得する、請求項2に記載のモバイル端末。
  5.  前記前回評価値判定手段により前記コントラスト評価値が前記前回許容値以上ではないと判定された場合、当該コントラスト評価値を新たな前回評価値として設定する前回評価値設定手段、
     を更に備えた、請求項4に記載のモバイル端末。
  6.  前記最高評価値設定手段により新たな前記最高評価値が指定回数設定された場合、または、前記最高評価値設定手段により新たな前記最高評価値が指定回数未満設定され、且つ、一定時間経過した場合、キャリブレーションを実行するキャリブレーション手段、
     を更に備えた、請求項1に記載のモバイル端末。
  7.  前記原稿画像データに歪みがある場合、前記原稿画像データを歪み補正する歪み補正手段と、
     前記歪み補正手段により歪み補正された前記原稿画像データを分割した分割領域の分割領域画像データを取得する補正画像取得手段と、
     全ての前記分割領域の前記分割領域画像データの前記コントラスト評価値が、必須評価値以上であるか否かを判定する必須評価値判定手段と、
     前記必須評価値判定手段により前記全ての分割領域の前記コントラスト評価値が前記必須評価値以上であると判定された場合、当該コントラスト評価値にばらつきがあるか否か判定するばらつき判定手段と、
     を更に備え、
     前記コントラスト算出手段は、
     前記各分割領域の前記分割領域画像データの前記コントラスト評価値を算出し、
     前記再取得手段は、
     更に、前記ばらつき判定手段により前記ばらつきがあると判定された場合、前記撮影部の焦点合わせ位置を更新して、キャリブレーションを実行し、前記撮影部の再度の撮影によるフレームを取得する、請求項1に記載のモバイル端末。
  8.  前記ばらつき判定手段は、
     前記必須評価値判定手段により前記全てのコントラスト評価値が前記必須評価値以上であると判定された場合、当該全てのコントラスト評価値が、閾値を満たすか否か判定し、
     前記再取得手段は、
     前記ばらつき判定手段により少なくとも一つの前記コントラスト評価値が前記閾値を満たさないと判定された場合、前記撮影部の前記焦点合わせ位置を更新して、前記キャリブレーションを実行し、前記撮影部の再度の撮影による前記フレームを取得する、請求項7に記載のモバイル端末。
  9.  前記再取得手段は、
     前記ばらつき判定手段により前記ばらつきがあると判定された場合、前記撮影部の前記焦点合わせ位置を前記コントラスト評価値が最小の前記分割領域に変更して、前記キャリブレーションを実行し、前記撮影部の再度の撮影による前記フレームを取得する、請求項7に記載のモバイル端末。
  10.  前記コントラスト評価値が、必須評価値以上であるか否かを判定する必須評価値判定手段、
     を更に備え、
     前記最高評価値判定手段は、
     前記必須評価値判定手段により前記コントラスト評価値が前記必須評価値以上であると判定された場合、前記コントラスト評価値が、前記最高評価値以上であるか否かを判定する、請求項1に記載のモバイル端末。
  11.  前記原稿の原稿種を特定する原稿種特定手段、
     を更に備え、
     前記最高評価値判定手段は、
     前記コントラスト評価値が、前記原稿種に基づく前記最高評価値以上であるか否かを判定する、請求項1から3のいずれか一つに記載のモバイル端末。
  12.  前記コントラスト算出手段は、
     コントラスト比、または、微分法を用いて、前記原稿画像データの前記コントラスト評価値を算出する、請求項1から11のいずれか一つに記載のモバイル端末。
  13.  前記原稿取得手段は、
     前記フレームから前記原稿の分割領域の分割領域画像データを取得し、
     前記コントラスト算出手段は、
     前記各分割領域の前記分割領域画像データのコントラスト評価値を算出する、請求項1から6のいずれか一つに記載のモバイル端末。
  14.  撮影部の撮影によるフレームを取得するフレーム取得ステップと、
     前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、
     前記原稿画像データのコントラスト評価値を算出するコントラスト算出ステップと、
     前記コントラスト評価値が、最高評価値以上であるか否かを判定する最高評価値判定ステップと、
     前記最高評価値判定ステップにて前記コントラスト評価値が前記最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定する最高評価値設定ステップと、
     前記最高評価値設定ステップにて新たな前記最高評価値が設定された場合、評価値判定に用いた前記フレームを取得する、または、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、
     を含むことを特徴とする、画像処理方法。
  15.  撮影部の撮影によるフレームを取得するフレーム取得ステップと、
     前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、
     前記原稿画像データのコントラスト評価値を算出するコントラスト算出ステップと、
     前記コントラスト評価値が、最高評価値以上であるか否かを判定する最高評価値判定ステップと、
     前記最高評価値判定ステップにて前記コントラスト評価値が前記最高評価値以上であると判定された場合、当該コントラスト評価値を新たな最高評価値として設定する最高評価値設定ステップと、
     前記最高評価値設定ステップにて新たな前記最高評価値が設定された場合、評価値判定に用いた前記フレームを取得する、または、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、
     をコンピュータに実行させるためのプログラム。
PCT/JP2016/058674 2016-03-18 2016-03-18 モバイル端末、画像処理方法、および、プログラム WO2017158814A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/058674 WO2017158814A1 (ja) 2016-03-18 2016-03-18 モバイル端末、画像処理方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/058674 WO2017158814A1 (ja) 2016-03-18 2016-03-18 モバイル端末、画像処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
WO2017158814A1 true WO2017158814A1 (ja) 2017-09-21

Family

ID=59852067

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058674 WO2017158814A1 (ja) 2016-03-18 2016-03-18 モバイル端末、画像処理方法、および、プログラム

Country Status (1)

Country Link
WO (1) WO2017158814A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002182106A (ja) * 2000-12-18 2002-06-26 Ricoh Co Ltd デジタルスチルビデオカメラの合焦制御方式
JP2002214517A (ja) * 2001-01-19 2002-07-31 Canon Inc 焦点調節装置、焦点調節方法、プログラムおよび記憶媒体
JP2003333381A (ja) * 2002-05-10 2003-11-21 Ricoh Co Ltd 画像評価機能付き撮像装置
JP2006064855A (ja) * 2004-08-25 2006-03-09 Konica Minolta Opto Inc 自動焦点調節装置
JP2010041300A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 撮影装置及び撮影制御方法
JP2015194648A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002182106A (ja) * 2000-12-18 2002-06-26 Ricoh Co Ltd デジタルスチルビデオカメラの合焦制御方式
JP2002214517A (ja) * 2001-01-19 2002-07-31 Canon Inc 焦点調節装置、焦点調節方法、プログラムおよび記憶媒体
JP2003333381A (ja) * 2002-05-10 2003-11-21 Ricoh Co Ltd 画像評価機能付き撮像装置
JP2006064855A (ja) * 2004-08-25 2006-03-09 Konica Minolta Opto Inc 自動焦点調節装置
JP2010041300A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 撮影装置及び撮影制御方法
JP2015194648A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体

Similar Documents

Publication Publication Date Title
WO2016112704A1 (zh) 调节投影仪焦距的方法和装置、计算机存储介质
JP2005252626A (ja) 撮像装置および画像処理方法
KR102529479B1 (ko) 제어장치, 제어방법, 및 기억매체
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
JP6564136B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP2013012940A (ja) 追尾装置及び追尾方法
JP6581288B2 (ja) モバイル端末、画像処理方法、および、プログラム
WO2017158814A1 (ja) モバイル端末、画像処理方法、および、プログラム
JP7336754B2 (ja) 撮像装置
JP2014160998A (ja) 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体
WO2017126056A1 (ja) モバイル端末、画像処理方法、および、プログラム
JP2011135227A (ja) 被写体追跡装置及びその制御方法
WO2018003090A1 (ja) 画像処理装置、画像処理方法、および、プログラム
WO2018214284A1 (zh) 一种应用于终端的拍摄图像的方法及终端设备
JP6785930B2 (ja) モバイル端末、画像処理方法、および、プログラム
WO2017033559A1 (ja) 撮影装置、撮影方法、およびプログラム
JP6613378B2 (ja) モバイル端末、画像処理方法、および、プログラム
JP2019176302A (ja) 画像処理装置、画像処理方法、およびプログラム
US20230206502A1 (en) Processing apparatus, processing method, and storage medium
JP6596512B2 (ja) モバイル端末、画像処理方法、および、プログラム
JP2017204666A (ja) 撮像装置
JP6697829B2 (ja) モバイル端末、画像処理方法、および、プログラム
JP2022158303A (ja) 撮像装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16894432

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16894432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP