WO2017109998A1 - モバイル端末、画像処理方法、および、プログラム - Google Patents

モバイル端末、画像処理方法、および、プログラム Download PDF

Info

Publication number
WO2017109998A1
WO2017109998A1 PCT/JP2015/086428 JP2015086428W WO2017109998A1 WO 2017109998 A1 WO2017109998 A1 WO 2017109998A1 JP 2015086428 W JP2015086428 W JP 2015086428W WO 2017109998 A1 WO2017109998 A1 WO 2017109998A1
Authority
WO
WIPO (PCT)
Prior art keywords
document
image quality
resolution
frame
image
Prior art date
Application number
PCT/JP2015/086428
Other languages
English (en)
French (fr)
Inventor
正義 林
清人 小坂
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to JP2017557667A priority Critical patent/JP6596512B2/ja
Priority to PCT/JP2015/086428 priority patent/WO2017109998A1/ja
Publication of WO2017109998A1 publication Critical patent/WO2017109998A1/ja
Priority to US15/994,920 priority patent/US10628713B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/133—Evaluation of quality of the acquired characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to a mobile terminal, an image processing method, and a program.
  • JP 2010-273218 A Japanese Patent Laying-Open No. 2015-106742 WO2013 / 099025A1
  • Patent Document 1 it is determined not only that the character recognition is not allowed and automatic shooting is performed, but also the determination of the success or failure of the image processing is left to the user, so it is determined that the failure has occurred. In such a case, it is necessary to start again from the image shooting, and there is a problem that the operability is remarkably impaired.
  • the present invention has been made in view of the above problems, and provides a mobile terminal, an image processing method, and a program that can save time and effort from image capturing even when image processing fails.
  • the purpose is to provide.
  • a mobile terminal includes a frame acquisition unit that acquires a frame obtained by shooting by a shooting unit, a document position detection unit that detects document position data of a document from the frame, and the document A document type determination unit that determines the document type of the document, an image quality calculation unit that calculates the image quality of the document image data of the document based on the document position data and the document type, and the image quality is a level at which characters can be recognized.
  • An image quality determination means for determining whether or not the image quality determination means determines that the image quality is not at a level at which the character can be recognized; It is provided with.
  • the image processing method also includes a frame acquisition step for acquiring a frame obtained by photographing by a photographing unit, a document position detection step for detecting document position data of a document from the frame, and a document type of the document.
  • a document type determining step an image quality calculating step for calculating the image quality of the document image data of the document based on the document position data and the document type, and determining whether the image quality is at a character recognizable level.
  • the program according to the present invention includes a frame acquisition step for acquiring a frame obtained by photographing by a photographing unit, a document position detection step for detecting document position data of a document from the frame, and a document type for determining a document type of the document.
  • a determination step for calculating an image quality of the document image data of the document based on the document position data and the document type; and an image quality determination for determining whether the image quality is at a character recognizable level.
  • the present invention it is possible to improve the user's work efficiency by automatically repeating the retry until the expected image data can be captured, and it is possible to capture with a constant image quality without depending on the user. .
  • FIG. 1 is a block diagram illustrating an example of a configuration of a mobile terminal according to the present embodiment.
  • FIG. 2 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 3 is a flowchart illustrating an example of processing in the mobile terminal according to the present embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of the mobile terminal 100 according to the present embodiment.
  • the embodiment described below exemplifies the mobile terminal 100 for embodying the technical idea of the present invention, and is not intended to specify the present invention to the mobile terminal 100, and claims.
  • the present invention is equally applicable to the mobile terminal 100 of other embodiments included in the scope of the above.
  • the form of function distribution in the mobile terminal 100 exemplified in the present embodiment is not limited to the following, and may be configured to be functionally or physically distributed / integrated in arbitrary units within a range where similar effects and functions can be achieved. be able to.
  • the mobile terminal 100 may be a portable information processing apparatus having portability such as a tablet terminal, a mobile phone, a smartphone, a PHS, a PDA, or a notebook personal computer.
  • the mobile terminal 100 is generally configured to include a control unit 102, a storage unit 106, a photographing unit 110, an input / output unit 112, a sensor unit 114, and a communication unit 116.
  • an input / output interface unit (not shown) for connecting the input / output unit 112 and the control unit 102 may be further provided.
  • Each unit of the mobile terminal 100 is connected to be communicable via an arbitrary communication path.
  • the communication unit 116 is a network interface (NIC (Network Interface Controller), etc.), Bluetooth (registered trademark), infrared communication, etc. for transmitting and receiving IP data by wired communication and / or wireless communication (WiFi, etc.) May be an interface for performing wireless communication.
  • NIC Network Interface Controller
  • Bluetooth registered trademark
  • WiFi wireless communication
  • the mobile terminal 100 may be communicably connected to an external device via a network using the communication unit 116.
  • the sensor unit 114 detects a physical quantity and converts it into a signal (digital signal) of another medium.
  • the sensor unit 114 includes a proximity sensor, a direction sensor, a magnetic field sensor, a linear acceleration sensor, a luminance sensor, a gyro sensor, a pressure sensor, a gravity sensor, an acceleration sensor, an atmospheric pressure sensor, and / or a temperature sensor. Also good.
  • the input / output unit 112 performs data input / output (I / O).
  • the input / output unit 112 may be, for example, a key input unit, a touch panel, a control pad (for example, a touch pad and a game pad), a mouse, a keyboard, and / or a microphone.
  • the input / output unit 112 may be a display unit that displays a display screen of an application or the like (for example, a display, a monitor, a touch panel, or the like configured by liquid crystal or organic EL).
  • a display screen of an application or the like for example, a display, a monitor, a touch panel, or the like configured by liquid crystal or organic EL.
  • the input / output unit 112 may be an audio output unit (for example, a speaker or the like) that outputs audio information as audio.
  • the input / output unit (touch panel) 112 may include a sensor unit 114 that detects physical contact and converts it into a signal (digital signal).
  • the photographing unit 110 acquires continuous (moving image) image data (frames) by continuously photographing a subject (for example, a document or the like).
  • the imaging unit 110 may acquire video data.
  • the imaging unit 110 may acquire ancillary data.
  • the photographing unit 110 may be a camera or the like provided with an image sensor such as a CCD (Charge Coupled Device) and / or a CMOS (Complementary Metal Oxide Semiconductor).
  • an image sensor such as a CCD (Charge Coupled Device) and / or a CMOS (Complementary Metal Oxide Semiconductor).
  • the photographing unit 110 may acquire still image data by taking a still image of the subject.
  • the frame may be uncompressed image data.
  • the frame may be high-resolution image data.
  • the high resolution may be full high vision, 4K resolution, super high vision (8K resolution), or the like.
  • the photographing unit 110 may shoot moving images at 24 fps, 30 fps, or the like.
  • the storage unit 106 is a storage means, and for example, a memory such as a RAM / ROM, a fixed disk device such as a hard disk, an SSD (Solid State Drive), and / or an optical disk can be used.
  • a memory such as a RAM / ROM, a fixed disk device such as a hard disk, an SSD (Solid State Drive), and / or an optical disk can be used.
  • the storage unit 106 stores various databases, tables, buffers, and / or files (image data file 106a and the like).
  • the storage unit 106 may store a computer program or the like for giving a command to a CPU (Central Processing Unit) and performing various processes.
  • CPU Central Processing Unit
  • the storage unit 106 includes the number of practical grades (JIS B 7187: 2007, ISO 3272-1: 2003, ISO 6199: 2005, etc.), the length of the sides of the original, and the like according to the original type. Standard data, character size that can be recognized by an OCR (Optical Character Recognition) engine, and the like may be stored.
  • the image data file 106a stores image data (frames and the like).
  • the image data file 106a may store document position data.
  • the image data file 106a may store document image data.
  • the image data file 106a may store the document resolution of the document image data.
  • the image data file 106a may store character data corresponding to the image data.
  • the image data file 106a may store video data.
  • the image data file 106a may store ancillary data.
  • control unit 102 includes a CPU that controls the mobile terminal 100 in an integrated manner.
  • the control unit 102 has an internal memory for storing a control program, a program defining various processing procedures, and necessary data, and performs information processing for executing various processes based on these programs.
  • control unit 102 conceptually has a frame acquisition unit 102a, a document position detection unit 102b, a document type determination unit 102c, an image quality calculation unit 102d, an essential resolution calculation unit 102e, an image quality determination unit 102f, and a reacquisition unit 102g. , A reason display unit 102h, an image display unit 102i, and an OCR unit 102j.
  • the frame acquisition unit 102a acquires image data (frame).
  • the frame acquisition unit 102a may acquire image data obtained by photographing by the photographing unit 110.
  • the frame acquisition unit 102a may acquire non-compressed and high-resolution image data.
  • the frame acquisition unit 102a may acquire image data (frame) corresponding to one frame by controlling continuous image shooting or moving image shooting by the shooting unit 110.
  • the frame acquisition unit 102a may acquire image data by controlling still image shooting by the shooting unit 110.
  • the frame acquisition unit 102a may acquire ancillary data.
  • the document position detection unit 102b detects the document position data of the document from the frame.
  • the document position detection unit 102b may detect the corner coordinates of the document from the frame.
  • the document position detection unit 102b may detect the layout of the document from the frame.
  • the document position detection unit 102b may detect document position data of a document from a frame using an edge detection method and / or a feature point matching method.
  • the document may be a rectangular document.
  • the document position detecting unit 102b may acquire document image data of a document based on the document position data.
  • the document type determination unit 102c determines the document type of the document.
  • the document type determination unit 102c may determine the document type of the document using a layout recognition method and / or a size detection method.
  • the image quality calculation unit 102d calculates the image quality of the document image data of the document.
  • the image quality calculation unit 102d may calculate the image quality of the document image data of the document based on the document position data and the document type. Further, the image quality calculation unit 102d may calculate the document resolution of the document image data based on the corner coordinates and the document type.
  • the image quality calculation unit 102d calculates the resolution of the document image data based on the number of pixels between corner coordinates and the length of the document side based on the document type, and acquires the minimum resolution as the document resolution. May be.
  • the image quality calculation unit 102d may calculate the number of pixels between corner coordinates.
  • the image quality calculation unit 102d may calculate the document resolution of the document image data based on the layout and the document type.
  • the essential resolution calculation unit 102e calculates an essential resolution necessary for character recognition.
  • the required resolution calculation unit 102e may calculate the required resolution necessary for character recognition based on the practical quality number and the document type.
  • the essential resolution calculation unit 102e may calculate the essential resolution based on the character size and the document type that enable OCR character recognition.
  • the image quality determination unit 102f determines whether or not the image quality is at a level at which characters can be recognized.
  • the image quality determination unit 102f may determine whether or not the document resolution is at a level at which characters can be recognized. Further, the image quality determination unit 102f may determine whether or not the document resolution is at a level capable of character recognition based on a comparison between the document resolution and the essential resolution.
  • the reacquisition unit 102g acquires image data obtained by re-shooting by the shooting unit 110.
  • the image quality determination unit 102f determines that the image quality is not at a level at which characters can be recognized
  • the re-acquisition unit 102g may acquire a frame obtained by re-shooting by the shooting unit 110.
  • the reacquisition unit 102g may acquire a new frame by controlling shooting by the shooting unit 110 (continuous image shooting, moving image shooting, still image shooting, or the like). Further, the reacquisition unit 102g may further store the acquired frame in the image data file 106a.
  • the reason display unit 102h displays determination reason data.
  • the reason display unit 102h may display determination reason data when the image quality determination unit 102f determines that the image quality is not at a level at which characters can be recognized.
  • the reason display unit 102h may display the determination reason data on the input / output unit 112.
  • the image display unit 102i displays image data.
  • the image display unit 102i may display a frame and / or document image data. Further, the image display unit 102 i may display the image data on the input / output unit 112.
  • the OCR unit 102j performs OCR processing on the image data and acquires character data.
  • the OCR unit 102j may perform character character data by performing OCR processing on document image data or frames.
  • the OCR unit 102j may further store the acquired character data in the image data file 106a.
  • FIG. 2 and 3 are flowcharts showing an example of processing in the mobile terminal 100 of the present embodiment.
  • step SA-1 the control unit 102 activates the imaging unit (camera) 110 (step SA-1). That is, in the present embodiment, the portable camera 110 for photographing a document may be activated.
  • the image display unit 102i displays the image data of the preview screen (preview image) taken by the camera 110 on the input / output unit 112 (step SA-2).
  • control unit 102 calibrates the input / output unit 112 (step SA-3).
  • control unit 102 may further perform calibration of the camera 110.
  • the frame acquisition unit 102a acquires a non-compressed and high-resolution frame of the preview image taken by the camera 110 (step SA-4).
  • the control unit 102 determines whether or not the previous process has been completed (step SA-5).
  • the previous process may be any one of the processes from step SA-6 to step SA-16 for the frame acquired last time by the frame acquisition unit 102a.
  • step SA-5 If the control unit 102 determines that the previous process has not been completed (step SA-5: No), the control unit 102 shifts the process to step SA-3.
  • step SA-5 determines that the previous process has been completed (step SA-5: Yes)
  • the process proceeds to step SA-6.
  • the document position detection unit 102b detects the corner coordinates of the document (rectangular document) from the frame of the preview image using the edge detection method and / or the feature point matching method (step SA-6). That is, in the present embodiment, four corners of a rectangular document may be detected.
  • the document position detection unit 102b determines whether or not the four corner coordinates have been detected (step SA-7).
  • step SA-7 determines that the four corner coordinates cannot be detected (step SA-7: No). the process proceeds to step SA-3.
  • step SA-7 determines that the four corner coordinates have been detected (step SA-7: Yes).
  • the document position detection unit 102b acquires the document image data of the rectangular document (document region) from the frame of the preview image based on the detected four corner coordinates (step SA-8).
  • the image display unit 102i displays the document image data in the document area on the input / output unit 112 (step SA-9).
  • the document type determination unit 102c determines the document type of the rectangular document using the layout recognition method and / or the size detection method (step SA-10). That is, in the present embodiment, the document type may be determined.
  • the image quality calculation unit 102d calculates the resolution of the document image data based on the number of pixels between the four corner coordinates and the length of the side of the rectangular document based on the document type, and sets the minimum resolution to the document. Obtained as the resolution (step SA-11).
  • the image quality calculation unit 102d acquires the vertical resolution (277 dpi) that is the minimum resolution as the document resolution. As described above, in this embodiment, the resolution of image data captured from the two-point coordinates and the document type is calculated.
  • the short side 54 mm and the long side: 86 mm
  • the case of a business card the short side: 55 mm and the long side: 91 mm
  • the short side 210 mm for A4 paper Long side:
  • the document resolution may be calculated using the standard of 297 mm.
  • the required resolution calculation unit 102e calculates the required resolution necessary for character recognition based on the practical quality number and the document type (step SA-12). That is, the essential resolution calculation unit 102e may calculate the essential resolution from the document information (number of points).
  • the standard of visual quality is “excellent” when all the fine parts of all characters are clearly drawn, “readable” when it can be read without difficulty even if it is somewhat blurred, and If a character is partially crushed and can be read, it is defined as “reading”.
  • the practical quality number P is 18 for Kanji and 8 for English if it is “Excellent”, 11 for Kanji and 5 if it is “Readable”, and Kanji if it is “Reading”. Is 7 and English is 3.
  • 6pt is used as the number of character points on the license, insurance card and business card
  • 10.5pt is used as the number of character points on the A4 paper. It is good also as the character size to be used.
  • the image quality determination unit 102f determines whether or not the document resolution is a level at which characters can be recognized based on the comparison between the document resolution and the essential resolution (step SA-13). In the present embodiment, it may be determined whether or not characters can be recognized step by step.
  • step SA-13 determines that the document resolution is not at a level at which characters can be recognized.
  • the reason display unit 102h causes the input / output unit 112 to display the determination reason data for determining that the document resolution is not at a character recognizable level (step SA-14), and shifts the processing to SA-3.
  • the retry may be repeated until the image quality condition is satisfied. That is, in this embodiment, the processing may be repeated until a predetermined image quality is satisfied.
  • step SA-13 determines that the document resolution is at a level at which characters can be recognized.
  • the reacquisition unit 102g acquires a frame used for image quality determination by the image quality determination unit 102f, or controls shooting by the camera 110 to acquire a new high-resolution and uncompressed frame, and the image data file It is stored in 106a (step SA-15).
  • the image display unit 102i inputs / outputs the frame (image data) used for the image quality determination, the new frame (image data) acquired by the re-acquisition unit 102g, or the document image data of the document area included in the frame.
  • the data is output (displayed) to the unit 112 (step SA-16), and the process is terminated.
  • the OCR unit 102j further performs OCR processing on the document image data or frame displayed on the input / output unit 112, acquires character data, and stores the character data in the image data file 106a. Also good.
  • the coordinates of the four corners of the rectangular document are detected, and the document type is determined.
  • the resolution of the camera image data is calculated from the determination result, and the resolution of the camera image data is compared with a predetermined essential resolution to determine whether the image is a character recognizable image.
  • the identity card borrowed from the customer is photographed on the spot by the mobile terminal (portable imaging device) 100, thereby giving the customer a sense of security. be able to.
  • the resolution (essential resolution) necessary for visual confirmation (readable) may be 265 dpi (image size: 564 dots * 898 dots) if the target document is a license (54 mm * 86 mm, 6 points).
  • the responsiveness is improved by performing a retry process at the stage of document type determination.
  • the factor that is not automatically shot is displayed on the input / output unit 112 as text data or drawing data, thereby notifying the user in real time and improving the feeling of use by prompting the user to improve. Can do.
  • step SB-1 to step SB-5 shown in FIG. 3 is the same as the processing from step SA-1 to step SA-5 shown in FIG.
  • the document position detection unit 102b detects the layout of the document (rectangular document) from the frame of the preview image using the edge detection method and / or the feature point matching method (step SB-6).
  • the document position detection unit 102b determines whether or not the layout has been detected (step SB-7).
  • step SB-7 If the document position detection unit 102b determines that the layout cannot be detected (step SB-7: No), the process proceeds to step SB-3.
  • step SB-7 determines that the layout has been detected (step SB-7: Yes)
  • the process proceeds to step SB-8.
  • the document position detection unit 102b acquires the document image data of the rectangular document (document region) from the frame of the preview image based on the detected layout (step SB-8).
  • the image display unit 102i displays the document image data in the document area on the input / output unit 112 (step SB-9).
  • the document type determination unit 102c determines the document type of the rectangular document using the layout recognition method and / or the size detection method (step SB-10).
  • the image quality calculation unit 102d calculates the document resolution of the document image data based on the layout of the rectangular document and the document type (step SB-11).
  • the required resolution calculation unit 102e calculates the required resolution necessary for character recognition based on the character size and the document type that enables OCR character recognition (step SB-12).
  • step SB-13 to step SB-16 shown in FIG. 3 is the same as the processing from step SA-13 to step SA-16 shown in FIG.
  • the resolution (required resolution) necessary for OCR recognition is 248 dpi (image size: if the target document is an A4 document (210 mm * 297 mm, 10.5 points)). 2050 dots * 2900 dots).
  • scanning by a camera mounted on the mobile terminal 100 has an advantage that it has a high degree of freedom because it does not matter where it is and there is no restriction on the imaging medium.
  • a camera image taken by the mobile terminal 100 often has image quality equivalent to that of a scanner because the surrounding light quantity, shooting direction, and / or environment such as exercise during shooting is often unstable. There was a problem that was difficult.
  • the mobile scanner application implemented in the mobile terminal 100 in the present embodiment is capable of sensing and acquiring a high-quality image.
  • the mobile terminal 100 may perform processing in a stand-alone form, performs processing in response to a request from a client terminal (which is a separate housing from the mobile terminal 100), and outputs the processing result to the client terminal You may make it return to.
  • a client terminal which is a separate housing from the mobile terminal 100
  • all or a part of the processes described as being automatically performed can be manually performed, or all of the processes described as being manually performed can be performed.
  • a part can be automatically performed by a known method.
  • processing procedure, control procedure, specific name, information including parameters such as registration data or search conditions for each processing, screen examples, or database configuration shown in the description and drawings are specially noted. It can be changed arbitrarily except for.
  • each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • each device of the mobile terminal 100 particularly the processing functions performed by the control unit 102, are realized by the CPU and a program interpreted and executed by the CPU.
  • it may be realized as hardware by wired logic.
  • the program is recorded on a non-transitory computer-readable recording medium including a programmed instruction for causing a computer to execute the method according to the present invention, which will be described later.
  • Read mechanically That is, in the storage unit 106 such as a ROM or an HDD, computer programs for performing various processes by giving instructions to the CPU in cooperation with an OS (Operating System) are recorded.
  • This computer program is executed by being loaded into the RAM, and constitutes a control unit in cooperation with the CPU.
  • the computer program may be stored in an application program server connected to the mobile terminal 100 via an arbitrary network, and may be downloaded in whole or in part as necessary. .
  • the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product.
  • the “recording medium” includes a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc.
  • program is a data processing method described in an arbitrary language or description method, and may be in any form such as source code or binary code. Note that the “program” is not necessarily limited to a single configuration, and functions are achieved in cooperation with a separate configuration such as a plurality of modules and libraries or a separate program represented by the OS. Including things. In addition, a well-known structure and procedure can be used about the specific structure for reading a recording medium in each apparatus shown in embodiment, a reading procedure, or the installation procedure after reading.
  • Various databases and the like stored in the storage unit 106 are storage means such as a memory device such as a RAM or a ROM, a fixed disk device such as a hard disk, a flexible disk, and / or an optical disk.
  • Various programs, tables, databases, and / or web page files used may be stored.
  • the mobile terminal 100 may be configured as an information processing apparatus such as a known personal computer, or may be configured by connecting an arbitrary peripheral device to the information processing apparatus.
  • the mobile terminal 100 may be realized by installing software (including programs, data, and the like) that causes the information processing apparatus to implement the method of the present invention.
  • the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.
  • the mobile terminal, the image processing method, and the program can be implemented in many industrial fields, particularly in the image processing field that handles images read by a camera, and are extremely useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Character Input (AREA)
  • Studio Devices (AREA)

Abstract

撮影部の撮影によるフレームを取得し、フレームから原稿の原稿位置データを検出し、原稿の原稿種を判定し、原稿位置データと原稿種とに基づいて、原稿の原稿画像データの画質を算出し、画質が、文字認識可能なレベルか否かを判定し、画質が文字認識可能なレベルではないと判定された場合、撮影部の再度の撮影によるフレームを取得する。

Description

モバイル端末、画像処理方法、および、プログラム
　本発明は、モバイル端末、画像処理方法、および、プログラムに関する。
　従来から、画像の撮影後に画像処理を適用し、その結果を画面上に表示してユーザへその後の操作を促す技術が開示されている。
　ここで、高解像度補正を行う画像群から、傾きとズレ量とから画像判定を行い、歪みが少ない最適な画像を選択し、補正後の画像品質を上げる高解像度補正に関する技術が開示されている（特許文献１を参照）。
　また、撮影後に、ぼやけ、原稿種別、および、傾きに関する画像判定を行う技術が開示されている（特許文献２を参照）。
　また、指定の目標解像度と、予め入力された対象物を示すサイズデータとから、撮影画像の解像度の画質を判定して、合成画像を合成する技術が開示されている（特許文献３を参照）。
特開２０１０－２７３２１８号公報 特開２０１５－１０６７４２号公報 ＷＯ２０１３／０９９０２５Ａ１号公報
　しかしながら、従来の装置（特許文献１等）においては、文字認識の可否判定および自動撮影を行っていないだけでなく、画像処理の成否の判定がユーザに委ねられているため、失敗したと判断した場合、画像撮影からやり直さなければならず、操作性を著しく損なうという問題点を有していた。
　本発明は、上記問題点に鑑みてなされたもので、画像処理が失敗した場合であっても、画像撮影からのやり直の手間を省くことができるモバイル端末、画像処理方法、および、プログラムを提供することを目的とする。
　このような目的を達成するため、本発明に係るモバイル端末は、撮影部の撮影によるフレームを取得するフレーム取得手段と、前記フレームから原稿の原稿位置データを検出する原稿位置検出手段と、前記原稿の原稿種を判定する原稿種判定手段と、前記原稿位置データと前記原稿種とに基づいて、前記原稿の原稿画像データの画質を算出する画質算出手段と、前記画質が、文字認識可能なレベルか否かを判定する画質判定手段と、前記画質判定手段により前記画質が前記文字認識可能なレベルではないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得手段と、を備えたことを特徴とする。
　また、本発明に係る画像処理方法は、撮影部の撮影によるフレームを取得するフレーム取得ステップと、前記フレームから原稿の原稿位置データを検出する原稿位置検出ステップと、前記原稿の原稿種を判定する原稿種判定ステップと、前記原稿位置データと前記原稿種とに基づいて、前記原稿の原稿画像データの画質を算出する画質算出ステップと、前記画質が、文字認識可能なレベルか否かを判定する画質判定ステップと、前記画質判定ステップにて前記画質が前記文字認識可能なレベルではないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、撮影部の撮影によるフレームを取得するフレーム取得ステップと、前記フレームから原稿の原稿位置データを検出する原稿位置検出ステップと、前記原稿の原稿種を判定する原稿種判定ステップと、前記原稿位置データと前記原稿種とに基づいて、前記原稿の原稿画像データの画質を算出する画質算出ステップと、前記画質が、文字認識可能なレベルか否かを判定する画質判定ステップと、前記画質判定ステップにて前記画質が前記文字認識可能なレベルではないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、をコンピュータに実行させることを特徴とする。
　この発明によれば、期待する画像データが撮影できるまで自動的にリトライを繰り返すことでユーザの作業効率を改善できるとともに、使用者に依存することなく一定の画像品質で撮像することが可能となる。
図１は、本実施形態に係るモバイル端末の構成の一例を示すブロック図である。 図２は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図３は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。
　以下に、本発明に係るモバイル端末、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
［本実施形態の構成］
　以下、本発明の実施形態に係るモバイル端末１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係るモバイル端末１００の構成の一例を示すブロック図である。
　但し、以下に示す実施形態は、本発明の技術思想を具体化するためのモバイル端末１００を例示するものであって、本発明をこのモバイル端末１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態のモバイル端末１００にも等しく適用し得るものである。
　また、本実施形態で例示するモバイル端末１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。
　ここで、モバイル端末１００は、例えば、タブレット端末、携帯電話、スマートフォン、ＰＨＳ、ＰＤＡ、または、ノート型のパーソナルコンピュータ等の可搬性を有する携帯型の情報処理装置であってもよい。
　まず、図１に示すように、モバイル端末１００は、概略的に、制御部１０２と記憶部１０６と撮影部１１０と入出力部１１２とセンサ部１１４と通信部１１６とを備えて構成される。
　ここで、図１では省略しているが、本実施形態において、更に、入出力部１１２と制御部１０２とを接続する入出力インターフェース部（図示せず）を備えていてもよい。これらモバイル端末１００の各部は任意の通信路を介して通信可能に接続されている。
　ここで、通信部１１６は、有線通信および／または無線通信（ＷｉＦｉ等）によりＩＰデータを送受信するためのネットワークインターフェース（ＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃｏｎｔｒｏｌｌｅｒ）等）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。
　ここで、モバイル端末１００は、通信部１１６を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。
　また、センサ部１１４は、物理量を検出して別媒体の信号（デジタル信号）に変換する。ここで、センサ部１１４は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および／または、温度センサ等を含んでいてもよい。
　また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等であってもよい。
　また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、または、タッチパネル等）であってもよい。
　また、入出力部１１２は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。また、入出力部（タッチパネル）１１２は、物理的接触を検出し、信号（デジタル信号）に変換するセンサ部１１４を含んでいてもよい。
　また、撮影部１１０は、被写体（例えば、原稿等）を連続画像撮影（動画撮影）することで、連続（動画）の画像データ（フレーム）を取得する。例えば、撮影部１１０は、映像データを取得してもよい。また、撮影部１１０は、アンシラリデータを取得してもよい。
　ここで、撮影部１１０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、および／または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えたカメラ等であってもよい。
　また、撮影部１１０は、被写体を静止画撮影することで、静止画の画像データを取得してもよい。ここで、フレームは、非圧縮の画像データであってもよい。また、フレームは、高解像度の画像データであってもよい。
　ここで、高解像度とは、フルハイビジョン、４Ｋ解像度、または、スーパーハイビジョン（８Ｋ解像度）等であってもよい。また、撮影部１１０は、２４ｆｐｓまたは３０ｆｐｓ等で動画撮影してもよい。
　記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、および／または、光ディスク等を用いることができる。
　また、記憶部１０６は、各種のデータベース、テーブル、バッファ、および／または、ファイル（画像データファイル１０６ａ等）を格納する。ここで、記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。
　また、記憶部１０６は、原稿種に応じた、実用品位数（ＪＩＳ　Ｂ　７１８７：２００７、ＩＳＯ　３２７２－１：２００３、または、ＩＳＯ　６１９９：２００５等）、および、原稿の辺の長さ等を含む規格データ、ならびに、ＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）エンジンの文字認識可能な文字サイズ等を記憶してもよい。
　これら記憶部１０６の各構成要素のうち、画像データファイル１０６ａは、画像データ（フレーム等）を記憶する。ここで、画像データファイル１０６ａは、原稿位置データを記憶してもよい。また、画像データファイル１０６ａは、原稿画像データを記憶してもよい。
　また、画像データファイル１０６ａは、原稿画像データの原稿解像度を記憶してもよい。また、画像データファイル１０６ａは、画像データに対応する文字データを記憶してもよい。また、画像データファイル１０６ａは、映像データを記憶してもよい。また、画像データファイル１０６ａは、アンシラリデータを記憶してもよい。
　また、制御部１０２は、モバイル端末１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
　ここで、制御部１０２は、機能概念的に、フレーム取得部１０２ａ、原稿位置検出部１０２ｂ、原稿種判定部１０２ｃ、画質算出部１０２ｄ、必須解像度算出部１０２ｅ、画質判定部１０２ｆ、再取得部１０２ｇ、理由表示部１０２ｈ、画像表示部１０２ｉ、および、ＯＣＲ部１０２ｊを備える。
　フレーム取得部１０２ａは、画像データ（フレーム）を取得する。ここで、フレーム取得部１０２ａは、撮影部１１０の撮影による画像データを取得してもよい。また、フレーム取得部１０２ａは、非圧縮且つ高解像度の画像データを取得してもよい。
　また、フレーム取得部１０２ａは、撮影部１１０による連続画像撮影または動画撮影を制御して、１コマに相当する画像データ（フレーム）を取得してもよい。また、フレーム取得部１０２ａは、撮影部１１０による静止画撮影を制御して、画像データを取得してもよい。また、フレーム取得部１０２ａは、アンシラリデータを取得してもよい。
　原稿位置検出部１０２ｂは、フレームから原稿の原稿位置データを検出する。ここで、原稿位置検出部１０２ｂは、フレームから原稿のコーナー座標を検出してもよい。また、原稿位置検出部１０２ｂは、フレームから原稿のレイアウトを検出してもよい。
　また、原稿位置検出部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、フレームから原稿の原稿位置データを検出してもよい。ここで、原稿は、矩形原稿であってもよい。また、原稿位置検出部１０２ｂは、更に、原稿位置データに基づいて、原稿の原稿画像データを取得してもよい。
　原稿種判定部１０２ｃは、原稿の原稿種を判定する。ここで、原稿種判定部１０２ｃは、レイアウト認識法、および／または、サイズ検出法を用いて、原稿の原稿種を判定してもよい。
　画質算出部１０２ｄは、原稿の原稿画像データの画質を算出する。ここで、画質算出部１０２ｄは、原稿位置データと原稿種とに基づいて、原稿の原稿画像データの画質を算出してもよい。また、画質算出部１０２ｄは、コーナー座標と原稿種とに基づいて、原稿画像データの原稿解像度を算出してもよい。
　また、画質算出部１０２ｄは、コーナー座標間の画素数と、原稿種に基づく原稿の辺の長さと、に基づいて、原稿画像データの解像度を算出し、最小となる当該解像度を原稿解像度として取得してもよい。
　ここで、画質算出部１０２ｄは、コーナー座標間の画素数を算出してもよい。また、画質算出部１０２ｄは、レイアウトと原稿種とに基づいて、原稿画像データの原稿解像度を算出してもよい。
　必須解像度算出部１０２ｅは、文字認識に必要な必須解像度を算出する。ここで、必須解像度算出部１０２ｅは、実用品位数と原稿種とに基づいて、文字認識に必要な必須解像度を算出してもよい。また、必須解像度算出部１０２ｅは、ＯＣＲの文字認識が可能となる文字サイズと原稿種とに基づいて、必須解像度を算出してもよい。
　画質判定部１０２ｆは、画質が、文字認識可能なレベルか否かを判定する。ここで、画質判定部１０２ｆは、原稿解像度が、文字認識可能なレベルか否かを判定してもよい。また、画質判定部１０２ｆは、原稿解像度と必須解像度との比較に基づいて、原稿解像度が文字認識可能なレベルか否かを判定してもよい。
　再取得部１０２ｇは、撮影部１１０の再度の撮影による画像データを取得する。ここで、再取得部１０２ｇは、画質判定部１０２ｆにより画質が文字認識可能なレベルではないと判定された場合、撮影部１１０の再度の撮影によるフレームを取得してもよい。
　また、再取得部１０２ｇは、撮影部１１０による撮影（連続画像撮影、動画撮影、または、静止画撮影等）を制御して、新たなフレームを取得してもよい。また、再取得部１０２ｇは、更に、取得したフレームを画像データファイル１０６ａに格納してもよい。
　理由表示部１０２ｈは、判定理由データを表示させる。ここで、理由表示部１０２ｈは、画質判定部１０２ｆにより画質が文字認識可能なレベルではないと判定された場合、判定理由データを表示させてもよい。また、理由表示部１０２ｈは、判定理由データを入出力部１１２に表示させてもよい。
　画像表示部１０２ｉは、画像データを表示させる。ここで、画像表示部１０２ｉは、フレーム、および／または、原稿画像データを表示させてもよい。また、画像表示部１０２ｉは、画像データを入出力部１１２に表示させてもよい。
　ＯＣＲ部１０２ｊは、画像データに対してＯＣＲ処理を行い、文字データを取得する。ここで、ＯＣＲ部１０２ｊは、原稿画像データ、または、フレームに対してＯＣＲ処理を行い、文字データを取得してもよい。また、ＯＣＲ部１０２ｊは、更に、取得した文字データを画像データファイル１０６ａに格納してもよい。
［本実施形態の処理］
　上述した構成のモバイル端末１００で実行される処理の一例について、図２を参照して説明する。図２および図３は、本実施形態のモバイル端末１００における処理の一例を示すフローチャートである。
［自動撮影処理（その１）］
　図２に示すように、まず、制御部１０２は、撮像部（カメラ）１１０を起動させる（ステップＳＡ－１）。すなわち、本実施形態においては、原稿撮影用の携帯カメラ１１０を起動させてもよい。
　そして、画像表示部１０２ｉは、カメラ１１０により撮影されたプレビュー画面（プレビュー画像）の画像データを入出力部１１２に表示させる（ステップＳＡ－２）。
　そして、制御部１０２は、入出力部１１２のキャリブレーションを行う（ステップＳＡ－３）。ここで、制御部１０２は、更に、カメラ１１０のキャリブレーションを行ってもよい。
　そして、フレーム取得部１０２ａは、カメラ１１０により撮影されたプレビュー画像の、非圧縮且つ高解像度のフレームを取得する（ステップＳＡ－４）。
　そして、制御部１０２は、前回処理が完了しているか否かを判定する（ステップＳＡ－５）。ここで、前回処理とは、フレーム取得部１０２ａにより前回取得されたフレームに対する、ステップＳＡ－６からステップＳＡ－１６におけるいずれか一つの処理であってもよい。
　そして、制御部１０２は、前回処理が完了していないと判定した場合（ステップＳＡ－５：Ｎｏ）、処理をステップＳＡ－３に移行させる。
　一方、制御部１０２は、前回処理が完了していると判定した場合（ステップＳＡ－５：Ｙｅｓ）、処理をステップＳＡ－６に移行させる。
　そして、原稿位置検出部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、プレビュー画像のフレームから原稿（矩形原稿）のコーナー座標を検出する（ステップＳＡ－６）。すなわち、本実施形態においては、矩形原稿のコーナー４点を検出してもよい。
　そして、原稿位置検出部１０２ｂは、４点のコーナー座標を検出できたか否かを判定する（ステップＳＡ－７）。
　そして、原稿位置検出部１０２ｂは、４点のコーナー座標を検出できなかったと判定した場合（ステップＳＡ－７：Ｎｏ）、処理をステップＳＡ－３に移行させる。
　一方、原稿位置検出部１０２ｂは、４点のコーナー座標を検出できたと判定した場合（ステップＳＡ－７：Ｙｅｓ）、処理をステップＳＡ－８に移行させる。
　そして、原稿位置検出部１０２ｂは、検出した４点のコーナー座標に基づいて、プレビュー画像のフレームから矩形原稿（原稿領域）の原稿画像データを取得する（ステップＳＡ－８）。
　そして、画像表示部１０２ｉは、原稿領域の原稿画像データを入出力部１１２に表示させる（ステップＳＡ－９）。
　そして、原稿種判定部１０２ｃは、レイアウト認識法、および／または、サイズ検出法を用いて、矩形原稿の原稿種を判定する（ステップＳＡ－１０）。すなわち、本実施形態においては、原稿種を判別してもよい。
　そして、画質算出部１０２ｄは、４つのコーナー座標間の画素数と、原稿種に基づく矩形原稿の辺の長さと、に基づいて、原稿画像データの解像度を算出し、最小となる当該解像度を原稿解像度として取得する（ステップＳＡ－１１）。
　ここで、画質算出部１０２ｄは、４点座標と原稿種判定の結果とから、原稿画像データ（カメラ画像データ）の解像度を、「解像度（ｄｐｉ）＝画素数（ｄｏｔ）／長さ（ｉｎｃｈ）」の式により算出してもよい。
　例えば、画質算出部１０２ｄは、原稿種判定部１０２ｃにより原稿が名刺と判定された際に、上辺：６００ｄｏｔ、および、下辺：８００ｄｏｔと算出した場合、縦解像度を６００ｄｏｔ／（５５ｍｍ／２５．４ｍｍ）＝２７７ｄｐｉと算出する（すなわち、１ｉｎｃｈ＝２５．４ｍｍ）。
　そして、画質算出部１０２ｄは、原稿位置検出部１０２ｂにより右辺：１２００ｄｏｔ、および、左辺：１３２４ｄｏｔと算出した場合、横解像度を１２００ｄｏｔ／（９１ｍｍ／２５．４ｍｍ）＝３３５ｄｐｉと算出する。
　そして、画質算出部１０２ｄは、最小解像度となる縦解像度（２７７ｄｐｉ）を原稿解像度として取得する。このように、本実施形態においては、２点座標と原稿種とから撮像した画像データの解像度を算出している。
　なお、原稿種が、免許証または保険証の場合、短辺：５４ｍｍおよび長辺：８６ｍｍ、名刺の場合、短辺：５５ｍｍおよび長辺：９１ｍｍ、ならびに、Ａ４用紙の場合、短辺：２１０ｍｍおよび長辺：２９７ｍｍの規格を用いて、原稿解像度を算出してもよい。
　そして、必須解像度算出部１０２ｅは、実用品位数と原稿種とに基づいて、文字認識に必要な必須解像度を算出する（ステップＳＡ－１２）。すなわち、必須解像度算出部１０２ｅは、原稿の情報（ポイント数）から必須解像度を算出してもよい。
　ここで、必須解像度算出部１０２ｅは、目視における品質の基準（例えば、ＪＩＳＢ７１８７：２００７、および、ＴＮＦ－２００５４０８ＳＴ等）に関する、実用品位数Ｐを用いる場合、必須解像度を、「ＤＰＩ＝｛Ｐ／（ｐｔ＊０．３５１４）｝＊２＊２５．４」の式により算出してもよい。
　ここで、目視における品質の基準は、すべての文字の微細部分まで明確に描画されている場合、「優秀」、多少不鮮明であっても、難なく読むことが可能な場合、「可読」、および、文字が部分的に多少つぶれていても判読可能な場合、「判読」と規定されている。
　ここで、実用品位数Ｐは、「優秀」の場合、漢字が１８、および、英字が８となり、「可読」の場合、漢字が１１、および、英字が５となり、「判読」の場合、漢字が７、および、英字が３と規定されている。
　なお、本実施形態においては、各原稿の情報に基づいて、免許証、保険証および名刺における文字のポイント数として６ｐｔ、ならびに、Ａ４用紙における文字のポイント数として１０．５ｐｔを必須解像度の計算に用いる文字サイズとしてもよい。
　例えば、必須解像度算出部１０２ｅは、原稿種が免許証の場合、文字のポイント数を６ｐｔとし、必須解像度をＤＰＩ＝｛１１／（６＊０．３５１４）｝＊２＊２５．４＝２６５ｄｐｉと算出してもよい。このように、本実施形態においては、原稿種のサイズとポイント数とに応じた文字認識に必要な解像度を算出している。
　そして、画質判定部１０２ｆは、原稿解像度と必須解像度との比較に基づいて、原稿解像度が文字認識可能なレベルか否かを判定する（ステップＳＡ－１３）。なお、本実施形態においては、段階的に文字認識可能か否かを判定してもよい。
　そして、画質判定部１０２ｆは、原稿解像度が文字認識可能なレベルではないと判定した場合（ステップＳＡ－１３：Ｎｏ）、処理をステップＳＡ－１４に移行させる。
　そして、理由表示部１０２ｈは、原稿解像度が文字認識可能なレベルではないと判定した理由の判定理由データを入出力部１１２に表示させ（ステップＳＡ－１４）、処理をＳＡ－３に移行させる。
　このように、本実施形態においては、画質条件を満たすまでリトライを繰り返してもよい。すなわち、本実施形態においては、所定の画像品質を満足するまで処理を繰り返してもよい。
　一方、画質判定部１０２ｆは、原稿解像度が文字認識可能なレベルであると判定した場合（ステップＳＡ－１３：Ｙｅｓ）、処理をステップＳＡ－１５に移行させる。
　そして、再取得部１０２ｇは、画質判定部１０２ｆによる画質判定に用いたフレームを取得する、または、カメラ１１０による撮影を制御して、高解像度且つ非圧縮の新たなフレームを取得し、画像データファイル１０６ａに格納する（ステップＳＡ－１５）。
　そして、画像表示部１０２ｉは、画質判定に用いたフレーム（画像データ）、再取得部１０２ｇにより取得された新たなフレーム（画像データ）、または、フレームに含まれる原稿領域の原稿画像データを入出力部１１２に出力（表示）させ（ステップＳＡ－１６）、処理を終了する。
　なお、ＯＣＲ部１０２ｊは、更に、入出力部１１２に表示された原稿画像データ、または、フレームに対してＯＣＲ処理を行い、文字データを取得し、当該文字データを画像データファイル１０６ａに格納してもよい。
　このように、本実施形態においては、カメラ１１０のエリアセンサに撮像された高解像度且つ非圧縮のフレーム（画像データ）において、矩形原稿のコーナー４点座標を検出し、原稿種を判定する。
　そして、本実施形態においては、この判定結果からカメラ画像データの解像度を算出し、当該カメラ画像データの解像度と予め定めている必須解像度と比較し、文字認識可能な画像か否かを判定する。
　そして、本実施形態においては、この判定処理を所定の画像品質を満たすまで繰り返すことで、所定の画像品質を満たす画像データを得ることができる。
　また、本実施形態においては、例えば、窓口業務における個人認証手続において、顧客から借用する身分証明証をモバイル端末（携帯型撮像装置）１００でその場で撮影することで、顧客へ安心感を与えることができる。
　ここで、目視確認（可読）に必要な解像度（必須解像度）は、対象原稿を免許証（５４ｍｍ＊８６ｍｍ、６ポイント）とすると、２６５ｄｐｉ（画像サイズ：５６４ｄｏｔ＊８９８ｄｏｔ）としてもよい。
　そして、本実施形態においては、この必須解像度とカメラ画像データの解像度とを比較することで、文字認識を行うに最適な画像を撮影することができる。
　また、本実施形態においては、更に、撮像対象が決まっている場合に、原稿種判定の段階でリトライ処理を行うことで応答性を向上している。
　また、本実施形態においては、自動撮影されない要因を、文章データまたは描画データとして入出力部１１２に表示させることで、リアルタイムにユーザに通知し、改善をユーザに促すことで使用感を向上することができる。
［自動撮影処理（その２）］
　まず、図３に示すステップＳＢ－１からステップＳＢ－５の処理は、図２に示すステップＳＡ－１からステップＳＡ－５の処理と同様であるため説明を省略する。
　そして、原稿位置検出部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、プレビュー画像のフレームから原稿（矩形原稿）のレイアウトを検出する（ステップＳＢ－６）。
　そして、原稿位置検出部１０２ｂは、レイアウトを検出できたか否かを判定する（ステップＳＢ－７）。
　そして、原稿位置検出部１０２ｂは、レイアウトを検出できなかったと判定した場合（ステップＳＢ－７：Ｎｏ）、処理をステップＳＢ－３に移行させる。
　一方、原稿位置検出部１０２ｂは、レイアウトを検出できたと判定した場合（ステップＳＢ－７：Ｙｅｓ）、処理をステップＳＢ－８に移行させる。
　そして、原稿位置検出部１０２ｂは、検出したレイアウトに基づいて、プレビュー画像のフレームから矩形原稿（原稿領域）の原稿画像データを取得する（ステップＳＢ－８）。
　そして、画像表示部１０２ｉは、原稿領域の原稿画像データを入出力部１１２に表示させる（ステップＳＢ－９）。
　そして、原稿種判定部１０２ｃは、レイアウト認識法、および／または、サイズ検出法を用いて、矩形原稿の原稿種を判定する（ステップＳＢ－１０）。
　そして、画質算出部１０２ｄは、矩形原稿のレイアウトと原稿種とに基づいて、原稿画像データの原稿解像度を算出する（ステップＳＢ－１１）。
　そして、必須解像度算出部１０２ｅは、ＯＣＲの文字認識が可能となる文字サイズと原稿種とに基づいて、文字認識に必要な必須解像度を算出する（ステップＳＢ－１２）。
　ここで、必須解像度算出部１０２ｅは、ＯＣＲエンジン（ＯＣＲ部１０２ｊ）の文字認識可能な文字サイズＦを用いる場合、必須解像度を、「ＤＰＩ＝｛Ｆ／（ｐｔ＊０．３５１４）｝＊２５．４」の式により算出してもよい。
　例えば、必須解像度算出部１０２ｅは、原稿種が免許証の場合、文字のポイント数を６ｐｔ、および、ＯＣＲエンジンの文字認識可能な文字サイズを２４とし、必須解像度をＤＰＩ＝｛２４／（６＊０．３５１４）｝＊２５．４＝３２２ｄｐｉと算出してもよい。
　そして、図３に示すステップＳＢ－１３からステップＳＢ－１６の処理は、図２に示すステップＳＡ－１３からステップＳＡ－１６の処理と同様であるため説明を省略する。
　このように、本実施形態においては、通常業務において、リマインダー代わりに画像を撮影し、ＯＣＲ認識を使うことで資料作成の効率化を図ることができる。
　ここで、ＯＣＲ認識（文字認識可能な文字サイズ：３６＊３６）に必要な解像度（必須解像度）は、対象原稿をＡ４ドキュメント（２１０ｍｍ＊２９７ｍｍ、１０．５ポイント）とすると、２４８ｄｐｉ（画像サイズ：２０５０ｄｏｔ＊２９００ｄｏｔ）となる。
　そして、本実施形態においては、この必須解像度とカメラ画像データの解像度とを比較することで、文字認識を行うに最適な画像を撮影することができる。
　近年、モバイル端末（スマートフォンまたはタブレット等）１００の普及に伴い、従来はスキャナが利用されてきた業務において、カメラを備えたモバイル端末１００の利用に利用形態が変化している。
　これは、モバイル端末１００に搭載されたカメラによるスキャニングは、場所を問わないこと、および、撮像媒体の制限が無いことにより、自由度が高いという利点があるからである。
　一方、モバイル端末１００により撮影されたカメラ画像は、周辺の光量、撮影方向、および／または、撮影時の運動等の環境が安定しないことが多いため、スキャナと同等の画質の画像データを得ることが難しいという問題があった。
　そこで、本実施形態においてモバイル端末１００に実装されるモバイルスキャナアプリでは、良質な画像をセンシングして取得できるようにしている。
［他の実施形態］
　さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
　例えば、モバイル端末１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（モバイル端末１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
　また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
　このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
　また、モバイル端末１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
　例えば、モバイル端末１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。
　尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてモバイル端末１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
　また、このコンピュータプログラムは、モバイル端末１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
　また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
　また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
　記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。
　また、モバイル端末１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、モバイル端末１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
　更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
　以上のように、モバイル端末、画像処理方法、および、プログラムは、産業上の多くの分野、特にカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。
　１００　モバイル端末
　１０２　制御部
　１０２ａ　フレーム取得部
　１０２ｂ　原稿位置検出部
　１０２ｃ　原稿種判定部
　１０２ｄ　画質算出部
　１０２ｅ　必須解像度算出部
　１０２ｆ　画質判定部
　１０２ｇ　再取得部
　１０２ｈ　理由表示部
　１０２ｉ　画像表示部
　１０２ｊ　ＯＣＲ部
　１０６　記憶部
　１０６ａ　画像データファイル
　１１０　撮影部
　１１２　入出力部
　１１４　センサ部
　１１６　通信部

Claims (14)

  1. 　撮影部の撮影によるフレームを取得するフレーム取得手段と、
    　前記フレームから原稿の原稿位置データを検出する原稿位置検出手段と、
    　前記原稿の原稿種を判定する原稿種判定手段と、
    　前記原稿位置データと前記原稿種とに基づいて、前記原稿の原稿画像データの画質を算出する画質算出手段と、
    　前記画質が、文字認識可能なレベルか否かを判定する画質判定手段と、
    　前記画質判定手段により前記画質が前記文字認識可能なレベルではないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得手段と、
    　を備えたことを特徴とする、モバイル端末。
  2. 　前記原稿位置検出手段は、
    　前記フレームから前記原稿のコーナー座標を検出し、
    　前記画質算出手段は、
    　前記コーナー座標と前記原稿種とに基づいて、前記原稿画像データの原稿解像度を算出し、
    　前記画質判定手段は、
    　前記原稿解像度が、前記文字認識可能なレベルか否かを判定する、請求項１に記載のモバイル端末。
  3. 　前記画質算出手段は、
    　前記コーナー座標間の画素数と、前記原稿種に基づく前記原稿の辺の長さと、に基づいて、前記原稿画像データの解像度を算出し、最小となる当該解像度を前記原稿解像度として取得する、請求項２に記載のモバイル端末。
  4. 　前記原稿位置検出手段は、
    　前記フレームから前記原稿のレイアウトを検出し、
    　前記画質算出手段は、
    　前記レイアウトと前記原稿種とに基づいて、前記原稿画像データの原稿解像度を算出し、
    　前記画質判定手段は、
    　前記原稿解像度が、前記文字認識可能なレベルか否かを判定する、請求項１に記載のモバイル端末。
  5. 　実用品位数と前記原稿種とに基づいて、文字認識に必要な必須解像度を算出する必須解像度算出手段、
    　を更に備え、
    　前記画質判定手段は、
    　前記原稿解像度と前記必須解像度との比較に基づいて、前記原稿解像度が前記文字認識可能なレベルか否かを判定する、請求項２から４のいずれか一つに記載のモバイル端末。
  6. 　ＯＣＲの文字認識が可能となる文字サイズと前記原稿種とに基づいて、必須解像度を算出する必須解像度算出手段、
    　を更に備え、
    　前記画質判定手段は、
    　前記原稿解像度と前記必須解像度との比較に基づいて、前記原稿解像度が前記文字認識可能なレベルか否かを判定する、請求項２から４のいずれか一つに記載のモバイル端末。
  7. 　前記画質判定手段により前記画質が前記文字認識可能なレベルではないと判定された場合、判定理由データを表示させる理由表示手段、
    　を更に備えた、請求項１から６のいずれか一つに記載のモバイル端末。
  8. 　前記原稿画像データに対してＯＣＲ処理を行い、文字データを取得するＯＣＲ手段、
    　を更に備えた、請求項１から７のいずれか一つに記載のモバイル端末。
  9. 　前記フレーム、および／または、前記原稿画像データを表示させる画像表示手段、
    　を更に備えた、請求項１から８のいずれか一つに記載のモバイル端末。
  10. 　前記フレームは、
    　非圧縮の画像データである、請求項１から９のいずれか一つに記載のモバイル端末。
  11. 　前記原稿位置検出手段は、
    　エッジ検出法、および／または、特徴点マッチング法を用いて、前記フレームから前記原稿の前記原稿位置データを検出する、請求項１から１０のいずれか一つに記載のモバイル端末。
  12. 　前記原稿種判定手段は、
    　レイアウト認識法、および／または、サイズ検出法を用いて、前記原稿の前記原稿種を判定する、請求項１から１１のいずれか一つに記載のモバイル端末。
  13. 　撮影部の撮影によるフレームを取得するフレーム取得ステップと、
    　前記フレームから原稿の原稿位置データを検出する原稿位置検出ステップと、
    　前記原稿の原稿種を判定する原稿種判定ステップと、
    　前記原稿位置データと前記原稿種とに基づいて、前記原稿の原稿画像データの画質を算出する画質算出ステップと、
    　前記画質が、文字認識可能なレベルか否かを判定する画質判定ステップと、
    　前記画質判定ステップにて前記画質が前記文字認識可能なレベルではないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、
    　を含むことを特徴とする、画像処理方法。
  14. 　撮影部の撮影によるフレームを取得するフレーム取得ステップと、
    　前記フレームから原稿の原稿位置データを検出する原稿位置検出ステップと、
    　前記原稿の原稿種を判定する原稿種判定ステップと、
    　前記原稿位置データと前記原稿種とに基づいて、前記原稿の原稿画像データの画質を算出する画質算出ステップと、
    　前記画質が、文字認識可能なレベルか否かを判定する画質判定ステップと、
    　前記画質判定ステップにて前記画質が前記文字認識可能なレベルではないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2015/086428 2015-12-25 2015-12-25 モバイル端末、画像処理方法、および、プログラム WO2017109998A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017557667A JP6596512B2 (ja) 2015-12-25 2015-12-25 モバイル端末、画像処理方法、および、プログラム
PCT/JP2015/086428 WO2017109998A1 (ja) 2015-12-25 2015-12-25 モバイル端末、画像処理方法、および、プログラム
US15/994,920 US10628713B2 (en) 2015-12-25 2018-05-31 Mobile terminal, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086428 WO2017109998A1 (ja) 2015-12-25 2015-12-25 モバイル端末、画像処理方法、および、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/994,920 Continuation US10628713B2 (en) 2015-12-25 2018-05-31 Mobile terminal, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2017109998A1 true WO2017109998A1 (ja) 2017-06-29

Family

ID=59089830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/086428 WO2017109998A1 (ja) 2015-12-25 2015-12-25 モバイル端末、画像処理方法、および、プログラム

Country Status (3)

Country Link
US (1) US10628713B2 (ja)
JP (1) JP6596512B2 (ja)
WO (1) WO2017109998A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249584A (ja) * 1985-08-29 1987-03-04 Toshiba Corp 文字認識装置
JPH01276384A (ja) * 1988-04-28 1989-11-06 Toshiba Corp 文字読取装置
JP2007233913A (ja) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd 画像処理装置及びプログラム
WO2011129113A1 (ja) * 2010-04-15 2011-10-20 パナソニック株式会社 帳票処理装置及び帳票処理方法及び記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4338155B2 (ja) 1998-06-12 2009-10-07 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
US7016531B1 (en) * 1999-02-01 2006-03-21 Thomson Licensing Process to extract regions of homogeneous color in a digital picture
AU2001253563A1 (en) * 2000-04-18 2001-10-30 Rtimage Inc. System and method for the lossless progressive streaming of images over a communication network
JP2005202834A (ja) * 2004-01-19 2005-07-28 Toshiba Corp 文字認識システム、文字認識方法及び文字認識プログラム
US7958067B2 (en) * 2006-07-12 2011-06-07 Kofax, Inc. Data classification methods using machine learning techniques
US8326069B2 (en) * 2008-06-30 2012-12-04 Intel Corporation Computing higher resolution images from multiple lower resolution images
JP2010273218A (ja) 2009-05-22 2010-12-02 Sharp Corp 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
WO2013099025A1 (ja) 2011-12-28 2013-07-04 SHIROTO Hisanori 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体
US8855375B2 (en) * 2012-01-12 2014-10-07 Kofax, Inc. Systems and methods for mobile image capture and processing
JP2015102915A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 情報処理装置、制御方法およびコンピュータプログラム
JP5886265B2 (ja) 2013-11-28 2016-03-16 シャープ株式会社 携帯端末装置、プログラム、及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6249584A (ja) * 1985-08-29 1987-03-04 Toshiba Corp 文字認識装置
JPH01276384A (ja) * 1988-04-28 1989-11-06 Toshiba Corp 文字読取装置
JP2007233913A (ja) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd 画像処理装置及びプログラム
WO2011129113A1 (ja) * 2010-04-15 2011-10-20 パナソニック株式会社 帳票処理装置及び帳票処理方法及び記録媒体

Also Published As

Publication number Publication date
JPWO2017109998A1 (ja) 2018-05-24
JP6596512B2 (ja) 2019-10-23
US20180276509A1 (en) 2018-09-27
US10628713B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
US9117117B2 (en) Systems and methods for mobile image capture and processing
JP4341629B2 (ja) 撮像装置、画像処理方法及びプログラム
RU2714099C1 (ru) Способ для управления отображением экрана мобильного терминала и мобильный терминал
US20130076854A1 (en) Image processing apparatus, image processing method, and computer readable medium
WO2017208367A1 (ja) 画像処理装置、画像処理方法、および、プログラム
JP6581288B2 (ja) モバイル端末、画像処理方法、および、プログラム
US20190058805A1 (en) Image processing apparatus, and method of controlling the same
US9712697B1 (en) Detecting sizes of documents scanned using handheld devices
WO2004029867A1 (ja) 画像補正装置および画像補正方法
JP6596512B2 (ja) モバイル端末、画像処理方法、および、プログラム
WO2017126056A1 (ja) モバイル端末、画像処理方法、および、プログラム
JP6613378B2 (ja) モバイル端末、画像処理方法、および、プログラム
JP6697829B2 (ja) モバイル端末、画像処理方法、および、プログラム
JP6600090B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP6288487B2 (ja) 画像処理装置及びプログラム
WO2018003090A1 (ja) 画像処理装置、画像処理方法、および、プログラム
JP2015102915A (ja) 情報処理装置、制御方法およびコンピュータプログラム
JP6785930B2 (ja) モバイル端末、画像処理方法、および、プログラム
US20160224854A1 (en) Information processing apparatus, information processing method, and storage medium
JP4315025B2 (ja) 撮影装置、画像取得方法及びプログラム
JP6761603B2 (ja) 携帯端末装置、情報記録方法、及びプログラム
JP2006190106A (ja) パターン検出プログラムおよびパターン検出装置
WO2017158814A1 (ja) モバイル端末、画像処理方法、および、プログラム
JP4504140B2 (ja) 筆記面再生方法、筆記面再生装置及び筆記面再生プログラム
JP2005173946A (ja) 携帯情報端末およびその文字認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15911432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017557667

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15911432

Country of ref document: EP

Kind code of ref document: A1