WO2013099025A1 - 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体 - Google Patents

情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体 Download PDF

Info

Publication number
WO2013099025A1
WO2013099025A1 PCT/JP2011/080514 JP2011080514W WO2013099025A1 WO 2013099025 A1 WO2013099025 A1 WO 2013099025A1 JP 2011080514 W JP2011080514 W JP 2011080514W WO 2013099025 A1 WO2013099025 A1 WO 2013099025A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
information processing
processing apparatus
imaging
Prior art date
Application number
PCT/JP2011/080514
Other languages
English (en)
French (fr)
Inventor
久規 白戸
Original Assignee
SHIROTO Hisanori
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHIROTO Hisanori filed Critical SHIROTO Hisanori
Priority to PCT/JP2011/080514 priority Critical patent/WO2013099025A1/ja
Publication of WO2013099025A1 publication Critical patent/WO2013099025A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention belongs to the technical field of information processing apparatuses, information processing methods, information processing programs, and information recording media. More specifically, a portable information processing apparatus including an imaging unit such as a camera, an information processing method executed in the information processing apparatus, a program for the information processing apparatus, and an information recording medium on which the program is recorded It belongs to the technical field.
  • Non-Patent Document 1 Apart from these, in particular in the field of medical examination image synthesis, etc., a technology has been developed that performs non-rigid (non-linear) alignment processing of multiple images obtained by imaging the same imaging object. (For example, see Non-Patent Document 1 below).
  • the present invention has been made in view of the above-mentioned demands, and the problem is to image information described in an imaging object such as a document with high image quality, wide range, and high resolution, and more easily. It is to provide an information processing apparatus capable of performing the information processing, an information processing method executed in the information processing apparatus, a program for the information processing apparatus, and an information recording medium on which the program is recorded.
  • the invention according to claim 1 is a frame corresponding to at least a part of the imaged object in an information processing apparatus such as a portable smartphone.
  • An imaging unit such as a camera that outputs frame image information corresponding to an image, and a plurality of the frame images continuously captured by the imaging unit as the portable information processing device moves are aligned.
  • Alignment means such as a CPU that sequentially performs alignment processing corresponding to continuous imaging of the frame image using a plurality of pieces of frame image information corresponding to the frame images, and the aligned frames Using the frame image information corresponding to each image, a composite image corresponding to the object to be imaged and captured by the imaging means.
  • a combining means such as a CPU performs the synthesis process for synthesizing a high-quality or wide range of the composite image than each of said frame images.
  • the invention according to claim 19 is an information processing apparatus such as a portable smartphone, and images at least a part of the imaging target and corresponds to the captured at least part.
  • an image processing method executed in an information processing apparatus including an imaging unit such as a camera that outputs frame image information corresponding to a frame image to be performed the imaging unit continuously moves with the movement of the portable information processing apparatus.
  • the invention according to claim 20 is an information processing apparatus such as a portable smartphone, and images at least a part of an imaging target and corresponds to at least a part of the captured image.
  • a computer included in an information processing apparatus including an image capturing unit such as a camera that outputs frame image information corresponding to a frame image to be captured was continuously captured by the image capturing unit as the portable information processing apparatus moved.
  • Combining means for a composite image synthesis processing is performed for synthesizing a high-quality or wide range of the composite image than each of said frame image captured by the imaging unit, to function as a.
  • the invention according to claim 21 is an information processing apparatus such as a portable smart phone, which captures at least a part of an imaging target and corresponds to the captured at least part.
  • a computer included in an information processing apparatus including an image capturing unit such as a camera that outputs frame image information corresponding to a frame image to be captured was continuously captured by the image capturing unit as the portable information processing apparatus moved.
  • Alignment means for sequentially performing alignment processing for aligning a plurality of the frame images, using a plurality of pieces of frame image information corresponding to the respective frame images, corresponding to continuous imaging of the frame images; And corresponding to the object to be imaged using frame image information corresponding to each of the aligned frame images.
  • An image processing program that functions as a composite image that is a composite image and performs a composite process for compositing a composite image having a higher image quality or a wider range than each frame image captured by the imaging unit is recorded so as to be readable by the computer. Has been.
  • any one of claims 1 or 19 to 21 alignment of a plurality of frame images continuously captured as the portable information processing apparatus moves is performed.
  • a high-quality image or a wide range of synthesized images are synthesized using a plurality of frame image information corresponding to each aligned frame image, so that a high-quality image corresponding to the imaging object
  • a wide range of synthesized images can be synthesized using a portable information processing apparatus.
  • the alignment processing and the composition processing are performed using a plurality of frame image information obtained by continuous imaging accompanying the movement of the information processing apparatus, a higher image quality or a higher quality can be achieved by using a plurality of frame image information with different imaging conditions.
  • a wide range of synthesized images can be synthesized.
  • the invention according to claim 2 is the information processing apparatus according to claim 1, wherein the alignment unit corresponds to a whole frame image corresponding to the whole of the imaging object. Using the whole frame image information and a plurality of the frame image information corresponding to each of the frame images respectively corresponding to the part, the alignment processing is sequentially performed corresponding to the continuous imaging.
  • a plurality of pieces of frame image information respectively corresponding to a part of the imaging object and whole frame image information are used. Since the alignment process is sequentially performed corresponding to continuous imaging, the alignment process for each frame image can be performed more accurately.
  • the invention according to claim 3 is the information processing apparatus according to claim 1 or 2, wherein the alignment means uses a plurality of the frame image information, The rigid body is configured to sequentially perform the alignment process.
  • the non-rigid body alignment processing is sequentially performed using a plurality of frame image information output from the imaging unit. Therefore, it is possible to synthesize a high-quality image or a wide range of synthesized images with high versatility.
  • an invention according to claim 4 corresponds to the frame image after the alignment processing in the information processing apparatus according to any one of claims 1 to 3.
  • position range information indicating the position or range of the part on the imaging object to be continuously imaged CPU for generating position range information generating means such as a CPU for generating and guidance information for guiding the movement of the information processing apparatus to a position corresponding to the position range information based on the generated position range information Guidance information generating means, and a notification means such as a display for notifying the generated guidance information to the outside of the information processing apparatus.
  • the position range information is generated based on the imaged position range information, and the generation is performed.
  • information on the movement of the information processing device is generated based on the position range information thus generated and notified to the outside.
  • the portable information processing apparatus can be moved accurately and quickly to a required position.
  • the invention according to claim 5 is the information processing apparatus according to any one of claims 1 to 3, wherein the imaging of the part to be continuously imaged is performed.
  • Position range information generating means such as a CPU for generating position range information indicating a position or range on an object based on the captured frame image, and the position range information based on the generated position range information
  • a guide information generating means such as a CPU for generating guide information for guiding the movement of the information processing device to a position corresponding to the information, a display for notifying the generated guide information to the outside of the information processing device, etc. And a notification means.
  • the invention according to claim 6 is the information processing apparatus according to claim 4 or 5, wherein the synthesizing unit is configured to generate the frame image corresponding to the captured frame image.
  • the composition processing based on information is sequentially performed corresponding to continuous imaging of the frame images, and the position range information generation means outputs composite image information corresponding to the composite image synthesized to an external image quality evaluation means.
  • the acquired evaluation result information comprising: an external output means such as a communication interface; and an acquisition means such as a communication interface for acquiring evaluation result information indicating an evaluation result by the image quality evaluation means for the output composite image information. Is further used to generate the position range information.
  • the composition processing based on the frame image information corresponding to the captured frame image is performed.
  • the position range information is generated based on the image quality of the synthesized image that has already been synthesized, and the position range information is generated by further using the evaluation result information for the synthesized image information by the external image quality evaluation means.
  • the invention according to claim 7 is the information processing apparatus according to claim 5, wherein the position range information generation unit is configured to perform the positioning based on the frame image after the alignment process. It is configured to generate position range information.
  • the position range information is generated based on the frame image after the alignment process, and thus the configuration completed within the information processing apparatus
  • position range information can be generated, and a synthesized image having a higher image quality or a wider range can be synthesized thereafter.
  • the invention according to claim 8 is the information processing apparatus according to claim 4 or 7, wherein the position range information generation means is used at least for the alignment processing.
  • the CPU includes an accumulation unit such as a CPU that accumulates the number of the frame images for each pixel of the frame image after the alignment process, and the position range information generation unit is configured to add the position range information based on the accumulated number. Is configured to generate
  • At least the number of frame images used for the alignment process is set to the number of frame images after the alignment process. Since the integration is performed for each pixel and the position range information is generated based on the integrated number, it is possible to generate the position range information capable of subsequently combining a higher-quality or wide range composite image.
  • the number of frame images in this case, for example, a number weighted according to the position in the frame image may be used.
  • an invention according to claim 9 is the information processing apparatus according to any one of claims 4 to 8, wherein the guidance information is received by a carrier of the information processing apparatus. It is guidance information to be visually recognized, and further includes display means such as a display for displaying the guidance information.
  • the guide information is guide information visually recognized by a person who carries the information processing apparatus. Further, since the display means for displaying the guidance information is further provided, the user can easily move the information processing apparatus necessary for synthesizing a high-quality or wide-range synthesized image.
  • the invention according to claim 10 is the information processing apparatus according to claim 9, wherein the guidance information includes, for each image quality, the image quality of the combined image after the combining process. It is comprised so that it may be the guidance information displayed by the aspect which can be identified.
  • the guide information is guide information displayed in such a manner that the image quality in the composite image can be identified for each image quality. Therefore, it is possible to easily move the information processing apparatus necessary for synthesizing a high-quality or wide-range synthesized image in accordance with the quality of the synthesized image.
  • the invention according to claim 11 is the information processing apparatus according to claim 9 or 10, wherein the guide information corresponds to an image quality in the composite image after the composite processing. It is constituted so that it is the guidance information displayed by the color.
  • the guide information is the guide information displayed in a color corresponding to the image quality in the composite image.
  • the movement of the information processing apparatus necessary for synthesizing the image quality or a wide range of synthesized images can be easily performed according to the displayed color.
  • the invention according to claim 12 is the information processing apparatus according to any one of claims 9 to 11, wherein the display means displays the frame image.
  • the guidance information is displayed so as to overlap the displayed frame image.
  • the guidance information is displayed so as to be superimposed on the frame image.
  • the guidance information can be displayed in a manner that makes it easier to understand the content of the guidance information in relation to the imaging object that is being captured.
  • an invention according to claim 13 is the information processing apparatus according to any one of claims 9 to 11, wherein the display means is provided on the entire imaging object. A corresponding whole frame image is displayed, and the guidance information is displayed over the whole frame image.
  • the guide information is displayed so as to be superimposed on the entire frame image.
  • the guidance information is displayed so as to be superimposed on the frame image.
  • an invention according to claim 14 is the information processing apparatus according to any one of claims 9 to 13, wherein the guide information is the information processing that is carried around. It is comprised so that it may be the guidance information which shows the item of movement of an apparatus.
  • the guide information is guide information indicating specifications of movement of the information processing apparatus. Therefore, the information processing apparatus can be easily moved.
  • the invention according to claim 15 is the information processing apparatus according to any one of claims 1 to 14, wherein at least one of the alignment process and the synthesis process.
  • Interruption means such as a CPU for interrupting the processing in the information processing apparatus after one end, storage means such as a CPU for saving result information corresponding to the at least one of the completed processing results, and saved result information
  • a result information acquisition means such as a CPU for acquiring the information
  • a restart means such as a CPU for restarting the interrupted processing using the acquired result information.
  • the information processing is performed after at least one of the alignment process and the synthesis process. Even when the process in the apparatus is interrupted, the process can be resumed using the stored result information, so that the degree of freedom in executing the alignment process and the synthesis process can be improved.
  • the invention according to claim 16 is the information processing apparatus according to claim 15, wherein the result information includes a frame image corresponding to the at least one result until the interruption.
  • Information is included, and the storage means includes external output means such as a communication interface for outputting the result information to an external image recognition means, and the result information acquisition means includes the frame recognized by the image recognition means.
  • the result information including frame image information corresponding to the image is acquired.
  • the result information up to the interruption is recognized by the external image recognition means, the recognition result is acquired, and the process is resumed. Therefore, the synthesized image as the information processing apparatus can be synthesized with higher image quality or in a wider range.
  • an invention according to claim 17 is the information processing apparatus according to any one of claims 1 to 16, wherein the imaging object is captured during imaging by the imaging unit.
  • Illuminating means such as a light that illuminates a part or all of the information
  • illumination control means such as a CPU that controls the illuminating means based on at least the result of the alignment process.
  • an invention according to claim 18 is the information processing apparatus according to any one of claims 1 to 17, wherein the alignment unit is connected to the imaging object.
  • the alignment processing is performed using the frame image information respectively output from the plurality of imaging units having different relative positions.
  • a plurality of imaging means having different relative positions with respect to the imaging object. Since the alignment processing is performed using the frame image information output from each of the images, it is possible to synthesize a higher-quality or wide-range composite image using a plurality of imaging units.
  • the present invention it is possible to synthesize a high-quality image or a wide range of synthesized images corresponding to an imaging object using a portable information processing apparatus. Further, by using a plurality of pieces of frame image information with different imaging conditions, it is possible to synthesize a higher-quality or wide range synthesized image.
  • FIG. 1 is a figure which illustrates the position alignment process which concerns on 1st Embodiment
  • FIG. 1 is a figure which illustrates the state before position alignment
  • FIG. 1 is a figure which illustrates the position process in progress
  • C is a diagram (ii) illustrating the position alignment process.
  • FIGS. 1 is a block diagram showing a schematic configuration of the smartphone according to the first embodiment
  • FIG. 2 is a flowchart showing image processing according to the first embodiment
  • FIG. 3 is a diagram illustrating an example of a screen displayed in the image processing according to the first embodiment
  • FIGS. 4 to 6 are diagrams illustrating the alignment processing according to the first embodiment.
  • the smartphone according to the first embodiment performs continuous shooting or moving image capturing of information described by using characters, symbols, figures, or the like on a document or a three-dimensional object as an example of an imaging object using the camera. .
  • the smartphone uses the image data obtained by the imaging for a plurality of frames by image processing to be described later according to the first embodiment, and performs image data mutual alignment processing and each image data after the alignment processing.
  • a synthesis process to synthesize is executed.
  • the smartphone digitizes the information on the imaging object with high image quality or in a wide range.
  • the smartphone S as an example of the “information processing apparatus” according to the first embodiment includes a CPU 1, a ROM (Read Only Memory) 2, a RAM (Random Access Memory) 3, and operation buttons. And an operation unit 4 including a touch panel, a display 5 including a liquid crystal display on the surface of the touch panel, a call control unit 6 to which a speaker 7 and a microphone 8 are connected, and an “imaging unit”.
  • the camera 9 and a communication interface 10 including an antenna ANT for connection to an external network (a network such as a wireless LAN (Local Area Network), a dedicated line, the Internet, or a so-called 3G line) not shown in FIG. , Is configured.
  • an alignment data buffer 30, a data amount buffer 31, a composite image buffer 32, and a wide area The image buffer 33, the current image buffer 34, and the aligned current image buffer 35 are formed as a volatile storage area.
  • the CPU 1 is an example of the “positioning unit”, the example of the “combining unit”, the example of the “position range information generating unit”, the example of the “guidance information generating unit”, the “integration” according to the first embodiment. It corresponds to an example of “means”, an example of “interrupt means”, an example of “save means”, an example of “result information acquisition means”, an example of “resume means”, and an example of “illumination control means”.
  • the display 5 corresponds to an example of “notification means” and an example of “display means”, respectively.
  • the communication interface 10 corresponds to an example of “external output unit” and an example of “acquisition unit”, respectively.
  • the communication interface 10 controls transmission / reception of data with the network via the antenna ANT under the control of the CPU 1.
  • the communication interface 10 may be configured not only to transmit / receive data wirelessly via the antenna ANT but also to control data transmission / reception via a wired LAN or a so-called USB (Universal Serial Bus). it can.
  • the call control unit 6 controls a voice call as the smartphone S using the microphone 8 and the speaker 7 under the control of the CPU 1. Furthermore, the operation part 4 produces
  • ROM 2 a program for processing as the smartphone S including image processing according to the first embodiment to be described later is recorded in a nonvolatile manner in advance.
  • CPU1 controls the process as the said smart phone S by reading the said program etc. from ROM2, and running it.
  • the ROM 2 also stores data necessary for processing as the smartphone S, such as telephone number data and address data, in a nonvolatile manner.
  • the RAM 3 temporarily stores data necessary for each of the buffers, and further temporarily stores other data necessary for processing as the smartphone S.
  • the display 5 displays information necessary for processing as the smartphone S to the user under the control of the CPU 1 in addition to information necessary for image processing according to the first embodiment.
  • the camera 9 continuously captures or captures the information on the document or the like, and acquires image data (digitized image data) corresponding to the captured image for each continuous capture. Or in the case of moving image imaging, it outputs to CPU1 continuously.
  • the CPU 1 executes image processing according to the first embodiment using data stored in each buffer in the RAM 3.
  • the alignment data buffer 30 in the RAM 3 stores coordinate data indicating a deformation state as a result of an alignment process described later.
  • the data amount buffer 31 in the RAM 3 is an image that is a target of the alignment process and the synthesis process in the image process according to the first embodiment for each pixel in the image captured by the camera 9 (described later).
  • the number (nameless number) of the current image) is stored for each pixel in the composite image.
  • a value weighted according to the position in the image may be stored in the data amount buffer 31 for each pixel.
  • the composite image buffer 32 in the RAM 3 adjusts the image data corresponding to the composite image formed with high image quality / wide range by the composite processing of the image processing according to the first embodiment in accordance with the progress of the composite processing. And memorize sequentially.
  • the wide area image buffer 33 in the RAM 3 is used for the alignment process described later, and image data (frame) corresponding to the entire image such as a document imaged in the image processing according to the first embodiment. Image data).
  • the “whole image” in this case means, for example, one image obtained by capturing the entire document when the information described in one document is digitized.
  • the current image buffer 34 in the RAM 3 stores image data for one frame that is a target of the alignment processing in the image processing according to the first embodiment at that time.
  • an image corresponding to one frame of image data (frame image data) is referred to as a “current image”.
  • the aligned current image buffer 35 in the RAM 3 stores image data for one frame that is the target of the composition process after the alignment process in the image processing according to the first embodiment.
  • the image processing according to the first embodiment is started, for example, when a predetermined operation by the carrier is executed in the operation unit 4.
  • the CPU 1 first initializes the alignment data buffer 30 with data having a content meaning “no deformation” (step S1). Thereby, the alignment process which concerns on 1st Embodiment is started. Next, the CPU 1 initializes the data amount buffer 31 and the composite image buffer 32 to “zero”, respectively (step S2).
  • the CPU 1 notifies the user of capturing the whole image by processing such as executing a display on the display 5 to capture the whole image.
  • the CPU 1 inputs image data for one frame corresponding to the entire image to the wide area image buffer 33 (step S3).
  • the CPU 1 notifies the user of continuous shooting or moving image shooting by executing a display on the display 5 to start continuous shooting or moving image shooting from an arbitrary position of the imaging target.
  • the CPU 1 inputs image data for one frame corresponding to the current image input along with the shooting to the current image buffer 34. (Step S4).
  • the CPU 1 performs non-rigid registration processing according to the first embodiment on the image data stored in the wide area image buffer 33 (that is, image data corresponding to the entire image) and the current image buffer 34 at that timing. This is performed using the stored image data (step S5).
  • the non-rigid body alignment processing compares the portion of the imaging target imaged as the current image with the portion of the entire image, and performs alignment of the current image so that they match as an image. It is processing.
  • This alignment process is performed using the coordinate data stored in the alignment data buffer 30.
  • the alignment process is described in Non-Patent Document 1 described above. More specifically, the alignment process will be described in detail later with reference to FIGS.
  • step S5 When the alignment processing of the non-rigid body with respect to the image data for one frame corresponding to the current image is completed (step S5), the CPU 1 stores the image data of the current image after the alignment processing in the aligned current image buffer 35. (Step S6). Further, the CPU 1 newly stores coordinate data indicating the deformation state as a result of the alignment process in step S5 in the alignment data buffer 30 (step S7).
  • the CPU 1 determines whether or not the image quality of the current image after the alignment processing has sufficient resolution as the high image quality desired as the image processing of the first embodiment (step S8).
  • the CPU 1 uses the data indicating the preset target resolution corresponding to the high image quality and the size data input in advance indicating the size of the entire imaging target, for example. Determine the resolution of the image.
  • the resolution will be high.
  • step S8 the resolution of the current image is high usually means that the object is closer to the object to be imaged, and the resolution is high, but the imaging range is narrow. If it is determined in step S8 that the image quality of the current image after the alignment process does not have sufficient resolution (step S8; NO), the CPU 1 proceeds to the process of step S12 described later. On the other hand, if it is determined in step S8 that the image quality of the current image after the alignment process has a sufficient resolution (step S8; YES), the CPU 1 next stores the image data in the aligned current image buffer 35. It adds to the image data in the composite image buffer 32 (step S9). By the processing in step S9, the high-quality current image is added to the synthesized image that has been synthesized so far. As a result, the regional ratio of the composite image in the entire imaging target is enlarged.
  • the CPU 1 sets the value (in the data amount buffer 31 corresponding to each pixel of the composite image corresponding to any pixel included in the current image (The value of the number of current images subjected to registration processing and composition processing is incremented by “1” corresponding to the registration processing and composition processing (step S10).
  • the CPU 1 determines whether or not the value of the data amount buffer 31 corresponding to each pixel is a sufficient value for all the areas of the imaging target in the composite image after the process of step S9 (step S11). .
  • the CPU 1 determines that a sufficient number of current images as a high image quality desired as the image processing have been obtained. It is determined based on the value for each pixel stored in the data amount buffer 31 whether or not it has been subjected to the alignment process and the synthesis process according to the first embodiment over the region.
  • step S11 If the determination in step S11 has a sufficient value (number of current images) (step S11; YES), the imaging object has been digitized with high image quality. Therefore, the CPU 1 divides the pixel value of each pixel of the composite image stored in the composite image buffer 32 by the value corresponding to that pixel stored in the data amount buffer 31 at that time (step S14), and the result. Is stored in a memory (not shown) or the like, and the image processing according to the first embodiment is terminated. In the process of step S14, the pixel value of each pixel in the high-quality synthesized image finally synthesized as the image processing according to the first embodiment is divided by the number of current images necessary for the image processing. It is a process, for example, a process for ensuring consistency with the current image picked up after shooting.
  • step S11 a sufficient number of current images in the composite image after the process in step S9 are the targets of the alignment process and the composite process according to the first embodiment over the entire area of the imaging target. If there is not (step S11; NO), the CPU 1 obtains a value corresponding to each pixel constituting the current current image from the data amount buffer 31 to capture an additional current image (step S12). In this case, the CPU 1 acquires the coordinate data stored in the alignment data buffer 30 in order to identify the pixel that has already been subjected to the alignment process and the synthesis process according to the first embodiment in the current image, Using this, a process (inverse transform process) opposite to the non-rigid positioning process according to step S5 is performed.
  • the CPU 1 causes the color corresponding to the value corresponding to each pixel acquired by the process of step S12 to be superimposed on the current image and displayed on the display 5 as guidance information according to the first embodiment (step S13).
  • the CPU 1 notifies the wearer of the area within the imaging target that requires further current image capturing.
  • the CPU 1 returns to step S4, and repeats the processes of steps S4 to S13 for the newly captured current image.
  • the CPU 1 captures a new current image and performs alignment processing using the image data corresponding to the captured current image until the determination result in step S11 becomes “YES” (see step S5 above).
  • the subsequent synthesis process is repeated.
  • the object to be imaged is a document P on which characters such as those illustrated in FIG. FIG. 3B is a front view of the smartphone S including the display 5 and the operation buttons 4A to 4C belonging to the operation unit 4.
  • the desired high image quality (resolution) as the image processing according to the first embodiment. ) Is displayed so as to be hatched in both directions (see step S13 in FIG. 2), for example (see step S8 in FIG. 2; see YES).
  • the image quality (resolution that has been reached in the previous image processing (in other words, stored in the data amount buffer 31).
  • the image quality are displayed in a stepwise different state (see step S13 in FIG. 2).
  • the area of the original document P is displayed as it is for the area where the current image has not yet been captured.
  • the first area that has not reached the resolution corresponding to the high image quality is displayed so as to be hatched in the lower right direction, for example.
  • the resolution is lower than that of the first area, one or more current images are captured and the areas to be subjected to the alignment process and the synthesis process according to the first embodiment (the image according to the first embodiment).
  • the area where processing has been started is displayed so as to be hatched in the lower left direction, for example.
  • the area hatched in both directions is, for example, red
  • the area hatched in the lower right direction is orange
  • the area hatched in the lower left direction is yellow
  • attained with a color may be distinguished and displayed.
  • the user who viewed the display as illustrated in FIG. 3B adds and captures a current image of the area that is hatched in the lower right direction or the area that is hatched in the lower left direction. Accordingly, the smartphone S is moved to capture a necessary current image (see step S4 in FIG. 2 after the second round).
  • step S5 the non-rigid positioning process according to step S5 will be specifically described with reference to FIGS.
  • the alignment processing according to Step 5 compares the part of the imaging target imaged as the current image with the part in the entire image, and compares the current image so that the two match as the image.
  • This is processing for performing alignment (deformation).
  • the whole image GA shown on the left in FIG. 4A is used as a reference image, and the non-rigid body alignment processing is performed on the current image GT shown on the right in FIG.
  • the imaging areas of the current image GT and the entire image GA are the same.
  • step S5 the CPU 1 divides the current image GT into a predetermined number as illustrated in FIG.
  • the current image GT is divided into four divided images GTa to GTd, but in order to obtain higher image quality, the larger the number of divisions, the better.
  • the CPU 1 pays attention to one divided image as illustrated in FIG. In the case illustrated in FIG. 4C, the CPU 1 focuses on the divided image GTa.
  • the CPU 1 superimposes the divided image GTa of interest on the entire image GA.
  • the coordinate axes in FIG. 5 have the origin (0, 0) as the upper left corner of the area corresponding to each divided image in the entire image GA and the upper left corner of each divided image, and the right direction in FIG.
  • the downward direction in FIG. 5 is the positive direction of the y coordinate axis.
  • the offset is (0, 0).
  • the CPU 1 searches the entire image GA for a position (offset) where the divided image GTa and the content thereof best match.
  • a method using mutual information for example, a method using mutual information (Mutual Information) or a target region (in the case of FIG. 5B, the region of the divided image GTa).
  • a method using a sum of luminance differences (SAD (Sum (Absolute Difference)) is suitable.
  • the CPU 1 obtains coordinate data ( ⁇ 2, +3) as the offset.
  • the CPU 1 similarly searches the entire image GA for the position (offset) where the contents of the divided images GTb to GTd other than the divided image GTa illustrated in FIG.
  • coordinate data ( ⁇ 2, +3) is used as the offset in the case of the divided image GTa
  • coordinate data (+2, +3) is used as the offset in the case of the divided image GTb.
  • the coordinate data (+4, ⁇ 1) is obtained by the CPU 1 as the offset
  • the coordinate data ( ⁇ 3, ⁇ 1) is obtained by the CPU 1 as the offset.
  • the amount by which the center point of each of the divided images GTa to GTd is to be moved as the alignment processing according to step S5 is exemplified as the offset on the right in FIG. Obtained respectively.
  • This center point may be generally called “anchor”.
  • the coordinate data collected by adding the amounts to which all anchors should be moved for one current image GT is the coordinate data sequentially stored in the alignment data buffer 30.
  • the position of the entire current image GT is deformed as illustrated in FIG. 6A by so-called interpolation or extrapolation based on the amount of movement of the anchor of each of the divided images GTa to GTd. It is also possible to perform a matching process. In this case, the contents of the current image GT and the contents of the entire image GA can be matched more. Furthermore, movement or deformation (including rotation, enlargement / reduction, or trapezoid deformation) of the entire current image GT or the entire divided image GTa to the entire divided image GTd can be used.
  • FIGS. 6B to 6D a smartphone as illustrated in FIGS. 6B to 6D is illustrated. It is also possible to notify the wearer of the imaging range of the next current image GT by estimating the movement of the entire S. For example, in the case illustrated in FIG. 6B, it is estimated that the entire smartphone S has moved in the lower left direction, and in the case illustrated in FIG. 6C, the entire smartphone S has been rotated upward (waving his head up). I guess). In the case illustrated in FIG. 6D, it is estimated that the entire smartphone S has moved backward (away from the imaging target).
  • the alignment of a plurality of images that are continuously captured along with the movement of the mobile smartphone S is sequentially performed corresponding to the continuous imaging.
  • a high-quality or wide-range composite image is synthesized using a plurality of image data corresponding to the aligned images (see FIG. 2), so a high-quality or wide-range composite image corresponding to the object to be imaged Can be synthesized using a portable smartphone S.
  • alignment processing and synthesis processing are performed using a plurality of image data obtained by continuous imaging accompanying the movement of the smartphone S, a higher image quality or a wider range of synthesis can be achieved by using a plurality of image data with different imaging conditions. Images can be synthesized (see FIG. 2). In order to obtain this effect, it is not always necessary to execute the processing of steps S11 to S14 in FIG.
  • this remarkable effect can be achieved in other words by using a high-quality image or a wide range of image synthesis without using a device other than the smartphone S carried by the user. That is, since data such as images is not recorded other than the smartphone S, anytime, anywhere, any person, the privacy for individuals, the security of related information for work, while ensuring the highest level, respectively It is possible to easily synthesize high-quality images or a wide range of images without taking them. This is an epoch-making value that was not available in previous devices.
  • the alignment processing is sequentially performed corresponding to continuous imaging using a plurality of current images corresponding to a part of the imaging object and the entire image (see FIG. 2), the alignment for each image is performed. Processing can be performed more accurately.
  • the non-rigid body alignment processing is sequentially performed using a plurality of image data output from the camera 9 (see step S5 in FIG. 2), a highly versatile and high-quality or wide-range composite image is synthesized. Can do.
  • the smartphone S can be accurately and quickly moved to a position necessary for synthesizing a high-quality image or a wide range of synthesized images.
  • the number of each image used for synthesizing the synthesized image is accumulated using the data amount buffer 31 for each pixel of the synthesized image, and the guide information corresponding to each pixel is obtained based on the accumulated number. Since it is generated (see step S12 in FIG. 2), it becomes possible to synthesize a higher-quality or wider-range synthesized image thereafter.
  • the guidance information notified by the process of step S13 in FIG. 2 is guidance information visually recognized by the user of the smartphone S, the movement of the smartphone S necessary for synthesizing a high-quality or wide-range composite image is performed. That person can easily do.
  • the guidance information is displayed over the original whole image GA as illustrated in FIG. 3B, the guidance information is understood in more detail with respect to the captured imaging object. It can be displayed easily.
  • the smartphone S camera 9
  • the part of the imaging target displayed on the display 5 is changed in real time. Thereby, the content of guidance information can be displayed more easily.
  • the guidance information is displayed overlaid on the overall image GA, so that the content of the guidance information can be displayed more easily. can do.
  • the smartphone S (camera 9) is moved, the entire imaging object is always displayed on the display 5 (the display range of the entire imaging object is not changed).
  • the smartphone S (camera 9) is moved to acquire an image, the colored portion (pattern) displayed over the imaging object in order to show the image quality on the display 5 changes in real time. It will be followed. Even in this case, the contents of the guidance information can be displayed more easily.
  • FIG. 7 is a flowchart showing image processing according to the second embodiment.
  • the hardware configuration of the smartphone according to the second embodiment is basically the same as that of the smartphone S according to the first embodiment. Therefore, in the following description, the smartphone according to the second embodiment will be described using the same member numbers as those of the smartphone S according to the first embodiment.
  • the alignment processing and composition processing for the current image GT and the generation processing of guidance information notified to the user are executed as a series of flows.
  • guidance information generation processing for notifying the wearer is performed before performing the synthesis processing.
  • the CPU 1 performs the same step S1 as the image processing according to the first embodiment as the alignment processing and composition processing according to the image processing.
  • Step S8 Step S10 to Step S13 similar to the image processing according to the first embodiment are performed without performing Step S9 similar to the image processing according to the first embodiment.
  • step S11 step S11; YES
  • the following data may be cited as the basic data other than the resolution described above.
  • Data indicating the accuracy of the alignment processing according to steps S4 to S7 (the CPU 1 can generate guide information so that an area with lower accuracy is imaged more carefully)
  • Data indicating the amount of deviation related to the result of the alignment processing according to steps S4 to S7, or data indicating the cause of the deviation (the CPU 1 considers the cause so that the amount of deviation decreases).
  • Guide information can be generated.
  • Data indicating the movement path or movement speed of the smartphone S moved in the alignment process according to steps S4 to S7 (CPU 1 is more regular when the movement path is too irregular or the movement speed is too fast.
  • the desired movement of the smartphone S is not displayed instead of displaying the difference in resolution for each area by color.
  • the direction may be displayed on the display 5 such as “up”, “slower”, “still”.
  • you may comprise so that these guidance may be sounded through the speaker 7 with an audio
  • the CPU 1 displays guidance information on the content of moving the smartphone S on the display 5 in order to capture an area of a smaller data amount based on the data amount acquired in the process of step S12.
  • guidance information is the guidance information which shows the item (how to move) of the movement of the smart phone S
  • the smart phone S can be moved easily.
  • it corresponds to the difference in resolution for each area, for example, the difference in visual hatching pattern, the difference in transparency (assuming that the background exists), and the difference in the resolution.
  • image processing in the smartphone S is interrupted after completion of at least one of the alignment processing and the synthesis processing according to each embodiment, and corresponds to the result of the completed alignment processing or synthesis processing
  • the result data can be stored in, for example, the RAM 3 or a hard disk (not shown).
  • the CPU 1 obtains the stored result data again and uses the result data to restart the interrupted process.
  • the image is interrupted using the stored result data. The process can be resumed, and the degree of freedom in executing the alignment process and the synthesis process can be improved.
  • the CPU 1 includes image data corresponding to the result of the alignment process or the synthesis process up to the interruption in the result data, and the result data is stored in the image recognition device outside the smartphone S. It can also be configured to output to In this case, if the image recognition apparatus has an image recognition capability higher than that of the CPU 1, for example, the recognition result is acquired as result data used at the time of restart, so that the composite image as the smartphone S has higher image quality or It can be synthesized over a wide range.
  • the external image recognition device For example, when the user temporarily interrupts the image processing with his / her intention (for example, when the user moves the tertile smartphone S to perform image processing and then temporarily stops), in the external image recognition device The image processing result up to the interruption is analyzed, and the analysis result is acquired to generate guidance information for identifying a portion that requires further fine imaging. Then, when the wearer further continues to capture the portion identified by the guidance information, a synthesized image having a higher image quality or a wider range can be synthesized.
  • the smartphone S according to the first embodiment or the second embodiment is provided with a light as an example of an “illuminating unit” that illuminates a part or all of the imaging object during imaging by the camera 9.
  • the illuminance of the light may be controlled by the CPU 1 based on at least the result of the alignment process.
  • at least a part or the whole of the imaging object is illuminated using the result of the positioning process, so that a higher quality composite image can be synthesized.
  • the CPU 1 performs the alignment process using image data output from a plurality of cameras other than the camera 9 and having different relative positions to the imaging target. It may be configured. In the case of the fourth modification, the alignment process is performed using image data output from each of a plurality of other cameras having different relative positions with respect to the imaging target. It is possible to synthesize a composite image having a higher image quality or a wider range.
  • the other camera in this case may be another camera provided in the smartphone S other than the camera 9, or may be a camera mounted on another portable information terminal or the like.
  • the current image GT corresponding to a plurality of viewpoints is captured by using a position sensor provided in the smartphone S and a plurality of buffers in the RAM 3, thereby increasing the height of the object.
  • a position sensor provided in the smartphone S and a plurality of buffers in the RAM 3, thereby increasing the height of the object.
  • the CPU 1 can also be configured to generate guidance information without using the pixel values or the like based on data indicating which part of the current image GT is captured). Even in the case of the fifth modification, the smartphone S to be carried can be moved accurately and quickly to a position necessary for capturing an image necessary for synthesizing a high-quality image or a wide range of synthesized images. .
  • the CPU 1 outputs composite image data corresponding to the composite image synthesized to an external image quality evaluation device (for example, an external OCR (Optical Character Leader) device, and further uses the read result.
  • an external image quality evaluation device for example, an external OCR (Optical Character Leader) device
  • the guide information is generated based on the image quality of the combined image that has been combined (that is, the read result). A high-quality image or a wide range of synthesized images can be synthesized thereafter.
  • the CPU 1 acquires specifications such as the imaging specifications (shutter speed, aperture, focal length, amount of light) in the camera 9 or the position, speed, and acceleration of the smartphone S itself, and based on these.
  • the CPU 1 may be configured to select the current image GT or the entire image GA that is the object of the alignment process. Specifically, the CPU 1 selects a current image GT or the like that is favorable as an imaging condition (in other words, already has high image quality by itself) based on the above specifications and the like, and uses the current image GT for the subsequent alignment processing.
  • the original current image GT or the like is considered to have a high image quality, a desired high image quality or a wide range of synthesized images can be synthesized more quickly using a small number of current images GT or the like. become.
  • the program corresponding to the flowchart shown in FIG. 2 or FIG. 7 is acquired via a network such as the Internet, or the program recorded on an information recording medium such as an optical disk is acquired, for example, by a general-purpose microcomputer. It can also be configured to read and execute this.
  • the microcomputer in this case executes the same processing as the CPU 1 according to each embodiment.
  • the present invention can be used in the field of information processing apparatuses, and particularly remarkable effects can be obtained when applied to the field of information processing apparatuses for image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　書面等の撮像対象物に記載されている情報を高画質或いは広範囲、高解像度で、更に簡易に画像化することが可能な情報処理装置等を提供する。　携帯可能なスマートフォンＳにおいて、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレームデータを出力するカメラ９と、携帯されたスマートフォンＳの移動に伴って連続して撮像された複数のフレーム画像同士の位置合わせを行う位置合わせ処理を、各フレーム画像を用いて、フレーム画像の連続撮像に対応して逐次行うＣＰＵ１と、位置合わせされた各フレーム画像を用いて、撮像対象物に対応する合成画像であってカメラ９により撮像された各フレーム画像よりも高画質或いは広範囲の合成画像を合成するＣＰＵ１と、を備える。

Description

情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体
　本発明は、情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体の技術分野に属する。より詳細には、カメラ等の撮像部を備える携帯可能な情報処理装置及び当該情報処理装置において実行される情報処理方法、並びに当該情報処理装置用のプログラム及び当該プログラムが記録された情報記録媒体の技術分野に属する。
　近年の情報化社会においては、業務以外の個人の日常生活においても、書面（紙）等に文字や記号又は図形として記載されている情報を、高画質且つ高解像度でデジタル的に画像化したいという要望は依然として多い。ここで、上記のような画像化のためには、いわゆるスキャナを用いることが一般的である。この場合のスキャナとしては、例えばいわゆるフラットベッド型のスキャナ等が一般的である。
　しかしながら、このようなスキャナを例えば業務以外の個人用として保有することは、コスト、設置場所又は取り扱いの煩雑さ等の面から便利でない場合が多い。また、個人としてパーソナルコンピュータを保有しない場合も近年では多くなり、よって上記スキャナを接続する本体としてのパーソナルコンピュータがそもそも存在しない環境も、個人宅等においては増加している。更に、一般に大型のフラットベッド型スキャナが必要な単行本、雑誌又は大型紙などに記載されている情報の画像化は、上記のような事情でより困難である場合が多い。
　一方、個人が手軽に扱える撮像用装置としては、いわゆるデジタルカメラが一般化している。しかしながら現在入手可能なデジタルカメラでは、それをスキャナの代替とするには画質（例えば画素数等）が十分でない場合が多い。また、仮にデジタルカメラをスキャナ代わりに用いようとしても、一般の個人が扱う場合は、例えば撮像時に手ブレが起きる、或いは周囲の照明が不適切といった理由により、スキャナとしては撮像に失敗する場合が多い。
　他方、最近では、いわゆるスマートフォンやタブレット型情報端末など、カメラが内蔵された携帯型の情報機器を誰もが携行するようになってきており、しかもそれらは常に身に着けられている場合が多い。また、当該情報機器に備えられたカメラが備える撮像能力や画像処理能力、或いはネットワークへの接続能力は、いずれも近年大きく向上してきており、今後も急速な改善が期待される。
　またこれらとは別に、特に医療における検査画像の合成等の分野において、同一の撮像対象物を撮像して得られた複数の画像同士の位置合わせ処理を、非剛体（非線形）により行う技術が開発されている（例えば、下記非特許文献１参照）。
「３次元脳地図と医用頭部画像の自動非線形位置合わせ（Automated, Non-linear Registration Between 3-Dimensional Brain Map and Medical Head Image）」, pp175 - 183, "MEDICAL IMAGING TECHNOLOGY", Vol. 16, No. 3, May 1998
　以上のように、書面等に記載されている情報を高画質且つ高解像度で画像化したいという要望が多いにも拘わらず、それを個人でも簡易に実現できる有効な方法は、現状では存在していない。よって、このような画像化の方法の確立が望まれている。
　そこで本発明は、上記の要請に鑑みて為されたもので、その課題は、書面等の撮像対象物に記載されている情報を高画質或いは広範囲、高解像度で、更に簡易に画像化することが可能な情報処理装置及び当該情報処理装置において実行される情報処理方法、並びに当該情報処理装置用のプログラム及び当該プログラムが記録された情報記録媒体を提供することにある。
　上記の課題を解決するために、請求項１に記載の発明は、携帯可能なスマートフォン等の情報処理装置において、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段と、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行うＣＰＵ等の位置合わせ手段と、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行うＣＰＵ等の合成手段と、を備える。
　上記の課題を解決するために、請求項１９に記載の発明は、携帯可能なスマートフォン等の情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置において実行される画像処理方法において、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成工程と、を含む。
　上記の課題を解決するために、請求項２０に記載の発明は、携帯可能なスマートフォン等の情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置に含まれるコンピュータを、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、として機能させる。
　上記の課題を解決するために、請求項２１に記載の発明は、携帯可能なスマートフォン等の情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置に含まれるコンピュータを、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、として機能させる画像処理用プログラムが前記コンピュータにより読み出し可能に記録されている。
　請求項１又は請求項１９から請求項２１のいずれか一項に記載の発明によれば、携帯された情報処理装置の移動に伴って連続して撮像された複数のフレーム画像同士の位置合わせを当該連続撮像に対応して逐次行うと共に、位置合わせされた各フレーム画像にそれぞれ相当する複数のフレーム画像情報を用いて高画質或いは広範囲の合成画像を合成するので、撮像対象物に対応する高画質或いは広範囲の合成画像を、携帯可能な情報処理装置を用いて合成することができる。
　また、情報処理装置の移動に伴う連続撮像によって得られる複数のフレーム画像情報を用いて位置合わせ処理及び合成処理を行うので、撮像条件が異なる複数のフレーム画像情報を用いることで、より高画質或いは広範囲の合成画像を合成することができる。
　上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記位置合わせ手段は、前記撮像対象物の全体に対応する全体フレーム画像に相当する全体フレーム画像情報と、前記一部にそれぞれ対応する各前記フレーム画像に相当する複数の前記フレーム画像情報と、を用いて、前記位置合わせ処理を前記連続撮像に対応して逐次行うように構成される。
　請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、撮像対象物の一部にそれぞれ対応する複数のフレーム画像情報と、全体フレーム画像情報と、を用いて、位置合わせ処理を連続撮像に対応して逐次行うので、フレーム画像ごとの位置合わせ処理をより正確に行うことができる。
　上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の情報処理装置において、前記位置合わせ手段は、複数の前記フレーム画像情報を用いて、非剛体の前記位置合わせ処理を逐次行うように構成される。
　請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、撮像手段から出力された複数のフレーム画像情報を用いて非剛体の位置合わせ処理を逐次行うので、汎用性が高く且つ高画質或いは広範囲の合成画像を合成することができる。
　上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の情報処理装置において、前記位置合わせ処理後の前記フレーム画像に対応する前記一部が占める前記撮像対象物内の位置又は範囲を示す撮像済位置範囲情報に基づいて、前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を生成するＣＰＵ等の位置範囲情報生成手段と、前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成するＣＰＵ等の案内情報生成手段と、前記生成された案内情報を前記情報処理装置の外部に告知するディスプレイ等の告知手段と、を備える。
　請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、位置範囲情報を撮像済位置範囲情報に基づいて生成し、当該生成された位置範囲情報に基づいて、情報処理装置の移動案内用の案内情報を生成して外部に告知するので、高画質或いは広範囲の合成画像の合成のために必要なフレーム画像を撮像するために必要な位置へ、携帯する情報処理装置を正確且つ迅速に移動させることができる。
　上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項３のいずれか一項に記載の情報処理装置において、前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を、撮像済みの前記フレーム画像に基づいて生成するＣＰＵ等の位置範囲情報生成手段と、前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成するＣＰＵ等の案内情報生成手段と、前記生成された案内情報を前記情報処理装置の外部に告知するディスプレイ等の告知手段と、を備える。
　請求項５に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、位置範囲情報に基づいて、情報処理装置の移動案内用の案内情報を生成して外部に告知するので、高画質或いは広範囲の合成画像の合成のために必要なフレーム画像を撮像するために必要な位置へ、携帯する情報処理装置を正確且つ迅速に移動させることができる。
　上記の課題を解決するために、請求項６に記載の発明は、請求項４又は請求項５に記載の情報処理装置において、前記合成手段は、撮像済みの前記フレーム画像に相当する前記フレーム画像情報に基づいた前記合成処理を前記フレーム画像の連続撮像に対応して逐次行い、前記位置範囲情報生成手段は、前記合成された合成画像に相当する合成画像情報を外部の画質評価手段に出力する通信インターフェース等の外部出力手段と、前記出力された合成画像情報に対する前記画質評価手段による評価結果を示す評価結果情報を取得する通信インターフェース等の取得手段と、を備え、前記取得された評価結果情報を更に用いて前記位置範囲情報を生成するように構成される。
　請求項６に記載の発明によれば、請求項４又は請求項５に記載の発明の作用に加えて、撮像済みのフレーム画像に相当するフレーム画像情報に基づいた合成処理をフレーム画像の連続撮像に対応して逐次行うと共に、外部の画質評価手段による合成画像情報に対する評価結果情報を更に用いて位置範囲情報を生成するので、合成済みの合成画像の画質に基づいて位置範囲情報を生成することで、より高画質或いは広範囲な合成画像をその後に合成することができる。
　上記の課題を解決するために、請求項７に記載の発明は、請求項５に記載の情報処理装置において、前記位置範囲情報生成手段は、前記位置合わせ処理後の前記フレーム画像に基づいて前記位置範囲情報を生成するように構成される。
　請求項７に記載の発明によれば、請求項５に記載の発明の作用に加えて、位置合わせ処理後のフレーム画像に基づいて位置範囲情報を生成するので、情報処理装置内で完結する構成により位置範囲情報を生成して、より高画質或いは広範囲な合成画像をその後に合成することができる。
　上記の課題を解決するために、請求項８に記載の発明は、請求項４又は請求項７に記載の情報処理装置において、前記位置範囲情報生成手段は、少なくとも前記位置合わせ処理に用いられた前記フレーム画像の数を、当該位置合わせ処理後の前記フレーム画像の画素ごとに積算するＣＰＵ等の積算手段を備え、前記位置範囲情報生成手段は、前記積算された数に基づいて前記位置範囲情報を生成するように構成される。
　請求項８に記載の発明によれば、請求項４又は請求項７に記載の発明の作用に加えて、少なくとも位置合わせ処理に用いられたフレーム画像の数を、位置合わせ処理後のフレーム画像の画素ごとに積算し、その積算された数に基づいて位置範囲情報を生成するので、より高画質或いは広範囲な合成画像をその後に合成することが可能な位置範囲情報を生成することができる。なおこの場合のフレーム画像の数として、例えばフレーム画像内の位置に応じて重み付けをした数を用いても良い。
　上記の課題を解決するために、請求項９に記載の発明は、請求項４から請求項８のいずれか一項に記載の情報処理装置において、前記案内情報は前記情報処理装置の携帯者により視認される案内情報であり、前記案内情報を表示するディスプレイ等の表示手段を更に備える。
　請求項９に記載の発明によれば、請求項４から請求項８のいずれか一項に記載の発明の作用に加えて、案内情報が情報処理装置の携帯者により視認される案内情報であり、当該案内情報を表示する表示手段を更に備えるので、高画質或いは広範囲の合成画像を合成するために必要な情報処理装置の移動を、その携帯者が容易に行うことができる。
　上記の課題を解決するために、請求項１０に記載の発明は、請求項９に記載の情報処理装置において、前記案内情報は、前記合成処理後の前記合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であるように構成される。
　請求項１０に記載の発明によれば、請求項９に記載の発明の作用に加えて、案内情報が、合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であるので、高画質或いは広範囲の合成画像を合成するために必要な情報処理装置の移動を、合成画像の画質に応じて容易に行うことができる。
　上記の課題を解決するために、請求項１１に記載の発明は、請求項９又は請求項１０に記載の情報処理装置において、前記案内情報は、前記合成処理後の前記合成画像における画質に対応した色により表示される案内情報であるように構成される。
　請求項１１に記載の発明によれば、請求項９又は請求項１０に記載の発明の作用に加えて、案内情報が合成画像における画質に対応した色により表示される案内情報であるので、高画質或いは広範囲の合成画像を合成するために必要な情報処理装置の移動を、表示される色に応じて容易に行うことができる。
　上記の課題を解決するために、請求項１２に記載の発明は、請求項９から請求項１１のいずれか一項に記載の情報処理装置において、前記表示手段は、前記フレーム画像を表示すると共に、表示されている当該フレーム画像に重ねて前記案内情報を表示するように構成される。
　請求項１２に記載の発明によれば、請求項９から請求項１１のいずれか一項に記載の発明の作用に加えて、フレーム画像に重ねて案内情報を表示するので、フレーム画像内に映っている撮像対象物との関係で、案内情報を、その内容をより理解し易く表示することができる。
　上記の課題を解決するために、請求項１３に記載の発明は、請求項９から請求項１１のいずれか一項に記載の情報処理装置において、前記表示手段は、前記撮像対象物の全体に対応する全体フレーム画像を表示すると共に、当該全体フレーム画像に重ねて前記案内情報を表示するように構成される。
　請求項１３に記載の発明によれば、請求項９から請求項１１のいずれか一項に記載の発明の作用に加えて、全体フレーム画像に重ねて案内情報を表示するので、俯瞰的に全体フレーム画像と重ねて案内情報を表示することで、案内情報を、その内容をより理解し易く表示することができる。
　上記の課題を解決するために、請求項１４に記載の発明は、請求項９から請求項１３のいずれか一項に記載の情報処理装置において、前記案内情報は、携帯されている当該情報処理装置の移動の諸元を示す案内情報であるように構成される。
　請求項１４に記載の発明によれば、請求項９から請求項１３のいずれか一項に記載の発明の作用に加えて、案内情報が、情報処理装置の移動の諸元を示す案内情報であるので、情報処理装置の移動を容易に行うことができる。
　上記の課題を解決するために、請求項１５に記載の発明は、請求項１から請求項１４のいずれか一項に記載の情報処理装置において、前記位置合わせ処理又は前記合成処理の少なくともいずれか一方の終了後に当該情報処理装置における処理を中断させるＣＰＵ等の中断手段と、終了した当該少なくともいずれか一つの処理結果に対応する結果情報を保存させるＣＰＵ等の保存手段と、保存された結果情報を取得するＣＰＵ等の結果情報取得手段と、取得された結果情報を用いて、前記中断された処理を再開するＣＰＵ等の再開手段と、を更に備える。
　請求項１５に記載の発明によれば、請求項１から請求項１４のいずれか一項に記載の発明の作用に加えて、位置合わせ処理又は合成処理の少なくともいずれか一方の終了後に当該情報処理装置における処理を中断させた場合でも、保存されている結果情報を用いて当該処理を再開することができるので、位置合わせ処理及び合成処理の実行の自由度を向上させることができる。
　上記の課題を解決するために、請求項１６に記載の発明は、請求項１５に記載の情報処理装置において、前記結果情報には、中断までの前記少なくともいずれか一方の結果に対応するフレーム画像情報が含まれており、前記保存手段は、当該結果情報を外部の画像認識手段に出力する通信インターフェース等の外部出力手段を備え、前記結果情報取得手段は、前記画像認識手段により認識されたフレーム画像に相当するフレーム画像情報を含む前記結果情報を取得するように構成される。
　請求項１６に記載の発明によれば、請求項１５に記載の発明の作用に加えて、中断までの結果情報を外部の画像認識手段により認識させ、その認識結果を取得して処理を再開するので、情報処理装置としての合成画像をより高画質或いは広範囲に合成することができる。
　上記の課題を解決するために、請求項１７に記載の発明は、請求項１から請求項１６のいずれか一項に記載の情報処理装置において、前記撮像手段による撮像時において前記撮像対象物の一部又は全部を照らすライト等の照明手段と、少なくとも前記位置合わせ処理の結果に基づいて、前記照明手段を制御するＣＰＵ等の照明制御手段と、を備える。
　請求項１７に記載の発明によれば、請求項１から請求項１６のいずれか一項に記載の発明の作用に加えて、少なくとも位置合わせ処理の結果を用いて撮像対象物の一部又は全部を照らすので、より高画質或いは広範囲の合成画像を合成することができる。
　上記の課題を解決するために、請求項１８に記載の発明は、請求項１から請求項１７のいずれか一項に記載の情報処理装置において、前記位置合わせ手段は、前記撮像対象物との間の相対的な位置が異なる複数の前記撮像手段からそれぞれ出力された前記フレーム画像情報を用いて前記位置合わせ処理を行うように構成される。
　請求項１８に記載の発明によれば、請求項１から請求項１７のいずれか一項に記載の発明の作用に加えて、撮像対象物との間の相対的な位置が異なる複数の撮像手段からそれぞれ出力されたフレーム画像情報を用いて位置合わせ処理を行うので、複数の撮像手段を用いてより高画質或いは広範囲の合成画像を合成することができる。
　以上説明したように、本発明によれば、撮像対象物に対応する高画質或いは広範囲の合成画像を、携帯可能な情報処理装置を用いて合成することができる。また、撮像条件が異なる複数のフレーム画像情報を用いることで、より高画質或いは広範囲の合成画像を合成することができる。
　従って、高画質或いは広範囲、高解像度で、更に簡易に撮像対象物を画像化することが可能となる。
第１実施形態に係るスマートフォンの概要構成を示すブロック図である。 第１実施形態に係る画像処理を示すフローチャートである。 第１実施形態に係る画像処理において表示される画面例等を示す図であり、（ａ）は撮像対象物としての書面を例示する図であり、（ｂ）は位置合わせ処理時の表示例を示す図である。 第１実施形態に係る位置合わせ処理を例示する図（ｉ）であり、（ａ）は位置合わせ前の状態を例示する図であり、（ｂ）は位置合わせ処理中を例示する図（ｉ）であり、（ｃ）は位置合わせ処理中を例示する図（ii）である。 第１実施形態に係る位置合わせ処理を例示する図（ii）であり、（ａ）は位置合わせ処理中を例示する図（iii）であり、（ｂ）は位置合わせ処理中を例示する図（iv）であり、（ｃ）は位置合わせ処理中を例示する図（ｖ）であり、（ｄ）は位置合わせ処理中を例示する図（vi）である。 第１実施形態に係る位置合わせ処理を例示する図（iii）であり、（ａ）は位置合わせ処理の他の例を示す図（i）であり、（ｂ）は位置合わせ処理の他の例を示す図（ii）であり、（ｃ）は位置合わせ処理の他の例を示す図（iii）であり、（ｄ）は位置合わせ処理の他の例を示す図（iv）である。 第２実施形態に係る画像処理を示すフローチャートである。
　次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する各実施形態は、連写及び動画の撮像が可能なデジタルカメラ（以下、単にカメラと称する）を備える携帯可能なスマートフォンに対して本発明を適用した場合の実施の形態である。なお当該スマートフォンに備えられているデジタルカメラではなく、装置として独立したデジタルカメラに対して本発明を適用しても良い。また、本発明に係るスマートフォンの携帯者を、以下、単に「携帯者」と称する。
（Ｉ）第１実施形態
　初めに、本発明に係る第１実施形態について、図１乃至図６を用いて説明する。なお、図１は第１実施形態に係るスマートフォンの概要構成を示すブロック図であり、図２は第１実施形態に係る画像処理を示すフローチャートである。また、図３は第１実施形態に係る画像処理において表示される画面例を示す図であり、図４乃至図６は第１実施形態に係る位置合わせ処理をそれぞれ例示する図である。
　第１実施形態に係るスマートフォンは、撮像対象物の一例としての例えば書面又は立体物上に文字、記号又は図形等を用いて記載されている情報を、上記カメラを用いて連写又は動画撮像する。その後当該スマートフォンは、第１実施形態に係る後述の画像処理により、当該撮像により得られた画像データを複数フレーム分用いて、当該画像データ相互の位置合わせ処理及び当該位置合わせ処理後の各画像データを合成する合成処理を実行する。これにより当該スマートフォンは、撮像対象物上の情報を高画質或いは広範囲にデジタル化する。
　即ち図１に示すように、第１実施形態に係る「情報処理装置」の一例としてのスマートフォンＳは、ＣＰＵ１と、ＲＯＭ（Read Only Memory）２と、ＲＡＭ（Random Access Memory）３と、操作ボタン及びタッチパネル等からなる操作部４と、当該タッチパネルがその表面に配置されている液晶ディスプレイ等からなるディスプレイ５と、スピーカ７及びマイク８が接続されている通話制御部６と、「撮像手段」の一例としての上記カメラ９と、図１において図示しない外部のネットワーク（無線ＬＡＮ（Local Area Network）、専用回線、インターネット又はいわゆる３Ｇ回線等のネットワーク）に接続するためのアンテナＡＮＴを備える通信インターフェース１０と、により構成されている。またＲＡＭ３内には、ＣＰＵ１を中心とした第１実施形態に係る画像処理を実行するために必要な各種バッファとして、位置合わせデータバッファ３０と、データ量バッファ３１と、合成画像バッファ３２と、広域画像バッファ３３と、カレント画像バッファ３４と、位置合わせ済みカレント画像バッファ３５と、が、揮発性の記憶領域として形成されている。
　上記の構成のうちＣＰＵ１が、第１実施形態に係る「位置合わせ手段」の一例、「合成手段」の一例、「位置範囲情報生成手段」の一例、「案内情報生成手段」の一例、「積算手段」の一例、「中断手段」の一例、「保存手段」の一例、「結果情報取得手段」の一例、「再開手段」の一例及び「照明制御手段」の一例に、それぞれ相当する。またディスプレイ５が、「告知手段」の一例及び「表示手段」の一例に、それぞれ相当する。更に通信インターフェース１０が、「外部出力手段」の一例及び「取得手段」の一例に、それぞれ相当する。
　この構成において通信インターフェース１０は、ＣＰＵ１の制御の下、アンテナＡＮＴを介した上記ネットワークとのデータの授受を制御する。この時通信インターフェース１０は、アンテナＡＮＴを介した無線によるデータの授受だけでなく、例えば有線ＬＡＮやいわゆるＵＳＢ（Universal Serial Bus）等を介した有線によるデータの授受を制御するように構成することもできる。
　また通話制御部６は、ＣＰＵ１の制御の下、マイク８及びスピーカ７を用いたスマートフォンＳとしての音声通話を制御する。更に操作部４は、スマートフォンＳの使用者による操作に基づいて、当該操作に対応する操作信号を生成してＣＰＵ１に出力する。これによりＣＰＵ１は、当該操作信号に基づいてスマートフォンＳ全体を制御する。
　一方ＲＯＭ２には、後述する第１実施形態に係る画像処理を初めとするスマートフォンＳとしての処理のためのプログラム等が予め不揮発性に記録されている。そしてＣＰＵ１は、当該プログラム等をＲＯＭ２から読み出して実行することにより、上記スマートフォンＳとしての処理を制御する。この他ＲＯＭ２は、例えば電話番号データやアドレスデータ等、スマートフォンＳとしての処理に必要なデータも不揮発性に記憶する。またＲＡＭ３は、上記各バッファとして必要なデータを一時的に記憶し、更に上記スマートフォンＳとしての処理に必要な他のデータを一時的に記憶する。更にディスプレイ５は、ＣＰＵ１の制御の下、第１実施形態に係る画像処理のために必要な情報に加えて、スマートフォンＳとしての処理に必要な情報を、その携帯者に対して表示する。
　他方、カメラ９は、ＣＰＵ１の制御の下、上記書面等上の情報を連写又は動画撮像し、当該撮像した画像に対応する画像データ（デジタル化された画像データ）を、当該連写の都度又は動画撮像の場合にあっては連続して、ＣＰＵ１に出力する。これによりＣＰＵ１は、ＲＡＭ３内の各バッファにそれぞれ記憶されているデータを用いて、第１実施形態に係る画像処理を実行する。
　次に、当該ＲＡＭ３内の各バッファについて、具体的に説明する。
　先ず、ＲＡＭ３内の位置合わせデータバッファ３０は、後述する位置合わせ処理の結果としての変形状態を示す座標データを記憶する。次にＲＡＭ３内のデータ量バッファ３１は、カメラ９により撮像された画像における各画素のそれぞれについて、第１実施形態に係る画像処理のうちの位置合わせ処理及び合成処理の対象となった画像（後述するカレント画像）の数（無名数）を、合成画像における各画素ごとに記憶する。ここで、データ量バッファ３１に記憶されている値が大きいほど、その画素については第１実施形態に係る位置合わせ処理及び合成処理による高画質化が進んでいることを意味する。なお、例えば画像内の位置に応じて重み付けをした値を、画素ごとにデータ量バッファ３１に記憶させるように構成することもできる。
　一方、ＲＡＭ３内の合成画像バッファ３２は、第１実施形態に係る画像処理のうちの合成処理により高画質／広範囲化して形成された合成画像に相当する画像データを、当該合成処理の進捗に合わせて逐次記憶する。これに対してＲＡＭ３内の広域画像バッファ３３は、後述する位置合わせ処理に用いるべく、第１実施形態に係る画像処理において撮像された書面等の全体画像に相当する一フレーム分の画像データ（フレーム画像データ）を記憶する。ここで、この場合の「全体画像」とは、例えば書面一枚に記載されている情報をデジタル化する場合は、その書面の全体を撮像した一つの画像を言う。
　またＲＡＭ３内のカレント画像バッファ３４は、その時点で第１実施形態に係る画像処理のうちの位置合わせ処理の対象となっている一フレーム分の画像データを記憶する。この場合の一フレーム分の画像データ（フレーム画像データ）に相当する画像を、「カレント画像」と称する。最後にＲＡＭ３内の位置合わせ済みカレント画像バッファ３５は、第１実施形態に係る画像処理のうちの位置合わせ処理後で、且つこれから合成処理の対象となる一フレーム分の画像データを記憶する。
　次に、第１実施形態に係る画像処理について、具体的に図２乃至図６を用いて説明する。
　第１実施形態に係る画像処理は、例えば、携帯者による所定の操作が操作部４において実行されたときに開始される。
　そして当該画像処理が開始されると、図２に示すようにＣＰＵ１は先ず、上記位置合わせデータバッファ３０を、「変形なし」を意味する内容のデータを用いて初期化する（ステップＳ１）。これにより、第１実施形態に係る位置合わせ処理が開始される。次にＣＰＵ１は、上記データ量バッファ３１及び合成画像バッファ３２を、それぞれ「ゼロ」に初期化する（ステップＳ２）。
　次にＣＰＵ１は、上記全体画像を撮像する旨の表示をディスプレイ５において実行する等の処理により、携帯者に対して当該全体画像の撮像を告知する。これにより当該全体画像が携帯者の操作により撮像されると、ＣＰＵ１は、当該全体画像に相当する一フレーム分の画像データを広域画像バッファ３３に入力する（ステップＳ３）。
　次にＣＰＵ１は、撮像対象物の任意の位置から連写又は動画撮像を開始する旨の表示をディスプレイ５において実行する等の処理により、携帯者に対して連写又は動画撮像を告知する。これにより当該連写又は動画撮像が携帯者の操作により実行されると、ＣＰＵ１は、当該撮像に伴って入力されてくるカレント画像に相当する一フレーム分の画像データをカレント画像バッファ３４に入力する（ステップＳ４）。これによりＣＰＵ１は、第１実施形態に係る非剛体の位置合わせ処理を、広域画像バッファ３３に記憶されている画像データ（即ち全体画像に相当する画像データ）と、そのタイミングにおいてカレント画像バッファ３４に記憶されている画像データと、を用いて行う（ステップＳ５）。このときの非剛体の位置合わせ処理は、カレント画像として撮像された撮像対象物の部分と、全体画像における当該部分と、を比較し、両者が画像として一致するようにカレント画像の位置合わせを行う処理である。この位置合わせ処理は、位置合わせデータバッファ３０に記憶されている座標データを用いて行われる。当該位置合わせ処理には、例えば上記非特許文献１に記載されているものがあるが、より具体的には図４乃至図６を用いて後ほど詳説する。
　カレント画像に相当する一フレーム分の画像データに対する非剛体の位置合わせ処理が完了すると（ステップＳ５）、ＣＰＵ１は、当該位置合わせ処理後のカレント画像の画像データを位置合わせ済みカレント画像バッファ３５に記憶させる（ステップＳ６）。更にＣＰＵ１は、ステップＳ５の位置合わせ処理の結果としての変形状態を示す座標データを、位置合わせデータバッファ３０に新たに記憶させる（ステップＳ７）。
　次にＣＰＵ１は、位置合わせ処理後のカレント画像の画質が、第１実施形態の画像処理として所望される高画質として十分な解像度を有しているか否かを判定する（ステップＳ８）。このステップＳ８の処理においてＣＰＵ１は、例えば、当該高画質に相当する予め設定された目標解像度を示すデータと、撮像対象物全体の大きさを示す予め入力されたサイズデータと、を用いて当該カレント画像の解像度を判定する。この場合、撮像対象物全体を高画質或いは広範囲にデジタル化するためには、目標解像度或いはサイズデータが大きいほど多くのカレント画像を撮像する必要があり、また目標解像度が高いほど各カレント画像に要求される解像度が高いことになる。ここで「カレント画像の解像度が高い」とは、通常は撮像対象物により近くなっていることを意味しており、解像度が高い反面、撮像範囲としては狭くなっている状況である。ステップＳ８の判定において、位置合わせ処理後のカレント画像の画質が十分な解像度を有していない場合（ステップＳ８；ＮＯ）、ＣＰＵ１は後述するステップＳ１２の処理に移行する。一方ステップＳ８の判定において、位置合わせ処理後のカレント画像の画質が十分な解像度を有している場合（ステップＳ８；ＹＥＳ）、ＣＰＵ１は次に、位置合わせ済みカレント画像バッファ３５内の画像データを合成画像バッファ３２内の画像データに加算する（ステップＳ９）。このステップＳ９の処理により、高画質のカレント画像が、それまでに合成されていた合成画像に追加される。これにより、撮像対象物全体に占める合成画像の領域的な割合が拡大されることになる。
　次にＣＰＵ１は、ステップＳ５の位置合わせ処理及びステップＳ９の合成処理に伴い、当該カレント画像に含まれているいずれかの画素に対応する合成画像の各画素に対応するデータ量バッファ３１の値（位置合わせ処理及び合成処理の対象となったカレント画像の数の値）を、当該位置合わせ処理及び合成処理に対応して「１」だけインクリメントする（ステップＳ１０）。
　次にＣＰＵ１は、ステップＳ９の処理後の合成画像において、各画素に対応するデータ量バッファ３１の値が撮像対象物の全ての領域について十分な値であるか否かを判定する（ステップＳ１１）。このステップＳ１１の処理においてＣＰＵ１は、例えば、第１実施形態に係る画像処理の結果としての合成画像において、当該画像処理として所望される高画質として十分な数のカレント画像が、撮像対象物の全領域に渡って第１実施形態に係る位置合わせ処理及び合成処理の対象となったか否かを、データ量バッファ３１に記憶されている各画素ごとの値に基づいて判定する。ステップＳ１１の判定において十分な値（カレント画像の数）を有している場合（ステップＳ１１；ＹＥＳ）、撮像対象物を高画質にデジタル化できたことになる。そこでＣＰＵ１は、合成画像バッファ３２に記憶されている合成画像の各画素の画素値を、その時のデータ量バッファ３１に記憶されているその画素に対応する値で除算し（ステップＳ１４）、その結果を図示しないメモリ等に記憶して、第１実施形態に係る画像処理を終了する。このステップＳ１４の処理は、第１実施形態に係る画像処理として最終的に合成された高画質の合成画像における各画素の画素値を、その画像処理に必要となったカレント画像の数で除する処理であり、例えば爾後に撮像されるカレント画像との一貫性を担保するための処理である。
　一方、ステップＳ１１の判定において、ステップＳ９の処理後の合成画像において十分な数のカレント画像が撮像対象物の全領域に渡って第１実施形態に係る位置合わせ処理及び合成処理の対象となっていない場合（ステップＳ１１；ＮＯ）、ＣＰＵ１は、追加のカレント画像を撮像すべく、現在のカレント画像を構成する各画素に対応する値をデータ量バッファ３１から取得する（ステップＳ１２）。この場合にＣＰＵ１は、既に第１実施形態に係る位置合わせ処理及び合成処理の対象となった画素をカレント画像内で特定すべく、位置合わせデータバッファ３０に記憶されている座標データを取得し、これを用いて上記ステップＳ５に係る非剛体の位置合わせ処理とは逆の処理（逆変換処理）を行う。その後ＣＰＵ１は、ステップＳ１２の処理により取得した各画素に対応する値に対応する色を、第１実施形態に係る案内情報として、カレント画像に重畳してディスプレイ５上に表示させる（ステップＳ１３）。これによりＣＰＵ１は、更なるカレント画像の撮像が必要な撮像対象物内の領域を、携帯者に告知する。その後ＣＰＵ１は、上記ステップＳ４に戻り、新たに撮像されるカレント画像について上記ステップＳ４乃至Ｓ１３の処理を繰り返す。これによりＣＰＵ１は、上記ステップＳ１１の判定結果が「ＹＥＳ」となるまで、新たなカレント画像の撮像と、撮像されたカレント画像に相当する画像データを用いた位置合わせ処理（上記ステップＳ５参照）及びその後の合成処理（上記ステップＳ８乃至Ｓ１１参照）を実行することを繰り返す。
　次に、上述した繰り返し処理の過程において、ステップＳ１３の処理としてディスプレイ５上に表示される画像例を、図３を用いて説明する。
　図３において、撮像対象物は、例えば図３（ａ）に例示されるような文字が記載された書面Ｐであるとする。また図３（ｂ）は、ディスプレイ５と、操作部４に属する操作ボタン４Ａ乃至４Ｃと、を備えたスマートフォンＳの正面図である。この書面Ｐを撮像対象物として第１実施形態に係る画像処理が実行される過程では、例えば図３（ｂ）に例示するように、第１実施形態の画像処理として所望される高画質（解像度）の合成画像が合成できている領域（図２ステップＳ８；ＹＥＳ参照）については、例えば両方向ハッチングが掛かるように表示される（図２ステップＳ１３参照）。一方、所望される高画質に到達していない領域（図２ステップＳ８；ＮＯ参照）については、それまでの画像処理にて到達している画質（解像度。換言すればデータ量バッファ３１に記憶されている値）に応じて、段階的に異なる状態で表示される（図２ステップＳ１３参照）。例えば図３（ｂ）に例示する場合では、未だカレント画像が撮像されていない領域については元の書面Ｐの当該領域がそのまま表示される。これに対し、高画質に相当する解像度にまで到達していない第１の領域については、例えば右下方向ハッチングが掛かるように表示される。更に、第１の領域よりも更に解像度は低いが、カレント画像が一つ以上撮像されて第１実施形態に係る位置合わせ処理及び合成処理の対象とされている領域（第１実施形態に係る画像処理が開始済みの領域）については、例えば左下方向ハッチングが掛かるように表示される。なお図３（ｂ）において、両方向ハッチングが掛けられている領域を例えば赤色に、右下方向ハッチングが掛けられている領域をオレンジ色に、左下方向ハッチングが掛けられている領域を黄色に、それぞれ色により到達している解像度を区別して表示するように構成してもよい。そして図３（ｂ）に例示されるような表示を見た携帯者は、右下方向ハッチングが掛けられている領域又は左下方向ハッチングが掛けられている領域についてのカレント画像を追加して撮像すべく、スマートフォンＳを移動させて必要なカレント画像を撮像する（二巡目以降の図２ステップＳ４参照）。
　次に、上記ステップＳ５に係る非剛体の位置合わせ処理について、具体的に図４乃至図６を用いて説明する。
　上記ステップ５に係る位置合わせ処理は、上述したように、カレント画像として撮像された撮像対象物の部分と、全体画像における当該部分と、を比較し、両者が画像として一致するようにカレント画像の位置合わせ（変形）を行う処理である。ここで、図４乃至図６に示す例では、図４（ａ）左に示す全体画像ＧＡを基準画像とし、図４（ａ）右に示すカレント画像ＧＴについて非剛体の位置合わせ処理を行うものとする。なお図４乃至図６に示す例では、カレント画像ＧＴと全体画像ＧＡとの撮像領域は一致している。
　ステップＳ５に係る位置合わせ処理として先ずＣＰＵ１は、図４（ｂ）に例示するように、カレント画像ＧＴを所定数に分割する。図４（ｂ）右に例示する場合では、カレント画像ＧＴを四つの分割画像ＧＴａ乃至ＧＴｄに分割しているが、より高画質を得るためには分割数は多いほどよい。次にＣＰＵ１は、図４（ｃ）に例示するように一つの分割画像に着目する。図４（ｃ）に例示する場合、ＣＰＵ１は分割画像ＧＴａに着目している。
　次にＣＰＵ１は、図５（ａ）に例示するように、着目している分割画像ＧＴａを全体画像ＧＡに重ねる。なお図５における座標軸は、全体画像ＧＡにおける各分割画像に対応する領域の左上隅と、各分割画像の左上隅と、を原点（０，０）とし、図５において右方向がｘ座標軸の正方向、図５において下方向がｙ座標軸の正方向である。図５（ａ）において分割画像ＧＴａを全体画像ＧＡに最初に重ねる場合、そのオフセットは（０，０）とされる。
　その後ＣＰＵ１は、図５（ｂ）に例示するように、全体画像ＧＡ内において、分割画像ＧＴａとその内容が最もよく一致する位置（オフセット）を探索する。なお、画像同士の内容の一致を定量化するためには、例えば相互情報量（Mutual Information）を用いる手法や、対象となる領域（図５（ｂ）に例示する場合は、分割画像ＧＴａの領域）に対する輝度差の総和（ＳＡＤ（Sum of Absolute Difference））を用いる手法などが好適である。図５（ｂ）の例でＣＰＵ１は、当該オフセットとして座標データ（－２，＋３）が得られている。
　その後ＣＰＵ１は、図５に例示する分割画像ＧＴａ以外の他の分割画像ＧＴｂ乃至分割画像ＧＴｄについても、同様にその内容が最もよく一致する位置（オフセット）を全体画像ＧＡ内において探索する。図５（ｃ）に例示する場合、分割画像ＧＴａの場合は当該オフセットとして座標データ（－２，＋３）が、分割画像ＧＴｂの場合は当該オフセットとして座標データ（＋２，＋３）が、分割画像ＧＴｃの場合は当該オフセットとして座標データ（＋４，－１）が、分割画像ＧＴｄの場合は当該オフセットとして座標データ（－３，－１）が、それぞれＣＰＵ１により得られている。
　以上の一連の処理により、ステップＳ５に係る位置合わせ処理として各分割画像ＧＴａ乃至分割画像ＧＴｄそれぞれの中心点が移動されるべき量が、上記オフセットとして、例えば図５（ｄ）右に例示するようにそれぞれ得られる。なおこの中心点は、一般に「アンカー」と称されることもある。そして、一つのカレント画像ＧＴについて、全てのアンカーが移動されるべき量を加算して集めた座標データが、上記位置合わせデータバッファ３０に逐次記憶される座標データである。
　この他、各分割画像ＧＴａ乃至分割画像ＧＴｄそれぞれのアンカーの移動量に基づいたいわゆる内挿法又は外挿法により、図６（ａ）に例示するようにカレント画像ＧＴ全体を変形させるように位置合わせ処理を行うことも可能である。この場合には、カレント画像ＧＴの内容と全体画像ＧＡの内容とを、より一致させることができる。更には、カレント画像ＧＴ全体、或いは分割画像ＧＴａ乃至分割画像ＧＴｄ全体の移動や変形（それらの回転、拡大／縮小又は台形変形等を含む）を用いることもできる。
　また、変形後のカレント画像ＧＴ全体の形状又は位置と、元の全体画像ＧＡ全体の形状又は位置と、を比較することにより、図６（ｂ）乃至図６（ｄ）に例示するようにスマートフォンＳ全体の動きを推測して次のカレント画像ＧＴの撮像範囲を携帯者に告知することもできる。例えば図６（ｂ）に例示する場合はスマートフォンＳ全体が左下方向へ移動したことが推測され、また図６（ｃ）に例示する場合はスマートフォンＳ全体が上向きに回転した（首を上に振った）ことが推測される。また図６（ｄ）に例示する場合はスマートフォンＳ全体が後方に移動した（撮像対象物から離れた）ことが推測される。
　以上説明したように、第１実施形態に係る画像処理によれば、携帯されたスマートフォンＳの移動に伴って連続して撮像された複数の画像同士の位置合わせを当該連続撮像に対応して逐次行うと共に、位置合わせされた各画像にそれぞれ相当する複数の画像データを用いて高画質或いは広範囲の合成画像を合成するので（図２参照）、撮像対象物に対応する高画質或いは広範囲の合成画像を、携帯可能なスマートフォンＳを用いて合成することができる。また、スマートフォンＳの移動に伴う連続撮像によって得られる複数の画像データを用いて位置合わせ処理及び合成処理を行うので、撮像条件が異なる複数の画像データを用いることで、より高画質或いは広範囲の合成画像を合成することができる（図２参照）。なおこの作用効果を得るためには、図２ステップＳ１１乃至Ｓ１４の処理が実行されることは、必ずしも必要ではない。
　またこの顕著な作用効果は、換言すれば、携帯者が携行するスマートフォンＳ以外の装置を別途用いることなく、高画質或いは広範囲の画像合成を行うことができることになる。即ち、スマートフォンＳ以外に画像等のデータが記録されることがないので、いつでも誰でもどこででも、個人ならそのプライバシーを、仕事なら関連する情報のセキュリティを、それぞれ最高レベルで確保しながら、手間を取らずに簡単に高画質或いは広範囲の画像合成を行うことができる。これは、今までの装置等にはなかった、画期的な価値である。
　更に、撮像対象物の一部にそれぞれ対応する複数のカレント画像と、全体画像と、を用いて、位置合わせ処理を連続撮像に対応して逐次行うので（図２参照）、画像ごとの位置合わせ処理をより正確に行うことができる。
　更にまた、カメラ９から出力された複数の画像データを用いて非剛体の位置合わせ処理を逐次行うので（図２ステップＳ５参照）、汎用性が高く且つ高画質或いは広範囲の合成画像を合成することができる。
　また、カレント画像を構成する各画素に対応するデータ量バッファ３１の値に基づいて、スマートフォンＳの移動案内用の案内情報を生成して外部に告知するので（図２ステップＳ１２及びステップＳ１３参照）、高画質或いは広範囲の合成画像の合成のために必要な位置へ、スマートフォンＳを正確且つ迅速に移動させることができる。
　更に、合成画像を合成するために用いられた各画像の数を合成画像の画素ごとにデータ量バッファ３１を用いて積算し、その積算された数に基づいて、各画素に対応する案内情報を生成するので（図２ステップＳ１２参照）、より高画質或いは広範囲な合成画像をその後に合成することが可能となる。
　更にまた、図２ステップＳ１３の処理により告知される案内情報がスマートフォンＳの携帯者により視認される案内情報であるので、高画質或いは広範囲の合成画像を合成するために必要なスマートフォンＳの移動を、その携帯者が容易に行うことができる。
　また、図２ステップＳ１３の処理により告知される案内情報を、解像度に応じた色別に表示する場合は（図３（ｂ）参照）、高画質或いは広範囲の合成画像を合成するために必要なスマートフォンＳの移動を、表示される色に応じて容易に行うことができる。
　更に、図３（ｂ）に例示するように元の全体画像ＧＡに重ねて案内情報を表示する場合には、映っている撮像対象物との関係で、案内情報を、その内容をより理解し易く表示することができる。この場合、スマートフォンＳ（カメラ９）を移動させると、ディスプレイ５に表示されている撮像対象物の部分がリアルタイムに変更されていくこととなる。これにより、案内情報の内容をより理解し易く表示することができる。
　更にまた、全体画像ＧＡに俯瞰的に重ねて案内情報を表示する場合には、俯瞰的に全体画像ＧＡと重ねて案内情報を表示することで、案内情報を、その内容をより理解し易く表示することができる。この場合、スマートフォンＳ（カメラ９）を移動させても撮像対象物全体は常にディスプレイ５に表示されている（撮像対象物全体として表示範囲に変更はない）。そして、スマートフォンＳ（カメラ９）を動かして画像を取得していくに従って、ディスプレイ５において画質を示すために撮像対象物に重ねて表示されている（例えば）着色部分（の模様）がリアルタイムに変わっていくこととなる。この場合でも、案内情報の内容をより理解し易く表示することができる。
（II）第２実施形態
　次に、本発明に係る他の実施形態である第２実施形態について、図７を用いて説明する。なお図７は、第２実施形態に係る画像処理を示すフローチャートであり、図２に示す第１実施形態に係る画像処理と同一の処理については同一のステップ番号を付して、細部の説明は省略する。また第２実施形態に係るスマートフォンのハードウエア的な構成は、基本的には第１実施形態に係るスマートフォンＳと同一である。よって以下の説明では、第１実施形態に係るスマートフォンＳと同一の部材番号を用いて第２実施形態に係るスマートフォンを説明する。
　上述した第１実施形態に係る画像処理においては、カレント画像ＧＴに対する位置合わせ処理及び合成処理と、携帯者に告知する案内情報の生成処理と、を一連の流れとして実行していた。これに対して以下に説明する第２実施形態に係る画像処理では、当該位置合わせ処理を行った後、合成処理を行う前に携帯者に告知する案内情報の生成処理を行う。
　即ち図７（ａ）に示すように、第２実施形態に係る画像処理においてＣＰＵ１は、当該画像処理に係る上記位置合わせ処理及び合成処理として、第１実施形態に係る画像処理と同様のステップＳ１乃至ステップＳ８を実行した後、第１実施形態に係る画像処理と同様のステップＳ９を行わずに、第１実施形態に係る画像処理と同様のステップＳ１０乃至ステップＳ１３の動作を実行する。そして、当該ステップＳ１１の判定において十分な値（カレント画像の数）を有している場合に（ステップＳ１１；ＹＥＳ）、第１実施形態に係る画像処理と同様のステップＳ９の動作を行い、その後第１実施形態に係る画像処理と同様のステップＳ１４の動作を実行する。
　以上説明した第２実施形態に係る画像処理によっても、上述した第１実施形態に係る画像処理と同様の作用効果を奏することができる。
　なお、第１実施形態に係る画像処理又は第２実施形態に係る画像処理において案内情報の生成処理を行う場合、その基礎となるデータとしては、上記解像度以外に、例えば以下のデータが挙げられる。
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理の精度を示すデータ（ＣＰＵ１は、当該精度がより低い領域をより慎重に撮像するように案内情報を生成することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理の結果に係るずれ量を示すデータ、又はそのずれが生じた原因を示すデータ（ＣＰＵ１は、当該ずれ量が少なくなるように、当該原因を考慮して案内情報を生成することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理において移動されたスマートフォンＳの移動経路又は移動速度を示すデータ（ＣＰＵ１は、移動経路が不規則すぎたり移動速度が速すぎたりした場合、より規則的な経路やより遅い動きを案内することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理において直前までに撮像されたカレント画像ＧＴの数及び当該数のカレント画像ＧＴの撮像に要した時間（ＣＰＵ１は、当該精度がより低い領域を、より長い時間をかけて撮像するように案内情報を生成することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理において直前までに撮像されたカレント画像ＧＴのうち、位置合わせ結果が良好であったカレント画像ＧＴの撮像済み全カレント画像ＧＴに対する比率（ＣＰＵ１は、当該比率が高くなるように案内情報を生成することができる。）
（III）変形形態
　なお、本発明は、上述してきた各実施形態以外にも様々な応用が可能である。
　先ず第一の変形形態として、ディスプレイ５に表示させる案内情報（図２又は図７ステップＳ１３参照）につき、領域ごとの解像度の違いを色別に表示するのではなく、爾後スマートフォンＳに所望される動き方を、例えば「上へ」、「もっとゆっくり」、「静止する」といったようにディスプレイ５上に表示させるように構成してもよい。またこれらの案内を音声によりスピーカ７を介して放音するように構成してもよい。これらの場合にＣＰＵ１は、上記ステップＳ１２の処理において取得したデータ量に基づき、より少ないデータ量の領域を撮像させるべく、スマートフォンＳを移動させる内容の案内情報をディスプレイ５上に表示する。この第一の変形形態によれば、案内情報がスマートフォンＳの移動の諸元（動かし方）を示す案内情報であるので、スマートフォンＳの移動を容易に行うことができる。また案内情報の更なる変形として、領域ごとの解像度の違いを、例えば、視覚上のハッチングパターンの違い、（背景が存在していることを前提とした）透明度の違い、当該解像度の違いに対応した時間間隔の明滅（点滅）など、即ち、領域ごとの解像度の違いに異なる表示態様を対応付ける可視化の手法を用いて表示するように構成することもできる。
　次に第二の変形形態として、各実施形態に係る位置合わせ処理又は合成処理の少なくともいずれか一方が終了した後にスマートフォンＳにおける画像処理を中断させ、終了した位置合わせ処理又は合成処理の結果に対応する結果データを例えばＲＡＭ３や図示しないハードディスクに保存させるように構成することもできる。この場合にＣＰＵ１は、保存してある結果データを再度取得し、その結果データを用いて、中断された処理を再開するように構成するのが好適である。この第二の変形形態の場合、位置合わせ処理又は合成処理の少なくともいずれか一方が終了した後にスマートフォンＳにおける画像処理を中断させる必要がある場合でも、保存されている結果データを用いて中断した画像処理を再開することができ、位置合わせ処理及び合成処理の実行の自由度を向上させることができる。更にこの第二の変形形態においてＣＰＵ１は、中断までの位置合わせ処理又は合成処理の結果に対応する画像データを上記結果データに含ませておき、その結果データを、スマートフォンＳの外部の画像認識装置に出力するように構成することもできる。この場合、当該画像認識装置が例えばＣＰＵ１よりも高度な画像認識能力を備えるものであれば、その認識結果を再開時に用いる結果データとして取得することで、スマートフォンＳとしての合成画像をより高画質或いは広範囲に合成することができる。即ち、例えば携帯者が画像処理をその意思で一旦中断する場合（例えば、携帯者が３分位スマートフォンＳを移動させて画像処理を行い、その後一旦中断する場合）、上記外部の画像認識装置において中断までの画像処理結果を解析し、その解析結果を取得して更に細かい撮像が必要な部分を識別するような案内情報を生成する。そしてその案内情報により識別された部分についての撮像を携帯者が更に継続することにより、より高画質或いは広範囲な合成画像を合成することができる。
　また第三の変形形態として、第１実施形態又は第２実施形態に係るスマートフォンＳにおいて、カメラ９による撮像時において撮像対象物の一部又は全部を照らす「照明手段」の一例としてのライトを設け、このライトの照度を少なくとも上記位置合わせ処理の結果に基づいてＣＰＵ１が制御するように構成することもできる。この第三の変形形態の場合には、少なくとも上記位置合わせ処理の結果を用いて撮像対象物の一部又は全部を照らすので、より高画質の合成画像を合成することができる。
　更に第四の変形形態として、カメラ９以外の、撮像対象物との間の相対的な位置が異なる他の複数のカメラからそれぞれ出力された画像データを用いてＣＰＵ１が位置合わせ処理を行うように構成してもよい。この第四の変形形態の場合には、撮像対象物との間の相対的な位置が異なる他の複数のカメラからそれぞれ出力された画像データを用いて位置合わせ処理を行うので、複数のカメラを用いてより高画質或いは広範囲の合成画像を合成することができる。なおこの場合の他のカメラは、カメラ９以外にスマートフォンＳに備えられた他のカメラであってもよいし、他の携帯型情報端末等に搭載されているカメラであってもよい。更には、三次元の物体に対しては、スマートフォンＳに備えられた位置センサとＲＡＭ３内の複数のバッファを用いて、複数の視点に対応するカレント画像ＧＴを撮像することにより、当該物体を高画質或いは広範囲でデジタル化できる。
　更にまた、第五の変形形態として、上記位置合わせ処理後の画像に含まれている撮像対象物の一部が占める撮像対象物内の位置又は範囲を示すデータ（即ち、撮像対象物全体の中のいずれの部分が撮像されたカレント画像ＧＴなのか、を示すデータ）に基づき、ＣＰＵ１が、上記画素値等を用いずに、案内情報を生成するように構成することもできる。この第五の変形形態の場合にも、高画質或いは広範囲の合成画像の合成のために必要な画像を撮像するために必要な位置へ、携帯するスマートフォンＳを正確且つ迅速に移動させることができる。
　また、第六の変形形態として、ＣＰＵ１が、合成された合成画像に相当する合成画像データを外部の画質評価装置（例えば外部のＯＣＲ（Optical Character Leader）装置に出力し、その読み取り結果を更に用いて案内情報を生成するように構成してもよい。この第六の変形形態の場合には、合成済みの合成画像の画質（即ち上記読み取り結果）に基づいて案内情報を生成することで、より高画質或いは広範囲な合成画像をその後に合成することができる。
　最後に第七の変形形態として、カメラ９における撮像諸元（シャッタースピード、絞り、焦点距離、光量）又はスマートフォンＳ自体の位置、速度及び加速度等の諸元をＣＰＵ１が取得し、これらに基づいてＣＰＵ１が、上記位置合わせ処理の対象とするカレント画像ＧＴ又は全体画像ＧＡを取捨選択するように構成することもできる。具体的にＣＰＵ１は、上記諸元等に基づき、撮像条件として良好な（換言すれば、それ自体で既に画質が高い）カレント画像ＧＴ等を選んでその後の上記位置合わせ処理に供させるのである。この場合には、元々のカレント画像ＧＴ等が高画質であると考えられることから、所望される高画質或いは広範囲の合成画像を、少ないカレント画像ＧＴ等を使ってより迅速に合成することができることになる。
　なお、図２又は図７に示すフローチャートに対応するプログラムを、インターネット等のネットワークを介して取得し、或いは光ディスク等の情報記録媒体に記録されているものを取得して、例えば汎用のマイクロコンピュータによりこれを読み出して実行するように構成することもできる。この場合のマイクロコンピュータは、各実施形態に係るＣＰＵ１と同様の処理を実行することになる。
　以上夫々説明したように、本発明は情報処理装置の分野に利用することが可能であり、特に画像処理用の情報処理装置の分野に適用すれば特に顕著な効果が得られる。また上述したように、いつでも誰でもどこででも、個人ならそのプライバシーを、仕事なら関連する情報のセキュリティを、それぞれ最高レベルで確保しながら、手間を取らずに簡単に高画質或いは広範囲の画像合成を行うことができる。これは、今までの装置等にはなかった、画期的な価値である。
　１　　ＣＰＵ
　２　　ＲＯＭ
　３　　ＲＡＭ
　４　　操作部
　５　　ディスプレイ
　６　　通話制御部
　７　　スピーカ
　８　　マイク
　９　　カメラ
　１０　　通信インターフェース
　３０　　位置合わせデータバッファ
　３１　　データ量バッファ
　３２　　合成画像バッファ
　３３　　広域画像バッファ
　３４　　カレント画像バッファ
　３５　　位置合わせ済みカレント画像バッファ
　４Ａ、４Ｂ、４Ｃ　　操作ボタン
　Ｓ　　スマートフォン
　ＡＮＴ　　アンテナ
　ＧＡ　　全体画像
　ＧＴ　　カレント画像
　ＧＴａ、ＧＴｂ、ＧＴｃ、ＧＴｄ　　分割画像

Claims (21)

  1. 　携帯可能な情報処理装置において、
    　撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段と、
    　携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段と、
    　位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段と、
    　を備えることを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記位置合わせ手段は、前記撮像対象物の全体に対応する全体フレーム画像に相当する全体フレーム画像情報と、前記一部にそれぞれ対応する各前記フレーム画像に相当する複数の前記フレーム画像情報と、を用いて、前記位置合わせ処理を前記連続撮像に対応して逐次行うことを特徴とする情報処理装置。
  3. 　請求項１又は請求項２に記載の情報処理装置において、
    　前記位置合わせ手段は、複数の前記フレーム画像情報を用いて、非剛体の前記位置合わせ処理を逐次行うことを特徴とする情報処理装置。
  4. 　請求項１から請求項３のいずれか一項に記載の情報処理装置において、
    　前記位置合わせ処理後の前記フレーム画像に対応する前記一部が占める前記撮像対象物内の位置又は範囲を示す撮像済位置範囲情報に基づいて、前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を生成する位置範囲情報生成手段と、
    　前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成する案内情報生成手段と、
    　前記生成された案内情報を前記情報処理装置の外部に告知する告知手段と、
    　を備えることを特徴とする情報処理装置。
  5. 　請求項１から請求項３のいずれか一項に記載の情報処理装置において、
    　前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を、撮像済みの前記フレーム画像に基づいて生成する位置範囲情報生成手段と、
    　前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成する案内情報生成手段と、
    　前記生成された案内情報を前記情報処理装置の外部に告知する告知手段と、
    　を備えることを特徴とする情報処理装置。
  6. 　請求項４又は請求項５に記載の情報処理装置において、
    　前記合成手段は、撮像済みの前記フレーム画像に相当する前記フレーム画像情報に基づいた前記合成処理を前記フレーム画像の連続撮像に対応して逐次行い、
    　前記位置範囲情報生成手段は、
    　前記合成された合成画像に相当する合成画像情報を外部の画質評価手段に出力する外部出力手段と、
    　前記出力された合成画像情報に対する前記画質評価手段による評価結果を示す評価結果情報を取得する取得手段と、
    　を備え、
    　前記取得された評価結果情報を更に用いて前記位置範囲情報を生成することを特徴とする情報処理装置。
  7. 　請求項５に記載の情報処理装置において、
    　前記位置範囲情報生成手段は、前記位置合わせ処理後の前記フレーム画像に基づいて前記位置範囲情報を生成することを特徴とする情報処理装置。
  8. 　請求項４又は請求項７に記載の情報処理装置において、
    　前記位置範囲情報生成手段は、少なくとも前記位置合わせ処理に用いられた前記フレーム画像の数を、当該位置合わせ処理後の前記フレーム画像の画素ごとに積算する積算手段を備え、
    　前記位置範囲情報生成手段は、前記積算された数に基づいて前記位置範囲情報を生成することを特徴とする情報処理装置。
  9. 　請求項４から請求項８のいずれか一項に記載の情報処理装置において、
    　前記案内情報は前記情報処理装置の携帯者により視認される案内情報であり、
    　前記案内情報を表示する表示手段を更に備えることを特徴とする情報処理装置。
  10. 　請求項９に記載の情報処理装置において、
    　前記案内情報は、前記合成処理後の前記合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であることを特徴とする情報処理装置。
  11. 　請求項９又は請求項１０に記載の情報処理装置において、
    　前記案内情報は、前記合成処理後の前記合成画像における画質に対応した色により表示される案内情報であることを特徴とする情報処理装置。
  12. 　請求項９から請求項１１のいずれか一項に記載の情報処理装置において、
    　前記表示手段は、前記フレーム画像を表示すると共に、表示されている当該フレーム画像に重ねて前記案内情報を表示することを特徴とする情報処理装置。
  13. 　請求項９から請求項１１のいずれか一項に記載の情報処理装置において、
    　前記表示手段は、前記撮像対象物の全体に対応する全体フレーム画像を表示すると共に、当該全体フレーム画像に重ねて前記案内情報を表示することを特徴とする情報処理装置。
  14. 　請求項９から請求項１３のいずれか一項に記載の情報処理装置において、
    　前記案内情報は、携帯されている当該情報処理装置の移動の諸元を示す案内情報であることを特徴とする情報処理装置。
  15. 　請求項１から請求項１４のいずれか一項に記載の情報処理装置において、
    　前記位置合わせ処理又は前記合成処理の少なくともいずれか一方の終了後に当該情報処理装置における処理を中断させる中断手段と、
    　終了した当該少なくともいずれか一つの処理結果に対応する結果情報を保存させる保存手段と、
    　保存された結果情報を取得する結果情報取得手段と、
    　取得された結果情報を用いて、前記中断された処理を再開する再開手段と、
    　を更に備えることを特徴とする情報処理装置。
  16. 　請求項１５に記載の情報処理装置において、
    　前記結果情報には、中断までの前記少なくともいずれか一方の結果に対応するフレーム画像情報が含まれており、
    　前記保存手段は、当該結果情報を外部の画像認識手段に出力する外部出力手段を備え、
    　前記結果情報取得手段は、前記画像認識手段により認識されたフレーム画像に相当するフレーム画像情報を含む前記結果情報を取得することを特徴とする情報処理装置。
  17. 　請求項１から請求項１６のいずれか一項に記載の情報処理装置において、
    　前記撮像手段による撮像時において前記撮像対象物の一部又は全部を照らす照明手段と、
    　少なくとも前記位置合わせ処理の結果に基づいて、前記照明手段を制御する照明制御手段と、
    　を備えることを特徴とする情報処理装置。
  18. 　請求項１から請求項１７のいずれか一項に記載の情報処理装置において、
    　前記位置合わせ手段は、前記撮像対象物との間の相対的な位置が異なる複数の前記撮像手段からそれぞれ出力された前記フレーム画像情報を用いて前記位置合わせ処理を行うことを特徴とする情報処理装置。
  19. 　携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置において実行される情報処理方法において、
    　携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、
    　位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成工程と、
    　を含むことを特徴とする情報処理方法。
  20. 　携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
    　携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、
    　位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、
    　として機能させることを特徴とする情報処理用プログラム。
  21. 　携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
    　携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、
    　位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、
    　として機能させる情報処理用プログラムが前記コンピュータにより読み出し可能に記録されていることを特徴とする情報記録媒体。
PCT/JP2011/080514 2011-12-28 2011-12-28 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体 WO2013099025A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/080514 WO2013099025A1 (ja) 2011-12-28 2011-12-28 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/080514 WO2013099025A1 (ja) 2011-12-28 2011-12-28 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体

Publications (1)

Publication Number Publication Date
WO2013099025A1 true WO2013099025A1 (ja) 2013-07-04

Family

ID=48696583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/080514 WO2013099025A1 (ja) 2011-12-28 2011-12-28 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体

Country Status (1)

Country Link
WO (1) WO2013099025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628713B2 (en) 2015-12-25 2020-04-21 Pfu Limited Mobile terminal, image processing method, and computer-readable recording medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865457A (ja) * 1994-08-24 1996-03-08 Hitachi Ltd 画像入力装置
JPH11196299A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JP2000262478A (ja) * 1999-03-16 2000-09-26 Topcon Corp 眼科撮影装置
JP2004072533A (ja) * 2002-08-07 2004-03-04 Ricoh Co Ltd 画像入力装置及び画像入力方法
JP2011199565A (ja) * 2010-03-19 2011-10-06 Casio Computer Co Ltd 撮像装置、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865457A (ja) * 1994-08-24 1996-03-08 Hitachi Ltd 画像入力装置
JPH11196299A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JP2000262478A (ja) * 1999-03-16 2000-09-26 Topcon Corp 眼科撮影装置
JP2004072533A (ja) * 2002-08-07 2004-03-04 Ricoh Co Ltd 画像入力装置及び画像入力方法
JP2011199565A (ja) * 2010-03-19 2011-10-06 Casio Computer Co Ltd 撮像装置、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628713B2 (en) 2015-12-25 2020-04-21 Pfu Limited Mobile terminal, image processing method, and computer-readable recording medium

Similar Documents

Publication Publication Date Title
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
JP6011470B2 (ja) 予備画像を分析する装置、方法及びプログラム
US9712750B2 (en) Display control device and associated methodology of identifying a subject in an image
WO2006112490A1 (en) Electronic device
JP2008131405A (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4816704B2 (ja) 指示システム、指示プログラム
KR20140104753A (ko) 신체 부위 검출을 이용한 이미지 프리뷰
JPWO2008012905A1 (ja) 認証装置および認証用画像表示方法
JP2013182483A (ja) 画像処理装置及び画像処理方法並びにプログラム
JP5949030B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2014157557A (ja) 画像生成装置、画像生成方法及びプログラム
US10291835B2 (en) Information processing apparatus, imaging apparatus, information processing method, and imaging system
JP2008022154A (ja) 化粧支援装置及び方法
CN108810326B (zh) 一种拍照方法、装置及移动终端
JP2007088655A (ja) 撮像装置、合焦位置指定方法、及びプログラム
JP2018067851A (ja) 撮像制御プログラム、撮像制御方法および情報処理装置
WO2013099025A1 (ja) 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体
US9600735B2 (en) Image processing device, image processing method, program recording medium
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JP5423131B2 (ja) 撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法
JPWO2013099025A1 (ja) 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体
JP6614500B2 (ja) 画像読取装置、携帯端末、画像読取方法及び画像読取プログラム
JP2009089083A (ja) 年齢推定撮影装置及び年齢推定撮影方法
JP2006270488A (ja) 撮像装置、及び、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11878407

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551157

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11878407

Country of ref document: EP

Kind code of ref document: A1