WO2013089260A1 - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- WO2013089260A1 WO2013089260A1 PCT/JP2012/082589 JP2012082589W WO2013089260A1 WO 2013089260 A1 WO2013089260 A1 WO 2013089260A1 JP 2012082589 W JP2012082589 W JP 2012082589W WO 2013089260 A1 WO2013089260 A1 WO 2013089260A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- patch
- stored
- similarity
- unit
- candidate
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/97—Matching pursuit coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
Definitions
- the present invention relates to an image processing system, an image processing method, and an image processing program for generating a restored image from a deteriorated image.
- a super-resolution technique As an example of a technique for generating a restored image from a degraded image, a super-resolution technique is known.
- a method that uses a dictionary created by learning a case in which a low-resolution image and a high-resolution image are associated is particularly called a learning-type super-resolution technique.
- the dictionary is a dictionary created by learning a case in which a low resolution image and a high resolution image are associated with each other.
- An example of a learning type super-resolution technique is described in Non-Patent Document 1.
- the following method herein referred to as a super-resolution process
- the image identification learning device synthesizes an image when the object is qualitatively changed or an image when the captured image is changed due to a change in the imaging system, based on the image change model. Thus, the image identification learning device generates a large number of learning images from a small number of learning images.
- Patent Document 6 discloses an example of a dictionary data registration device.
- the dictionary data registration device collects posture variation data from a plurality of face images obtained by photographing the faces of registrants whose postures are varied.
- the dictionary data registration device further collects walking data from face images obtained by photographing the faces of registrants who are actually walking in the passage. Then, the dictionary data registration device creates dictionary data obtained by fusing posture variation data and walking data.
- Save patch selection that outputs pruning information indicating which one of the saved patches is a saved patch to be saved in the dictionary storage means and the other is a deleted patch that is not saved in the dictionary saving means And a stage.
- the computer determines a candidate patch that is a patch for specifying an image composed of pixel groups and is a candidate to be stored in the dictionary unit, and the patch that is already stored in the dictionary unit.
- the restoration phase searches the dictionary created in the learning phase for the optimum patch corresponding to the patch of the input image (hereinafter referred to as the input patch) that is the target of image processing, and performs super-resolution image (restored image) by the synthesis process.
- a general input image is a low-quality image that has a low resolution, is mixed with noise, is partially destroyed, or is partially missing.
- the patch pair is a pair of a patch of a high resolution image and a patch of a low resolution image in a predetermined case.
- a high resolution image (hereinafter referred to as a learning image) is a high resolution image corresponding to the case.
- Non-Patent Document 1 it is necessary to input all the low-frequency feature quantities to be subjected to the convergence calculation when the above calculation is started.
- the process of selecting a patch pair to be stored in the dictionary is a process of selecting one of these patch pairs as a patch pair to be stored in the dictionary based on the feature similarity of each of the two patch pairs.
- the feature similarity is, for example, a similarity calculated based on a patch of a degraded image of each patch pair.
- the degraded image generation unit 120 may generate a degraded image by increasing the blur intensity by, for example, removing a high-frequency component from the learning image.
- the degraded image generation unit 120 may generate a degraded image by tilting the learning image and changing the posture.
- the deteriorated image generation unit 120 may generate a deteriorated image by reducing the brightness value of the learning image to lower the brightness.
- the deteriorated image generation unit 120 may generate a deteriorated image by various existing methods.
- the deteriorated image generation unit 120 outputs the deteriorated image generated from the learning image to the patch pair generation unit 130.
- the receiving unit 110 of the learning device 100 may receive both the learning image and the deteriorated image that is a pair of the learning image from the outside.
- the learning image is an image taken with a camera capable of taking a high-resolution image
- the deteriorated image is an image taken with a low-performance camera.
- the deteriorated image may be a photographed image intentionally out of focus or an exposure time set incorrectly.
- the deteriorated image may be an image that is taken with blurring.
- the deteriorated image may be an image taken under any other adverse conditions. In such a case, the learning device 100 may not include the deteriorated image generation unit 120. Further, the patch pair generation unit 130 receives the learning image and the deteriorated image from the reception unit 110.
- the pruning unit 501 outputs pruning information indicating the patch pairs to be stored in the dictionary based on the feature similarity of two patch pairs among the patch pairs to be selected. Specifically, the pruning unit 501 outputs pruning information indicating the degraded patches stored in the dictionary based on the similarity between the degraded patches of each of the two patch pairs.
- One of the two deteriorated patches is a deteriorated patch received from the patch pair generation unit 130 and is a candidate patch that is a candidate to be stored in the dictionary unit.
- the other of the two deteriorated patches is a deteriorated patch held by the pruning unit 501 and is an already stored patch that has already been determined to be stored in the dictionary means.
- FIG. 3 is a block diagram illustrating a configuration of the pruning unit 501.
- the storage patch selection unit 520 outputs the pruning information so that the deteriorated patch having the similarity equal to or higher than the similarity threshold is not stored.
- the pruning information is either a candidate patch or an already stored patch that is stored in the dictionary 200 and a deletion patch that does not store the other in the dictionary 200. It is information indicating whether or not.
- the saved patch selection unit 520 of the present embodiment sets the already saved patch as a saved patch to be saved in the dictionary 200 and the candidate patch as a deleted patch that is not saved in the dictionary 200.
- the pruning information shown is output.
- the dictionary 200 stores patch pairs 203 (1), 203 (2), 203 (3),..., 203 (n ⁇ 1), 203 (n) that are pairs of the restoration patch 201 and the degraded patch 202.
- n is an integer.
- the method of storing the patch pairs in the dictionary 200 is not limited to the method of storing the patches in association with each other as shown in FIG.
- the dictionary 200 stores the learning image not as a patch but as a single image, and stores learning data in a manner in which an index indicating which region of the learning image corresponds to each deteriorated patch is attached. It may be stored by other methods.
- the patch structure may be a structure suitable for the patch pair storage method of the dictionary 200.
- step A8 If there is a stored patch that has not been processed (NO in step A8), the process returns to step A5.
- the similarity calculation unit 510 outputs the received candidate patches to the stored patch holding unit 530 as stored patches (step A9).
- the registration unit 140 outputs the patch pair received from the patch pair generation unit 130 in Step A4 to the dictionary 200 (Step A10).
- the patch pair generation unit 130 checks whether or not the processing has been completed for all patch pairs (step A11). If a patch pair that has not been processed remains (NO in step A11), the process returns to step A4. If the processing has been completed for all already stored patches (YES in step A11), the processing ends.
- the saved patch selection unit 520 may output any information among the patch identifier of the candidate patch, the patch identifier of the already saved patch, and the identifier of the patch pair as pruning information.
- the registration unit 140 registers a patch pair in the dictionary 200 and deletes the patch pair from the dictionary 200 according to a predetermined criterion based on the received pruning information.
- the similarity calculation unit 510 updates the contents of the stored patch holding unit 530 according to a predetermined criterion based on the received pruning information. (Restore phase)
- the restoration phase in the first embodiment will be described with reference to FIGS. FIG.
- the image processing apparatus 300 includes a reception unit 310, a patch generation unit 330, a selection unit 340, and a synthesis unit 350.
- the image processing apparatus 300 receives an input image to be subjected to image processing from the outside, performs image processing on the input image, and generates a restored image. Specifically, the image processing apparatus 300 generates a restoration patch based on the similarity between a plurality of patches (input patches) generated by dividing an input image into blocks and a deteriorated patch stored in the dictionary 200. select. Next, the image processing apparatus 300 generates a restored image by combining the selected restoration patches.
- FIG. 10 is a flowchart showing the operation of the image processing apparatus 300.
- the accepting unit 310 accepts an input image to be subjected to image processing from the outside (step B1).
- the patch generation unit 330 divides the input image output from the reception unit 310 into blocks to generate a plurality of patches (input patches) (step B2).
- the patch generation unit 330 may use an area composed of a total of 25 pixels of 5 vertical pixels ⁇ 5 horizontal pixels as a patch unit of the input patch. In this case, the patch generation unit 330 may generate an input patch with a relationship in which adjacent patches are shifted by one pixel from the input image. Note that the number of pixels in the patch area and the relationship with adjacent patches are not limited to these. For example, the patch generation unit 330 may generate an input patch as a patch in which adjacent patches are shifted by three pixels. It should be noted that the smaller the number of shift pixels between the input patch and the adjacent patch (the greater the overlap with the adjacent patch), the more detailed synthesis processing for generating a restored image becomes possible.
- the selection unit 340 searches for a deteriorated patch that is most similar to the input patch based on the input patch and the deteriorated similarity value, and selects a restored patch that is paired with the most similar deteriorated patch (step B3).
- the deterioration similarity value is a value indicating the similarity with the deterioration patch in the dictionary 200.
- Step B3 is repeated for all input patches.
- the selection unit 340 searches for one deteriorated patch that is most similar to the input patch.
- the operation of step B3 is not limited to this operation.
- the selection unit 340 may synthesize a plurality of restoration patches selected in order from the most similar patch to generate a new restoration patch.
- the process of “combining images (patches)” may specifically be a process of “averaging pixel values of all images (patches) to be combined”.
- “averaging pixel values” means calculating an average value for each pixel value at the same position between patches.
- the synthesizing unit 350 synthesizes a plurality of restoration patches output from the selection unit 340 to generate a restored image (step B4).
- “compositing” may be a process of averaging pixel values as described above. Specifically, “compositing” may be a process of taking the average of the pixel values of all the restored patches that overlap each other for the overlapping region when all the restored patches are placed at corresponding positions.
- the operation of the image processing apparatus 300 has been described above.
- the first effect of the present embodiment described above is that the processing cost for reducing the size of the dictionary 200 can be reduced.
- the reason is that based on the similarity between the candidate patch calculated by the similarity calculation unit 510 and the stored patch, the storage patch selection unit 520 determines whether to delete either the candidate patch or the stored patch. It is because it tried to do.
- the second effect of the present embodiment described above is that it is possible to shorten the time from the input of the first learning image until the dictionary 200 with a reduced size is obtained.
- the reason is that the pruning unit 501 sequentially receives the candidate images generated by the patch pair generation unit 130 and sequentially executes the processing by the similarity calculation unit 510 and the saved patch selection unit 520. .
- FIG. 11 is a block diagram showing a configuration of a pruning unit 502 according to the second embodiment of the present invention.
- the pruning unit 502 in the present embodiment replaces the similarity calculation unit 510 with the similarity calculation unit 512 instead of the similarity calculation unit 510 and stores the saved patch as compared with that in the first embodiment.
- a selection unit 522 is included.
- the pruning unit 502 includes a statistical information holding unit 540 instead of the stored patch holding unit 530.
- the stored patch 542 corresponding to the stored patch indicated by the pruning information is a stored patch that is currently targeted for similarity calculation.
- the similarity calculation unit 512 updates the integration patch 543 with a pixel group obtained by adding the pixel group of the deletion patch indicated by the pruning information and the acquired pixel group of the integration patch 543. At the same time, the similarity calculation unit 512 adds 1 to the number of deleted patches 544 and updates it.
- the similarity calculation unit 512 outputs, as statistical information 541, a set of the updated accumulated patch 543, the number of deleted patches 544, and a stored patch 542 that is a stored patch indicated by the pruning information.
- the storage patch selection unit 522 may output an average patch including an average pixel group to the registration unit 140.
- the registration unit 140 may register the degraded patch of the patch pair in the dictionary 200 instead of the average patch.
- the effect of the present embodiment described above is to select a storage patch in consideration of deleted patch information so that the distribution balance of patch pairs registered in the dictionary 200 is improved. Has the effect of becoming possible. This is because the following configuration is provided. First, the statistical information holding unit 540 holds the statistical information 541 of the deleted patch. Second, the average pixel group calculation unit 550 calculates an average pixel group based on the statistical information 541. Third, the storage patch selection unit 522 selects a storage patch based on the average pixel group.
- FIG. 13 is a block diagram showing a configuration of a pruning unit 503 according to the third embodiment of the present invention.
- the pruning unit 503 in the present embodiment has a similarity calculation unit 513 instead of the similarity calculation unit 510 as compared with that in the first embodiment.
- the pruning unit 503 further includes a representative selection unit 560.
- FIG. 14 is a diagram illustrating an example of an already stored patch 60 according to the present embodiment. As shown in FIG.
- the stored patch 60 further includes a representative patch identifier 64 compared to the patch 50 shown in FIG. 4.
- the representative selection unit 560 selects a plurality of deteriorated patches having similarities that are less than the representative similarity threshold among the deteriorated patches included in the patch pair. Then, the representative selection unit 560 holds and outputs the selected degraded patch as a representative patch.
- the representative similarity threshold value is a value smaller by one digit or more than the similarity threshold value.
- the representative patch has the same structure as the patch 50 shown in FIG. 4 or the already stored patch 60 shown in FIG.
- the representative selection unit 560 holds the already stored patch as a representative patch.
- the representative selection unit 560 outputs the representative patch to the similarity calculation unit 513.
- the representative selection unit 560 acquires an arbitrary plurality of deteriorated patches from the patch pair generation unit 130, and selects and selects an arbitrary number of deteriorated patches whose similarity is less than the representative similarity threshold among them.
- a deteriorated patch may be used as a representative patch.
- the similarity calculation unit 513 first calculates the similarity between the candidate patch and each representative patch, and specifies the representative patch corresponding to the largest similarity among the calculated similarities.
- the similarity calculation unit 513 calculates the similarity between the already-stored patch 60 corresponding to the identified representative patch and the candidate patch, and outputs the calculated similarity to the storage patch selection unit 520. Note that the similarity calculation unit 513 outputs the similarity as 0, for example, in the initial state, when there is no representative patch or when the stored patch 60 does not exist.
- the similarity calculation unit 513 adds the patch identification information of the identified representative patch and outputs the added patch.
- the stored patch 60 held by the stored patch holding unit 530 is a stored patch including representative patch identification information.
- the division range corresponding to the representative patch is determined at the midpoint of each dimension element between the representative patches.
- the similarity calculation unit 513 when the similarity calculation unit 513 acquires a representative patch, the similarity calculation unit 513 generates a tree structure based on the pixel group of the representative patch, and the candidate patch corresponds to any representative patch based on the generated tree structure. You may decide whether to do it.
- the tree structure is, for example, a k-dimensional tree (a space division data structure for classifying points in a k-dimensional Euclidean space).
- the number of distances calculated by the similarity calculation unit 513 is “N” when a stored patch with a similarity equal to or higher than the similarity threshold is not detected for one candidate patch for N stored patches. 2 To log (k) (N / k) 2 ) ", Where k is the number of representative patches.
- FIG. 15 is a block diagram showing a configuration of a pruning unit 504 according to the fourth embodiment of the present invention. Referring to FIG.
- the similarity calculation unit 514 acquires a position range corresponding to the position information 75 of the candidate patch.
- the position range is, for example, a circle centered on the coordinates of the origin of the candidate patch on the xy coordinates.
- the position range may be any range other than those described on the left.
- the similarity calculation unit 514 determines whether or not the coordinates of the origin of the stored patch on the xy coordinates are included in the position range, and if included, the similarity between the stored patch and the candidate patch is determined. Calculate and output to the saved patch selection unit 520.
- the number of distances calculated by the similarity calculation unit 514 is “N” when a stored patch with a similarity equal to or higher than the similarity threshold is not detected for one candidate patch for N stored patches. 2 "" To "(N / k) 2 Where k is the number of position ranges.
- the effect of the present embodiment described above has an effect that the processing cost for reducing the size of the dictionary 200 can be further reduced. The reason is that the similarity calculation unit 514 calculates the similarity between the candidate patch and the stored patch in which the position information 75 of the candidate patch and the position information 75 of the stored patch are within a predetermined position range. It was because it did so.
- FIG. 17 is a block diagram showing a configuration of a pruning unit 505 according to the fifth embodiment of the present invention.
- the pruning unit 505 in the present embodiment has a saved patch selection unit 525 instead of the saved patch selection unit 520, as compared with the pruning unit 501 in the first embodiment.
- the pruning unit 505 further includes a threshold value determining unit 580.
- the threshold value determination unit 580 acquires an arbitrary number of deteriorated patches from the patch pair generation unit 130.
- FIG. 18 is a diagram showing the similarity distribution rate 650.
- the similarity distribution rate 650 is information indicating the correspondence between the similarity and the distribution rate.
- the distribution rate of the similarity distribution rate 650 is the distribution rate of the similarity calculated by the threshold value determination unit 580. For example, it is assumed that the number of patch pairs registered in the dictionary 200 (that is, the number of already stored patches) is determined to be less than 300. Further, it is assumed that the number of patch pairs generated by the patch pair generation unit 130 is 1000. in this case.
- FIG. 19 is a block diagram showing a configuration of a pruning unit 506 according to the sixth embodiment of the present invention.
- the pruning unit 506 in the present embodiment includes a similarity calculation unit 510 and a saved patch selection unit 520.
- the similarity calculation unit 510 acquires the candidate patch and the already-stored patch, and calculates the similarity between the acquired candidate patch and the already-stored patch.
- the similarity calculation unit 510 acquires candidate patches from the patch pair generation unit 130 illustrated in FIG.
- the similarity calculation unit 510 acquires a stored patch from the dictionary 200 illustrated in FIG.
- the similarity calculation unit 510 sequentially outputs the calculated similarities to the saved patch selection unit 520.
- FIG. 20 is a diagram illustrating a hardware configuration of a computer device that implements the pruning unit 506 in the present embodiment.
- the pruning unit 506 includes a CPU (Central Processing Unit) 591, a storage unit 592, a storage device 593, an input unit 594, an output unit 595, and a communication unit 596.
- the CPU 591 controls the overall operation of the pruning unit 506 by operating an operating system (not shown).
- the CPU 591 reads a program (for example, a program for causing a computer to execute the operation of the flowchart shown in FIG. 10) and data from a non-volatile recording medium (not shown) mounted on the storage device 593, for example. And the data are written in the storage unit 592. Then, the CPU 591 executes various processes as the similarity calculation unit 510 and the saved patch selection unit 520 shown in FIG. 19 according to the read program and based on the read data. Note that the CPU 591 may download a program and data to the storage unit 592 from an external computer (not shown) connected to a communication network (not shown). The storage unit 592 stores programs and data.
- a program for example, a program for causing a computer to execute the operation of the flowchart shown in FIG. 10
- data are written in the storage unit 592.
- the CPU 591 executes various processes as the similarity calculation unit 510 and the saved patch selection unit 520 shown in FIG. 19 according to the read program and based on the read data
- the storage device 593 is, for example, an optical disk, a flexible disk, a magnetic optical disk, an external hard disk, and a semiconductor memory, and includes a nonvolatile storage medium.
- the storage device 593 records the program so that it can be read by a computer.
- the storage device 593 may record data so as to be readable by a computer.
- the input unit 594 is realized by, for example, a mouse, a keyboard, a built-in key button, and the like, and is used for input operations.
- the input unit 594 is not limited to a mouse, a keyboard, and a built-in key button, and may be a touch panel, an accelerometer, a gyro sensor, a camera, or the like.
- the output unit 595 is realized by a display, for example, and is used for confirming the output.
- the communication unit 596 implements an interface between the network and the pruning unit 506.
- the pruning unit 506 may be connected to the dictionary 200 via the communication unit 596, for example. This completes the description of each component of the pruning unit 506 in hardware units.
- the functional unit block shown in FIG. 19 is realized by the hardware configuration shown in FIG.
- the means for realizing each unit included in the pruning unit 506 is not limited to the above. That is, the pruning unit 506 may be realized by one physically coupled device, or by connecting two or more physically separated devices in a wired or wireless manner, and realized by these multiple devices. Also good. FIG.
- the recording medium 597 may be a non-volatile recording medium.
- the recording medium 597 in which the above-described program is recorded may be supplied to the pruning unit 506, and the pruning unit 506 may read and execute the program stored in the recording medium 597. That is, the embodiment of the present invention includes an embodiment of a recording medium that stores a program executed by the pruning unit 506 temporarily or non-temporarily. The effect of the present embodiment described above is advantageous in that the processing cost for reducing the size of the dictionary can be reduced.
- the storage patch selection unit 520 determines whether to delete either the candidate patch or the stored patch. It is because it tried to do.
- the pruning units 501 to 505 described in the first to fifth embodiments are each realized by a computer device including a CPU and a nonvolatile recording medium storing a program. Also good.
- the program executed by the CPU may be a program for executing the operations of the pruning units 501 to 505 described in the above embodiments.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本発明は、辞書のサイズを削減するための処理コストを低減できる画像処理システムを提供する。その画像処理システムは、画素群で構成される画像を特定するパッチの候補である候補パッチと、既保存パッチを取得し、候補パッチ及び既保存パッチ間の類似度を算出し、出力する類似度算出手段と、その類似度が類似度閾値以上の場合に、候補パッチ及び既保存パッチの内のいずれの一方を保存パッチとし他の一方を削除パッチとするかを示す、枝刈情報を出力する保存パッチ選択手段とを備える。
Description
本発明は、劣化画像から復元画像を生成する画像処理システム、画像処理方法及び画像処理用プログラムに関する。
劣化画像から復元画像を生成する技術の一例に、超解像技術が知られている。超解像技術の中で、低解像度画像と高解像度画像とが対応付けられた事例を学習して作成された辞書を用いる方式は、特に学習型超解像技術と呼ばれる。ここで、その辞書は、低解像度画像と高解像度画像とが対応付けられた事例を学習することによって、作成された辞書である。
学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。
まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
更に、その超解像プロセスは、入力画像から、低周波成分を生成する。
その超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
その超解像プロセスは、その算出した低周波特徴量との距離が近い順に複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。
そして、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を一つの代表にまとめた一対多対応の辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する。
更に、画像処理に関し、以下のような様々な関連技術が知られている。
例えば、特許文献１は、画像処理装置の一例を開示する。その画像処理装置は、再構成型超解像手法のアップサンプリング処理に際して、学習データを利用した学習型超解像処理を実行する。
例えば、特許文献２は、顔画像高解像度化装置の一例を開示する。第一に、その顔画像高解像度化装置は、複数の学習画像から統計処理によってモデルを生成する。第２に、その顔画像高解像度化装置は、拡大画像をモデルに適応させることによって、顔器官の輪郭位置情報を抽出する。第３に、その顔画像高解像度化装置は、輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する。第４に、その顔画像高解像度化装置は、高解像度化された顔器官画像を組み合わせることにより、顔高解像度画像を生成する
例えば、特許文献３は、撮像画像処理装置の一例を開示する。その撮像画像処理装置は、パターン画像の画素の明度が、撮像画像とパターン画像とがマッチングしたときのその撮像画像の画素の明度になるように、パターン画像の画素の明度のデータを更新する。その撮像画像処理装置は、その更新を、パターンマッチングが行われる毎に、逐次行う。
例えば、特許文献４は、特定パターン認識装置の一例を開示する。その特定パターン認識装置は、同じパターンを撮影して得た認識基準画像を含む複数のデジタル画像を、教示用画像として用いる場合、局所パターンデータ及び連結パターンデータの画像間変動を正規化して統合する。こうして、その特定パターン認識装置は、単一の教示用画像のみから認識用モデルを構築する場合よりも信頼性の高い認識が可能な、認識用モデルを構築する。
例えば、特許文献５は、画像識別学習装置の一例を開示する。その画像識別学習装置は、画像変化モデルにより、対象が質的に変化したときの画像又は撮像系の変化により撮影画像が変化したときの画像を合成する。こうして、その画像識別学習装置は、少数の学習用画像から多数の学習用画像を生成する。
例えば、特許文献６は、辞書データの登録装置の一例を開示する。その辞書データの登録装置は、姿勢を変動させた登録者の顔を撮影した複数の顔画像から姿勢変動データを収集する。その辞書データの登録装置は、更に、実際に通路を歩行している登録者の顔を撮影した顔画像から歩行データを収集する。そして、その辞書データの登録装置は、姿勢変動データと歩行データとを融合させた辞書データを作成する。
例えば、特許文献７は、画像検索システムの一例を開示する。第一に、その画像検索システムは、画像の種類によって異なる、検索のための適切な特徴量のうちの１つに対して１種類の画像を登録した辞書データと、他の特徴量に対して全ての種類の画像を登録した辞書データとを用意する。第二に、その画像検索システムは、検索元画像の種類に応じて、検索する特徴量とそれに対応する辞書データとを切り換える。
上述の特許文献で開示される学習型超解像技術において、超解像処理は、学習データを保持する記憶手段（以下、辞書と表記する）を参照する。一般的に、学習データが多いほど、超解像処理が出力する超解像画像は、復元性のよい（真の画像に近い）画像となる。即ち、復元性のよい画像を得ることができる超解像処理においては、その辞書、及びその辞書を参照する超解像処理のコストが大きいという問題があった。
この問題を解決する辞書を作成する技術が、上述した非特許文献１に記載されている。非特許文献１に記載の技術は、辞書に登録されている互いに類似した低周波特徴量同士を、Ｋ−ｍｅａｎｓ法を用いて、一つの代表にまとめる。
また、特許文献８は、辞書作成装置の一例を開示する。第一に、その辞書作成装置は、認識語彙の表記・読みと、言い換え生成尤度計算手段にて計算された言い換え生成尤度とを入力として読み込む。第二に、その辞書作成装置は、入力された複数の文字列情報のそれぞれ毎に生成される認識語彙とその尤度を生成する。第三に、その辞書作成装置は、それらの認識語彙うち、尤度の相対順位、及び尤度としきい値との比較結果の少なくともいずれかの条件により選んだ認識語彙のみを語彙記録部へ登録する。
学習型超解像技術の一例が非特許文献１に記載されている。非特許文献１に記載された学習型超解像技術では、以下の手法（ここでは、超解像プロセスという）を実行する。
まず、その超解像プロセスは、低解像度画像である入力画像を受け付ける。
更に、その超解像プロセスは、入力画像から、低周波成分を生成する。
その超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、該低周波パッチから低周波特徴量を算出する。
その超解像プロセスは、その算出した低周波特徴量との距離が近い順に複数の低周波特徴量学習データを辞書から探索する。そして、その超解像プロセスは、それらの探索した低周波特徴量学習データと組になっている高周波特徴量を読み出す。
そして、その超解像プロセスは、探索時の距離や、隣接する高周波ブロックとの整合性や、学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、一つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を一つの代表にまとめた一対多対応の辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する。
更に、画像処理に関し、以下のような様々な関連技術が知られている。
例えば、特許文献１は、画像処理装置の一例を開示する。その画像処理装置は、再構成型超解像手法のアップサンプリング処理に際して、学習データを利用した学習型超解像処理を実行する。
例えば、特許文献２は、顔画像高解像度化装置の一例を開示する。第一に、その顔画像高解像度化装置は、複数の学習画像から統計処理によってモデルを生成する。第２に、その顔画像高解像度化装置は、拡大画像をモデルに適応させることによって、顔器官の輪郭位置情報を抽出する。第３に、その顔画像高解像度化装置は、輪郭位置情報と学習画像とに基づいて、顔器官の高解像度画像を生成する。第４に、その顔画像高解像度化装置は、高解像度化された顔器官画像を組み合わせることにより、顔高解像度画像を生成する
例えば、特許文献３は、撮像画像処理装置の一例を開示する。その撮像画像処理装置は、パターン画像の画素の明度が、撮像画像とパターン画像とがマッチングしたときのその撮像画像の画素の明度になるように、パターン画像の画素の明度のデータを更新する。その撮像画像処理装置は、その更新を、パターンマッチングが行われる毎に、逐次行う。
例えば、特許文献４は、特定パターン認識装置の一例を開示する。その特定パターン認識装置は、同じパターンを撮影して得た認識基準画像を含む複数のデジタル画像を、教示用画像として用いる場合、局所パターンデータ及び連結パターンデータの画像間変動を正規化して統合する。こうして、その特定パターン認識装置は、単一の教示用画像のみから認識用モデルを構築する場合よりも信頼性の高い認識が可能な、認識用モデルを構築する。
例えば、特許文献５は、画像識別学習装置の一例を開示する。その画像識別学習装置は、画像変化モデルにより、対象が質的に変化したときの画像又は撮像系の変化により撮影画像が変化したときの画像を合成する。こうして、その画像識別学習装置は、少数の学習用画像から多数の学習用画像を生成する。
例えば、特許文献６は、辞書データの登録装置の一例を開示する。その辞書データの登録装置は、姿勢を変動させた登録者の顔を撮影した複数の顔画像から姿勢変動データを収集する。その辞書データの登録装置は、更に、実際に通路を歩行している登録者の顔を撮影した顔画像から歩行データを収集する。そして、その辞書データの登録装置は、姿勢変動データと歩行データとを融合させた辞書データを作成する。
例えば、特許文献７は、画像検索システムの一例を開示する。第一に、その画像検索システムは、画像の種類によって異なる、検索のための適切な特徴量のうちの１つに対して１種類の画像を登録した辞書データと、他の特徴量に対して全ての種類の画像を登録した辞書データとを用意する。第二に、その画像検索システムは、検索元画像の種類に応じて、検索する特徴量とそれに対応する辞書データとを切り換える。
上述の特許文献で開示される学習型超解像技術において、超解像処理は、学習データを保持する記憶手段（以下、辞書と表記する）を参照する。一般的に、学習データが多いほど、超解像処理が出力する超解像画像は、復元性のよい（真の画像に近い）画像となる。即ち、復元性のよい画像を得ることができる超解像処理においては、その辞書、及びその辞書を参照する超解像処理のコストが大きいという問題があった。
この問題を解決する辞書を作成する技術が、上述した非特許文献１に記載されている。非特許文献１に記載の技術は、辞書に登録されている互いに類似した低周波特徴量同士を、Ｋ−ｍｅａｎｓ法を用いて、一つの代表にまとめる。
また、特許文献８は、辞書作成装置の一例を開示する。第一に、その辞書作成装置は、認識語彙の表記・読みと、言い換え生成尤度計算手段にて計算された言い換え生成尤度とを入力として読み込む。第二に、その辞書作成装置は、入力された複数の文字列情報のそれぞれ毎に生成される認識語彙とその尤度を生成する。第三に、その辞書作成装置は、それらの認識語彙うち、尤度の相対順位、及び尤度としきい値との比較結果の少なくともいずれかの条件により選んだ認識語彙のみを語彙記録部へ登録する。
田口、小野、三田、井田"画像超解像のための閉ループ学習による代表事例の学習方法，"電子情報通信学会論文誌．Ｄ，情報・システム Ｊ９２−Ｄ（６），８３１−８４２，２００９−０６−０１
しかしながら、上述した非特許文献１に記載された技術においては、辞書サイズを削減するためのコストが大きいという問題点がある。
その理由は、非特許文献１に記載された技術は、最適な代表を選定するために、辞書に登録されている全低周波特徴量（後述の劣化パッチに対応）について、それらの低周波特徴量間の距離の演算を複数回繰り返して実行する必要があるからである。
また、上述した特許文献８に記載された技術は、学習型超解像処理が参照する辞書には適用できない。
その理由は、その辞書に登録する学習データの性質上、特許文献８における言い換え生成尤度に対応するような、尤度を計算することができないからである。
本発明の目的は、上述した問題点を解決する画像処理システム、画像処理方法及び画像処理用プログラムを提供することにある。
その理由は、非特許文献１に記載された技術は、最適な代表を選定するために、辞書に登録されている全低周波特徴量（後述の劣化パッチに対応）について、それらの低周波特徴量間の距離の演算を複数回繰り返して実行する必要があるからである。
また、上述した特許文献８に記載された技術は、学習型超解像処理が参照する辞書には適用できない。
その理由は、その辞書に登録する学習データの性質上、特許文献８における言い換え生成尤度に対応するような、尤度を計算することができないからである。
本発明の目的は、上述した問題点を解決する画像処理システム、画像処理方法及び画像処理用プログラムを提供することにある。
本発明の画像処理システムは、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出する類似度算出手段と、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する保存パッチ選択手段とを含む。
本発明の画像処理方法は、コンピュータが、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出し、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する。
本発明の画像処理用プログラムは、コンピュータに、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチを取得し、前記候補パッチと前記既保存パッチとの類似度を算出する処理と、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する処理とを、実行させる。
本発明の画像処理方法は、コンピュータが、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出し、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する。
本発明の画像処理用プログラムは、コンピュータに、画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチを取得し、前記候補パッチと前記既保存パッチとの類似度を算出する処理と、前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する処理とを、実行させる。
本発明は、辞書のサイズを削減するための処理コストを低減することを可能にするという効果がある。
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。
学習型超解像技術には、学習フェーズと復元フェーズとがある。
学習フェーズは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
復元フェーズは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理により超解像画像（復元画像）を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像である。
ここで、パッチペアは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、劣化画像と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像（低解像画像）のパッチを劣化パッチと呼ぶ。また、パッチは、対象の画像の部分的な小領域画像であり、例えばその対象の画像をブロックに分割して生成されたものである。
本発明に関連する技術として、例えば非特許文献１は、互いに類似した低周波特徴量（前述の劣化パッチに対応）同士を一つの代表にまとめた、一対多対応の辞書構造を採用する。非特許文献１は、その辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する技術を記載している。その技術は、Ｋ−ｍｅａｎｓ法を用いた技術である。
非特許文献１に記載された学習型超解像技術の手法は、互いに類似した低周波特徴量同士をまとめた代表の低周波特徴量を得るために、選択の対象となる低周波特徴量間の距離の演算を、代表の低周波特徴量が収束するまで複数回繰り返し実行する。
非特許文献１に記載の技術のように、結果が収束するまで演算を繰り返して代表となる低周波特徴量を収束計算する場合、その収束計算の対象となる低周波特徴量の数が多くなると演算コストは膨大になりやすい。また、非特許文献１に記載された手法においては、上述の演算を開始する時点で、その収束計算の対象となる低周波特徴量の全てが入力される必要がある。
以下の各実施形態は、辞書に格納するパッチペアを選択する処理を、辞書へ格納する候補である全てのパッチペアについて逐次的に実行することにより、上述の問題を解決する。その辞書に格納するパッチペアを選択する処理は、二つのパッチペアそれぞれの特徴の類似度に基づいて、それらのパッチペアのいずれか一方を辞書に格納するパッチペアとして選択する処理である。
ここで、特徴の類似度は、例えば、パッチペアそれぞれの劣化画像のパッチに基づいて算出される類似度である。その特徴の類似度は、例えば、パッチペアそれぞれの高解像度の画像のパッチに基づいて算出される類似度であってもよい。その特徴の類似度は、例えば、パッチペアそれぞれの劣化画像のパッチと、パッチペアそれぞれの高解像度の画像のパッチとの両方に基づいて算出される類似度であってもよい。
以下の各実施形態において、上述の特徴の類似度は、パッチペアそれぞれの劣化画像のパッチに基づいて算出される類似度（以下、「パッチ間の類似度」、「パッチとパッチとの類似度」、或いは単に「類似度」と呼ぶ）である。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１００と、辞書２００と、画像処理装置３００とを含む。学習装置１００は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。画像処理装置３００は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
（学習フェーズ）
図２~図７を参照して、第１実施形態における学習フェーズについて説明する。
図２は、学習装置１００の構成を示すブロック図である。図２に示すように、学習装置１００は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０と、枝刈部５０１とを含む。
学習装置１００は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除く等してボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて姿勢を変動させることで劣化画像を生成してもよい。又は劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
劣化画像生成部１２０は、学習画像から生成した劣化画像を、パッチペア生成部１３０に出力する。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像を受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチとの複数のペア（パッチペア）を生成すればよい。
パッチペア生成部１３０は、生成した複数のパッチペアを登録部１４０に、順次出力する。また、パッチペア生成部１３０は、登録部１４０に出力するパッチペアに含まれる劣化パッチを、登録部１４０への出力に同期して枝刈部５０１に出力する。
尚、学習装置１００の受付部１１０は、学習画像及びその学習画像のペアである劣化画像の両方を、外部から受け付けるようにしてもよい。例えば、学習画像は高解像度画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像である。また、劣化画像は、意図的にピントを狂わせて、或いは露出時間を不正に設定して、撮影した画像であってよい。また、劣化画像は、ブレを発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１００は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
枝刈部５０１は、選択の対象となるパッチペアの内、二つのパッチペアの特徴の類似度に基づいて、辞書に格納するパッチペアを示す枝刈情報を出力する。
具体的には、枝刈部５０１は、二つのパッチペアそれぞれの劣化パッチ間の類似度に基づいて、辞書に格納する劣化パッチを示す枝刈情報を出力する。それらの二つの劣化パッチの内の一つは、パッチペア生成部１３０から受け取った劣化パッチであって、辞書手段に保存する候補である候補パッチである。それらの二つの劣化パッチの内の他の一つは、枝刈部５０１が保持する劣化パッチであって、既に辞書手段に保存すると判定された既保存パッチである。
図３は、枝刈部５０１の構成を示すブロック図である。図３に示すように枝刈部５０１は、類似度算出部５１０、保存パッチ選択部５２０及び既保存パッチ保持部５３０を含む。
類似度算出部５１０は、候補パッチと既保存パッチ保持部５３０に保持されている各既保存パッチとの２つのパッチ間の類似度を算出する。続けて、類似度算出部５１０は、算出した類似度を順次、保存パッチ選択部５２０へ出力する。尚、類似度算出部５１０は、既保存パッチが存在しない場合（例えば、初期状態）、類似度を０として出力してよい。
類似度算出部５１０は、後述する枝刈情報を受け取った場合、現在処理中の候補パッチに関する類似度の算出処理を終了する。その理由は、枝刈情報が、現在処理中の候補パッチを削除パッチとすることを示しているからである。また、類似度算出部５１０は、パッチ間の類似度を算出し、出力した後、予め定められた期間を経過しても枝刈情報受け取らなかった場合、その候補パッチを既保存パッチとして、既保存パッチ保持部５３０に出力する。ここで、そのパッチ間の類似度は、現在処理中の候補パッチと全ての既保存パッチそれぞれとの類似度である。
尚、類似度算出部５１０は、辞書２００に格納されているパッチペアに含まれる劣化パッチを既保存パッチとして取得し、この既保存パッチと候補パッチとのパッチ間の類似度を算出するようにしてもよい。この場合、枝刈部５０１は、既保存パッチ保持部５３０を含まなくてもよい。
ここで、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図４は、パッチ５０の一例を示す図である。図４に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個々に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ、劣化パッチ及び入力パッチを含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
この場合、２つのパッチ間の類似度を示す値とは、パッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）を、特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。又は、２つのパッチ間の類似度を示す値は、パッチ間の各画素の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）を、特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
他に、例えば、２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。又は、２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
図３に戻って、保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合に、枝刈を指示する枝刈情報を、登録部１４０及び類似度算出部５１０へ出力する。
ここで、類似度閾値は、候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断する場合に利用される、類似度の基準である。即ち、保存パッチ選択部５２０は、類似度閾値以上の類似度を持つ劣化パッチが保存されないように、枝刈情報を出力する。
また、枝刈情報は、算出した類似度が類似度閾値以上の場合、候補パッチ又は既保存パッチのいずれの一方を辞書２００に保存する保存パッチとし、他の一方を辞書２００に保存しない削除パッチとするかを示す情報である。本実施形態の保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合、既保存パッチを辞書２００に保存する保存パッチとし、候補パッチを辞書２００に保存しない削除パッチとすることを示す、その枝刈情報を出力する。
また、枝刈部５０１は、算出した類似度が類似度閾値未満の場合、枝刈情報を出力しない。
既保存パッチ保持部５３０は、類似度算出部５１０から受け取った既保存パッチを保持する。
尚、枝刈部５０１は、二つのパッチペアそれぞれの学習パッチ間の類似度に基づいて、辞書に格納する学習ペア（或いは、パッチペア）を示す枝刈情報を出力するようにしてもよい。こうした場合、パッチペア生成部１３０は、登録部１４０に出力するパッチペアに含まれる学習パッチを、登録部１４０への出力に同期して枝刈部５０１に出力する。また、類似度算出部５１０は、パッチペア生成部１３０から受け取った学習パッチを、候補パッチとする。また、既保存パッチ保持部５３０は、学習パッチを既保存パッチとして保持する。
また、枝刈部５０１は、二つのパッチペアそれぞれの学習パッチ間の類似度及び劣化パッチ間の類似度に基づいて、辞書に格納するパッチペアを示す枝刈情報を出力するようにしてもよい。こうした場合、パッチペア生成部１３０は、登録部１４０に出力するパッチペアを、登録部１４０への出力に同期して枝刈部５０１に出力する。また、類似度算出部５１０は、パッチペア生成部１３０から受け取ったパッチペアの学習パッチ及び劣化パッチを、候補パッチとする。また、既保存パッチ保持部５３０は、パッチペアの学習パッチ及び劣化パッチを、既保存パッチとして保持する。類似度算出部５１０は、例えば、学習パッチ間の類似度と劣化パッチ間の類似度とに対して、予め定められた演算（例えば、加算）を施して、候補パッチと既保存パッチとの類似度を算出するようにしてよい。
図２に戻って、登録部１４０は、パッチペア生成部１３０から、パッチペアを受け取る。また、登録部１４０は、枝刈部５０１から、枝刈情報を受け取る。
登録部１４０は、枝刈情報を受け取った場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録しない。即ち、登録部１４０は、枝刈情報を受け取った場合、何もしない。その理由は、枝刈情報が、辞書２００に既に保存されているパッチペアに含まれる既保存パッチを保存パッチとしたことを示しているからである。
一方、登録部１４０は、期待する特定のタイミングで枝刈情報を受け取らなかった場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録する。
即ち、本実施形態の学習装置１００は、外部から学習画像を受け付ける。次に、学習装置１００は、その学習画像から複数のパッチペアを生成する。次に、学習装置１００は、それらのパッチペアに含まれる劣化パッチ相互間の類似度が類似度閾値未満の、劣化パッチを含むパッチペアを枝刈した辞書２００を作成する。
尚、本実施形態の保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合、既保存パッチを辞書２００に保存しない削除パッチとし、候補パッチを辞書２００に保存する保存パッチとすることを示す、枝刈情報を出力するようにしてもよい。この場合、登録部１４０は、枝刈情報を受け取った場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録し、辞書２００に登録されている、既保存パッチに対応する、パッチペアを削除するようにしてもよい。この場合、登録部１４０は、期待する特定のタイミングで枝刈情報を受け取らなかった場合、何もしない。更に、類似度算出部５１０は、枝刈情報を受け取った場合、候補パッチを既保存パッチ保持部５３０へ出力し、同時に、対応する既保存パッチを削除する指示を既保存パッチ保持部５３０に出力し、現在処理中の候補パッチの関する類似度の算出処理を終了する。また、類似度算出部５１０は、何もしない。
辞書２００は、学習装置１００によって生成され、枝刈された複数のパッチペアを格納する。
図５は、学習フェーズを説明するための概念図である。図５に示すように、学習装置１００は、学習画像１０及び劣化画像２０の対応する位置におけるパッチペアを辞書２００に登録する。
図６は、辞書２００がパッチペアを格納する様子を説明するための概念図である。図６に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。ここでｎは整数である。
辞書２００のパッチペアの格納方法は、図６に示すように各パッチを対応付けて格納する方法に限定されない。例えば辞書２００は、学習画像をパッチとしてではなく一枚の画像として格納し、劣化パッチ毎に学習画像のどこの領域と対応するかを示すインデックスが付された態様により学習データを格納してもよいし、その他の方法で格納してもよい。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造であってよい。
次に、図面を参照して、学習装置１００の動作を説明する。図７は、学習装置１００の動作を示すフローチャート図である。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像を、例えばＮ分の１に縮小して、劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する（ステップＡ３）。
次に、パッチペア生成部１３０は、一つのパッチペアを登録部１４０へ出力し、そのパッチペアに含まれる劣化パッチを候補パッチとして枝刈部５０１へ出力する（ステップＡ４）。
枝刈部５０１の類似度算出部５１０は、受け取った候補パッチと既保存パッチとの２つのパッチ間の類似度を算出する（ステップＡ５）。
枝刈部５０１の保存パッチ選択部５２０は、類似度算出部５１０から受け取った類似度が類似度閾値以上か否かを判定する（ステップＡ６）。
類似度が類似度閾値以上の場合（ステップＡ６でＹＥＳ）、保存パッチ選択部５２０は、枝刈情報を出力する（ステップＡ７）。そして、処理はステップＡ４に戻る。
類似度が類似度閾値未満の場合（ステップＡ６でＮＯ）、類似度算出部５１０は全ての既保存パッチについて処理が終了したか否かを確認する（ステップＡ８）。
処理が終了していない既保存パッチが残っている場合（ステップＡ８でＮＯ）、処理はステップＡ５へ戻る。
全ての既保存パッチについて処理が終了した場合（ステップＡ８でＹＥＳ）、類似度算出部５１０は、受け取った候補パッチを、既保存パッチとして既保存パッチ保持部５３０に出力する（ステップＡ９）
次に、登録部１４０は、ステップＡ４においてパッチペア生成部１３０から受け取ったパッチペアを辞書２００へ出力する（ステップＡ１０）。
次に、パッチペア生成部１３０は、全てのパッチペアについて処理が終了したか否かを確認する（ステップＡ１１）。
処理が終了していないパッチペアが残っている場合（ステップＡ１１でＮＯ）、処理はステップＡ４へ戻る。
全ての既保存パッチについて処理が終了した場合（ステップＡ１１でＹＥＳ）、処理は終了する。
以上が、辞書２００を作成する、学習装置１００の動作の説明である。
尚、保存パッチ選択部５２０は、候補パッチのパッチ識別子、既保存パッチのパッチ識別子及びパッチペアの識別子の内の任意の情報を、枝刈情報として出力するようにしてもよい。この場合、登録部１４０は、受け取った枝刈情報に基づいて、予め定められた基準に従って、辞書２００へのパッチペアの登録、辞書２００からのパッチペアの削除を実行する。また、類似度算出部５１０は、受け取った枝刈情報に基づいて、予め定められた基準に従って、既保存パッチ保持部５３０の内容を更新する。
（復元フェーズ）
図８~図１０を参照して、第１実施形態における復元フェーズについて説明する。
図８は、画像処理装置３００の構成を示すブロック図である。図８に示すように、画像処理装置３００は、受付部３１０と、パッチ生成部３３０と、選択部３４０と、合成部３５０とを含む。
画像処理装置３００は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理を実行して復元画像を生成する。具体的には、画像処理装置３００は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と、辞書２００に格納されている劣化パッチとの、類似度に基づいて復元パッチを選択する。次に、画像処理装置３００は、選択した複数の復元パッチを合成することにより、復元画像を生成する。入力パッチと劣化パッチとの類似度は、学習フェーズで説明した、２つのパッチ間の類似度と同様である。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよく、受け付けの形態は限定されない。受付部３１０は、受け付けた入力画像をパッチ生成部３３０に出力する。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。パッチ生成部３３０は、生成した複数の入力パッチを選択部３４０に出力する。
選択部３４０は、パッチ生成部３３０から、複数の入力パッチを受け取る。選択部３４０は、辞書２００に格納されるパッチペアのデータの中から、入力パッチと辞書２００中の劣化パッチとの類似度を示す値（以下、「劣化類似値」という。）に基づいて、複数の入力パッチのそれぞれ毎に復元パッチのそれぞれを選択する。選択部３４０は、選択した複数の復元パッチを合成部３５０に出力する。
合成部３５０は、選択部３４０から出力された複数の復元パッチを合成して、復元画像を生成する。
図９は、復元フェーズを説明するための概念図である。図９に示すように、画像処理装置３００は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性を考慮して、復元画像４０を生成するための復元パッチ２０１を選択する。
次に、画像処理装置３００の動作について、図面を参照して詳細に説明する。
図１０は、画像処理装置３００の動作を示すフローチャートである。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ２）。例えば、パッチ生成部３３０は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としてもよい。この場合、パッチ生成部３３０は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチを生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部３３０は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチを生成してもよい。尚、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
選択部３４０は、入力パッチと劣化類似値とに基づいて、入力パッチに最も類似する劣化パッチを探索し、最も類似する劣化パッチとペアになっている復元パッチを選択する（ステップＢ３）。ここで、劣化類似値は、辞書２００中の劣化パッチとの類似度を示す値である。
ステップＢ３は、全ての入力パッチについて繰り返し実行される。
尚、ステップＢ３では、選択部３４０は、入力パッチに最も類似する一枚の劣化パッチを探索することとした。しかし、ステップＢ３の動作は、この動作に限定されない。例えば、選択部３４０は、最も類似するパッチから順に選択した複数の復元パッチを合成して、新たに復元パッチを生成してもよい。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
次に、合成部３５０は、選択部３４０が出力した複数の復元パッチを合成して、復元画像を生成する（ステップＢ４）。ここで、「合成」とは、上述のように画素値の平均を取る処理でもよい。具体的には、「合成」とは、全復元パッチを対応する位置に置いたときに、重なり領域については重なった全ての復元パッチの画素値の平均を取る処理でもよい。
以上が画像処理装置３００の動作の説明である。
上述した本実施形態における第１の効果は、辞書２００のサイズを削減するための処理コストを低減することが可能になる点である。
その理由は、類似度算出部５１０が算出した候補パッチ及び既保存パッチ間の類似度に基づいて、保存パッチ選択部５２０が候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断するようにしたからである。
上述した本実施形態における第２の効果は、最初の学習画像の入力から、サイズを削減した辞書２００を得るまでの時間を短縮することが可能になる点である。
その理由は、枝刈部５０１は、パッチペア生成部１３０が生成した候補画像を順次受け取って、類似度算出部５１０と保存パッチ選択部５２０とによる処理を逐次的に実行するようにしたからである。
＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１１は、本発明の第２実施形態に係る枝刈部５０２の構成を示すブロック図である。
図１１を参照すると、本実施形態における枝刈部５０２は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１２を保存パッチ選択部５２０に替えて保存パッチ選択部５２２を有する。また、枝刈部５０２は、既保存パッチ保持部５３０に替えて統計情報保持部５４０を有する。更に、枝刈部５０２は、平均画素群算出部５５０を更に含む。
図１２は、統計情報５４１の一例を示す図である。図１２を参照すると統計情報５４１は、既保存パッチ５４２と積算パッチ５４３と削除パッチ数５４４との組を１以上含む。
積算パッチ５４３は、対応する既保存パッチ５４２に関連する削除パッチの画素群を積算した画素群を含む。削除パッチ数５４４は、対応する既保存パッチ５４２に関連する削除パッチの数である。
類似度算出部５１２は、枝刈情報を受け取ると、その枝刈情報が示す保存パッチに対応する既保存パッチ５４２に、対応する積算パッチ５４３と削除パッチ数５４４とを統計情報保持部５４０から取得する。ここで、その枝刈情報が示す保存パッチに対応する既保存パッチ５４２は、現在、類似度算出の対象としている既保存パッチである。
類似度算出部５１２は、その枝刈情報で示される削除パッチの画素群と取得した積算パッチ５４３の画素群とを加算した画素群で、積算パッチ５４３を更新する。同時に、類似度算出部５１２は、削除パッチ数５４４に１を加算して更新する。類似度算出部５１２は、更新した積算パッチ５４３と削除パッチ数５４４とその枝刈情報で示される保存パッチである既保存パッチ５４２との組を統計情報５４１として出力する。
統計情報保持部５４０は、類似度算出部５１２が出力する統計情報５４１を受け取り、保持している統計情報５４１を更新する。即ち、統計情報保持部５４０は、受け取った統計情報５４１の既保存パッチ５４２を含む、統計情報５４１を既に保持している場合は、積算パッチ５４３と削除パッチ数５４４を上書きする。また、統計情報保持部５４０は、受け取った統計情報５４１の既保存パッチ５４２を含む、統計情報５４１を保持していない場合は、受け取った統計情報５４１を保持する。
平均画素群算出部５５０は、統計情報保持部５４０から積算パッチ５４３と削除パッチ数５４４とを取得し、平均画素群を算出する。平均画素群は、積算パッチ５４３に含まれる画素群と既保存パッチ５４２に含まれる画素群とを更に加算した画素群の各要素を、削除パッチ数５４４に１加算した数で除した値を各要素とする。
保存パッチ選択部５２２は、候補パッチと既保存パッチ５４２との間の類似度が類似度閾値以上の場合に、候補パッチ及び既保存パッチ５４２それぞれに含まれる画素群と平均画素群との間の類似度を算出する。保存パッチ選択部５２２は、候補パッチ及び既保存パッチ５４２の内、算出した類似度が高い方を保存パッチとして選択する。
尚、保存パッチ選択部５２２は、平均画素群を含む平均パッチを登録部１４０へ出力するようにしてもよい。この場合、登録部１４０は、パッチペアの劣化パッチを平均パッチに替えて、辞書２００へ登録するようにしてもよい。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００に登録されるパッチペアの分布バランスが良くなるように、削除パッチの情報を考慮して保存パッチを選択することが可能になるという効果がある。
その理由は、以下の構成を備えるようにしたからである。第一に、統計情報保持部５４０が削除パッチの統計情報５４１を保持する。第二に、平均画素群算出部５５０がその統計情報５４１に基づいて平均画素群を算出する。第三に、保存パッチ選択部５２２がその平均画素群に基づいて保存パッチを選択する。
＜第３実施形態＞
次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１３は、本発明の第３実施形態に係る枝刈部５０３の構成を示すブロック図である。
図１３を参照すると、本実施形態における枝刈部５０３は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１３を有する。また、枝刈部５０３は、代表選択部５６０を更に含む。
図１４は、本実施形態の既保存パッチ６０の一例を示す図である。図１４に示すように、既保存パッチ６０は、図４に示すパッチ５０に比べて、代表パッチ識別子６４を更に含む。
代表選択部５６０は、パッチペアに含まれる劣化パッチの内から代表類似度閾値未満の類似度を互いに有する、複数の劣化パッチを選択する。そして、代表選択部５６０は、選択した劣化パッチを代表パッチとして保持し、出力する。ここで、代表類似度閾値は、類似度閾値に比べて、一桁以上小さい値であることが望ましい。
代表パッチは、図４に示すパッチ５０又は図１４に示す既保存パッチ６０と同様の構造を有する。例えば、特定の代表パッチに対応する既保存パッチ６０として類似度算出部５１３が代表選択部５６０に出力したパッチを、代表選択部５６０が代表パッチとして選択した場合の代表パッチの構造は、既保存パッチ６０と同じ構造である。
具体的には、代表選択部５６０は、類似度算出部５１３から、既保存パッチ（例えば、既保存パッチ６０であってもよい）を受け取る。
次に、代表選択部５６０は、一つも代表パッチを保持していない場合は、受け取った既保存パッチを代表パッチとして保持する。
また、代表選択部５６０は、少なくとも１つの代表パッチを保持している場合は、受け取った既保存パッチと保存している全ての代表パッチそれぞれとの類似度を算出する。
次に代表選択部５６０は、算出した全ての類似度が代表類似度閾値より小さい場合、その既保存パッチを代表パッチとして保持する。
代表選択部５６０は、類似度算出部５１３へ代表パッチを出力する。
尚、代表選択部５６０は、パッチペア生成部１３０から、任意の複数の劣化パッチを取得し、この中から互いの類似度が代表類似度閾値未満の劣化パッチを任意の数だけ選択し、選択した劣化パッチを代表パッチとしてもよい。
類似度算出部５１３は、まず、候補パッチと代表パッチそれぞれとの間の類似度を算出し、算出した類似度のうち最も大きい類似度に対応する代表パッチを特定する。類似度算出部５１３は、特定した代表パッチに対応する既保存パッチ６０と候補パッチとの間の類似度を算出し、その算出した類似度を保存パッチ選択部５２０へ出力する。尚、類似度算出部５１３は、例えば初期状態において、代表パッチが存在しない場合或いは既保存パッチ６０が存在しない場合、類似度を０として出力する。
類似度算出部５１３は、既保存パッチを既保存パッチ保持部５３０へ出力する場合に、特定した代表パッチのパッチ識別情報を付加して出力する。この場合、既保存パッチ保持部５３０が保持する既保存パッチ６０は、代表パッチ識別情報を含む既保存パッチである。
上述のように、本実施形態においては、代表パッチに対応する分割範囲は、代表パッチ間の各次元の要素の中間点で決定される。
尚、例えば、類似度算出部５１３は、代表パッチを取得した場合に、代表パッチの画素群に基づいて木構造を生成し、その生成した木構造に基づいて候補パッチがいずれの代表パッチに対応するかを決定してもよい。ここで、その木構造は、例えば、ｋ−ｄｉｍｅｎｓｉｏｎａｌ ｔｒｅｅ（ｋ次元のユークリッド空間にある点を分類する空間分割データ構造）である。
こうした場合、類似度算出部５１３による距離計算の回数は、Ｎ個の既保存パッチに対する１個の候補パッチについて、類似度が類似度閾値以上の既保存パッチが検出されない場合、“Ｎ２”から“ｌｏｇ（ｋ）（Ｎ／ｋ）２）”に削減される。但し、ｋは、代表パッチの個数である。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００のサイズを削減するための処理コストを更に低減することが可能になるという効果がある。
その理由は、代表選択部５６０が代表パッチを選択し、類似度算出部５１３が代表パッチに基づいて分割される分割範囲内で候補パッチと既保存パッチとの間の類似度を算出するようにしたからである。
＜第４実施形態＞
次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１５は、本発明の第４実施形態に係る枝刈部５０４の構成を示すブロック図である。
図１５を参照すると、本実施形態における枝刈部５０４は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１４を有する。
図１６は、本実施形態の劣化パッチ７０の例を示す図である。図１６に示すように、劣化パッチ（候補パッチ及び既保存パッチ）７０は、図４に示すパッチ５０に比べて、位置情報７５を更に含む。位置情報７５は、例えば、劣化画像２０をｘｙ平面とした場合の、劣化パッチ７０（劣化パッチ２１２）の中心の座標である。図１６の位置情報７５のｘｘはｘ軸の座標を、ｙｙはｙ軸の座標を示す。
類似度算出部５１４は、候補パッチの位置情報７５に対応する位置範囲を取得する。位置範囲は、例えば、ｘｙ座標上における候補パッチの原点の座標を中心とする円である。位置範囲は、左記以外の任意の範囲であってよい。類似度算出部５１４は、ｘｙ座標上における既保存パッチの原点の座標が位置範囲に含まれるか否かを判定し、含まれる場合にその既保存パッチとその候補パッチとの間の類似度を算出し、保存パッチ選択部５２０へ出力する。
こうした場合、類似度算出部５１４による距離計算の回数は、Ｎ個の既保存パッチに対する１個の候補パッチについて、類似度が類似度閾値以上の既保存パッチが検出されない場合、“Ｎ２”から“（Ｎ／ｋ）２”に削減される。但し、ｋは、位置範囲の個数である。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００のサイズを削減するための処理コストを更に低減することが可能になるという効果がある。
その理由は、類似度算出部５１４が候補パッチの位置情報７５と既保存パッチの位置情報７５とが予め定められた位置範囲内である候補パッチと既保存パッチとの間の類似度を算出するようにしたからである。
＜第５実施形態＞
次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１７は、本発明の第５実施形態に係る枝刈部５０５の構成を示すブロック図である。
図１７を参照すると、本実施形態における枝刈部５０５は、第１の実施形態の枝刈部５０１と比べて、保存パッチ選択部５２０に替えて保存パッチ選択部５２５を有する。また、枝刈部５０５は、閾値決定部５８０を更に含む。
閾値決定部５８０は、パッチペア生成部１３０から任意の数の劣化パッチを取得する。次に、閾値決定部５８０は、取得した劣化パッチ相互間の類似度を算出し、類似度の分布に基づいて類似度閾値を決定する。
図１８は、類似度分布率６５０を示す図である。図１８に示すように類似度分布率６５０は、類似度と分布率の対応を示す情報である。類似度分布率６５０の分布率は、閾値決定部５８０が算出した類似度の、分布率である。
例えば、辞書２００に登録するパッチペアの数（即ち、既保存パッチの数）が、３００個未満と定められているとする。また、パッチペア生成部１３０が生成するパッチペアの数が１０００個であるとする。
この場合。閾値決定部５８０は、類似度の小さい分布率から順番に加算した合計値が３００／１０００＝０．３を超えない範囲で、最大の類似度（図１８の例の場合、７）を類似度閾値として、決定し、出力する。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、類似度閾値を自動的に決定することが可能になるという効果がある。
その理由は、閾値決定部５８０が、任意の数の劣化パッチの相互間の類似度に基づいて、類似度閾値を算出するようにしたからである。
＜第６実施形態＞
次に、本発明の第６実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１９は、本発明の第６実施形態に係る枝刈部５０６の構成を示すブロック図である。
図１９を参照すると、本実施形態における枝刈部５０６は、類似度算出部５１０及び保存パッチ選択部５２０を含む。
類度算出部５１０は、候補パッチと既保存パッチとを取得し、取得した候補パッチと既保存パッチとの間の類似度を算出する。類似度算出部５１０は、例えば、図２に示すパッチペア生成部１３０から候補パッチを取得する。類似度算出部５１０は、例えば、図２に示す辞書２００から既保存パッチを取得する。
類似度算出部５１０は、算出した類似度を順次、保存パッチ選択部５２０へ出力する。
保存パッチ選択部５２０は、受け取った類似度が類似度閾値以上の場合に、枝刈を指示する枝刈情報を出力する。
次に、枝刈部５０６のハードウェア単位の構成要素について説明する。
図２０は、本実施形態における枝刈部５０６を実現するコンピュータ装置のハードウェア構成を示す図である。図２０に示されるように、枝刈部５０６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。
ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、枝刈部５０６の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図１０に示すフローチャートの動作をコンピュータに実行させるプログラム）やデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図１９に示す類似度算出部５１０及び保存パッチ選択部５２０として各種の処理を実行する。
尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
記憶部５９２は、プログラムやデータを記憶する。
記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。
入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、加速度計、ジャイロセンサ、カメラなどでもよい。
出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。
通信部５９６は、ネットワークと枝刈部５０６とのインタフェースを実現する。枝刈部５０６は、例えば通信部５９６を介して辞書２００と接続されてもよい。
以上が、枝刈部５０６のハードウェア単位の各構成要素についての説明である。
以上説明したように、図１９に示す機能単位のブロックは、図２０に示すハードウェア構成によって実現される。但し、枝刈部５０６が備える各部の実現手段は、上記に限定されない。すなわち、枝刈部５０６は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されてもよい。
図２１は、プログラムを記録した記録媒体（又は記憶媒体）５９７の例を示すブロック図である。記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が枝刈部５０６に供給され、枝刈部５０６は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、枝刈部５０６が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
上述した本実施形態における効果は、辞書のサイズを削減するための処理コストを低減することが可能になるという効果がある。
その理由は、類似度算出部５１０が算出した候補パッチ及び既保存パッチ間の類似度に基づいて、保存パッチ選択部５２０が候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断するようにしたからである。
＜各実施形態のハードウェア構成＞
前述の第１乃至第５実施形態で説明した枝刈部５０１−５０５は、それぞれ図２０に示す枝刈部５０６と同様、ＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した枝刈部５０１−５０５の各動作を実行させるためのプログラムであればよい。
また、本発明では、学習装置１００、画像処理装置３００は、それぞれ図２０に示すようなＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した学習装置１００、画像処理装置３００の各動作を実行させるためのプログラムであればよい。
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明は超解像技術を例として行うが、本発明は超解像技術の適用のみに限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術など、品質の悪い入力画像から復元画像を生成するあらゆる技術に適用可能である。
学習型超解像技術には、学習フェーズと復元フェーズとがある。
学習フェーズは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
復元フェーズは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理により超解像画像（復元画像）を生成するフェーズである。ここで、一般的な入力画像は、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり、或いは部分的に欠落していたりする、品質の悪い画像である。
ここで、パッチペアは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、学習画像と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、劣化画像と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを復元パッチ、劣化画像（低解像画像）のパッチを劣化パッチと呼ぶ。また、パッチは、対象の画像の部分的な小領域画像であり、例えばその対象の画像をブロックに分割して生成されたものである。
本発明に関連する技術として、例えば非特許文献１は、互いに類似した低周波特徴量（前述の劣化パッチに対応）同士を一つの代表にまとめた、一対多対応の辞書構造を採用する。非特許文献１は、その辞書構造を採用することで、メモリ量を抑制し、また、計算コストを削減する技術を記載している。その技術は、Ｋ−ｍｅａｎｓ法を用いた技術である。
非特許文献１に記載された学習型超解像技術の手法は、互いに類似した低周波特徴量同士をまとめた代表の低周波特徴量を得るために、選択の対象となる低周波特徴量間の距離の演算を、代表の低周波特徴量が収束するまで複数回繰り返し実行する。
非特許文献１に記載の技術のように、結果が収束するまで演算を繰り返して代表となる低周波特徴量を収束計算する場合、その収束計算の対象となる低周波特徴量の数が多くなると演算コストは膨大になりやすい。また、非特許文献１に記載された手法においては、上述の演算を開始する時点で、その収束計算の対象となる低周波特徴量の全てが入力される必要がある。
以下の各実施形態は、辞書に格納するパッチペアを選択する処理を、辞書へ格納する候補である全てのパッチペアについて逐次的に実行することにより、上述の問題を解決する。その辞書に格納するパッチペアを選択する処理は、二つのパッチペアそれぞれの特徴の類似度に基づいて、それらのパッチペアのいずれか一方を辞書に格納するパッチペアとして選択する処理である。
ここで、特徴の類似度は、例えば、パッチペアそれぞれの劣化画像のパッチに基づいて算出される類似度である。その特徴の類似度は、例えば、パッチペアそれぞれの高解像度の画像のパッチに基づいて算出される類似度であってもよい。その特徴の類似度は、例えば、パッチペアそれぞれの劣化画像のパッチと、パッチペアそれぞれの高解像度の画像のパッチとの両方に基づいて算出される類似度であってもよい。
以下の各実施形態において、上述の特徴の類似度は、パッチペアそれぞれの劣化画像のパッチに基づいて算出される類似度（以下、「パッチ間の類似度」、「パッチとパッチとの類似度」、或いは単に「類似度」と呼ぶ）である。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理システム１０００の構成を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１００と、辞書２００と、画像処理装置３００とを含む。学習装置１００は、学習画像を受け付け、学習フェーズを実行する。辞書２００は、学習フェーズで作成されたパッチペアを記憶する。画像処理装置３００は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、本実施形態を説明する。
（学習フェーズ）
図２~図７を参照して、第１実施形態における学習フェーズについて説明する。
図２は、学習装置１００の構成を示すブロック図である。図２に示すように、学習装置１００は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０と、枝刈部５０１とを含む。
学習装置１００は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け付けた学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像に対して複数の異なる劣化処理を施して複数の劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを施すことで劣化画像を生成してもよい。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えばＮ分の１に縮小することで劣化画像を生成してもよい。画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用する。また、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用してもよい。
劣化画像生成部１２０は、例えば学習画像の高周波成分を取り除く等してボケ強度を強めることで劣化画像を生成してもよい。劣化画像生成部１２０は、学習画像を傾かせて姿勢を変動させることで劣化画像を生成してもよい。又は劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成してもよい。劣化画像生成部１２０は、既存の様々な手法によって劣化画像を生成してもよい。
劣化画像生成部１２０は、学習画像から生成した劣化画像を、パッチペア生成部１３０に出力する。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像を受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、既存の手法によって復元パッチと劣化パッチとの複数のペア（パッチペア）を生成すればよい。
パッチペア生成部１３０は、生成した複数のパッチペアを登録部１４０に、順次出力する。また、パッチペア生成部１３０は、登録部１４０に出力するパッチペアに含まれる劣化パッチを、登録部１４０への出力に同期して枝刈部５０１に出力する。
尚、学習装置１００の受付部１１０は、学習画像及びその学習画像のペアである劣化画像の両方を、外部から受け付けるようにしてもよい。例えば、学習画像は高解像度画像を撮影可能なカメラで撮影した画像であり、劣化画像は性能の低いカメラで撮影した画像である。また、劣化画像は、意図的にピントを狂わせて、或いは露出時間を不正に設定して、撮影した画像であってよい。また、劣化画像は、ブレを発生させて撮影した画像であってよい。劣化画像は、その他、あらゆる悪条件で撮影した画像であってよい。こうした場合、学習装置１００は、劣化画像生成部１２０を含まなくてもよい。また、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
枝刈部５０１は、選択の対象となるパッチペアの内、二つのパッチペアの特徴の類似度に基づいて、辞書に格納するパッチペアを示す枝刈情報を出力する。
具体的には、枝刈部５０１は、二つのパッチペアそれぞれの劣化パッチ間の類似度に基づいて、辞書に格納する劣化パッチを示す枝刈情報を出力する。それらの二つの劣化パッチの内の一つは、パッチペア生成部１３０から受け取った劣化パッチであって、辞書手段に保存する候補である候補パッチである。それらの二つの劣化パッチの内の他の一つは、枝刈部５０１が保持する劣化パッチであって、既に辞書手段に保存すると判定された既保存パッチである。
図３は、枝刈部５０１の構成を示すブロック図である。図３に示すように枝刈部５０１は、類似度算出部５１０、保存パッチ選択部５２０及び既保存パッチ保持部５３０を含む。
類似度算出部５１０は、候補パッチと既保存パッチ保持部５３０に保持されている各既保存パッチとの２つのパッチ間の類似度を算出する。続けて、類似度算出部５１０は、算出した類似度を順次、保存パッチ選択部５２０へ出力する。尚、類似度算出部５１０は、既保存パッチが存在しない場合（例えば、初期状態）、類似度を０として出力してよい。
類似度算出部５１０は、後述する枝刈情報を受け取った場合、現在処理中の候補パッチに関する類似度の算出処理を終了する。その理由は、枝刈情報が、現在処理中の候補パッチを削除パッチとすることを示しているからである。また、類似度算出部５１０は、パッチ間の類似度を算出し、出力した後、予め定められた期間を経過しても枝刈情報受け取らなかった場合、その候補パッチを既保存パッチとして、既保存パッチ保持部５３０に出力する。ここで、そのパッチ間の類似度は、現在処理中の候補パッチと全ての既保存パッチそれぞれとの類似度である。
尚、類似度算出部５１０は、辞書２００に格納されているパッチペアに含まれる劣化パッチを既保存パッチとして取得し、この既保存パッチと候補パッチとのパッチ間の類似度を算出するようにしてもよい。この場合、枝刈部５０１は、既保存パッチ保持部５３０を含まなくてもよい。
ここで、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図４は、パッチ５０の一例を示す図である。図４に示すように、例えばパッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。また、パッチ５０は、パッチ５０を個々に特定するパッチ識別子５３を、メタ情報として含む。尚、パッチ５０は、復元パッチ、劣化パッチ及び入力パッチを含む概念である。また、画素値は、輝度値でもよくこれに限定されない。
この場合、２つのパッチ間の類似度を示す値とは、パッチ間の各画素５２の輝度値の差に基づく値でもよい。例えば、２つのパッチ間の類似度を示す値は、パッチ間の各画素５２の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）を、特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＳＤであってよい。又は、２つのパッチ間の類似度を示す値は、パッチ間の各画素の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）を、特定の定数から引いた値でもよい。この場合、特定の定数は、例えば、最小輝度のパッチと最大輝度のパッチのＳＡＤであってよい。
他に、例えば、２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でもよい。又は、２つのパッチ間の類似度を示す値は、正規化相互相関関数により算出される値でもよく、これらに限定されない。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
図３に戻って、保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合に、枝刈を指示する枝刈情報を、登録部１４０及び類似度算出部５１０へ出力する。
ここで、類似度閾値は、候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断する場合に利用される、類似度の基準である。即ち、保存パッチ選択部５２０は、類似度閾値以上の類似度を持つ劣化パッチが保存されないように、枝刈情報を出力する。
また、枝刈情報は、算出した類似度が類似度閾値以上の場合、候補パッチ又は既保存パッチのいずれの一方を辞書２００に保存する保存パッチとし、他の一方を辞書２００に保存しない削除パッチとするかを示す情報である。本実施形態の保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合、既保存パッチを辞書２００に保存する保存パッチとし、候補パッチを辞書２００に保存しない削除パッチとすることを示す、その枝刈情報を出力する。
また、枝刈部５０１は、算出した類似度が類似度閾値未満の場合、枝刈情報を出力しない。
既保存パッチ保持部５３０は、類似度算出部５１０から受け取った既保存パッチを保持する。
尚、枝刈部５０１は、二つのパッチペアそれぞれの学習パッチ間の類似度に基づいて、辞書に格納する学習ペア（或いは、パッチペア）を示す枝刈情報を出力するようにしてもよい。こうした場合、パッチペア生成部１３０は、登録部１４０に出力するパッチペアに含まれる学習パッチを、登録部１４０への出力に同期して枝刈部５０１に出力する。また、類似度算出部５１０は、パッチペア生成部１３０から受け取った学習パッチを、候補パッチとする。また、既保存パッチ保持部５３０は、学習パッチを既保存パッチとして保持する。
また、枝刈部５０１は、二つのパッチペアそれぞれの学習パッチ間の類似度及び劣化パッチ間の類似度に基づいて、辞書に格納するパッチペアを示す枝刈情報を出力するようにしてもよい。こうした場合、パッチペア生成部１３０は、登録部１４０に出力するパッチペアを、登録部１４０への出力に同期して枝刈部５０１に出力する。また、類似度算出部５１０は、パッチペア生成部１３０から受け取ったパッチペアの学習パッチ及び劣化パッチを、候補パッチとする。また、既保存パッチ保持部５３０は、パッチペアの学習パッチ及び劣化パッチを、既保存パッチとして保持する。類似度算出部５１０は、例えば、学習パッチ間の類似度と劣化パッチ間の類似度とに対して、予め定められた演算（例えば、加算）を施して、候補パッチと既保存パッチとの類似度を算出するようにしてよい。
図２に戻って、登録部１４０は、パッチペア生成部１３０から、パッチペアを受け取る。また、登録部１４０は、枝刈部５０１から、枝刈情報を受け取る。
登録部１４０は、枝刈情報を受け取った場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録しない。即ち、登録部１４０は、枝刈情報を受け取った場合、何もしない。その理由は、枝刈情報が、辞書２００に既に保存されているパッチペアに含まれる既保存パッチを保存パッチとしたことを示しているからである。
一方、登録部１４０は、期待する特定のタイミングで枝刈情報を受け取らなかった場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録する。
即ち、本実施形態の学習装置１００は、外部から学習画像を受け付ける。次に、学習装置１００は、その学習画像から複数のパッチペアを生成する。次に、学習装置１００は、それらのパッチペアに含まれる劣化パッチ相互間の類似度が類似度閾値未満の、劣化パッチを含むパッチペアを枝刈した辞書２００を作成する。
尚、本実施形態の保存パッチ選択部５２０は、算出した類似度が類似度閾値以上の場合、既保存パッチを辞書２００に保存しない削除パッチとし、候補パッチを辞書２００に保存する保存パッチとすることを示す、枝刈情報を出力するようにしてもよい。この場合、登録部１４０は、枝刈情報を受け取った場合、パッチペア生成部１３０から受け取ったパッチペアを辞書２００に登録し、辞書２００に登録されている、既保存パッチに対応する、パッチペアを削除するようにしてもよい。この場合、登録部１４０は、期待する特定のタイミングで枝刈情報を受け取らなかった場合、何もしない。更に、類似度算出部５１０は、枝刈情報を受け取った場合、候補パッチを既保存パッチ保持部５３０へ出力し、同時に、対応する既保存パッチを削除する指示を既保存パッチ保持部５３０に出力し、現在処理中の候補パッチの関する類似度の算出処理を終了する。また、類似度算出部５１０は、何もしない。
辞書２００は、学習装置１００によって生成され、枝刈された複数のパッチペアを格納する。
図５は、学習フェーズを説明するための概念図である。図５に示すように、学習装置１００は、学習画像１０及び劣化画像２０の対応する位置におけるパッチペアを辞書２００に登録する。
図６は、辞書２００がパッチペアを格納する様子を説明するための概念図である。図６に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２のペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。ここでｎは整数である。
辞書２００のパッチペアの格納方法は、図６に示すように各パッチを対応付けて格納する方法に限定されない。例えば辞書２００は、学習画像をパッチとしてではなく一枚の画像として格納し、劣化パッチ毎に学習画像のどこの領域と対応するかを示すインデックスが付された態様により学習データを格納してもよいし、その他の方法で格納してもよい。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造であってよい。
次に、図面を参照して、学習装置１００の動作を説明する。図７は、学習装置１００の動作を示すフローチャート図である。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像を、例えばＮ分の１に縮小して、劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する（ステップＡ３）。
次に、パッチペア生成部１３０は、一つのパッチペアを登録部１４０へ出力し、そのパッチペアに含まれる劣化パッチを候補パッチとして枝刈部５０１へ出力する（ステップＡ４）。
枝刈部５０１の類似度算出部５１０は、受け取った候補パッチと既保存パッチとの２つのパッチ間の類似度を算出する（ステップＡ５）。
枝刈部５０１の保存パッチ選択部５２０は、類似度算出部５１０から受け取った類似度が類似度閾値以上か否かを判定する（ステップＡ６）。
類似度が類似度閾値以上の場合（ステップＡ６でＹＥＳ）、保存パッチ選択部５２０は、枝刈情報を出力する（ステップＡ７）。そして、処理はステップＡ４に戻る。
類似度が類似度閾値未満の場合（ステップＡ６でＮＯ）、類似度算出部５１０は全ての既保存パッチについて処理が終了したか否かを確認する（ステップＡ８）。
処理が終了していない既保存パッチが残っている場合（ステップＡ８でＮＯ）、処理はステップＡ５へ戻る。
全ての既保存パッチについて処理が終了した場合（ステップＡ８でＹＥＳ）、類似度算出部５１０は、受け取った候補パッチを、既保存パッチとして既保存パッチ保持部５３０に出力する（ステップＡ９）
次に、登録部１４０は、ステップＡ４においてパッチペア生成部１３０から受け取ったパッチペアを辞書２００へ出力する（ステップＡ１０）。
次に、パッチペア生成部１３０は、全てのパッチペアについて処理が終了したか否かを確認する（ステップＡ１１）。
処理が終了していないパッチペアが残っている場合（ステップＡ１１でＮＯ）、処理はステップＡ４へ戻る。
全ての既保存パッチについて処理が終了した場合（ステップＡ１１でＹＥＳ）、処理は終了する。
以上が、辞書２００を作成する、学習装置１００の動作の説明である。
尚、保存パッチ選択部５２０は、候補パッチのパッチ識別子、既保存パッチのパッチ識別子及びパッチペアの識別子の内の任意の情報を、枝刈情報として出力するようにしてもよい。この場合、登録部１４０は、受け取った枝刈情報に基づいて、予め定められた基準に従って、辞書２００へのパッチペアの登録、辞書２００からのパッチペアの削除を実行する。また、類似度算出部５１０は、受け取った枝刈情報に基づいて、予め定められた基準に従って、既保存パッチ保持部５３０の内容を更新する。
（復元フェーズ）
図８~図１０を参照して、第１実施形態における復元フェーズについて説明する。
図８は、画像処理装置３００の構成を示すブロック図である。図８に示すように、画像処理装置３００は、受付部３１０と、パッチ生成部３３０と、選択部３４０と、合成部３５０とを含む。
画像処理装置３００は、画像処理の対象となる入力画像を外部から受け付けて、その入力画像に画像処理を実行して復元画像を生成する。具体的には、画像処理装置３００は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と、辞書２００に格納されている劣化パッチとの、類似度に基づいて復元パッチを選択する。次に、画像処理装置３００は、選択した複数の復元パッチを合成することにより、復元画像を生成する。入力パッチと劣化パッチとの類似度は、学習フェーズで説明した、２つのパッチ間の類似度と同様である。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける。受付部３１０は、ネットワークに接続して入力画像を受信してもよいし、入力画像を記憶するメモリから読み出すことで入力画像を受け付けてもよく、受け付けの形態は限定されない。受付部３１０は、受け付けた入力画像をパッチ生成部３３０に出力する。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。パッチ生成部３３０は、生成した複数の入力パッチを選択部３４０に出力する。
選択部３４０は、パッチ生成部３３０から、複数の入力パッチを受け取る。選択部３４０は、辞書２００に格納されるパッチペアのデータの中から、入力パッチと辞書２００中の劣化パッチとの類似度を示す値（以下、「劣化類似値」という。）に基づいて、複数の入力パッチのそれぞれ毎に復元パッチのそれぞれを選択する。選択部３４０は、選択した複数の復元パッチを合成部３５０に出力する。
合成部３５０は、選択部３４０から出力された複数の復元パッチを合成して、復元画像を生成する。
図９は、復元フェーズを説明するための概念図である。図９に示すように、画像処理装置３００は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性を考慮して、復元画像４０を生成するための復元パッチ２０１を選択する。
次に、画像処理装置３００の動作について、図面を参照して詳細に説明する。
図１０は、画像処理装置３００の動作を示すフローチャートである。
受付部３１０は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
パッチ生成部３３０は、受付部３１０から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ２）。例えば、パッチ生成部３３０は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としてもよい。この場合、パッチ生成部３３０は、入力画像に対し、隣接のパッチが１画素ずつずれた関係で入力パッチを生成してもよい。尚、パッチの領域の画素数や、隣接パッチとの関係はこれらに限定されない。例えば、パッチ生成部３３０は、隣接のパッチが３画素ずつずれた関係のパッチとして入力パッチを生成してもよい。尚、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きい）ほど、復元画像を生成するための細かな合成処理が可能になる。
選択部３４０は、入力パッチと劣化類似値とに基づいて、入力パッチに最も類似する劣化パッチを探索し、最も類似する劣化パッチとペアになっている復元パッチを選択する（ステップＢ３）。ここで、劣化類似値は、辞書２００中の劣化パッチとの類似度を示す値である。
ステップＢ３は、全ての入力パッチについて繰り返し実行される。
尚、ステップＢ３では、選択部３４０は、入力パッチに最も類似する一枚の劣化パッチを探索することとした。しかし、ステップＢ３の動作は、この動作に限定されない。例えば、選択部３４０は、最も類似するパッチから順に選択した複数の復元パッチを合成して、新たに復元パッチを生成してもよい。尚、「画像（パッチ）を合成する」処理は、具体的には、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でもよい。ここで、「画素値の平均を取る」とは、各パッチ間で同一位置の画素値毎に、平均値を算出することである。
次に、合成部３５０は、選択部３４０が出力した複数の復元パッチを合成して、復元画像を生成する（ステップＢ４）。ここで、「合成」とは、上述のように画素値の平均を取る処理でもよい。具体的には、「合成」とは、全復元パッチを対応する位置に置いたときに、重なり領域については重なった全ての復元パッチの画素値の平均を取る処理でもよい。
以上が画像処理装置３００の動作の説明である。
上述した本実施形態における第１の効果は、辞書２００のサイズを削減するための処理コストを低減することが可能になる点である。
その理由は、類似度算出部５１０が算出した候補パッチ及び既保存パッチ間の類似度に基づいて、保存パッチ選択部５２０が候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断するようにしたからである。
上述した本実施形態における第２の効果は、最初の学習画像の入力から、サイズを削減した辞書２００を得るまでの時間を短縮することが可能になる点である。
その理由は、枝刈部５０１は、パッチペア生成部１３０が生成した候補画像を順次受け取って、類似度算出部５１０と保存パッチ選択部５２０とによる処理を逐次的に実行するようにしたからである。
＜第２実施形態＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１１は、本発明の第２実施形態に係る枝刈部５０２の構成を示すブロック図である。
図１１を参照すると、本実施形態における枝刈部５０２は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１２を保存パッチ選択部５２０に替えて保存パッチ選択部５２２を有する。また、枝刈部５０２は、既保存パッチ保持部５３０に替えて統計情報保持部５４０を有する。更に、枝刈部５０２は、平均画素群算出部５５０を更に含む。
図１２は、統計情報５４１の一例を示す図である。図１２を参照すると統計情報５４１は、既保存パッチ５４２と積算パッチ５４３と削除パッチ数５４４との組を１以上含む。
積算パッチ５４３は、対応する既保存パッチ５４２に関連する削除パッチの画素群を積算した画素群を含む。削除パッチ数５４４は、対応する既保存パッチ５４２に関連する削除パッチの数である。
類似度算出部５１２は、枝刈情報を受け取ると、その枝刈情報が示す保存パッチに対応する既保存パッチ５４２に、対応する積算パッチ５４３と削除パッチ数５４４とを統計情報保持部５４０から取得する。ここで、その枝刈情報が示す保存パッチに対応する既保存パッチ５４２は、現在、類似度算出の対象としている既保存パッチである。
類似度算出部５１２は、その枝刈情報で示される削除パッチの画素群と取得した積算パッチ５４３の画素群とを加算した画素群で、積算パッチ５４３を更新する。同時に、類似度算出部５１２は、削除パッチ数５４４に１を加算して更新する。類似度算出部５１２は、更新した積算パッチ５４３と削除パッチ数５４４とその枝刈情報で示される保存パッチである既保存パッチ５４２との組を統計情報５４１として出力する。
統計情報保持部５４０は、類似度算出部５１２が出力する統計情報５４１を受け取り、保持している統計情報５４１を更新する。即ち、統計情報保持部５４０は、受け取った統計情報５４１の既保存パッチ５４２を含む、統計情報５４１を既に保持している場合は、積算パッチ５４３と削除パッチ数５４４を上書きする。また、統計情報保持部５４０は、受け取った統計情報５４１の既保存パッチ５４２を含む、統計情報５４１を保持していない場合は、受け取った統計情報５４１を保持する。
平均画素群算出部５５０は、統計情報保持部５４０から積算パッチ５４３と削除パッチ数５４４とを取得し、平均画素群を算出する。平均画素群は、積算パッチ５４３に含まれる画素群と既保存パッチ５４２に含まれる画素群とを更に加算した画素群の各要素を、削除パッチ数５４４に１加算した数で除した値を各要素とする。
保存パッチ選択部５２２は、候補パッチと既保存パッチ５４２との間の類似度が類似度閾値以上の場合に、候補パッチ及び既保存パッチ５４２それぞれに含まれる画素群と平均画素群との間の類似度を算出する。保存パッチ選択部５２２は、候補パッチ及び既保存パッチ５４２の内、算出した類似度が高い方を保存パッチとして選択する。
尚、保存パッチ選択部５２２は、平均画素群を含む平均パッチを登録部１４０へ出力するようにしてもよい。この場合、登録部１４０は、パッチペアの劣化パッチを平均パッチに替えて、辞書２００へ登録するようにしてもよい。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００に登録されるパッチペアの分布バランスが良くなるように、削除パッチの情報を考慮して保存パッチを選択することが可能になるという効果がある。
その理由は、以下の構成を備えるようにしたからである。第一に、統計情報保持部５４０が削除パッチの統計情報５４１を保持する。第二に、平均画素群算出部５５０がその統計情報５４１に基づいて平均画素群を算出する。第三に、保存パッチ選択部５２２がその平均画素群に基づいて保存パッチを選択する。
＜第３実施形態＞
次に、本発明の第３実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１３は、本発明の第３実施形態に係る枝刈部５０３の構成を示すブロック図である。
図１３を参照すると、本実施形態における枝刈部５０３は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１３を有する。また、枝刈部５０３は、代表選択部５６０を更に含む。
図１４は、本実施形態の既保存パッチ６０の一例を示す図である。図１４に示すように、既保存パッチ６０は、図４に示すパッチ５０に比べて、代表パッチ識別子６４を更に含む。
代表選択部５６０は、パッチペアに含まれる劣化パッチの内から代表類似度閾値未満の類似度を互いに有する、複数の劣化パッチを選択する。そして、代表選択部５６０は、選択した劣化パッチを代表パッチとして保持し、出力する。ここで、代表類似度閾値は、類似度閾値に比べて、一桁以上小さい値であることが望ましい。
代表パッチは、図４に示すパッチ５０又は図１４に示す既保存パッチ６０と同様の構造を有する。例えば、特定の代表パッチに対応する既保存パッチ６０として類似度算出部５１３が代表選択部５６０に出力したパッチを、代表選択部５６０が代表パッチとして選択した場合の代表パッチの構造は、既保存パッチ６０と同じ構造である。
具体的には、代表選択部５６０は、類似度算出部５１３から、既保存パッチ（例えば、既保存パッチ６０であってもよい）を受け取る。
次に、代表選択部５６０は、一つも代表パッチを保持していない場合は、受け取った既保存パッチを代表パッチとして保持する。
また、代表選択部５６０は、少なくとも１つの代表パッチを保持している場合は、受け取った既保存パッチと保存している全ての代表パッチそれぞれとの類似度を算出する。
次に代表選択部５６０は、算出した全ての類似度が代表類似度閾値より小さい場合、その既保存パッチを代表パッチとして保持する。
代表選択部５６０は、類似度算出部５１３へ代表パッチを出力する。
尚、代表選択部５６０は、パッチペア生成部１３０から、任意の複数の劣化パッチを取得し、この中から互いの類似度が代表類似度閾値未満の劣化パッチを任意の数だけ選択し、選択した劣化パッチを代表パッチとしてもよい。
類似度算出部５１３は、まず、候補パッチと代表パッチそれぞれとの間の類似度を算出し、算出した類似度のうち最も大きい類似度に対応する代表パッチを特定する。類似度算出部５１３は、特定した代表パッチに対応する既保存パッチ６０と候補パッチとの間の類似度を算出し、その算出した類似度を保存パッチ選択部５２０へ出力する。尚、類似度算出部５１３は、例えば初期状態において、代表パッチが存在しない場合或いは既保存パッチ６０が存在しない場合、類似度を０として出力する。
類似度算出部５１３は、既保存パッチを既保存パッチ保持部５３０へ出力する場合に、特定した代表パッチのパッチ識別情報を付加して出力する。この場合、既保存パッチ保持部５３０が保持する既保存パッチ６０は、代表パッチ識別情報を含む既保存パッチである。
上述のように、本実施形態においては、代表パッチに対応する分割範囲は、代表パッチ間の各次元の要素の中間点で決定される。
尚、例えば、類似度算出部５１３は、代表パッチを取得した場合に、代表パッチの画素群に基づいて木構造を生成し、その生成した木構造に基づいて候補パッチがいずれの代表パッチに対応するかを決定してもよい。ここで、その木構造は、例えば、ｋ−ｄｉｍｅｎｓｉｏｎａｌ ｔｒｅｅ（ｋ次元のユークリッド空間にある点を分類する空間分割データ構造）である。
こうした場合、類似度算出部５１３による距離計算の回数は、Ｎ個の既保存パッチに対する１個の候補パッチについて、類似度が類似度閾値以上の既保存パッチが検出されない場合、“Ｎ２”から“ｌｏｇ（ｋ）（Ｎ／ｋ）２）”に削減される。但し、ｋは、代表パッチの個数である。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００のサイズを削減するための処理コストを更に低減することが可能になるという効果がある。
その理由は、代表選択部５６０が代表パッチを選択し、類似度算出部５１３が代表パッチに基づいて分割される分割範囲内で候補パッチと既保存パッチとの間の類似度を算出するようにしたからである。
＜第４実施形態＞
次に、本発明の第４実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１５は、本発明の第４実施形態に係る枝刈部５０４の構成を示すブロック図である。
図１５を参照すると、本実施形態における枝刈部５０４は、第１の実施形態のそれと比べて、類似度算出部５１０に替えて類似度算出部５１４を有する。
図１６は、本実施形態の劣化パッチ７０の例を示す図である。図１６に示すように、劣化パッチ（候補パッチ及び既保存パッチ）７０は、図４に示すパッチ５０に比べて、位置情報７５を更に含む。位置情報７５は、例えば、劣化画像２０をｘｙ平面とした場合の、劣化パッチ７０（劣化パッチ２１２）の中心の座標である。図１６の位置情報７５のｘｘはｘ軸の座標を、ｙｙはｙ軸の座標を示す。
類似度算出部５１４は、候補パッチの位置情報７５に対応する位置範囲を取得する。位置範囲は、例えば、ｘｙ座標上における候補パッチの原点の座標を中心とする円である。位置範囲は、左記以外の任意の範囲であってよい。類似度算出部５１４は、ｘｙ座標上における既保存パッチの原点の座標が位置範囲に含まれるか否かを判定し、含まれる場合にその既保存パッチとその候補パッチとの間の類似度を算出し、保存パッチ選択部５２０へ出力する。
こうした場合、類似度算出部５１４による距離計算の回数は、Ｎ個の既保存パッチに対する１個の候補パッチについて、類似度が類似度閾値以上の既保存パッチが検出されない場合、“Ｎ２”から“（Ｎ／ｋ）２”に削減される。但し、ｋは、位置範囲の個数である。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、辞書２００のサイズを削減するための処理コストを更に低減することが可能になるという効果がある。
その理由は、類似度算出部５１４が候補パッチの位置情報７５と既保存パッチの位置情報７５とが予め定められた位置範囲内である候補パッチと既保存パッチとの間の類似度を算出するようにしたからである。
＜第５実施形態＞
次に、本発明の第５実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１７は、本発明の第５実施形態に係る枝刈部５０５の構成を示すブロック図である。
図１７を参照すると、本実施形態における枝刈部５０５は、第１の実施形態の枝刈部５０１と比べて、保存パッチ選択部５２０に替えて保存パッチ選択部５２５を有する。また、枝刈部５０５は、閾値決定部５８０を更に含む。
閾値決定部５８０は、パッチペア生成部１３０から任意の数の劣化パッチを取得する。次に、閾値決定部５８０は、取得した劣化パッチ相互間の類似度を算出し、類似度の分布に基づいて類似度閾値を決定する。
図１８は、類似度分布率６５０を示す図である。図１８に示すように類似度分布率６５０は、類似度と分布率の対応を示す情報である。類似度分布率６５０の分布率は、閾値決定部５８０が算出した類似度の、分布率である。
例えば、辞書２００に登録するパッチペアの数（即ち、既保存パッチの数）が、３００個未満と定められているとする。また、パッチペア生成部１３０が生成するパッチペアの数が１０００個であるとする。
この場合。閾値決定部５８０は、類似度の小さい分布率から順番に加算した合計値が３００／１０００＝０．３を超えない範囲で、最大の類似度（図１８の例の場合、７）を類似度閾値として、決定し、出力する。
上述した本実施形態における効果は、第１の実施形態の効果に加えて、類似度閾値を自動的に決定することが可能になるという効果がある。
その理由は、閾値決定部５８０が、任意の数の劣化パッチの相互間の類似度に基づいて、類似度閾値を算出するようにしたからである。
＜第６実施形態＞
次に、本発明の第６実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
図１９は、本発明の第６実施形態に係る枝刈部５０６の構成を示すブロック図である。
図１９を参照すると、本実施形態における枝刈部５０６は、類似度算出部５１０及び保存パッチ選択部５２０を含む。
類度算出部５１０は、候補パッチと既保存パッチとを取得し、取得した候補パッチと既保存パッチとの間の類似度を算出する。類似度算出部５１０は、例えば、図２に示すパッチペア生成部１３０から候補パッチを取得する。類似度算出部５１０は、例えば、図２に示す辞書２００から既保存パッチを取得する。
類似度算出部５１０は、算出した類似度を順次、保存パッチ選択部５２０へ出力する。
保存パッチ選択部５２０は、受け取った類似度が類似度閾値以上の場合に、枝刈を指示する枝刈情報を出力する。
次に、枝刈部５０６のハードウェア単位の構成要素について説明する。
図２０は、本実施形態における枝刈部５０６を実現するコンピュータ装置のハードウェア構成を示す図である。図２０に示されるように、枝刈部５０６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５９１、記憶部５９２、記憶装置５９３、入力部５９４、出力部５９５及び通信部５９６を含む。
ＣＰＵ５９１は、オペレーティングシステム（不図示）を動作させて、枝刈部５０６の全体の動作を制御する。また、ＣＰＵ５９１は、例えば記憶装置５９３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図１０に示すフローチャートの動作をコンピュータに実行させるプログラム）やデータを読み込み、読み込んだプログラムやデータを記憶部５９２に書き込む。そして、ＣＰＵ５９１は、読み込んだプログラムに従って、また読み込んだデータに基づいて、図１９に示す類似度算出部５１０及び保存パッチ選択部５２０として各種の処理を実行する。
尚、ＣＰＵ５９１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部５９２にプログラムやデータをダウンロードするようにしてもよい。
記憶部５９２は、プログラムやデータを記憶する。
記憶装置５９３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置５９３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置５９３は、データをコンピュータ読み取り可能に記録してもよい。
入力部５９４は、例えばマウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力部５９４は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネル、加速度計、ジャイロセンサ、カメラなどでもよい。
出力部５９５は、例えばディスプレイで実現され、出力を確認するために用いられる。
通信部５９６は、ネットワークと枝刈部５０６とのインタフェースを実現する。枝刈部５０６は、例えば通信部５９６を介して辞書２００と接続されてもよい。
以上が、枝刈部５０６のハードウェア単位の各構成要素についての説明である。
以上説明したように、図１９に示す機能単位のブロックは、図２０に示すハードウェア構成によって実現される。但し、枝刈部５０６が備える各部の実現手段は、上記に限定されない。すなわち、枝刈部５０６は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されてもよい。
図２１は、プログラムを記録した記録媒体（又は記憶媒体）５９７の例を示すブロック図である。記録媒体５９７は、不揮発性記録媒体であってよい。前述のプログラムを記録した記録媒体５９７が枝刈部５０６に供給され、枝刈部５０６は、記録媒体５９７に格納されたプログラムを読み込み、実行してもよい。すなわち、本発明の実施形態は、枝刈部５０６が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
上述した本実施形態における効果は、辞書のサイズを削減するための処理コストを低減することが可能になるという効果がある。
その理由は、類似度算出部５１０が算出した候補パッチ及び既保存パッチ間の類似度に基づいて、保存パッチ選択部５２０が候補パッチ及び既保存パッチのいずれか一方を削除するか否かを判断するようにしたからである。
＜各実施形態のハードウェア構成＞
前述の第１乃至第５実施形態で説明した枝刈部５０１−５０５は、それぞれ図２０に示す枝刈部５０６と同様、ＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した枝刈部５０１−５０５の各動作を実行させるためのプログラムであればよい。
また、本発明では、学習装置１００、画像処理装置３００は、それぞれ図２０に示すようなＣＰＵとプログラムを記憶した不揮発性記録媒体を含むコンピュータ装置により実現されてもよい。この場合、ＣＰＵによって実行されるプログラムは、上記の各実施形態で説明した学習装置１００、画像処理装置３００の各動作を実行させるためのプログラムであればよい。
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 学習画像
２０ 劣化画像
３０ 入力画像
３１ 入力パッチ
４０ 復元画像
５０ パッチ
５１ 画素群
５２ 画素
５３ パッチ識別子
６０ 既保存パッチ
６４ 代表パッチ識別子
７０ 劣化パッチ
７５ 位置情報
１００ 学習装置
１１０ 受付部
１２０ 劣化画像生成部
１３０ パッチペア生成部
１４０ 登録部
２００ 辞書
２０１ 復元パッチ
２０２ 劣化パッチ
２０３ パッチペア
３００ 画像処理装置
３１０ 受付部
３３０ パッチ生成部
３４０ 選択部
３５０ 合成部
５０１ 枝刈部
５０２ 枝刈部
５０３ 枝刈部
５０４ 枝刈部
５０５ 枝刈部
５０６ 枝刈部
５１０ 類似度算出部
５１２ 類似度算出部
５１３ 類似度算出部
５１４ 類似度算出部
５２０ 保存パッチ選択部
５２２ 保存パッチ選択部
５２５ 保存パッチ選択部
５３０ 既保存パッチ保持部
５４０ 統計情報保持部
５４１ 統計情報
５４２ 既保存パッチ
５４３ 積算パッチ
５４４ 削除パッチ数
５５０ 平均画素群算出部
５６０ 代表選択部
５８０ 閾値決定部
５９１ ＣＰＵ
５９２ 記憶部
５９３ 記憶装置
５９４ 入力部
５９５ 出力部
５９６ 通信部
５９７ 記録媒体
６５０ 類似度分布率
１０００ 画像処理システム
２０ 劣化画像
３０ 入力画像
３１ 入力パッチ
４０ 復元画像
５０ パッチ
５１ 画素群
５２ 画素
５３ パッチ識別子
６０ 既保存パッチ
６４ 代表パッチ識別子
７０ 劣化パッチ
７５ 位置情報
１００ 学習装置
１１０ 受付部
１２０ 劣化画像生成部
１３０ パッチペア生成部
１４０ 登録部
２００ 辞書
２０１ 復元パッチ
２０２ 劣化パッチ
２０３ パッチペア
３００ 画像処理装置
３１０ 受付部
３３０ パッチ生成部
３４０ 選択部
３５０ 合成部
５０１ 枝刈部
５０２ 枝刈部
５０３ 枝刈部
５０４ 枝刈部
５０５ 枝刈部
５０６ 枝刈部
５１０ 類似度算出部
５１２ 類似度算出部
５１３ 類似度算出部
５１４ 類似度算出部
５２０ 保存パッチ選択部
５２２ 保存パッチ選択部
５２５ 保存パッチ選択部
５３０ 既保存パッチ保持部
５４０ 統計情報保持部
５４１ 統計情報
５４２ 既保存パッチ
５４３ 積算パッチ
５４４ 削除パッチ数
５５０ 平均画素群算出部
５６０ 代表選択部
５８０ 閾値決定部
５９１ ＣＰＵ
５９２ 記憶部
５９３ 記憶装置
５９４ 入力部
５９５ 出力部
５９６ 通信部
５９７ 記録媒体
６５０ 類似度分布率
１０００ 画像処理システム
Claims (8)
- 画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出する類似度算出手段と、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する保存パッチ選択手段と、
を含む画像処理システム。 - 前記画素群は各画素値を要素とする多次元ベクトルであって、
前記保存パッチに関連する全ての前記削除パッチの、画素群の積算値と前記削除パッチの数とを前記既保存パッチに紐付けて保持する統計情報保持手段と、
前記統計情報保持手段を参照し、前記積算値と前記削除パッチの数とに基づいて前記既保存パッチに対応する平均画素群を算出し、前記算出した平均画素群を含む平均パッチを出力する平均画素群算出手段とを更に含み、
前記類似度算出手段は、前記積算値を算出し、前記積算値と前記削除パッチの数とを、前記既保存パッチとした前記保存パッチに紐付けて出力し、
前記保存パッチ選択手段は、前記候補パッチ又は前記既保存パッチのいずれか一方を削除すると判定した場合に、前記候補パッチ及び前記既保存パッチのそれぞれの前記平均パッチに対する前記類似度を用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を前記保存パッチとして選択し、前記選択した結果に基づいて前記刈取情報を出力する
ことを特徴とする請求項１記載の画像処理システム。 - 前記画素群は各画素値を要素とする多次元ベクトルであって、
前記パッチの内から、少なくとも前記類似度閾値より小さい代表類似度閾値未満の前記類似度を互いに有する、複数の代表パッチを選択し、保持し、出力する代表選択手段と、
前記類似度算出手段は、前記代表パッチに対応する範囲として分割される多次元ベクトル空間の分割範囲内において、前記２つのパッチの類似度を算出し、出力する
ことを特徴とする請求項１又は２記載の画像処理システム。 - 前記パッチは、ある画像の部分画像であって、前記画像上の位置情報を含み、
前記類似度算出手段は、前記候補パッチの位置情報と前記既保存パッチの位置情報とが予め定められた位置範囲内の前記候補パッチと前記既保存パッチとの間の類似度を算出し、出力する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。 - 複数の任意の前記パッチの相互の前記類似度を算出し、算出した前記類似度の分布率に基づいて、前記既保存パッチの数が予め定められた範囲の数になるように、前記類似度閾値を決定し、出力する閾値決定手段を更に含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。 - 前記保存パッチ選択手段は、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定しなかった場合に、
前記保存パッチを選択せず、前記刈取情報を出力しない
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。 - コンピュータが、
画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチと、を取得し、前記候補パッチと前記既保存パッチとの類似度を算出し、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する、
画像処理方法。 - コンピュータに、
画素群で構成される画像を特定するパッチであって辞書手段に保存する候補である候補パッチと、前記パッチであって既に前記辞書手段に保存すると判定された既保存パッチを取得し、前記候補パッチと前記既保存パッチとの類似度を算出する処理と、
前記類似度と前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定する基準である閾値とを用いて、前記候補パッチ又は前記既保存パッチのいずれか一方を削除するか否かを判定し、一方を削除すると判定した場合に、前記候補パッチ又は前記既保存パッチのいずれの一方を辞書記憶手段に保存する保存パッチとし、他方を前記辞書保存手段に保存しない削除パッチとするかを示す、枝刈情報を出力する処理とを、
実行させる画像処理用プログラムを記録した不揮発性記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011271530 | 2011-12-12 | ||
| JP2011-271530 | 2011-12-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013089260A1 true WO2013089260A1 (ja) | 2013-06-20 |
Family
ID=48612699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2012/082589 WO2013089260A1 (ja) | 2011-12-12 | 2012-12-10 | 画像処理システム及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2013089260A1 (ja) |
| WO (1) | WO2013089260A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015232855A (ja) * | 2014-06-11 | 2015-12-24 | 日本電信電話株式会社 | イベント同一性判定方法、イベント同一性判定装置、イベント同一性判定プログラム |
| US9779477B2 (en) | 2014-07-04 | 2017-10-03 | Mitsubishi Electric Corporation | Image enlarging apparatus, image enlarging method, surveillance camera, program and recording medium |
| CN110472462A (zh) * | 2018-05-11 | 2019-11-19 | 北京三星通信技术研究有限公司 | 姿态估计方法、基于姿态估计的处理方法及电子设备 |
| JP2020170515A (ja) * | 2019-04-02 | 2020-10-15 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 映像処理装置及びその映像処理方法 |
| JP2021516400A (ja) * | 2018-11-01 | 2021-07-01 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | データベース更新方法および装置、電子機器、コンピュータ記憶媒体 |
| CN116467481A (zh) * | 2022-12-14 | 2023-07-21 | 喜鹊科技(广州)有限公司 | 一种基于云计算的信息处理方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007293912A (ja) * | 2004-06-09 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
| JP2008234479A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | 画像高品質化装置、方法、及びプログラム |
-
2012
- 2012-12-10 JP JP2013549342A patent/JPWO2013089260A1/ja active Pending
- 2012-12-10 WO PCT/JP2012/082589 patent/WO2013089260A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007293912A (ja) * | 2004-06-09 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 画像処理方法および画像処理装置 |
| JP2008234479A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | 画像高品質化装置、方法、及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| SHOTARO SUZUKI ET AL.: "TV Seisokuka o Riyo shita Gakushugata Chokaizo no Kosokuka no Kento", FIT2011 DAI 10 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 22 August 2011 (2011-08-22), pages 335 - 336 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015232855A (ja) * | 2014-06-11 | 2015-12-24 | 日本電信電話株式会社 | イベント同一性判定方法、イベント同一性判定装置、イベント同一性判定プログラム |
| US9779477B2 (en) | 2014-07-04 | 2017-10-03 | Mitsubishi Electric Corporation | Image enlarging apparatus, image enlarging method, surveillance camera, program and recording medium |
| CN110472462A (zh) * | 2018-05-11 | 2019-11-19 | 北京三星通信技术研究有限公司 | 姿态估计方法、基于姿态估计的处理方法及电子设备 |
| JP2021516400A (ja) * | 2018-11-01 | 2021-07-01 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | データベース更新方法および装置、電子機器、コンピュータ記憶媒体 |
| JP2020170515A (ja) * | 2019-04-02 | 2020-10-15 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 映像処理装置及びその映像処理方法 |
| CN116467481A (zh) * | 2022-12-14 | 2023-07-21 | 喜鹊科技(广州)有限公司 | 一种基于云计算的信息处理方法和系统 |
| CN116467481B (zh) * | 2022-12-14 | 2023-12-01 | 要务(深圳)科技有限公司 | 一种基于云计算的信息处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2013089260A1 (ja) | 2015-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6287855B2 (ja) | 画像処理装置及び画像処理方法 | |
| US8923638B2 (en) | Algorithm selection for structure from motion | |
| WO2013089260A1 (ja) | 画像処理システム及び画像処理方法 | |
| JP6075295B2 (ja) | 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム | |
| Barnes et al. | Patchtable: Efficient patch queries for large datasets and applications | |
| JP6015670B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| KR101457313B1 (ko) | 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 | |
| US20130051685A1 (en) | Patch-based synthesis techniques | |
| US9672866B2 (en) | Automated looping video creation | |
| US20130121409A1 (en) | Methods and Apparatus for Face Fitting and Editing Applications | |
| US10249029B2 (en) | Reconstruction of missing regions of images | |
| JP6512100B2 (ja) | 画像処理を実行する情報処理装置及び画像処理方法 | |
| JP6075294B2 (ja) | 画像処理システム及び画像処理方法 | |
| US20060215036A1 (en) | Method and apparatus for video stabilization | |
| CN111612696A (zh) | 图像拼接方法、装置、介质及电子设备 | |
| JP6121302B2 (ja) | 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム | |
| CN111726592B (zh) | 获取图像信号处理器的架构的方法和装置 | |
| Wang et al. | Pixel-wise video stabilization | |
| CN117237386A (zh) | 对目标对象进行结构化处理的方法、装置和计算机设备 | |
| JP6901978B2 (ja) | 情報処理装置、方法及びプログラム | |
| JP2005149302A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
| JP2007141106A (ja) | 画像処理装置およびその方法 | |
| JP2018120395A (ja) | 特徴量登録装置、方法及びプログラム | |
| CN115908970A (zh) | 图像校正模型训练方法、图像校正方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12857473 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2013549342 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 12857473 Country of ref document: EP Kind code of ref document: A1 |