WO2018155269A1 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2018155269A1
WO2018155269A1 PCT/JP2018/004980 JP2018004980W WO2018155269A1 WO 2018155269 A1 WO2018155269 A1 WO 2018155269A1 JP 2018004980 W JP2018004980 W JP 2018004980W WO 2018155269 A1 WO2018155269 A1 WO 2018155269A1
Authority
WO
WIPO (PCT)
Prior art keywords
psf
projector
pattern
image processing
image
Prior art date
Application number
PCT/JP2018/004980
Other languages
English (en)
French (fr)
Inventor
晴香 三森
統規 久保
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880012773.8A priority Critical patent/CN110313176A/zh
Priority to JP2019501244A priority patent/JPWO2018155269A1/ja
Priority to US16/486,185 priority patent/US20200244937A1/en
Publication of WO2018155269A1 publication Critical patent/WO2018155269A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Definitions

  • the present disclosure relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program capable of obtaining the position and shape of a PSF in a projection plane without using a special device.
  • the PSF (Point Spread Function) of the projector in the projection plane projects a test pattern on the projection plane, estimates its size distribution from the image taken, and uses it to project Proposals have been made for in-plane blur correction.
  • a test pattern in which a plurality of cross-shaped test patterns are arranged on the projection surface is used.
  • the present disclosure has been made in view of such a situation, and can determine the position and shape of the PSF in the projection plane.
  • An image processing apparatus projects and projects a plurality of test patterns in which a plurality of small patterns in which a single pixel is arranged at a predetermined interval in a predetermined region and a plurality of test patterns in the entire projection plane.
  • a PSF calculation unit that calculates a PSF (Point Spread Function) of the projector at each position in the projection plane using a captured image obtained by imaging the test pattern is provided.
  • a number is added to the small pattern as the position information.
  • the binary code is added to the small pattern as the position information.
  • the QR code (registered trademark) is added to the small pattern as the position information.
  • the PSF calculation unit uses the captured image to calculate the PSF of the camera scale and the dot size.
  • the PSF dot size calculation unit calculates the PSF of the camera scale calculated by the PSF dot size calculation unit.
  • a projector PSF calculation unit that calculates the PSF of the projector by scaling with the dot size calculated by the dot size calculation unit can be provided.
  • the test pattern is used in Structured Light (SL).
  • the test pattern is used in Imperceptible Structured Light (ISL).
  • ISL Imperceptible Structured Light
  • the image processing apparatus projects a test pattern in which a plurality of small patterns, each having a single pixel arranged at a predetermined interval in a predetermined region, are arranged on the entire projection plane. Then, the PSF (Point ⁇ ⁇ Spread Function) of the projector at each position in the projection plane is calculated using the captured image obtained by capturing the projected test pattern.
  • PSF Point ⁇ ⁇ Spread Function
  • a test pattern in which a plurality of small patterns in which a single pixel is arranged at a predetermined interval in a predetermined region and a plurality of small patterns arranged on the entire projection surface is projected.
  • a PSF (Point ⁇ ⁇ Spread) Function) of the projector at each position in the projection plane is calculated using a captured image obtained by capturing the projected test pattern.
  • the position and shape of the PSF in the projection plane can be obtained.
  • SL structured light
  • a standardized light pattern 12 having a predetermined pattern is projected from a projector 11 onto a screen 13, and the projected standardized light pattern 12 is captured by a camera 14 to obtain a captured image 15. Then, a corresponding point between the standardized light pattern 12 and the captured image 15 is obtained based on the pattern of the standardized light pattern 12, and the attitude (positional relationship) of the projector 11 and the camera 14 and the screen are determined by triangulation based on the corresponding point. 13 shapes and the like can be obtained, and the attitude of the projector and the camera can be estimated based on the result.
  • the method of detecting corresponding points during moving image projection and estimating the attitude of the projector and the camera is called online sensing.
  • Corresponding point detection in online sensing involves Imperceptible Structured Light (ISL) (Fig. 2), which detects corresponding points by superimposing a pattern that is not perceived by the human eye in the moving image, or detecting feature points in the moving image. And a method for associating feature points with each other.
  • ISL Imperceptible Structured Light
  • the ISL method is a technique for projecting a structured light pattern, which is an image of a predetermined pattern, into a projected image by inverting it positively or negatively and not perceiving it by humans.
  • the projector generates a frame image by combining a positive image of the structured light pattern with the input image by adding a predetermined structured light pattern to a frame of the input image.
  • a frame image is generated by combining the negative image of the structured light pattern with the input image.
  • the projector continuously projects those frames. Two frames of positive and negative that are switched at high speed are added and perceived by the human eye due to the integration effect. As a result, it becomes difficult for the user viewing the projected image to recognize the structured light pattern embedded in the input image.
  • the camera captures the projected images of those frames and obtains the difference between the captured images of both frames, thereby extracting only the structured light pattern included in the captured images.
  • Corresponding point detection is performed using the extracted structured light pattern.
  • the structured pattern can be easily extracted simply by obtaining the difference between the captured images, so that the corresponding points can be detected with stable accuracy without depending on the image to be projected.
  • the test pattern of the present technology is a pattern used in the above-described SL method, ISL method, or the like.
  • a plurality of one dot (one pixel) arranged at a known interval is used as a small pattern in one region, and a plurality of these are arranged on the projection plane.
  • FIG. 3 is a diagram illustrating a configuration example of a small pattern in a test pattern to which the present technology is applied.
  • the small pattern is a total of 35 dots corresponding to 7 horizontal dots ⁇ 5 vertical dots arranged at an interval of 14 pixels and further surrounded by a line (outer frame) with a width of 1 pixel. It is shown.
  • the width of the outer frame may be several pixels instead of one pixel, but a width of one pixel is preferable.
  • the number of dots and the number of pixels between the dots are not limited to this.
  • the number of dots is 2 or more, and the inter-dot distance is any combination that is sufficiently larger than the degree of blur of the projector. Applicable.
  • the distance between dots does not have to be the same in a small pattern, and it is possible to arrange dots with various sizes. Thereby, the accuracy of dot size calculation described later can be improved.
  • FIG. 4 is a diagram showing an example of an overall test pattern (hereinafter simply referred to as a test pattern) in which a plurality of the small patterns in FIG. 3 are arranged and projected onto the entire image.
  • a test pattern an overall test pattern in which nine small patterns are arranged in total, 3 horizontal x 3 vertical, but the number to be arranged is not limited to this.
  • a test pattern as shown in FIG. 4 is projected from the projector, and the PSF (Point Spread Function) of the projector is obtained from an image captured by the camera.
  • PSF Point Spread Function
  • the PSF is calculated at the place where the small pattern is arranged.
  • FIG. 5 is a block diagram illustrating a configuration example of a projection imaging system to which the present technology is applied.
  • the projection imaging system 100 includes a projection imaging apparatus 101 and a screen 102.
  • the projection imaging apparatus 101 is configured to include a projector 111, a camera 112, a PSF dot size calculation unit 113, a projector PSF calculation unit 114, a correction unit 115, an output control unit 116, and a storage unit 117. ing.
  • the projector 111 projects the test pattern from the storage unit 117 and the corrected image from the correction unit 115 onto the screen 102 as necessary.
  • the camera 112 captures a projection image projected on the screen from the projector 111, generates a captured image, and supplies the captured image to the PSF dot size calculation unit 113.
  • one camera 112 may be provided for the projector 111, one camera 112 may be provided for the plurality of projectors 111, or the projector 111 may be provided for the plurality of cameras 112. May be one.
  • the PSF dot size calculation unit 113 calculates the PSF (referred to as camera scale PSF) in the captured image and the number of pixels corresponding to one projector pixel (referred to as dot size) in the captured image from the captured image from the camera 112. To do.
  • the PSF dot size calculation unit 113 supplies the calculated camera scale PSF and dot size to the projector PSF calculation unit 114.
  • the projector PSF calculation unit 114 calculates the projector scale PSF based on the camera scale PSF and the dot size from the PSF dot size calculation unit 113, and supplies the calculated projector scale PSF to the correction unit 115.
  • the correction unit 115 refers to the projector scale PSF from the projector PSF calculation unit 114, corrects the captured image so that the captured image from the camera 112 looks correct, generates a corrected image, and generates the corrected image. Output to the output control unit 116.
  • the storage unit 117 stores a test pattern and the like.
  • the output control unit 116 performs control to output a test pattern in the storage unit 117 or a corrected image from the correction unit 115 to the projector 111.
  • FIG. 6 is a block diagram illustrating a configuration example of the PSF dot size calculation unit.
  • the PSF dot size calculation unit 113 includes a preprocessing unit 151, a frame region extraction unit 152, an in-frame dot region extraction unit 153, a dot peak coordinate detection unit 154, and a dot size calculation unit 155. It is configured.
  • the pre-processing unit 151 performs pre-processing for extracting only one channel component such as a luminance image and a gray scale image from input data (captured image) captured in color. If the captured image is RAW data, development processing is also included here.
  • the frame region extraction unit 152 removes imaging noise included in the data of one channel extracted by the preprocessing unit 151 by binarization or labeling processing, and extracts a frame region.
  • the in-frame dot area extraction unit 153 further separates imaging noise and dots by binarization, labeling processing, and the like for the extracted data only in the frame, and determines the object having a large area as the dot area. To do.
  • the extracted dot area is the camera scale PSF.
  • the in-frame dot area extraction unit 153 supplies the camera scale PSF to the projector PSF calculation unit 114.
  • the dot peak coordinate detection unit 154 detects the highest luminance point and the barycentric point in the dot area from the in-frame dot area extraction unit 153 as dot coordinates.
  • the dot size calculation unit 155 can obtain the distance between each dot appearing in the photographed image based on the dot coordinates detected by the dot peak coordinate detection unit 154, and this can be obtained as one dot in the pattern corresponding to the distance between each dot.
  • the dot size is calculated by dividing by the interval.
  • the dot size calculation unit 155 supplies the calculated dot size to the projector PSF calculation unit 114.
  • the projector PSF calculation unit 114 can obtain the projector scale PSF by performing scaling processing on the camera scale PSF from the in-frame dot region extraction unit 153 with the dot size from the dot size calculation unit 155.
  • step S111 the projector 111 projects the test pattern read from the storage unit 117 by the output control unit 116 toward the screen.
  • step S 112 the camera 112 captures the pattern projected on the screen, generates a captured image, and supplies the captured image to the PSF dot size calculation unit 113.
  • FIG. 8 is a diagram illustrating an example of a captured image obtained by capturing only one projected small pattern.
  • FIG. 9 is a diagram illustrating an example of a captured image obtained by capturing a plurality of projected small patterns at a time.
  • step S113 the PSF dot size calculation unit 113 calculates the camera scale PSF and the dot size from the captured image from the camera 112.
  • the calculation process of the camera scale PSF and the dot size will be described later with reference to FIG.
  • the camera scale PSF and the dot size are calculated by the process of step S113 and supplied to the projector PSF calculation unit 114.
  • step S114 the projector PSF calculation unit 114 calculates the projector scale PSF based on the camera scale PSF and the dot size from the PSF dot size calculation unit 113.
  • step S131 the preprocessing unit 151 performs preprocessing for extracting only one channel component such as a luminance image and a grayscale image from input data (captured image) captured in color.
  • the in-frame dot area extraction unit 153 extracts the in-frame dot area. That is, the in-frame dot area extraction unit 153 further separates the imaging noise and the dots by binarization or labeling processing on the extracted data only in the frame, and sets the object having a large area as a dot. This is an area.
  • the extracted dot area is the camera scale PSF.
  • the in-frame dot area extraction unit 153 supplies the camera scale PSF to the projector PSF calculation unit 114.
  • step S134 the dot peak coordinate detection unit 154 and the dot size calculation unit 155 calculate the dot size. That is, the dot peak coordinate detection unit 154 detects the highest luminance point and the barycentric point in the dot region from the intra-frame dot region extraction unit 153 as dot coordinates.
  • the dot size calculation unit 155 can obtain the distance between each dot appearing in the photographed image based on the dot coordinates detected by the dot peak coordinate detection unit 154, and this can be obtained as one dot in the pattern corresponding to the distance between each dot.
  • the dot size is calculated by dividing by the interval.
  • the dot size calculation unit 155 supplies the calculated dot size to the projector PSF calculation unit 114.
  • the projector PSF calculation unit 114 performs the dot size with respect to the camera scale PSF from the in-frame dot region extraction unit 153. By performing scaling processing with the dot size from the calculation unit 155, the projector scale PSF can be obtained.
  • the small pattern is used as one area, and a different number or code is added to each pattern around the outer frame of the pattern. Thereby, the place where each small pattern is arranged can be specified.
  • Example of information added to a small pattern 11 to 17 are diagrams illustrating examples of information added to the small pattern.
  • FIG. 11 is a diagram showing an example of a pattern in which position information is displayed as numbers. For example, in the example of FIG. 11, a number (06) that is position information is arranged at the lower left of the outer frame of the small pattern.
  • FIG. 12 is a diagram showing an example of a pattern in which position information is displayed as a binary code.
  • a binary code representing the position information number is arranged on the outer frame of the small pattern.
  • FIG. 13 is a diagram showing an example of a pattern in which position information is displayed with a QR code.
  • a QR code representing the position information number is arranged at the lower left of the outer frame of the small pattern.
  • the position where each piece of position information is arranged is not limited to the example described, and may be anywhere around the outer frame.
  • FIG. 14 is a diagram showing another example of a pattern in which position information is displayed with a QR code.
  • a small pattern is arranged in a QR code that represents a position information number.
  • the white area is as small as possible.
  • FIG. 15 is a diagram showing an example of a pattern representing position information using the number and arrangement of one dot included in the outer frame.
  • the position information is represented by displaying / hiding dots at five positions surrounded by a thick line (upper left corner, lower left corner, upper right corner, immediately below the upper right corner, lower right corner).
  • a thick line upper left corner, lower left corner, upper right corner, immediately below the upper right corner, lower right corner.
  • the upper left corner and the lower right corner are displayed, and the lower left corner, the upper right corner, and the immediately lower right corner are not displayed. Note that the bold lines in FIG. 15 are not actually displayed.
  • FIG. 16 is a diagram illustrating an example of a pattern representing position information using the luminance of one dot included in the outer frame.
  • position information is represented by changing the brightness of dots at two positions (upper left corner and upper right corner) surrounded by a thick line.
  • the luminance at two positions surrounded by a thick line is low.
  • the bold line in FIG. 16 is not actually displayed.
  • the position of the target surrounded by the thick line may be any position as long as it is determined.
  • FIG. 17 is a diagram showing an example of a pattern representing position information using the value of a 1-dot RGB channel included in the outer frame.
  • the position information is represented by making the RGB channel values of the dots included in the outer frame different.
  • each dot is composed of one of RGB.
  • FIG. 16 and FIG. 17 it is also possible to express position information by changing the arrangement order of one dot having different luminance and RGB channel values according to the position. Also, as in the example of FIG. 17, it is possible to obtain RGB RSFs by arranging RGB separate dots.
  • a test pattern is projected, and the shape of the PSF for each RGB on the projector scale and the position in the projection plane corresponding to each PSF can be obtained from the captured image.
  • the obtained PSF at each position has an effect that it can be used for evaluating the lens of the projector and correcting lens blur.
  • ⁇ Personal computer> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 18 is a block diagram showing a hardware configuration example of a personal computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads, for example, a program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. Thereby, the series of processes described above are performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded on the removable medium 511.
  • the removable medium 511 is a package made of, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a captured image obtained by projecting a plurality of test patterns in which a plurality of small pixels are arranged at predetermined intervals in a predetermined region and a plurality of test patterns arranged in the entire projection plane is captured.
  • An image processing apparatus comprising: a PSF calculation unit that calculates a PSF (Point Spread Function) of the projector at each position in the projection plane.
  • the test pattern includes a plurality of small patterns to which position information indicating the position of the small pattern in a projection plane is added.
  • a number is added to the small pattern as the position information.
  • the image processing apparatus uses the captured image to calculate a PSF dot size calculation unit that calculates a PSF and a dot size of a camera scale, and a PSF of the camera scale calculated by the PSF dot size calculation unit.
  • the image processing apparatus according to any one of (1) to (6), further including: a projector PSF calculation unit that calculates a PSF of the projector by scaling with the dot size calculated by the PSF dot size calculation unit.
  • a projector PSF calculation unit that calculates a PSF of the projector by scaling with the dot size calculated by the PSF dot size calculation unit.
  • the image processing apparatus is Using a captured image obtained by projecting a plurality of test patterns in which a plurality of one pixel is arranged at a predetermined interval in a predetermined region and projecting a plurality of test patterns on the entire projection plane, An image processing method for calculating a PSF (Point Spread Function) of a projector at each position in a projection plane.
  • a captured image obtained by projecting a plurality of test patterns in which a plurality of small patterns in which a single pixel is arranged at a predetermined interval in a predetermined area and a plurality of test patterns in the entire projection plane is captured.
  • 100 projection imaging system 101 projection imaging device, 102 screen, 111 projector, 112 camera, 113 PSF dot size calculation unit, 114 projector PSF calculation unit, 115 correction unit, 116 output control unit, 117 storage unit, 151 preprocessing unit, 152 frame region extraction unit, 153 dot region extraction unit in frame, 154 dot peak coordinate detection unit, 155 dot size calculation unit

Abstract

本開示は、投影面内におけるPSFの位置と形状を求めることができるようにする画像処理装置および方法、並びにプログラムに関する。 小パタンは、横７ドット×縦５ドット分の計３５ドットを全て１４画素間隔に配置し、さらに、１画素の幅の線（外枠）でそれらを囲ったものである。小パタンを複数配置され、スクリーン全体に投影するテストパタンをプロジェクタから投影し、その様子をカメラで撮影した画像から、プロジェクタのPSF(Point Spread Function:点広がり関数)が求められる。本開示は、例えば、プロジェクタで画像を投影し、プロジェクタにより投影された画像を撮像して、PSFを算出する投影撮像装置に適用することができる。

Description

画像処理装置および方法、並びにプログラム
　本開示は、画像処理装置および方法、並びにプログラムに関し、特に、特殊デバイスでなくても、投影面内におけるPSFの位置と形状を求めることができるようにした画像処理装置および方法、並びにプログラムに関する。
　投影面内のプロジェクタのPSF(Point Spread Function:点広がり関数)は、テストパタンを投影面内に投影し、それを撮影した画像から、その大きさの分布を推定し、それを用いて、投影面内のボケ補正を行う提案がなされている。例えば、非特許文献１においては、十字のテストパタンを投影面に複数並べたテストパタンが用いられている。
Michael S. Brown, Peng Song, Tat-Jen Cham,"Image Pre-conditioning for Out-of-Focus Projector Blur",Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on 09 October 2006 ,09 October 2006
　しかしながら、上述した技術では、投影面内の各位置におけるPSFがどのような形状をしているか、また、プロジェクタ１画素のスケールに対するPSFを求めることが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、投影面内におけるPSFの位置と形状を求めることができるものである。
　本技術の一側面の画像処理装置は、所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部を備える。
　前記小パタンには、前記位置情報として、番号が付加されている。
　前記小パタンには、前記位置情報として、２値コードが付加されている。
　前記小パタンには、前記位置情報として、QRコード（登録商標）が付加されている。
　前記PSF算出部は、前記撮像画像を用いて、カメラスケールのPSFとドットサイズとを算出するPSFドットサイズ算出部と前記PSFドットサイズ算出部により算出されたカメラスケールのPSFに対して、前記PSFドットサイズ算出部により算出されたドットサイズによってスケーリングすることで、プロジェクタのPSFを算出するプロジェクタPSF算出部とを備えることができる。
　前記テストパタンは、Structured Light（SL）で用いられる。
　前記テストパタンは、Imperceptible Structured Light(ISL)で用いられる。
　本技術の一側面の画像処理方法は、画像処理装置が、所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出する。
　本技術の一側面においては、所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンが投影される。そして、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)が算出される。
　本技術によれば、投影面内におけるPSFの位置と形状を求めることができる。
  なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 本技術を適用するテストパタンにおける小パタンの構成例を示す図である。 図３の小パタンを複数配置し、画内全体に投影する全体テストパタンの例を示す図である。 本技術を適用した投影撮像システムの構成例を示すブロック図である。 PSFドットサイズ算出部の構成例を示すブロック図である。 PSF算出処理について説明するブロック図である。 １つの小パタンのみを撮像した撮像画像の例を示す図である。 複数の小パタンを一度に撮像した撮像画像の例を示す図である。 カメラスケールPSFとドットサイズ算出処理について説明するフローチャートである。 小パタンに付加させる情報の例を示す図である。 小パタンに付加させる情報の例を示す図である。 小パタンに付加させる情報の例を示す図である。 小パタンに付加させる情報の例を示す図である。 外枠内に含まれる１ドットの数や配置を利用して位置情報を表したパタンの例を示す図である。 外枠内に含まれる１ドットの輝度を利用して位置情報を表したパタンの例を示す図である。 外枠内に含まれる１ドットのRGBチャンネルの値を利用して位置情報を表したパタンの例を示す図である。 本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
　＜背景＞
　プロジェクタおよびカメラの姿勢を推定するためには、プロジェクタ・カメラ間の対応点を検出する必要がある。この対応点検出処理は、一般的にStructured Light（SL:構造化光）と呼ばれる。
　例えば、図１の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいてプロジェクタおよびカメラの姿勢を推定することができる。
　このようにプロジェクタ・カメラ間の対応点を検出するためには、プロジェクタから投影しようとしている画像（GrayCodeやDotおよびCheckerなどのパタン画像や、入力画像など）をカメラで撮像する必要がある。静止画像（パタン画像や静止画映像）であれば、常に同じ映像が投影されているので、撮像タイミングを合わせなくても、所望の画像が撮像でき、対応点を検出することができる。
　動画像投影中に対応点を検出して、プロジェクタとカメラの姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(ISL)(図２)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法などが挙げられる。
　ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
　図２に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
　これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
　このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　＜本技術のテストパタン＞
　本技術のテストパタンは、上述したSL方式やISL方式などで用いられるパタンである。本技術のテストパタンの基本構成としては、１ドット（１画素）を既知の間隔に複数配置したものを一領域における小パタンとして、これが投影面内に複数配置される。
　図３は、本技術を適用するテストパタンにおける小パタンの構成例を示す図である。図３の例において、小パタンは、横７ドット×縦５ドット分の計３５ドットを全て１４画素間隔に配置し、さらに、１画素の幅の線（外枠）でそれらを囲ったものとして示されている。なお、外枠の幅は、１画素ではなく、数画素でもよいが、１画素の幅が好ましい。
　なお、１ドットの数や各ドットの間隔の画素数（ドット間距離）はこの限りではなく、ドット数は２以上、ドット間隔距離は、プロジェクタのボケ度合いより十分大きい、あらゆる数の組み合わせにて適用可能である。また、ドット間距離は、小パタン内で全て同じである必要はなく、様々な大きさでドットを配置することも可能である。これによって、後述するドットサイズ算出の精度を上げることができる。
　図４は、図３の小パタンを複数配置し、画内全体に投影する全体テストパタン（以下、単にテストパタンと称する）の例を示す図である。図４の例においては、小パタンを、横３つ×縦３つの計９つ配置した例が示されているが、配置する数は、この限りではない。
　本技術においては、図４に示されるようなテストパタンをプロジェクタから投影し、その様子をカメラで撮影した画像から、プロジェクタのPSF(Point Spread Function:点広がり関数)が求められる。
　なお、このとき、小パタンを配置した場所においてPSFを算出するが、算出されない場所においては、配置した場所から算出された周辺のPSFから線形補間などで算出することが可能である。
　＜投影撮像システムの構成例＞
　図５は、本技術を適用した投影撮像システムの構成例を示すブロック図である。図５の例において、投影撮像システム１００は、投影撮像装置１０１およびスクリーン１０２により構成される。
　図５の例において、投影撮像装置１０１は、プロジェクタ１１１、カメラ１１２、PSFドットサイズ算出部１１３、プロジェクタPSF算出部１１４、補正部１１５、出力制御部１１６、および記憶部１１７を含むように構成されている。
　プロジェクタ１１１は、記憶部１１７からのテストパタンと補正部１１５からの補正画像を、必要に応じて、スクリーン１０２に投影する。カメラ１１２は、プロジェクタ１１１からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、PSFドットサイズ算出部１１３に供給する。
　なお、プロジェクタ１１１も、カメラ１１２も複数台であってもよい。また、プロジェクタ１１１に対して、カメラ１１２が１台であってもよいし、複数のプロジェクタ１１１に対して、カメラ１１２が１台であってもよいし、複数のカメラ１１２に対して、プロジェクタ１１１が１台であってもよい。
　PSFドットサイズ算出部１１３は、カメラ１１２からの撮像画像から、撮像画像におけるPSF(カメラスケールPSFと称する)と、撮像画像中でプロジェクタ１画素に相当する画素数（ドットサイズと称する）とを算出する。PSFドットサイズ算出部１１３は算出されたカメラスケールPSFとドットサイズとをプロジェクタPSF算出部１１４に供給する。
　プロジェクタPSF算出部１１４は、PSFドットサイズ算出部１１３からのカメラスケールPSFとドットサイズとに基づいて、プロジェクタスケールPSFを算出し、算出したプロジェクタスケールのPSFを補正部１１５に供給する。
　補正部１１５は、プロジェクタPSF算出部１１４からのプロジェクタスケールPSFを参照して、カメラ１１２からの撮像画像が正しく見えるように撮像画像を補正して、補正画像を生成し、生成した補正画像を、出力制御部１１６に出力する。
　記憶部１１７は、テストパタンなどを記憶している。出力制御部１１６は、記憶部１１７のテストパタンまたは補正部１１５からの補正画像をプロジェクタ１１１に出力する制御を行う。
　＜PSFドットサイズ算出部の構成例＞
　図６は、PSFドットサイズ算出部の構成例を示すブロック図である。
　図６の例において、PSFドットサイズ算出部１１３は、前処理部１５１、フレーム領域抽出部１５２、フレーム内ドット領域抽出部１５３、ドットピーク座標検出部１５４、およびドットサイズ算出部１５５を含むように構成されている。
　前処理部１５１は、カラーで撮像されている入力データ（撮像画像）から、輝度画像やグレースケール画像など、１チャンネルの成分のみを抽出する前処理を行う。もし、撮像画像がRAWデータである場合には、現像処理もここに含まれる。
　フレーム領域抽出部１５２は、前処理部１５１により抽出された1チャンネルのデータに含まれる撮像ノイズを２値化やラベリング処理などによって除去し、フレーム領域を抽出する。
　フレーム内ドット領域抽出部１５３は、抽出されたフレーム内のみのデータに対して、さらに２値化やラベリング処理などにより撮像ノイズとドットの分離を行い、オブジェクトとしての面積が大きいものをドット領域とする。ここで、抽出されたドット領域がカメラスケールPSFである。フレーム内ドット領域抽出部１５３は、カメラスケールPSFをプロジェクタPSF算出部１１４に供給する。
　ドットピーク座標検出部１５４は、フレーム内ドット領域抽出部１５３からのドット領域内の最高輝度点や重心点をドット座標として検出する。ドットサイズ算出部１５５は、ドットピーク座標検出部１５４により検出されたドット座標によって撮影画像に写っている各ドット間の距離を求めることができ、これらを各ドット間距離に対応するパタンにおける１ドットの間隔で除算することで、ドットサイズを算出する。ドットサイズ算出部１５５は、算出されたドットサイズを、プロジェクタPSF算出部１１４に供給する。
　プロジェクタPSF算出部１１４は、フレーム内ドット領域抽出部１５３からのカメラスケールPSFに対して、ドットサイズ算出部１５５からのドットサイズによってスケーリング処理することにより、プロジェクタスケールPSFを求めることができる。
　＜投影撮像システムの動作例＞
　次に、図７のフローチャートを参照して、PSF算出処理について説明する。
　ステップＳ１１１において、プロジェクタ１１１は、出力制御部１１６により記憶部１１７から読み出されたテストパタンを、スクリーンに向けて投影する。ステップＳ１１２において、カメラ１１２は、スクリーンに投影されたパタンを撮像して、撮像画像を生成して、PSFドットサイズ算出部１１３に供給する。
　例えば、図８は、投影された１つの小パタンのみを撮像した撮像画像の例を示す図である。図９は、投影された複数の小パタンを一度に撮像した撮像画像の例を示す図である。
　ステップＳ１１３において、PSFドットサイズ算出部１１３は、カメラ１１２からの撮像画像から、カメラスケールPSFとドットサイズとを算出する。このカメラスケールPSFとドットサイズの算出処理は、図１０を参照して後述される。ステップＳ１１３の処理によりカメラスケールPSFとドットサイズとが算出され、プロジェクタPSF算出部１１４に供給される。
　ステップＳ１１４において、プロジェクタPSF算出部１１４は、PSFドットサイズ算出部１１３からのカメラスケールPSFとドットサイズとに基づいて、プロジェクタスケールPSFを算出する。
　次に、図１０のフローチャートを参照して、図７のステップＳ１１３のカメラスケールPSFとドットサイズ算出処理について説明する。
　ステップＳ１３１において、前処理部１５１は、カラーで撮像されている入力データ（撮像画像）から、輝度画像やグレースケール画像など、１チャンネルの成分のみを抽出する前処理を行う。
　ステップＳ１３２において、フレーム領域抽出部１５２は、ステップＳ１３１により抽出された1チャンネルのデータに含まれる撮像ノイズを２値化やラベリング処理などによって除去し、フレーム領域を抽出する。例えば、図９を参照して上述したように、複数の小パタンを１枚の画像として撮像したものが入力となる場合には、複数フレームが抽出されることになる。この場合は、抽出したいパタンの大まかな座標を与えて、その座標に最も近いフレームを抽出するようにされる。
　ステップＳ１３３において、フレーム内ドット領域抽出部１５３は、フレーム内ドット領域を抽出する。すなわち、フレーム内ドット領域抽出部１５３は、抽出されたフレーム内のみのデータに対して、さらに２値化やラベリング処理などにより撮像ノイズとドットの分離を行い、オブジェクトとしての面積が大きいものをドット領域とする。ここで、抽出されたドット領域がカメラスケールPSFである。フレーム内ドット領域抽出部１５３は、カメラスケールPSFをプロジェクタPSF算出部１１４に供給する。
　ステップＳ１３４において、ドットピーク座標検出部１５４およびドットサイズ算出部１５５は、ドットサイズを算出する。すなわち、ドットピーク座標検出部１５４は、フレーム内ドット領域抽出部１５３からのドット領域内の最高輝度点や重心点をドット座標として検出する。ドットサイズ算出部１５５は、ドットピーク座標検出部１５４により検出されたドット座標によって撮影画像に写っている各ドット間の距離を求めることができ、これらを各ドット間距離に対応するパタンにおける１ドットの間隔で除算することで、ドットサイズを算出する。ドットサイズ算出部１５５は、算出されたドットサイズを、プロジェクタPSF算出部１１４に供給する。
　以上のように、カメラスケールPSFとドットサイズとが算出されるので、図７のステップＳ１１４において、プロジェクタPSF算出部１１４は、フレーム内ドット領域抽出部１５３からのカメラスケールPSFに対して、ドットサイズ算出部１５５からのドットサイズによってスケーリング処理することにより、プロジェクタスケールPSFを求めることができる。
　本技術においては、さらに、この小パタンを１つの領域として、パタンの外枠の周辺において、パタン毎に異なる番号やコードなどを付加させるようにする。これにより、各小パタンの配置された場所を特定することができるようになる。
　＜小パタンに付加させる情報の例＞
　図１１乃至図１７は、小パタンに付加させる情報の例を示す図である。
　図１１は、位置情報を番号として表示させたパタンの例を示す図である。例えば、図１１の例においては、小パタンの外枠の左下に、位置情報である番号（06）が配置されている。
　図１２は、位置情報を２値コードで表示させたパタンの例を示す図である。例えば、図１２の例においては、小パタンの外枠の上に、位置情報の番号を表す２値コードが配置されている。
　図１３は、位置情報をQRコードで表示させたパタンの例を示す図である。例えば、図１３の例においては、小パタンの外枠の左下に、位置情報の番号を表すQRコードが配置されている。
　なお、図１１乃至図１３の例において、各位置情報の配置される位置は、記載の例に限定されず、外枠の周辺であれば、どこでもよい。
　図１４は、位置情報をQRコードで表示させたパタンの他の例を示す図である。例えば、図１４の例においては、位置情報の番号を表すQRコード内に小パタンが配置されている。
　図１４の例においては、QRコードの中央に小パタンを配置する例を説明したが、QRコード内であればどこでもよい。ただし、この例に限ることではないが、できるだけ、白の領域が少ないほうが好ましい。
　図１５は、外枠内に含まれる１ドットの数や配置を利用して位置情報を表したパタンの例を示す図である。例えば、太線で囲まれた５つの位置（左上隅、左下隅、右上隅、右上隅の直下、右下隅）のドットの表示／非表示により位置情報が表される。図１５の例においては、太線で囲まれた５つの位置のうち、左上隅と右下隅が表示となり、左下隅、右上隅、右上隅の直下が非表示となっている。なお、図１５の太線は、実際には表示されない。
　図１６は、外枠内に含まれる１ドットの輝度を利用して位置情報を表したパタンの例を示す図である。例えば、太線で囲まれた２つの位置（左上隅、右上隅）のドットの輝度を変化させることで位置情報が表される。図１６の例においては、太線で囲まれた２つの位置の輝度が低くなっている。なお、図１６の太線も、実際には表示されない。図１５および図１６の例の場合、太線で囲まれる対象の位置は、決まっていれば、どの位置でもかまわない。
　図１７は、外枠内に含まれる１ドットのRGBチャンネルの値を利用して位置情報を表したパタンの例を示す図である。例えば、外枠内に含まれる各ドットのRGBチャンネルの値を異なるものにさせることで位置情報が表される。図１７の例においては、各ドットがRGBのいずれかで構成されている。
　なお、図１６および図１７においては、輝度やRGBチャンネルの値が異なる１ドットの並び順を、位置に応じて変化させることで、位置情報を表現することも可能である。また、図１７の例のように、RGB別々のドットを配置することで、RGBそれぞれのRSFを取得することも可能となる。
　以上のように、本技術によれば、テストパタンを投影し、撮影した画像から、プロジェクタのスケールにおけるRGB別のPSFの形状と、各PSFに対応する投影面内における位置を求めることができる。
　これにより、投影面全体を1つの画像に撮影する場合にも、各位置におけるパタンを個別に撮影する場合にも、絶対的なPSFの大きさを求めることができ、撮影時の制約緩和の効果がある。取得した各位置のPSFは、プロジェクタのレンズの評価やレンズボケ補正に利用することができるといった効果がある。
　＜パーソナルコンピュータ＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図１８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
　パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部を
　備える画像処理装置。
　（２）　前記テストパタンは、前記小パタンの投影面内における位置を示す位置情報が付加された前記小パタンが複数配置されて構成されている
　前記（１）に記載の画像処理装置。
　（３）　前記小パタンには、前記位置情報として、番号が付加されている
　前記（２）に記載の画像処理装置。
　（４）　前記小パタンには、前記位置情報として、２値コードが付加されている
　前記（２）に記載の画像処理装置。
　（５）　前記小パタンには、前記位置情報として、QRコードが付加されている
　前記（２）に記載の画像処理装置。
　（６）　前記テストパタンは、前記小パタン内の１画素の数、配置、輝度、および色の少なくとも１つを利用した位置情報が含まれる小パタンが複数配置されて構成されている
　前記（１）に記載の画像処理装置。
　（７）　前記PSF算出部は、前記撮像画像を用いて、カメラスケールのPSFとドットサイズとを算出するPSFドットサイズ算出部と
　前記PSFドットサイズ算出部により算出されたカメラスケールのPSFに対して、前記PSFドットサイズ算出部により算出されたドットサイズによってスケーリングすることで、プロジェクタのPSFを算出するプロジェクタPSF算出部と
　を備える前記（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記テストパタンは、Structured Light（SL）で用いられる
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記テストパタンは、Imperceptible Structured Light(ISL)で用いられる
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（１０）　画像処理装置が、
　所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出する
　画像処理方法。
　（１１）　所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部
　として、コンピュータを機能させるプログラム。
　１００　投影撮像システム，　１０１　投影撮像装置，　１０２　スクリーン，　１１１　プロジェクタ，　１１２　カメラ，　１１３　PSFドットサイズ算出部，　１１４　プロジェクタPSF算出部，１１５　補正部，　１１６　出力制御部，　１１７　記憶部，　１５１　前処理部，　１５２　フレーム領域抽出部，　１５３　フレーム内ドット領域抽出部，　１５４　ドットピーク座標検出部，　１５５　ドットサイズ算出部

Claims (11)

  1. 　所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部を
    　備える画像処理装置。
  2. 　前記テストパタンは、前記小パタンの投影面内における位置を示す位置情報が付加された前記小パタンが複数配置されて構成されている
    　請求項１に記載の画像処理装置。
  3. 　前記小パタンには、前記位置情報として、番号が付加されている
    　請求項２に記載の画像処理装置。
  4. 　前記小パタンには、前記位置情報として、２値コードが付加されている
    　請求項２に記載の画像処理装置。
  5. 　前記小パタンには、前記位置情報として、QRコードが付加されている
    　請求項２に記載の画像処理装置。
  6. 　前記テストパタンは、前記小パタン内の１画素の数、配置、輝度、および色の少なくとも１つを利用した位置情報が含まれる小パタンが複数配置されて構成されている
    　請求項１に記載の画像処理装置。
  7. 　前記PSF算出部は、前記撮像画像を用いて、カメラスケールのPSFとドットサイズとを算出するPSFドットサイズ算出部と
    　前記PSFドットサイズ算出部により算出されたカメラスケールのPSFに対して、前記PSFドットサイズ算出部により算出されたドットサイズによってスケーリングすることで、プロジェクタのPSFを算出するプロジェクタPSF算出部と
    　を備える請求項１に記載の画像処理装置。
  8. 　前記テストパタンは、Structured Light（SL）で用いられる
    　請求項１に記載の画像処理装置。
  9. 　前記テストパタンは、Imperceptible Structured Light(ISL)で用いられる
    　請求項１に記載の画像処理装置。
  10. 　画像処理装置が、
    　所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出する
    　画像処理方法。
  11. 　所定の領域内に１画素を所定の間隔に複数配置したものである小パタンを、投影面内全体に複数配置したテストパタンを投影し、投影されたテストパタンを撮像した撮像画像を用いて、投影面内の各位置におけるプロジェクタのPSF(Point Spread Function)を算出するPSF算出部
    　として、コンピュータを機能させるプログラム。
PCT/JP2018/004980 2017-02-27 2018-02-14 画像処理装置および方法、並びにプログラム WO2018155269A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880012773.8A CN110313176A (zh) 2017-02-27 2018-02-14 图像处理装置、方法及程序
JP2019501244A JPWO2018155269A1 (ja) 2017-02-27 2018-02-14 画像処理装置および方法、並びにプログラム
US16/486,185 US20200244937A1 (en) 2017-02-27 2018-02-14 Image processing apparatus and method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017034785 2017-02-27
JP2017-034785 2017-02-27

Publications (1)

Publication Number Publication Date
WO2018155269A1 true WO2018155269A1 (ja) 2018-08-30

Family

ID=63252588

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004980 WO2018155269A1 (ja) 2017-02-27 2018-02-14 画像処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20200244937A1 (ja)
JP (1) JPWO2018155269A1 (ja)
CN (1) CN110313176A (ja)
WO (1) WO2018155269A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184173A1 (ja) * 2019-03-11 2020-09-17 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632593B (zh) * 2018-05-31 2020-05-19 歌尔股份有限公司 彩色汇聚误差的修正方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10303282A (ja) * 1997-04-30 1998-11-13 Ntn Corp ＸＹθテーブル
JP2004109246A (ja) * 2002-09-13 2004-04-08 Minolta Co Ltd 投影システム
JP2010102585A (ja) * 2008-10-24 2010-05-06 Shimizu Corp 移動体位置検出システム
JP2013195741A (ja) * 2012-03-21 2013-09-30 Seiko Epson Corp 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP2014035304A (ja) * 2012-08-09 2014-02-24 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
WO2015066206A1 (en) * 2013-11-03 2015-05-07 Dolby Laboratories Licensing Corporation Systems and methods for local dimming in multi-modulation displays
JP2016161461A (ja) * 2015-03-03 2016-09-05 キヤノン株式会社 情報処理装置および方法
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
WO2016157671A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101021607B1 (ko) * 2006-09-15 2011-03-17 테쎄라 테크놀로지스 헝가리 케이에프티. 향상된 이미지 품질을 갖는 이미지 시스템 및 그와 관련된 방법
US8531492B2 (en) * 2008-11-14 2013-09-10 Dolby Laboratories Licensing Corporation Custom PSFs using clustered light sources
JP5505007B2 (ja) * 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
US10165263B2 (en) * 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
US10349023B2 (en) * 2014-07-01 2019-07-09 Sony Corporation Image processing apparatus and method
ES2911308T3 (es) * 2015-05-15 2022-05-18 Dolby Laboratories Licensing Corp Control de la propagación de luz con elemento de desenfoque en sistemas de proyector
CN105222730B (zh) * 2015-08-31 2017-10-24 中国人民解放军信息工程大学 一种基于图像复原的工业ct几何尺寸测量方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10303282A (ja) * 1997-04-30 1998-11-13 Ntn Corp ＸＹθテーブル
JP2004109246A (ja) * 2002-09-13 2004-04-08 Minolta Co Ltd 投影システム
JP2010102585A (ja) * 2008-10-24 2010-05-06 Shimizu Corp 移動体位置検出システム
JP2013195741A (ja) * 2012-03-21 2013-09-30 Seiko Epson Corp 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP2014035304A (ja) * 2012-08-09 2014-02-24 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
WO2015066206A1 (en) * 2013-11-03 2015-05-07 Dolby Laboratories Licensing Corporation Systems and methods for local dimming in multi-modulation displays
JP2016161461A (ja) * 2015-03-03 2016-09-05 キヤノン株式会社 情報処理装置および方法
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
WO2016157671A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184173A1 (ja) * 2019-03-11 2020-09-17 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US11431949B2 (en) 2019-03-11 2022-08-30 Sony Group Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JPWO2018155269A1 (ja) 2019-12-19
US20200244937A1 (en) 2020-07-30
CN110313176A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
US10733783B2 (en) Motion smoothing for re-projected frames
US10378877B2 (en) Image processing device, image processing method, and program
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20170163949A1 (en) Apparatus using a projector, method, and storage medium
US20150054974A1 (en) TEMPORALLY COHERENT SEGMENTATION OF RGBt VOLUMES WITH AID OF NOISY OR INCOMPLETE AUXILIARY DATA
US20210209793A1 (en) Object tracking device, object tracking method, and object tracking program
JP2005072888A (ja) 画像投影方法、及び画像投影装置
EP2834788A1 (en) Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
JP2015060012A (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
KR20180054808A (ko) 이미지들 내의 움직임 검출
JP7391542B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2010028411A (ja) 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム
US11074715B2 (en) Image processing apparatus and method
US20180307896A1 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP2020197989A5 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2007295375A (ja) 投影映像補正装置及び投影映像補正プログラム
JP6365355B2 (ja) 画像生成装置および画像生成方法
WO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
US20190110032A1 (en) Image processing apparatus and method
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
JP2017212638A (ja) 表示装置、表示装置の制御方法、及びプログラム
US20210174526A1 (en) Learning apparatus, estimation apparatus, learning method, estimation method, and computer programs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18757557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501244

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18757557

Country of ref document: EP

Kind code of ref document: A1