WO2017169726A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2017169726A1
WO2017169726A1 PCT/JP2017/010110 JP2017010110W WO2017169726A1 WO 2017169726 A1 WO2017169726 A1 WO 2017169726A1 JP 2017010110 W JP2017010110 W JP 2017010110W WO 2017169726 A1 WO2017169726 A1 WO 2017169726A1
Authority
WO
WIPO (PCT)
Prior art keywords
presentation position
change
disturbance
projector
image
Prior art date
Application number
PCT/JP2017/010110
Other languages
English (en)
French (fr)
Inventor
清登 染谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/086,633 priority Critical patent/US10839553B2/en
Priority to JP2018508962A priority patent/JP6996493B2/ja
Publication of WO2017169726A1 publication Critical patent/WO2017169726A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of providing a comfortable viewing experience.
  • Disturbance refers to subtle changes caused by the user changing the projector layout, increasing or decreasing the number of projectors to be used, posture deviation due to unintentional physical contact with the projector, and temperature characteristics or changes over time. It means posture misalignment. Since the attitude of the projector changes due to disturbance, distortion (such as trapezoidal distortion and blending deviation) occurs in the projected video content. Therefore, it is necessary to re-estimate the attitude of the projector and update the presentation position of the video content so that the projected video content is not distorted.
  • online sensing which is a technology for obtaining corresponding points while projecting images of content, etc., can detect corresponding points while projecting an input video, so even if the projector's attitude changes due to disturbance, it is automatically detected Can be updated to the correct video presentation position (see Patent Document 1).
  • the present disclosure has been made in view of such a situation, and can provide a comfortable viewing experience.
  • An image processing apparatus uses a captured image generated by capturing a projection image projected from a projector to detect a disturbance of the projector, and a disturbance is detected by the disturbance detection unit.
  • the present invention includes a presentation position update unit that compares posture information before and after disturbance detection and updates a presentation position only for a projector whose posture information before and after the disturbance detection is changed.
  • the image processing apparatus may further include an imaging unit that captures the projected image projected from the projector and generates the captured image.
  • the presenting position update unit updates the presenting position only for projectors that have a change in posture information before and after the detection of a disturbance when there is no change in posture information of a plurality of projectors and a change in the presentation position before and after the detection of a disturbance is small. It can be carried out.
  • a scene change determination unit that determines whether or not there is a scene change in the input video, and when the scene change determination unit determines that there is a scene change, the presentation position update unit is around the scene change, The presentation position can be updated.
  • the scene change determination unit displays a scene in the input video when there is a change in posture information of a plurality of projectors, or when there is no change in posture information of a plurality of projectors but a change in a presentation position before and after a disturbance detection is large. It can be determined whether or not there is a change.
  • the scene change determination unit determines that there is a scene change
  • the scene change determination unit further includes a presentation position change determination unit that determines whether or not a presentation position change before and after the disturbance detection is large, and the presentation position change determination unit before and after the disturbance detection
  • the present position update unit can update the present position while applying an effect before and after the scene change.
  • the presentation position update unit can update the presentation position with the scene change.
  • the presentation position update unit can update the presentation position after notifying the user in advance.
  • the presentation position update unit can update the presentation position while applying an effect.
  • a presentation position change determination unit that determines the degree of change in the presentation position after disturbance detection is further provided, and the presentation position update unit can update the presentation position while applying an effect according to the degree of the presentation position change. it can.
  • the disturbance of the projector is a change in the position of the projector, an increase or decrease in the number of projectors, an attitude shift due to physical contact with the projector, or an attitude shift due to a temperature characteristic or a change with time.
  • an image processing apparatus detects a disturbance of the projector using a captured image generated by capturing a projection image projected from a projector, and the disturbance is detected.
  • the posture information before and after the disturbance detection is compared, and the presentation position is updated only for the projector in which the posture information before and after the disturbance detection is changed.
  • a disturbance of the projector is detected using a captured image generated by capturing a projection image projected from the projector.
  • the posture information before and after the disturbance detection is compared, and the presentation position is updated only for the projector in which the posture information before and after the disturbance detection is changed.
  • This technology can provide a comfortable viewing experience.
  • Disturbance refers to subtle changes caused by the user changing the projector layout, increasing or decreasing the number of projectors to be used, posture deviation due to unintentional physical contact with the projector, and temperature characteristics or changes over time. It means posture misalignment. Since the attitude of the projector changes due to disturbance, distortion (such as trapezoidal distortion and blending deviation) occurs in the projected video content. Therefore, it is necessary to re-estimate the attitude of the projector and update the presentation position of the video content so that the projected video content is not distorted.
  • a standardized light pattern 12 having a predetermined pattern is projected from a projector 11 onto a screen 13, and the projected standardized light pattern 12 is captured by a camera 14 to obtain a captured image 15. Then, a corresponding point between the standardized light pattern 12 and the captured image 15 is obtained based on the pattern of the standardized light pattern 12, and the attitude (positional relationship) of the projector 11 and the camera 14 and the screen are determined by triangulation based on the corresponding point. There is a method of obtaining 13 shapes and the like and performing geometric correction based on the result.
  • corresponding points (corresponding to the same position on the projection plane of the projected image and the captured image) between the projected image (or projected image) and the captured image may be used. Pixel). That is, it is necessary to obtain the correspondence between the pixel of the camera 14 (captured image 15) and the pixel of the projector 11 (standardized light pattern 12). This corresponding point detection processing is generally called Structured Light.
  • the method of projecting pattern images such as GrayCode, Dot, and Checker with a projector, and capturing the image with a camera to detect corresponding points is called offline sensing.
  • offline sensing When estimating the attitude of the projector by offline sensing after detecting a disturbance, it will be necessary to stop projecting video content and project a pattern image, so it is essential to interrupt video viewing and provide a comfortable viewing experience. Have difficulty.
  • the method of detecting corresponding points during video projection and estimating the attitude of the projector and the camera is called online sensing.
  • Corresponding point detection in online sensing includes Imperceptible Structured Light (Fig. 2) that detects corresponding points by superimposing patterns that are not perceived by the human eye in moving images, and feature points in moving images by detecting feature points.
  • Fig. 2 Imperceptible Structured Light
  • FIG. 3 A method for associating each other (FIG. 3) and the like can be mentioned.
  • the ISL method is a technique for projecting a structured light pattern, which is an image of a predetermined pattern, into a projected image by inverting it positively or negatively and not perceiving it by humans.
  • the projector generates a frame image by combining a positive image of the structured light pattern with the input image by adding a predetermined structured light pattern to a frame of the input image.
  • a frame image is generated by combining the negative image of the structured light pattern with the input image.
  • the projector continuously projects those frames. Two frames of positive and negative that are switched at high speed are added and perceived by the human eye due to the integration effect. As a result, it becomes difficult for the user viewing the projected image to recognize the structured light pattern embedded in the input image.
  • the camera captures the projected images of those frames and obtains the difference between the captured images of both frames, thereby extracting only the structured light pattern included in the captured images.
  • Corresponding point detection is performed using the extracted structured light pattern.
  • the structured pattern can be easily extracted simply by obtaining the difference between the captured images, so that the corresponding points can be detected with stable accuracy without depending on the image to be projected.
  • FIG. 3 there is a method of detecting feature points in a moving image and associating the feature points with each other.
  • the projector (projection unit) 22 and the camera (imaging unit) 23 of the projection imaging apparatus 21 are in the posture RT_t1.
  • the projector 22 projects the projection image 25_t1 on the screen 24, and the camera 23 captures the projection image 25_t1 and generates a captured image 26_t1.
  • the attitude of the projector changes due to disturbance. Even in this case, there is an advantage that it can be automatically updated to the correct video presentation position. (There is no need to project the above pattern image).
  • the attitude of the projector is estimated and the video presentation position is updated while the video is presented, the video presentation position changes significantly before and after the estimation of the projector attitude and the screen shape (hereinafter also referred to as sensing). It is hard to say that it is a comfortable viewing experience, and when a wide-field image is projected on a large screen, there is a risk of causing motion sickness.
  • FIG. 4 is a block diagram illustrating a configuration example of a projection imaging apparatus to which the present technology is applied.
  • the projection imaging apparatus 101 is configured to include a posture estimation unit 111, a presentation position update unit 112, a delay unit 113, a geometric correction unit 114, a projector 115, a camera 116, and a disturbance detection unit 117.
  • the input video is input to the presentation position update unit 112, the geometric correction unit 114, and the disturbance detection unit 117.
  • the posture estimation unit 111 estimates the initial posture of the projector 115 and the shape of the screen.
  • the estimation method may be offline sensing (pattern projection) or online sensing.
  • the posture estimation unit 111 supplies the estimated posture information of the projector 115 and screen shape information to the presentation position update unit 112, the delay unit 113, and the disturbance detection unit 117.
  • the presentation position update unit 112 receives input video, projector 115 posture information and screen shape information, and past posture information from the delay unit 113. For example, the presentation position update unit 112 obtains an initial video presentation position from the orientation information of the projector 115 and the screen shape information, and supplies the presentation position information, which is the information, to the geometric correction unit 114.
  • the geometric correction unit 114 corrects the input video so that the input video is projected at the initial video presentation position, generates a corrected image, and outputs the corrected image to the projector 115.
  • the projector 115 projects the corrected image on the screen.
  • the camera 116 captures a projection image projected on the screen from the projector 115, generates a captured image, and supplies the captured image to the disturbance detection unit 117 and the posture estimation unit 111.
  • each camera 116 may be provided for the projector 115, one camera 116 may be provided for the plurality of projectors 115, or the projector 115 may be provided for the plurality of cameras 116. May be one.
  • the disturbance detection unit 117 detects a disturbance using a captured image from the camera 116.
  • the disturbance detection unit 117 calculates a region (mask image) on which the input video is projected from the posture information and the presentation position information.
  • the projection area of the projector 115-0 (pro0 projection area) and the projection area of the projector 115-1 (pro1 projection area) from the projector image corner presentation position information of the presentation position information.
  • the mask image 121-0 of the camera 116-0 and the mask image 121-1 of the camera 116-1 showing the mask area (projection area) are obtained from the attitude information of the projectors 115-0 and 115-1. It is done.
  • the disturbance detection unit 117 performs mask processing on the mask image 121-0 and the captured image 131-0 to generate a mask processed image 132-0, and the mask processed image 132-0. Check whether there is a change in the background area (outside the mask area). Similarly, the disturbance detection unit 117 performs mask processing on the mask image 121-1 and the captured image 131-1 to generate a mask processed image 132-1, and a background area (outside the mask area) of the mask processed image 132-1 Check for changes in
  • the disturbance detection unit 117 detects it.
  • the light (input video) of the projectors 115-0 and 115-1 does not strike the background area of the projected image on the screen 151 before the occurrence of the disturbance, but the projection of the screen 151 after the occurrence of the disturbance.
  • the light of the projector 115-1 hits the background area of the image.
  • the disturbance detection unit 117 can project a projection image in which no disturbance occurs on the screen 151 after the disturbance is recovered by detecting and sensing the disturbance.
  • the disturbance detection unit 117 notifies the posture estimation unit 111 of the detection of the disturbance.
  • posture estimation unit 111 estimates the posture of the projector and the shape of the screen, and supplies posture information and screen shape information to presentation position update unit 112.
  • the presentation position update unit 112 compares the posture information before the occurrence of the disturbance (past posture information) and the posture information after the occurrence of the disturbance, and determines the presentation position information to be passed to the geometric correction unit 114. For example, when the input video is presented on the screen using a plurality of projectors, the presentation position update unit 112 updates the video presentation position only for the projector in which the disturbance has occurred (that is, the projector whose posture has changed). In other words, the video presentation position is maintained for projectors in which no disturbance has occurred.
  • the presentation position update unit 112 updates the presentation position at the timing of the scene change of the input video when there are disturbances in many projectors and it is difficult to maintain the video presentation position.
  • the degree of change may be determined, and an effect corresponding to the degree of change may be applied.
  • step S101 the posture estimation unit 111 estimates the initial posture of the projector 115 and the shape of the screen.
  • the posture estimation unit 111 supplies the estimated posture information of the projector 115 and screen shape information to the presentation position update unit 112, the delay unit 113, and the disturbance detection unit 117.
  • the presentation position update unit 112 receives input video, projector 115 posture information and screen shape information, and past posture information from the delay unit 113. In step S ⁇ b> 102, the presentation position update unit 112 obtains an initial video presentation position from the orientation information of the projector 115 and the screen shape information, and supplies the presentation position information as the information to the geometric correction unit 114.
  • step S103 the geometric correction unit 114 corrects the input video so that the input video is projected to the initial video presentation position, generates a corrected image, and outputs the corrected image to the projector 115.
  • step S104 the projector 115 projects the corrected image on the screen.
  • step S105 the camera 116 captures the projection image projected on the screen from the projector 115, generates a captured image, and supplies the captured image to the disturbance detection unit 117 and the posture estimation unit 111.
  • step S106 the disturbance detection unit 117 determines whether or not the attitude of the projector has changed by detecting the occurrence of a disturbance as described above with reference to FIGS.
  • step S106 If it is determined in step S106 that the attitude of the projector 115 has not changed, the process returns to step S101, and the subsequent processes are repeated. If it is determined in step S106 that the orientation of projector 115 has changed, the process proceeds to step S107.
  • step S107 the projection imaging apparatus 101 performs a post-disturbance generation process. Details of the disturbance generation processing will be described later with reference to FIG. After the disturbance occurrence post-process in step S107, the process returns to step S103, and the subsequent processes are repeated.
  • the disturbance detection unit 117 notifies the posture estimation unit 111 of the detection of the disturbance.
  • the posture estimation unit 111 estimates the posture of the projector and the screen shape, and supplies the posture information and the screen shape information to the presentation position update unit 112 in step S111.
  • step S112 the presentation position update unit 112 compares the posture information before the occurrence of the disturbance (past posture information) and the posture information after the occurrence of the disturbance.
  • step S113 the presentation position update unit 112 determines whether the postures of a large number of projectors have changed. If it is determined in step S113 that the postures of many projectors have not changed, the process proceeds to step S114. In step S113, a large number of projectors are determined. At that time, a threshold value may be provided, and it may be determined as a large number of threshold values or more, or whether it is singular or plural.
  • step S114 the presentation position update unit 112 compares the change in the presentation position before and after the disturbance, and the process proceeds to step S115.
  • step S115 the presentation position update unit 112 determines whether the change in the presentation position before and after the disturbance is large. If it is determined in step S115 that the change is large, the process proceeds to step S116.
  • step S113 determines whether there is a scene change in the input video. If it is determined in step S116 that there is a scene change in the input video, the process proceeds to step S117.
  • step S117 the presentation position update unit 112 determines whether the presentation position change is large. If it is determined in step S117 that the change in the presentation position is large, the process proceeds to step S118. In step S118, the presentation position update unit 112 updates the presentation position while applying an effect before and after the scene change. After the update, the presentation position update process ends, and the process returns to step S107 in FIG.
  • step S117 If it is determined in step S117 that the change in the presentation position is small, the process proceeds to step S119.
  • step S119 the presentation position update unit 112 updates the presentation position with a scene change. After the update, the presentation position update process ends, and the process returns to step S107 in FIG.
  • step S116 If it is determined in step S116 that there is no scene change in the input video, the process proceeds to step S120.
  • step S120 the presentation position update unit 112 notifies the projector 115 and the user of the update in advance. Although not shown after the notification, for example, after obtaining the user's consent, the presentation position update process is performed as necessary. After the update, the presentation position update process ends, and the process returns to step S107 in FIG.
  • step S115 If it is determined in step S115 that the change is small, the process proceeds to step S121.
  • step S ⁇ b> 121 the presentation position update unit 112 performs a presentation position update process for only the projector 115 having a posture change. After the update, the presentation position update process ends, and the process returns to step S107 in FIG.
  • the present technology even when video content is projected on the screen, even when the projector is deviated due to disturbance and the video is distorted, the video is automatically distorted (without requiring pattern projection). It is possible to project a video with no distortion on the screen surface and provide a comfortable viewing experience.
  • ⁇ Personal computer> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 10 is a block diagram showing an example of a hardware configuration of a personal computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads, for example, a program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. Thereby, the series of processes described above are performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded on the removable medium 511.
  • the removable medium 511 is a package made of, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • a disturbance detection unit that detects disturbance of the projector using a captured image generated by capturing a projection image projected from the projector;
  • the image includes: a presentation position update unit that compares posture information before and after disturbance detection and updates a presentation position only for a projector whose posture information before and after the disturbance detection is changed.
  • Processing equipment processing equipment.
  • the presentation position update unit may present the presentation position only when there is a change in the posture information before and after the disturbance detection when there is no change in the posture information of the plurality of projectors and the change in the presentation position before and after the disturbance detection is small.
  • the image processing apparatus according to (1).
  • the presentation position update unit updates the presentation position around the scene change when the scene change determination unit determines that there is a scene change.
  • the image according to any one of (1) to (3), Processing equipment.
  • the scene change determination unit is input when there is a change in posture information of a plurality of projectors, or when there is no change in posture information of a plurality of projectors, but a change in the presentation position before and after disturbance detection is large.
  • the image processing apparatus according to (4), wherein it is determined whether or not there is a scene change in the video.
  • the presentation position update unit updates the presentation position while applying an effect before and after the scene change when the presentation position change determination unit determines that the presentation position change before and after the disturbance detection is large.
  • the disturbance of the projector is a change in the arrangement of the projectors, an increase or decrease in the number of projectors, an attitude shift due to physical contact with the projector, or an attitude shift due to a temperature characteristic or a change over time.
  • An image processing apparatus according to any one of the above.
  • the image processing apparatus Using the captured image generated by capturing the projection image projected from the projector, the disturbance of the projector is detected, An image processing method in which, when the disturbance is detected, the posture information before and after the disturbance detection is compared, and only the projector having a change in the posture information before and after the disturbance detection updates the presentation position.
  • a disturbance detection unit that detects a disturbance of the projector using a captured image generated by capturing a projection image projected from the projector; When a disturbance is detected by the disturbance detection unit, the posture information before and after the disturbance detection is compared, and only the projector having a change in the posture information before and after the disturbance detection serves as a presentation position update unit that updates the presentation position.
  • a program that causes a computer to function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本開示は、快適な視聴体験を提供することができるようにする画像処理装置および方法に関する。 カメラは、プロジェクタから投影される投影画像を撮像し、撮像画像を生成し、外乱検知部は、生成された撮像画像を用いて、プロジェクタの外乱を検知する。前記外乱が検知された場合、姿勢推定部は、外乱検知前後の姿勢情報を比較し、呈示位置更新部は、比較された外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う。本開示は、例えば、プロジェクタで画像を投影し、プロジェクタにより投影された画像を撮像して、呈示位置を更新する投影撮像装置に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、快適な視聴体験を提供することができるようにした画像処理装置および方法に関する。
　映像コンテンツを、プロジェクタを使って投影している際に外乱が発生すると、スクリーン面に映像コンテンツを呈示する位置を更新する必要がある。ここでいう外乱とは、ユーザがプロジェクタの配置を変更したり、使用するプロジェクタを増やしたり減らしたりする事や、プロジェクタへの意図しない物理的接触による姿勢ずれ、および温度特性や経時変化による微妙な姿勢ずれなどを意味する。外乱によってプロジェクタの姿勢が変化するため、投影された映像コンテンツに歪(台形歪やブレンディングのずれなど)が生じる。ゆえにプロジェクタの姿勢を再推定して、投影された映像コンテンツに歪が出ないように、映像コンテンツの呈示位置を更新する必要がある。
　プロジェクタ（およびカメラ）の姿勢を推定するためには、プロジェクタ（投影画像）とカメラ（撮像画像）との間で対応点を求める必要があった。
　例えば、コンテンツ等の画像を投影しながらその対応点を求める技術であるオンラインセンシングは、入力映像を投影している最中に対応点検出ができるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像呈示位置に更新することができる（特許文献１参照）。
特開２００９－１３５９２１号公報
　しかしながら、映像を呈示したまま、プロジェクタの姿勢を推定し、映像の呈示位置を更新するので、センシング前後で映像呈示位置が大きく変わる場合など、快適な視聴体験とは言い難く、広視野映像を大画面スクリーンに投影しているときは、映像酔いを引き起こしてしまう恐れがあった。
　本開示は、このような状況に鑑みてなされたものであり、快適な視聴体験を提供することができるものである。
　本技術の一側面の画像処理装置は、プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部とを備える。
　前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部をさらに備えることができる。
　前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行うことができる。
　入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部をさらに備え、前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行うことができる。
　前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定することができる。
　前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部をさらに備え、前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行うことができる。
　前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行うことができる。
　前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行うことができる。
　前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行うことができる。
　外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部をさらに備え、前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行うことができる。
　前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである。
　本技術の一側面の画像処理方法は、画像処理装置が、プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う。
　本技術の一側面においては、プロジェクタから投影される投影画像が撮像されて撮像して生成された撮像画像を用いて、前記プロジェクタの外乱が検知される。そして、前記外乱が検知された場合、外乱検知前後の姿勢情報が比較され、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新が行われる。
　本技術によれば、快適な視聴体験を提供することができる。
　なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 動画像の中での特徴点同士の対応付けを行う方法を説明する図である。 本技術を適用した投影撮像装置の構成例を示すブロック図である。 外乱検知の様子の例を示す図である。 外乱検知の様子の例を示す図である。 外乱検知の様子の例を示す図である。 投影撮像装置の投影撮像処理について説明するフローチャートである。 図８のステップＳ１０７の外乱発生後の呈示位置更新処理について説明するフローチャートである。 本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
　＜背景＞
　映像コンテンツを、プロジェクタを使って投影している際に外乱が発生すると、スクリーン面に映像コンテンツを呈示する位置を更新する必要がある。ここでいう外乱とは、ユーザがプロジェクタの配置を変更したり、使用するプロジェクタを増やしたり減らしたりする事や、プロジェクタへの意図しない物理的接触による姿勢ずれ、および温度特性や経時変化による微妙な姿勢ずれなどを意味する。外乱によってプロジェクタの姿勢が変化するため、投影された映像コンテンツに歪(台形歪やブレンディングのずれなど)が生じる。ゆえにプロジェクタの姿勢を再推定して、投影された映像コンテンツに歪が出ないように、映像コンテンツの呈示位置を更新する必要がある。
　例えば、図１の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正を行う方法がある。
　このようにカメラを利用して幾何補正を行う場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラ１４（撮像画像１５）の画素とプロジェクタ１１（標準化光パタン１２）の画素との対応関係を求める必要がある。この対応点検出処理は、一般的にStructured Light（構造化光）と呼ばれる。
　GrayCodeやDotおよびCheckerなどのパタン画像をプロジェクタで投影し、それをカメラで撮像して対応点検出する方法をオフラインセンシングと呼ぶことにする。外乱を検知後にオフラインセンシングによってプロジェクタの姿勢を推定する場合は、いったん映像コンテンツの投影をやめてパタン画像を投影する事になるため、映像視聴の中断が必須となり、快適な視聴体験を提供するのは困難である。
　一方で動画投影中に対応点を検出して、プロジェクタとカメラの姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(図２)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法(図３)などが挙げられる。
　ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
　図２に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
　これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
　このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　図３に示されるように、動画像の中の特徴点を検出し、特徴点同士の対応付けを行う方法もある。時刻t1において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t1である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t1を投影し、カメラ２３は、投影画像２５_t1を撮像し、撮像画像２６_t1を生成する。
　その後、時刻t2において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３の姿勢変化があり、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t2である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t2を投影し、カメラ２３は、投影画像２５_t2を撮像し、撮像画像２６_t2を生成する。
　このように、入力映像を投影している最中に、生成された時刻t1での撮像画像２６_t1と、時刻t2での撮像画像２６_t2において対応点が検出されるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像呈示位置に更新できる利点がある。(前述のパタン画像を投影する必要はない)。
　しかしながら、映像を呈示したまま、プロジェクタの姿勢を推定し、映像の呈示位置を更新するので、プロジェクタの姿勢およびスクリーンの形状の推定（以下、センシングとも称する）前後で映像呈示位置が大きく変わる場合など、快適な視聴体験とは言い難く、広視野映像を大画面スクリーンに投影しているときは、映像酔いを引き起こしてしまう恐れがあった。
　そこで、本技術においては、センシング前後の映像呈示位置の急激な変化を抑えたり、映像呈示のタイミングを制御したりする。これにより、快適な視聴体験を提供することができる。
　＜投影撮像装置の構成例＞
　図４は、本技術を適用した投影撮像装置の構成例を示すブロック図である。
　図４の例において、投影撮像装置１０１は、姿勢推定部１１１、呈示位置更新部１１２、遅延部１１３、幾何補正部１１４、プロジェクタ１１５、カメラ１１６、および外乱検知部１１７を含むように構成されている。入力映像は、呈示位置更新部１１２、幾何補正部１１４、および外乱検知部１１７に入力される。
　姿勢推定部１１１は、プロジェクタ１１５の初期姿勢とスクリーンの形状を推定する。なお、推定方法は、オフラインセンシング（パターン投影）であってもよいし、オンラインセンシングであってもよい。姿勢推定部１１１は、推定したプロジェクタ１１５の姿勢情報とスクリーンの形状情報を、呈示位置更新部１１２、遅延部１１３、外乱検知部１１７に供給する。
　呈示位置更新部１１２には、入力映像、プロジェクタ１１５の姿勢情報とスクリーンの形状情報、および遅延部１１３からの過去姿勢情報が入力される。呈示位置更新部１１２は、例えば、プロジェクタ１１５の姿勢情報とスクリーンの形状情報から初期映像呈示位置を求め、その情報である呈示位置情報を、幾何補正部１１４に供給する。
　幾何補正部１１４は、入力映像が初期映像呈示位置に投影されるように、入力映像を補正し、補正画像を生成して、プロジェクタ１１５に出力する。プロジェクタ１１５は、補正画像を、スクリーンに投影する。
　カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、外乱検知部１１７および姿勢推定部１１１に供給する。
　なお、プロジェクタ１１５も、カメラ１１６も複数台であってもよい。また、プロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のプロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のカメラ１１６に対して、プロジェクタ１１５が１台であってもよい。
　外乱検知部１１７は、カメラ１１６からの撮像画像を用いて、外乱を検知する。外乱検知部１１７は、姿勢情報と呈示位置情報から、入力映像が投影される領域（マスク画像）を計算する。
　例えば、プロジェクタ１１５－０とプロジェクタ１１５－１で投影しており、それぞれに対応して、カメラ１１６－０とカメラ１１６－１が投影画像を撮像している場合を考える。この場合、図５に示されるように、呈示位置情報のうち、プロジェクタ画隅呈示位置情報から、プロジェクタ１１５－０の投影領域（pro0投影領域）とプロジェクタ１１５－１の投影領域（pro1投影領域）が求められ、プロジェクタ１１５－０および１１５－１それぞれの姿勢情報から、mask領域（投影領域）が示されるカメラ１１６－０のマスク画像１２１－０とカメラ１１６－１のマスク画像１２１－１が求められる。
　次に、外乱検知部１１７は、図６に示されるように、マスク画像１２１－０と撮像画像１３１－０をマスク処理して、マスク処理画像１３２－０を生成し、マスク処理画像１３２－０の背景領域（mask領域外）に変化があるかどうかを調べる。同様に、外乱検知部１１７は、マスク画像１２１－１と撮像画像１３１－１をマスク処理して、マスク処理画像１３２－１を生成し、マスク処理画像１３２－１の背景領域（mask領域外）に変化があるかどうかを調べる。
　図６の例の場合、マスク処理画像１３２－０の背景領域の右下部分に変化があるので、外乱があると判定され、マスク処理画像１３２－１の背景領域の左上部分に変化があるので、外乱があると判定される。
　また、外乱がなければ、スクリーンの投影画像の背景領域にプロジェクタの光（入力映像）は当たらないので、変化がない。これに対して、外乱が発生すると、スクリーンの投影画像の背景領域にプロジェクタの光が当たるので、外乱検知部１１７はそれを検知する。
　すなわち、図７の例においては、外乱発生前のスクリーン１５１の投影画像の背景領域にプロジェクタ１１５－０および１１５－１の光（入力映像）は当たっていないが、外乱発生後のスクリーン１５１の投影画像の背景領域にプロジェクタ１１５－１の光が当たっている。外乱検知部１１７はこの外乱を検知し、センシングすることで、外乱復帰後のスクリーン１５１に、外乱が起こっていない投影画像を投影することができる。
　以降、外乱検知後の呈示位置更新部１１２の動作について説明する。
　外乱検知部１１７は、外乱の検知を姿勢推定部１１１に通知する。姿勢推定部１１１は、外乱が検知されたら、プロジェクタの姿勢およびスクリーンの形状を推定し、姿勢情報とスクリーン形状情報を、呈示位置更新部１１２に供給する。
　呈示位置更新部１１２は、外乱発生前の姿勢情報（過去姿勢情報）と外乱発生後の姿勢情報とを比較して、幾何補正部１１４へ渡す呈示位置情報を決定する。例えば、呈示位置更新部１１２は、複数のプロジェクタを用いて入力映像をスクリーンに呈示している場合は、外乱が発生したプロジェクタ（すなわち、姿勢が変化したプロジェクタ）だけ映像呈示位置を更新する。つまり、外乱が発生していないプロジェクタは、映像呈示位置が維持される。
　また、呈示位置更新部１１２は、多数のプロジェクタに外乱があり、映像呈示位置を維持するのが困難な場合、入力映像のシーンチェンジのタイミングで呈示位置を更新する。他にも、呈示位置の更新前後にエフェクト（フェードアウト＝＞フェードインなど）をかけることで、呈示位置の急激な変化を抑えることができる。その際、変化の度合いを判定し、変化の度合いに応じたエフェクトをかけるようにしてもよい。さらに、ユーザに呈示位置の更新タイミングを事前に通知するようにしてもよい。
　次に、図８のフローチャートを参照して、投影撮像装置１０１の投影撮像処理について説明する。
　ステップＳ１０１において、姿勢推定部１１１は、プロジェクタ１１５の初期姿勢とスクリーンの形状を推定する。姿勢推定部１１１は、推定したプロジェクタ１１５の姿勢情報とスクリーンの形状情報を、呈示位置更新部１１２、遅延部１１３、外乱検知部１１７に供給する。
　呈示位置更新部１１２には、入力映像、プロジェクタ１１５の姿勢情報とスクリーンの形状情報、および遅延部１１３からの過去姿勢情報が入力される。ステップＳ１０２において、呈示位置更新部１１２は、プロジェクタ１１５の姿勢情報とスクリーンの形状情報から初期映像呈示位置を求め、その情報である呈示位置情報を、幾何補正部１１４に供給する。
　ステップＳ１０３において、幾何補正部１１４は、入力映像が初期映像呈示位置に投影されるように、入力映像を補正し、補正画像を生成して、プロジェクタ１１５に出力する。プロジェクタ１１５は、ステップＳ１０４において、補正画像を、スクリーンに投影する。
　ステップＳ１０５において、カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、外乱検知部１１７および姿勢推定部１１１に供給する。
　ステップＳ１０６において、外乱検知部１１７は、図５乃至図７を参照して上述したように外乱の発生を検知することで、プロジェクタの姿勢が変化したか否かを判定する。
　ステップＳ１０６において、プロジェクタ１１５の姿勢が変化していないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。ステップＳ１０６において、プロジェクタ１１５の姿勢が変化したと判定された場合、処理は、ステップＳ１０７に進む。
　ステップＳ１０７において、投影撮像装置１０１は、外乱発生後処理を行う。この外乱発生処理の詳細は、図９を参照して後述される。ステップＳ１０７における外乱発生後処理の後、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返される。
　次に、図９のフローチャートを参照して、図８のステップＳ１０７の外乱発生後の呈示位置更新処理について説明する。
　外乱検知部１１７は、外乱の検知を姿勢推定部１１１に通知する。姿勢推定部１１１は、外乱が検知されたら、ステップＳ１１１において、プロジェクタの姿勢およびスクリーンの形状を推定し、姿勢情報とスクリーン形状情報を、呈示位置更新部１１２に供給する。
　ステップＳ１１２において、呈示位置更新部１１２は、外乱発生前の姿勢情報（過去姿勢情報）と外乱発生後の姿勢情報とを比較する。
　ステップＳ１１３において、呈示位置更新部１１２は、多数のプロジェクタの姿勢が変化したか否かを判定する。ステップＳ１１３において、多数のプロジェクタの姿勢が変化していないと判定された場合、処理は、ステップＳ１１４に進む。なお、ステップＳ１１３においては、多数のプロジェクタを判定するようにした。その際、閾値を設けて、閾値以上を多数として判定してもよいし、単数かまたは複数かを判定するようにしてもよい。
　ステップＳ１１４において、呈示位置更新部１１２は、外乱前後の呈示位置の変化を比較し、処理は、ステップＳ１１５に進む。ステップＳ１１５において、呈示位置更新部１１２は、外乱前後の呈示位置の変化が大きいか否かを判定する。ステップＳ１１５において、変化が大きいと判定された場合、処理は、ステップＳ１１６に進む。
　一方、ステップＳ１１３において、多数のプロジェクタの姿勢が変化したと判定された場合も、処理は、ステップＳ１１６に進む。ステップＳ１１６において、呈示位置更新部１１２は、入力映像にシーンチェンジが存在するか否かを判定する。ステップＳ１１６において、入力映像にシーンチェンジが存在すると判定された場合、処理は、ステップＳ１１７に進む。
　ステップＳ１１７において、呈示位置更新部１１２は、呈示位置変化が大きいか否かを判定する。ステップＳ１１７において、呈示位置変化が大きいと判定された場合、処理は、ステップＳ１１８に進む。ステップＳ１１８において、呈示位置更新部１１２は、シーンチェンジ前後にエフェクトをかけながら呈示位置更新を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
　ステップＳ１１７において、呈示位置変化が小さいと判定された場合、処理は、ステップＳ１１９に進む。ステップＳ１１９において、呈示位置更新部１１２は、シーンチェンジで呈示位置更新を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
　ステップＳ１１６において、入力映像にシーンチェンジが存在しないと判定された場合、処理は、ステップＳ１２０に進む。ステップＳ１２０において、呈示位置更新部１１２は、プロジェクタ１１５やユーザに事前に更新を通知する。通知後は、図示されていないが、例えば、ユーザによる了解を得られた後に、必要に応じて、呈示位置更新処理を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
　また、ステップＳ１１５において、変化が小さいと判定された場合、処理は、ステップＳ１２１に進む。ステップＳ１２１において、呈示位置更新部１１２は、姿勢変化があるプロジェクタ１１５のみの呈示位置更新処理を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
　以上のように、本技術によれば、映像コンテンツをスクリーンに投影している最中に外乱によってプロジェクタの姿勢がずれて映像に歪みが生じても、（パタン投影を必要とすることなく）自動的に歪みのない映像をスクリーン面に投影でき、かつ、快適な視聴体験を提供することができる。
　特に大画面スクリーンや広視野スクリーンなどを使った映像視聴では、映像呈示位置の急激な変化が映像酔いを引き起こす恐れがあるが、それに対しての本技術の効果は大きいと予測される。
　なお、上記説明においては、カメラを利用した外乱検知を行う例を説明したが、カメラ以外のセンサ（例えば、加速度センサや温度センサ）を利用したり、センサフュージョンによる外乱検知を用いる場合にも、本技術は適用することができる。
　＜パーソナルコンピュータ＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図１０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
　パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
　前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
　を備える画像処理装置。
　（２）　前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部を
　さらに備える前記（１）に記載の画像処理装置。
　（３）　前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
　前記（１）に記載の画像処理装置。
　（４）　入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部
　をさらに備え、
　前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行う
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定する
　前記（４）に記載の画像処理装置。
　（６）　前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部を
　さらに備え、
　前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行う
　前記（４）に記載の画像処理装置。
　（７）　前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行う
　前記（６）に記載の画像処理装置。
　（８）　前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行う
　前記（３）に記載の画像処理装置。
　（９）　前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行う
　前記（１）に記載の画像処理装置。
　（１０）　外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部を
　さらに備え、
　前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行う
　前記（９）に記載の画像処理装置。
　（１１）　前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　画像処理装置が、
　プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、
　前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
　画像処理方法。
　（１３）　プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
　前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
　して、コンピュータを機能させるプログラム。
　１０１　投影撮像装置，　１１１　姿勢推定部，　１１２　呈示位置更新部，　１１３　遅延部，　１１４　幾何補正部，　１１５，１１５－０，１１５－１　プロジェクタ，　１１６，１１６－０，１１６－１　カメラ，　１１７　外乱検知部，　１５１　スクリーン

Claims (12)

  1. 　プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
    　前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
    　を備える画像処理装置。
  2. 　前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部を
    　さらに備える請求項１に記載の画像処理装置。
  3. 　前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
    　請求項１に記載の画像処理装置。
  4. 　入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部
    　をさらに備え、
    　前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行う
    　請求項１に記載の画像処理装置。
  5. 　前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定する
    　請求項４に記載の画像処理装置
  6. 　前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部を
    　さらに備え、
    　前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行う
    　請求項４に記載の画像処理装置。
  7. 　前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行う
    　請求項６に記載の画像処理装置。
  8. 　前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行う
    　請求項４に記載の画像処理装置。
  9. 　前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行う
    　請求項１に記載の画像処理装置。
  10. 　外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部を
    　さらに備え、
    　前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行う
    　請求項９に記載の画像処理装置。
  11. 　前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである
    　請求項１に記載の画像処理装置。
  12. 　画像処理装置が、
    　プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、
    　前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
    　画像処理方法。
PCT/JP2017/010110 2016-03-28 2017-03-14 画像処理装置および方法 WO2017169726A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/086,633 US10839553B2 (en) 2016-03-28 2017-03-14 Image processing apparatus and method
JP2018508962A JP6996493B2 (ja) 2016-03-28 2017-03-14 画像処理装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-064244 2016-03-28
JP2016064244 2016-03-28

Publications (1)

Publication Number Publication Date
WO2017169726A1 true WO2017169726A1 (ja) 2017-10-05

Family

ID=59964344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010110 WO2017169726A1 (ja) 2016-03-28 2017-03-14 画像処理装置および方法

Country Status (3)

Country Link
US (1) US10839553B2 (ja)
JP (1) JP6996493B2 (ja)
WO (1) WO2017169726A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629190A (zh) * 2019-02-28 2020-09-04 中强光电股份有限公司 投影系统以及投影方法
JP2022185342A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259252A (ja) * 2002-03-05 2003-09-12 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム
JP2006197443A (ja) * 2005-01-17 2006-07-27 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008249906A (ja) * 2007-03-29 2008-10-16 Brother Ind Ltd プロジェクタ及び表示システム
JP2009224929A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp プロジェクションシステム
JP2012114863A (ja) * 2010-11-26 2012-06-14 Kyocera Corp 携帯電子機器
JP2013195498A (ja) * 2012-03-16 2013-09-30 Nikon Corp マルチプロジェクタシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5121673B2 (ja) 2007-11-06 2013-01-16 パナソニック株式会社 画像投影装置及び画像投影方法
US9097966B2 (en) 2010-11-26 2015-08-04 Kyocera Corporation Mobile electronic device for projecting an image
CN104125392B (zh) * 2013-04-24 2017-10-10 株式会社摩如富 图像合成装置及图像合成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259252A (ja) * 2002-03-05 2003-09-12 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム
JP2006197443A (ja) * 2005-01-17 2006-07-27 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2008249906A (ja) * 2007-03-29 2008-10-16 Brother Ind Ltd プロジェクタ及び表示システム
JP2009224929A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp プロジェクションシステム
JP2012114863A (ja) * 2010-11-26 2012-06-14 Kyocera Corp 携帯電子機器
JP2013195498A (ja) * 2012-03-16 2013-09-30 Nikon Corp マルチプロジェクタシステム

Also Published As

Publication number Publication date
JPWO2017169726A1 (ja) 2019-02-07
JP6996493B2 (ja) 2022-01-17
US10839553B2 (en) 2020-11-17
US20190102907A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
JP5680524B2 (ja) 画像処理装置
JP2013257686A5 (ja)
US9456732B2 (en) Image processing device and image processing method
JP2009266086A (ja) 視線検出装置および方法、並びに、プログラム
KR20150011938A (ko) 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
US20170257608A1 (en) Projection apparatus and control method thereof
WO2017169726A1 (ja) 画像処理装置および方法
WO2017169725A1 (ja) 画像処理装置および方法
JP2012104018A (ja) 画像処理装置
JP6365355B2 (ja) 画像生成装置および画像生成方法
JP2006186622A (ja) 画像処理装置及び画像処理方法
US20150102998A1 (en) Projection-type projector, anti-glare method, and program for anti-glare
JP2012175207A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2018173797A1 (ja) プロジェクタ、投影方法、画像処理システム、および方法
JP2010124028A (ja) 監視装置
JP2010197541A (ja) プロジェクター、画像補正方法、画像補正装置及びプロジェクションシステム
JP2009181323A (ja) 信号処理装置及び投写型映像表示装置
US10068339B2 (en) Image processing device, image processing system, image processing method and image processing program
WO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
JP2016090673A5 (ja) 表示制御装置、表示制御方法、及びコンピュータプログラム
JP2013152537A (ja) 情報処理装置および方法、並びにプログラム
KR101219126B1 (ko) 영상 특성을 반영하여 산출한 영상 움직임 정보에 기반한 제어 방법 및 시스템
JP2010134489A (ja) 視線検出装置および方法、並びに、プログラム
JP2016042639A (ja) カメラ姿勢の制御装置、方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508962

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774270

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774270

Country of ref document: EP

Kind code of ref document: A1