WO2019012761A1 - 移動撮影装置、撮影制御装置、及び、撮影制御プログラム - Google Patents

移動撮影装置、撮影制御装置、及び、撮影制御プログラム Download PDF

Info

Publication number
WO2019012761A1
WO2019012761A1 PCT/JP2018/015029 JP2018015029W WO2019012761A1 WO 2019012761 A1 WO2019012761 A1 WO 2019012761A1 JP 2018015029 W JP2018015029 W JP 2018015029W WO 2019012761 A1 WO2019012761 A1 WO 2019012761A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
photographing
unit
input
shooting
Prior art date
Application number
PCT/JP2018/015029
Other languages
English (en)
French (fr)
Inventor
拓人 市川
太一 三宅
大津　誠
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2019012761A1 publication Critical patent/WO2019012761A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to a mobile photographing device, a photographing control device, and a photographing control program.
  • the self-propelled photographing apparatus is self-propelled by a restriction caused by the self-propelled photographing apparatus itself, such as limitation of a movable range, or a restriction caused by a surrounding environment such as an obstacle or movement of an object to be photographed.
  • a restriction caused by the self-propelled photographing apparatus itself such as limitation of a movable range, or a restriction caused by a surrounding environment such as an obstacle or movement of an object to be photographed.
  • Patent Document 1 discloses a method of setting in advance a shooting direction of a shooting apparatus at a specific shooting position and zoom information.
  • Patent Document 1 addresses limitations imposed by the self-propelled imaging device itself, and can not cope with limitations imposed by the surrounding environment. For example, when it is not possible to move to a desired imaging position due to an obstacle or the like, the imaging direction and zoom from the desired imaging position set in advance are invalidated, and there is a problem that imaging can not be performed appropriately.
  • An aspect of the present invention is mainly aimed at enabling appropriate photographing even when the surrounding environment changes.
  • a mobile photographing apparatus moves to the photographing unit according to an imaging unit that performs movement and photographing, and an input photographing condition that defines at least a photographing location and a photographing target position.
  • a control unit for performing main shooting processing for performing shooting and when the control unit can not achieve the input shooting condition in the main shooting processing, the shooting unit is configured to receive the shooting location and the shooting direction.
  • a preliminary imaging process is performed in which imaging is performed a plurality of times while changing at least one.
  • the imaging control apparatus moves and captures to the imaging unit that executes movement and imaging according to at least an input imaging condition that defines an imaging location and an imaging target position.
  • the control unit performs a main imaging process to execute the step, and the control unit changes at least one of the imaging location and the imaging direction in the imaging unit when the input imaging condition can not be achieved in the main imaging process.
  • a preliminary imaging process is performed to execute a plurality of imagings while causing the
  • appropriate imaging can be performed even when the surrounding environment changes.
  • FIG. 1 It is a schematic diagram which shows an example of the usage condition of the self-propelled imaging device which concerns on Embodiment 1 of this invention. It is a functional block diagram showing an example of composition of an imaging device and a move device concerning Embodiment 1 of the present invention. It is a functional block diagram showing an example of composition of an imaging control part concerning Embodiment 1 of the present invention. It is an overhead view which shows the use aspect of FIG. 1 based on Embodiment 1 of this invention. It is a figure which shows the calculation method of the real imaging
  • Embodiment 1 It will be as follows if Embodiment 1 of this invention is demonstrated based on FIGS. 1-8.
  • FIG. 1 is a schematic view showing an example of usage of a self-propelled imaging device (mobile imaging device) 101 according to the present embodiment.
  • the self-propelled imaging device 101 includes an imaging device (imaging unit) 102 and a moving device 103.
  • the imaging apparatus 102 is an imaging apparatus that executes movement by the moving apparatus 103 and imaging, and newly sets imaging conditions based on the input imaging conditions and the detected imaging conditions, and sets the imaging conditions. Perform movement and shooting according to. As shown in FIG. 1, the imaging device 102 attached to the moving device 103 captures an image of the imaging target 104.
  • the self-propelled imaging device 101 operates as follows.
  • the self-propelled photographing device 101 is three-dimensional position information (hereinafter referred to as “photographing object”) indicating the position of the photographing object 104 set as the input photographing condition by the photographing device 102 (hereinafter referred to as “photographing object position”).
  • Three-dimensional position information hereinafter referred to as “input shooting location information” of the self-propelled shooting apparatus 101 at a position where the shooting target 104 is shot (hereinafter referred to as “input shooting location” (shooting location)) ")
  • input shooting location information three-dimensional position information of the self-propelled shooting apparatus 101 at a position where the shooting target 104 is shot
  • the self-propelled photographing device 101 moves by driving the moving device 103 based on the input photographing place information. Then, the self-propelled imaging apparatus 101 stops when it detects that it can not advance due to reaching the input imaging location or an obstacle or the like (for example, the obstacle 105 shown in FIG. 1). When stopped, the self-propelled imaging apparatus 101 captures an image of the imaging target 104 based on the three-dimensional position information of the stopped location (hereinafter referred to as “detected position information”) and the input imaging location information. The imaging conditions (hereinafter referred to as "actual imaging conditions”) are derived. Finally, the self-propelled photographing device 101 photographs the photographing object 104 by the photographing device 102 based on the actual photographing conditions.
  • the same terminal performs shooting of the shooting target 104, acquisition of shooting target position information, acquisition of input shooting location information, acquisition of detected position information, and derivation of actual shooting conditions.
  • the present invention is not limited thereto, and each process may be performed by a plurality of terminals, or a part of each process may be performed by a server.
  • the self-propelled imaging device 101 can be applied to inspection robots, monitoring robots, security robots, and the like. Moreover, it is applicable also to the apparatus which flies, such as a drone.
  • FIG. 2A is a functional block diagram showing a configuration example of the imaging device 102 according to the present embodiment.
  • the imaging apparatus 102 includes an imaging unit 201 and an imaging control unit (control unit, imaging control apparatus) 202.
  • the imaging unit 201 acquires an image.
  • the imaging unit 201 is configured to include an optical component for capturing an imaging space as an image, and an imaging element such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD), Image data is generated based on an electrical signal obtained by photoelectric conversion in the imaging device.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • Image data is generated based on an electrical signal obtained by photoelectric conversion in the imaging device.
  • the imaging unit 201 may output the acquired image data as it is as raw data, or may perform luminance imaging, noise removal, or the like on the acquired image data using an image processing unit (not shown).
  • the image data may be output after image processing, or both image data may be output.
  • the imaging unit 201 may be configured to output image data and camera parameters such as a focal length at the time of imaging to the imaging control unit 202.
  • the photographing control unit 202 is a photographing control device that controls the photographing device 102, and sets an actual photographing condition in the self-propelled photographing device 101.
  • the imaging control unit 202 is configured by an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), or the like.
  • the imaging control unit 202 performs main imaging processing that causes the imaging apparatus 102 to move and execute imaging according to at least an input imaging condition that defines an imaging location and an imaging target position, and the input imaging condition can not be achieved in the main imaging process. In this case, preliminary imaging processing is performed that causes the imaging device 102 to perform multiple imaging while changing at least one of the imaging location and the imaging direction. Details of the imaging control unit 202 will be described later.
  • FIG. 2B is a functional block diagram showing a configuration example of the mobile device 103 according to the present embodiment.
  • the moving device 103 includes a drive unit 203 and a drive control unit 204.
  • the drive unit 203 moves the self-propelled imaging device 101 to the imaging position by driving according to an instruction of the drive control unit 204.
  • the drive control unit 204 transmits an instruction received from the imaging apparatus 102 to the drive unit 203, and outputs data on movement and stop acquired from the drive unit 203 to the imaging apparatus 102.
  • FIG. 3 is a functional block diagram showing a configuration example of the imaging control unit 202 according to the present embodiment.
  • the imaging control unit 202 includes an image input unit 301, an input imaging condition acquisition unit 302, a detected imaging condition acquisition unit 303, an imaging condition comparison unit 304, an actual imaging condition calculation unit 305, and an imaging condition output unit 306. , A storage unit 307, a control unit 308, and a data bus 309.
  • the image input unit 301 acquires image data from the imaging unit 201.
  • the data format of the image data acquired by the image input unit 301 is not limited.
  • it may be a general-purpose data format such as AVI (Audio Video Interleave), FLV (Flash Video) or the like, or may be a unique data format.
  • the image input unit 301 may convert the data format of the acquired image data.
  • the input imaging condition acquisition unit 302 acquires imaging conditions (hereinafter referred to as “input imaging conditions”) for the self-propelled imaging device 101 to capture an imaging target.
  • the input imaging condition acquisition unit 302 is configured of, for example, a device for directly acquiring an input imaging condition by a keyboard, a mouse or the like, and an external storage device capable of holding the input imaging condition generated in advance.
  • the input imaging condition is configured by the input imaging location information of the self-propelled imaging apparatus 101 and the imaging target position information of the imaging target 104.
  • the detection shooting condition acquisition unit 303 actually detects a shooting condition (the self-propelled shooting device 101 detects when the self-propelled shooting device 101 is moved based on the input shooting condition acquired by the input shooting condition acquisition unit 302).
  • the “detection imaging condition” will be acquired. The method of acquiring the detection imaging conditions will be described later.
  • the imaging condition comparison unit 304 compares the input imaging condition acquired by the input imaging condition acquisition unit 302 with the detected imaging condition acquired by the detected imaging condition acquisition unit 303 to obtain one input imaging condition and one detected imaging condition. It is determined whether or not you
  • the actual photographing condition calculation unit 305 calculates an actual photographing condition for photographing the photographing target by the photographing unit 201 based on the output result of the photographing condition comparison unit 304. The method of calculating the actual imaging conditions will be described later.
  • the photographing condition output unit 306 reads the actual photographing conditions calculated by the actual photographing condition calculation unit 305 from the storage unit 307 and outputs the conditions to the self-propelled photographing apparatus 101.
  • the storage unit 307 stores the input imaging conditions acquired by the input imaging condition acquisition unit 302, the actual imaging conditions calculated by the actual imaging condition calculation unit 305, various data used for image processing, and the like.
  • the storage unit 307 is configured of a storage device such as a random access memory (RAM) or a hard disk drive (HDD).
  • RAM random access memory
  • HDD hard disk drive
  • the control unit 308 controls the entire imaging control unit 202.
  • the control unit 308 is configured by, for example, a CPU (Central Processing Unit) or the like, and performs control relating to processing instructions in each functional block, control, and data input / output.
  • a CPU Central Processing Unit
  • the data bus 309 is a bus for exchanging data between the functional blocks.
  • one self-propelled photographing apparatus 101 includes the photographing unit 201 and the photographing control unit 202.
  • the present embodiment is not limited to this, and in another aspect, some functional blocks may be provided with an independent housing.
  • an apparatus including the imaging control unit 202 may be configured using, for example, a PC (Personal Computer) or the like.
  • the detected imaging condition acquisition unit 303 detects the stop of the mobile device 103.
  • the imaging unit 201 performs imaging at the stopped place.
  • the detection shooting condition acquisition unit 303 extracts feature points such as landmarks whose existence is recognized in advance from the captured image, and based on the extracted feature points, the detection position of the self-propelled shooting apparatus 101 Information is calculated and set as a detection imaging condition.
  • the detection position information t of the self-propelled imaging device 101 can be acquired by solving the minimization problem of (Expression 1).
  • R, t, A, Pi, pi have a relationship of (Expression 2).
  • the internal parameter A can be defined by (Equation 3), where fm is the focal length of the imaging unit 201, fn, the center of the image is cm and cn, and the shear coefficient is s.
  • the rotation matrix R can be defined by (Equation 4).
  • the detection and photographing condition acquisition unit 303 may be configured to acquire the three-dimensional position of the stop location of the self-propelled photographing apparatus 101, and the three-dimensional image of the photographing apparatus may be It is not limited to the aspect which calculates a position.
  • the GPS Global Positioning System
  • the GPS may be used to detect the three-dimensional position of the place where the self-propelled imaging apparatus 101 has stopped, or another aspect (for example, a beacon) may be used to detect the three-dimensional position. It may be detected.
  • FIG. 4 is an overhead view showing the mode of use of FIG.
  • the stop location 402 may be any location other than the input imaging position 401, and is not limited to the positional relationship as shown in FIG.
  • the detection imaging condition acquisition unit 303 acquires detection position information of the self-propelled imaging apparatus 101 at the stop location 402. Subsequently, the imaging condition comparison unit 304 compares the input imaging location information with the detected position information. In the example shown in FIG. 4, since the input imaging location information and the detected position information do not match, the actual imaging condition calculation unit 305 calculates an actual imaging condition.
  • FIG. 5 is a diagram showing a method of calculating the actual imaging conditions in the actual imaging condition calculation unit 305 according to the present embodiment.
  • the actual imaging condition calculation unit 305 acquires the imaging target position information acquired by the input imaging condition acquisition unit 302 and the detection position information of the self-propelled imaging apparatus 101 acquired by the detected imaging condition acquisition unit 303. read out.
  • d (dx, dy, dz) vector indicating the traveling direction of the self-propelled photographing device 101
  • Po (Pox, Poy, Poz) photographing target position information, the self-propelled photographing device 101 and the photographing target
  • v (vx, vy, vz) connect a vector with 104.
  • the shooting direction information rtp ( ⁇ tp, ⁇ tp, ⁇ tp) for the self-propelled shooting device 101 to shoot the shooting target 104, and the rotation matrix Rtp indicating rtp are (Equation 5) to (Equation 7) Can be obtained by
  • the imaging condition output unit 306 outputs Rtp as an actual imaging condition to the self-propelled imaging apparatus 101.
  • the self-propelled imaging device 101 drives so as to turn in the direction of the imaging target 104 based on Rtp, and images the imaging target 104.
  • FIG. 6 is a diagram showing the positional relationship between the self-propelled imaging apparatus 101 and the imaging target 104 after driving according to the present embodiment. As shown in FIG. 6, the self-propelled imaging device 101 is on the stop location 402 and faces the imaging target 104.
  • the self-propelled imaging apparatus 101 updates the actual imaging conditions and performs imaging in order to perform imaging of the preset imaging number set in advance.
  • FIG. 7 is a diagram showing a situation where the self-propelled imaging device 101 changes the stop location and captures an image of the imaging target 104 according to the present embodiment. As shown in FIG. 7, the stop location 701a and the stop location 701b are set as the actual shooting conditions.
  • the actual shooting condition calculation unit 305 sets the stop location 701 a near the stop location 402 and the stop location 701 b as the actual shooting condition.
  • the method of setting the actual photographing conditions may be any method as long as it is a place different from the stop location 402, for example, a method of advancing, retreating, moving horizontally by a predetermined distance, or nothing It may be a place of work.
  • the actual photographing condition calculation unit 305 sets the actual photographing conditions so that the self-propelled photographing device 101 faces the direction of the photographing target 104, but the photographing direction may be a random direction. . Further, in the present embodiment, the actual shooting condition calculation unit 305 does not change the angle of view, aperture value, and exposure time of the camera when setting the actual shooting conditions, but may be set again. The actual photographing condition calculation unit 305 makes the angle of view of the camera wide-angle, for example, when the object to be photographed is moved away from the photographing position. Further, the actual photographing condition calculation unit 305 adjusts the aperture value and the exposure time according to the distance between the light and the illumination. For example, when the shooting position is close to the light source, the actual shooting condition calculation unit 305 reduces the aperture value and shortens the exposure time.
  • FIG. 8 is a flowchart showing an example of processing of the self-propelled imaging device 101 according to the present embodiment. Referring to FIG. 8, a process in which the self-propelled imaging apparatus 101 acquires input imaging location information and imaging target position information, derives actual imaging conditions according to the difference from the detected position information, and performs imaging. Explain.
  • step S100 the input imaging condition acquisition unit 302 acquires input imaging location information and imaging target position information.
  • step S101 the imaging condition output unit 306 outputs the input imaging location information to the moving device 103.
  • the moving apparatus 103 acquires input imaging location information from the imaging condition output unit 306, and moves toward the input imaging location according to the input imaging location information.
  • step S102 when the moving apparatus 103 is not stopped (NO in step S102), the imaging apparatus 102 repeats the determination process of step S102. If the mobile device 103 has stopped (YES in step S102), the imaging device 102 proceeds to the process of step S103.
  • step S103 the detected imaging condition acquisition unit 303 acquires detected position information of the self-propelled imaging apparatus 101.
  • step S104 the imaging condition comparison unit 304 calculates the difference between the input imaging location information acquired by the input imaging condition acquisition unit 302 and the detection position information acquired by the detection imaging condition acquisition unit 303, and the input imaging location information And whether or not the detected position information is the same.
  • the shooting condition comparison unit 304 determines that the input shooting location information and the detected position information are not the same (that is, in the main shooting process, the movement of the shooting apparatus 102 interferes with reaching the shooting location specified in the input shooting conditions). If the imaging device 102 determines that it has been set (NO in step S104), the imaging device 102 proceeds to the process of step S105 and performs a preliminary imaging process.
  • step S105 the actual imaging condition calculation unit 305 calculates an actual imaging condition for pointing in the direction of the imaging target from the imaging target position information and the detection position information.
  • step S106 the imaging condition output unit 306 outputs the actual imaging conditions to the self-propelled imaging apparatus 101.
  • the self-propelled imaging apparatus 101 acquires an actual imaging condition from the imaging condition output unit 306, and drives the imaging apparatus 102 to face the direction of the imaging target according to the actual imaging condition.
  • the imaging unit 201 captures an imaging target.
  • the imaging control unit 202 causes the imaging apparatus 102 to capture an imaging target position specified in the input imaging condition at a plurality of different imaging locations in the preliminary imaging process. Further, in the preliminary shooting process, the shooting control unit 202 causes the shooting apparatus 102 to shoot in a plurality of mutually different shooting directions.
  • step S107 the actual photographing condition calculation unit 305 calculates the actual photographing conditions for photographing the photographing target in a state where the self-propelled photographing device 101 is changed to the specified position and photographing direction.
  • step S108 the imaging condition output unit 306 outputs the calculated actual imaging condition to the control unit 308.
  • the control unit 308 acquires an actual imaging condition from the imaging condition output unit 306, and controls the imaging apparatus 102 and the moving apparatus 103 according to the acquired actual imaging condition.
  • the imaging unit 201 captures an imaging target.
  • step S109 the control unit 308 determines whether the number of captured images has reached a specified number. If the control unit 308 determines that the number of shots has not reached the specified number (NO in step S109), the process returns to step S107, changes the actual shooting conditions, and repeats the shooting process described above. If the control unit 308 determines that the number of captured images has reached the specified number (YES in step S109), the process proceeds to step S111.
  • step S104 when the imaging condition comparison unit 304 determines that the input imaging location information and the detected position information are the same (YES in step S104), the imaging unit 201 captures an imaging target in step S110.
  • step S111 the control unit 308 determines whether to end the shooting process. If the control unit 308 determines not to complete the shooting process but to continue (NO in step S111), the process returns to step S100 to repeat the above-described shooting process. If the control unit 308 determines that the photographing process is to be ended (YES in step S111), the whole process is ended.
  • an image different from expected for example, the object to be photographed is near the center of the image even if the self-propelled photographing device (mobile photographing device) 101a moves according to the input photographing location information.
  • the process of performing imaging under a plurality of different actual imaging conditions when imaging can not be performed is different from the first embodiment.
  • Other configurations and processes in this embodiment are the same as in the first embodiment.
  • FIG. 9 is a schematic view showing an example of usage of the self-propelled imaging device 101a according to the present embodiment.
  • FIG. 9A shows an outline of the configuration of the self-propelled imaging device 101a.
  • the self-propelled imaging device 101a includes an imaging device (imaging unit) 102a and a moving device 103.
  • FIG. 9B shows an example of the photographed image 902.
  • the self-propelled imaging device 101a operates as follows.
  • the self-propelled photographing apparatus 101a acquires photographing target position information, input photographing place information, and a drawing area of the photographing target 901 in the photographed image (hereinafter referred to as "input subject image area information") by the photographing apparatus 102a. Do. After that, the self-propelled imaging device 101 a captures an imaging target and acquires a captured image 902. Subsequently, the self-propelled imaging apparatus 101a acquires an area (hereinafter referred to as “detected subject image area information”) in which the imaging target 901 is drawn in the photographed image 902.
  • the shooting control unit (control unit, shooting control device) 202a compares the input subject image area information with the detected subject image area information.
  • the self-propelled imaging apparatus 101a derives actual imaging conditions based on the comparison result of the input subject image area information and the detected subject image area information.
  • the self-propelled imaging device 101 a captures a shooting target using the shooting device 102 based on the actual shooting conditions, and acquires a shot image 902.
  • FIG. 10 is a functional block diagram showing a configuration example of the imaging device 102a and the imaging control unit 202a in the present embodiment. As shown in FIG. 10A, the imaging device 102a includes an imaging unit 201 and an imaging control unit 202a.
  • the imaging control unit 202a includes an image input unit 301, an input imaging condition acquisition unit 302a, a detected imaging condition acquisition unit 303a, an imaging condition comparison unit 304a, an actual imaging condition calculation unit 305, and imaging conditions.
  • An output unit 306, a storage unit 307, a control unit 308, and a data bus 309 are provided.
  • the input imaging condition acquisition unit 302a acquires imaging target position information, input imaging location information, and input subject image area information.
  • the detected imaging condition acquisition unit 303a acquires detected subject image area information.
  • the shooting condition comparison unit 304a compares the input subject image area information with the detected subject image area information to determine whether they match.
  • the image input unit 301, the actual shooting condition calculation unit 305, the shooting condition output unit 306, the storage unit 307, the control unit 308, and the data bus 309 are the same as in the first embodiment.
  • FIG. 11 is a diagram showing an example of a method of acquiring detected subject image area information according to the present embodiment.
  • the detected imaging condition acquisition unit 303 a divides the captured image 902 into a plurality of areas.
  • the detection and imaging condition acquisition unit 303a divides the captured image 902 into 4 rows and 6 columns, but the number of divisions is not limited to this, and one or more arbitrary rows, It may be divided into one or more arbitrary columns.
  • An area of r rows and c columns in the photographed image 902 is A (r, c).
  • the detected imaging condition acquisition unit 303 a extracts an imaging target 901 in the captured image 902.
  • the method of extracting the imaging target 901 is not limited.
  • the detected imaging condition acquisition unit 303a may extract the imaging target 901 by template matching, for example, or may extract it by another method.
  • the template matching as an example, the image is matched with the image to detect what kind of subject. Moreover, it is also possible to use what was image
  • the detected imaging condition acquisition unit 303 a acquires, from the captured image 902, an area A (r 0, c 0) in which the imaging target 901 is included.
  • photography condition acquisition part 303a acquires is not limited to one area
  • FIG. 12 is a flowchart showing an example of processing of the self-propelled imaging device 101a according to the present embodiment.
  • the self-propelled photographing apparatus 101a compares input subject image area information with detected subject image area information, derives actual photographing conditions according to the comparison result, and photographs according to the actual photographing conditions. A process of photographing an object will be described.
  • the input imaging condition further defines the position in the image of the imaging target.
  • step S200 the input imaging condition acquisition unit 302a of the imaging apparatus 102a acquires input imaging location information, imaging target position information, and input subject image area information.
  • step S201 the imaging condition output unit 306 acquires input imaging location information from the input imaging condition acquisition unit 302a, and outputs the input imaging location information to the moving apparatus 103.
  • the moving apparatus 103 moves toward the input shooting location according to the input shooting location information.
  • step S202 the detected imaging condition acquisition unit 303a determines whether the moving device 103 has stopped. When it is determined that the moving apparatus 103 is not stopped (NO in step S202), the detection imaging condition acquisition unit 303a repeats the determination process in step S202. If the detected imaging condition acquisition unit 303a determines that the moving apparatus 103 is stopped (YES in step S202), the imaging apparatus 102a proceeds to the process of step S203.
  • step S203 the imaging unit 201 captures a shooting target based on the input shooting conditions and the shooting target position information.
  • step S204 the detected imaging condition acquisition unit 303a acquires detected subject image area information.
  • step S205 the shooting condition comparison unit 304a determines whether to perform the preliminary shooting process based on the shot image shot by the shooting apparatus 102a in the main shooting process. That is, the photographing condition comparison unit 304a compares the input subject image area information with the detected subject image area information, and when both are in agreement (YES in step S205), the process proceeds to step S211.
  • the shooting condition comparison unit 304a does not match the input subject image area information and the detected subject image area information (that is, the position of the shooting target in the shot image shot by the shooting apparatus 102a by the main shooting process is the input shooting If the position is different from the in-image position specified in the condition (NO in step S205), the process proceeds to step S206 to perform preliminary imaging processing.
  • step S206 the actual imaging condition calculation unit 305 calculates and acquires the actual imaging conditions.
  • step S207 the imaging condition output unit 306 outputs the actual imaging conditions to the imaging unit 201.
  • the photographing unit 201 acquires an actual photographing condition from the photographing condition output unit 306, and photographs a photographing target according to the actual photographing condition.
  • step S208 the actual photographing condition calculation unit 305 calculates the actual photographing condition for photographing the photographing target in a state where the self-propelled photographing device 101a is changed to the defined position and photographing direction.
  • the imaging condition output unit 306 outputs the calculated actual imaging condition to the control unit 308.
  • step S209 the control unit 308 acquires an actual imaging condition from the imaging condition output unit 306, and controls the imaging device 102a and the moving device 103 according to the acquired actual imaging condition. For example, in the preliminary imaging process, the control unit 308 causes the imaging device 102 a to image a plurality of different imaging target positions. When the imaging device 102 a and the moving device 103 are in the state of satisfying the actual imaging condition, the imaging unit 201 captures an imaging target.
  • step S210 the control unit 308 determines whether the specified number of shots have been taken. If the control unit 308 determines that the number of shots has not reached the predetermined number of shots (NO in step S210), the process returns to step S208. If the control unit 308 determines that the number of shots has reached the predetermined number of shots (YES in step S210), the process proceeds to step S211.
  • step S211 the control unit 308 determines whether to end the shooting process. If the control unit 308 determines not to complete the shooting process but to continue (NO in step S211), the process returns to step S200 to repeat the above-described shooting process. If the control unit 308 determines that the shooting process is to be ended (YES in step S211), the control unit 308 ends the process.
  • an image obtained by photographing an object to be photographed is virtually generated from a three-dimensional model of a photographing place, and the generated image is compared with an image actually photographed to obtain an image as expected.
  • the process of determining whether or not photographing has been performed differs from that of the first embodiment.
  • Other configurations and processes in this embodiment are the same as in the first embodiment.
  • FIG. 13 is a schematic view showing an example of usage of the self-propelled imaging device (mobile imaging device) 101b according to the present embodiment.
  • FIG. 13A shows an outline of the configuration of the self-propelled imaging device 101b.
  • the self-propelled imaging device 101b includes an imaging device (imaging unit) 102b and a moving device 103.
  • FIG. 13B shows an example of a three-dimensional model 1301 of the imaging location.
  • FIG. 13C shows an example of the supposed photographed image 1302.
  • the self-propelled imaging device 101b operates as follows.
  • the self-propelled photographing device 101b inputs the three-dimensional model 1301, input photographing place information, and photographing target position information by the photographing device 102b.
  • the self-propelled imaging device 101 b converts the three-dimensional model 1301 into a two-dimensional image (hereinafter referred to as “the assumed imaging image”) 1302 based on the input imaging location information and the imaging target position information.
  • the self-propelled imaging apparatus 101b moves to the imaging position, and acquires a captured image by capturing an imaging target.
  • the self-propelled imaging device 101 b compares the photographed image with the assumed photographed image 1302.
  • the self-propelled imaging device 101b derives actual imaging conditions based on the assumed captured image and the captured image.
  • the self-propelled imaging device 101 b performs imaging with the imaging device 102 based on the actual imaging conditions.
  • FIG. 14 is a functional block diagram showing a configuration example of the imaging device 102b and the imaging control unit (control unit, imaging control device) 202b according to the present embodiment.
  • the imaging device 102b includes an imaging unit 201 and an imaging control unit 202b.
  • the imaging control unit 202b includes an image input unit 301, an input imaging condition acquisition unit 302b, a detected imaging condition acquisition unit 303, an imaging condition comparison unit 304b, an actual imaging condition calculation unit 305, and imaging conditions.
  • An output unit 306, a storage unit 307, a control unit 308, and a data bus 309 are provided.
  • the input imaging condition acquisition unit 302 b acquires a supposed captured image 1302 from the imaging target position information, the input imaging location information, and the three-dimensional model 1301.
  • the imaging condition comparison unit 304 b compares the assumed captured image 1302 with the captured image to determine whether or not both match.
  • the image input unit 301, the detected shooting condition acquisition unit 303, the actual shooting condition calculation unit 305, the shooting condition output unit 306, the storage unit 307, the control unit 308, and the data bus 309 are the same as in the first embodiment.
  • FIG. 15 is a flowchart showing an example of processing of the self-propelled imaging device 101b according to the present embodiment.
  • self-propelled photographing apparatus 101b compares assumed photographing image 1302 with the photographed image, derives actual photographing conditions according to the comparison result, and photographs the photographing target according to the actual photographing conditions. The process will be described.
  • step S300 the input imaging condition acquisition unit 302b acquires input imaging location information, imaging target position information, and an assumed imaging image.
  • the shooting control unit 202b performs assumed shot image generation processing for generating a assumed shot image based on input shooting conditions in advance.
  • step S301 the imaging condition output unit 306 outputs the input imaging location information to the moving device 103.
  • the moving apparatus 103 acquires input imaging location information from the imaging condition output unit 306, and moves toward the input imaging location according to the input imaging location information.
  • step S302 the detected imaging condition acquisition unit 303 determines whether the moving apparatus 103 has stopped. When it is determined that the moving apparatus 103 is not stopped (NO in step S302), the detection imaging condition acquisition unit 303 repeats the determination process in step S302. If the detected imaging condition acquisition unit 303 determines that the moving apparatus 103 is stopped (YES in step S302), the imaging apparatus 102b proceeds to the process of step S303.
  • step S303 the imaging unit 201 captures an image of a shooting target based on the input shooting conditions and the shooting target position information.
  • step S304 the shooting condition comparison unit 304b determines whether to perform the preliminary shooting process based on the shot image shot by the shooting apparatus 102b in the main shooting process. That is, the photographing condition comparison unit 304 b compares the assumed photographed image with the photographed image, and if the two coincide with each other (YES in step S 304), the processing proceeds to step S 310.
  • the imaging condition comparison unit 304 b does not match the assumed captured image and the captured image (that is, the captured image captured by the imaging apparatus differs from the estimated captured image in the main capturing process) (NO in step S 304)
  • the process proceeds to step S305 to perform a preliminary photographing process.
  • the determination as to whether or not the assumed captured image and the captured image coincide with each other may be made by calculating the degree of similarity between the two and in accordance with the magnitude relationship between the degree of similarity and the threshold value. .
  • step S305 the actual photographing condition calculation unit 305 calculates the actual photographing condition based on the assumed photographed image and the photographed image.
  • step S306 the imaging condition output unit 306 outputs the actual imaging conditions to the self-propelled imaging device 101b.
  • the photographing unit 201 acquires an actual photographing condition from the photographing condition output unit 306, and photographs a photographing target according to the actual photographing condition.
  • step S307 the actual photographing condition calculation unit 305 calculates the actual photographing conditions for photographing the photographing target in a state where the self-propelled photographing device 101b is changed to the specified position and photographing direction.
  • the imaging condition output unit 306 outputs the calculated actual imaging condition to the control unit 308.
  • step S308 the control unit 308 acquires an actual imaging condition from the imaging condition output unit 306, and controls the imaging device 102b and the moving device 103 according to the acquired actual imaging condition. For example, in the preliminary imaging process, the control unit 308 causes the imaging device 102b to image a plurality of different imaging target positions. When the imaging device 102 b and the moving device 103 are in the state of satisfying the actual imaging condition, the imaging unit 201 captures an imaging target.
  • step S309 the control unit 308 determines whether the specified number of images has been captured. If the control unit 308 determines that the number of shots has not reached the predetermined number of shots (NO in step S309), the process returns to step S307. If the control unit 308 determines that the number of shots has reached the predetermined number of shots (YES in step S309), the process proceeds to step S310.
  • step S310 the control unit 308 determines whether to end the shooting process. If the control unit 308 determines not to complete the shooting process but to continue the process (NO in step S310), the process returns to step S300 to repeat the above-described shooting process. If the control unit 308 determines that the shooting process is to be ended (YES in step S310), the control unit 308 ends all the processes.
  • each component for realizing the function is described as being a different part, but it must have a part that can be clearly separated and recognized in this way. It doesn't have to be.
  • the remote work support device that implements the functions of the above-described embodiments may configure each component for implementing the functions using, for example, different portions, for example, or all configurations
  • the elements may be implemented in one LSI. That is, it is only necessary to have each component as a function in any implementation.
  • each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
  • a program for realizing the functions described in each of the above embodiments is recorded in a computer readable recording medium, and the computer system reads the program recorded in the recording medium and executes the program. You may process.
  • the “computer system” includes hardware such as an OS and peripheral devices.
  • the "computer system” also includes a homepage providing environment (or display environment) if the WWW system is used.
  • the “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a ROM, a portable medium such as a CD-ROM, or a hard disk built in a computer system. Furthermore, “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, the volatile memory in the computer system which is the server or the client in that case, and the one that holds the program for a certain period of time is also included. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.
  • the control block of the imaging device 102, 102a, 102b may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or realized by software using a CPU (Central Processing Unit). May be
  • the imaging devices 102, 102a, and 102b are a CPU that executes instructions of a program that is software that implements each function, and a ROM (Read) in which the program and various data are readable by a computer (or CPU). It includes an Only Memory) or a storage device (these are referred to as a "recording medium"), a RAM (Random Access Memory) for developing the program, and the like.
  • the object of the present invention is achieved by the computer (or CPU) reading the program from the recording medium and executing the program.
  • a “non-transitory tangible medium”, for example, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit or the like can be used.
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the mobile photographing device (self-propelled photographing device 101) according to aspect 1 of the present invention includes the photographing unit (photographing device 102) for performing movement and photographing, and the above-mentioned input photographing conditions defining at least a photographing place and a photographing target position.
  • a control unit (shooting control unit 202) that performs a main shooting process that causes the shooting unit to move and perform shooting, and the control unit can not achieve the input shooting condition in the main shooting process;
  • a preliminary photographing process is performed to cause the photographing unit to execute photographing a plurality of times while changing at least one of a photographing place and a photographing direction.
  • the control unit in the main photographing processing, is configured to move the photographing section before reaching the photographing location specified in the input photographing condition.
  • the above-mentioned preliminary photographing processing may be performed when the second photographing is interrupted.
  • the control unit controls the photographing according to the input photographing condition at a plurality of photographing places different from each other in the photographing unit in the preliminary photographing process.
  • the target position may be photographed.
  • the imaging unit when the imaging unit is prevented from reaching the imaging location, it is possible to perform appropriate imaging by causing the imaging unit to capture the position of the imaging target at different imaging locations. .
  • control unit may cause the imaging unit to execute imaging in a plurality of mutually different imaging directions in the preliminary imaging process.
  • the control unit captures the image by the main imaging process. It may be determined based on the captured image whether or not the preliminary imaging process is to be performed.
  • the preliminary photographing process can be performed, so that appropriate photographing can be performed even when the surrounding environment changes.
  • the input photographing condition further defines the position in the image of the photographing target;
  • the unit 202a performs the preliminary photographing processing You may do it.
  • the preliminary imaging process can be performed when the position of the imaging target in the captured image is different from the input imaging condition, so that appropriate imaging can be performed even when the surrounding environment changes. Can.
  • the control unit photographing control unit 202b
  • the photographed image generation process may be further performed, and the preliminary photographing process may be performed when the photographed image photographed by the photographing unit by the main photographing process is different from the assumed photographed image.
  • the preliminary imaging process can be executed when the image captured in the main imaging process is different from the assumed imaging image, so appropriate imaging can be performed even when the surrounding environment changes. it can.
  • the control unit performs the photographing in the preliminary photographing process.
  • the unit may be configured to shoot a plurality of different shooting target positions.
  • the imaging control apparatus is a control unit that performs main imaging processing that causes the imaging unit that performs movement and imaging to execute movement and imaging according to at least an input imaging condition that defines an imaging location and an imaging target position.
  • a photographing control unit 202 and when the control unit can not achieve the input photographing condition in the main photographing process, the photographing unit causes the photographing unit to change at least one of a photographing place and a photographing direction a plurality of times Perform preliminary shooting processing to execute shooting.
  • the photographing control device may be realized by a computer.
  • the photographing control device is a computer by operating the computer as a control unit (software element) included in the photographing control device.
  • An imaging control program of an imaging control device and a computer readable recording medium having the imaging control program recorded thereon are also within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

周辺環境が変化したときにも、適切な撮影を可能とする。移動および撮影を実行する撮影装置（１０２）を制御する撮影制御部（２０２）は、少なくとも撮影装置（１０２）の撮影位置および撮影対象の位置を規定する入力撮影条件に従って、撮影装置（１０２）に移動および撮影を実行させ、撮影装置（１０２）が前記入力撮影条件を達成できなかったとき、撮影装置（１０２）に、撮影位置および撮影方向の少なくとも一方を変化させながら、複数回の予備撮影を実行させる。

Description

移動撮影装置、撮影制御装置、及び、撮影制御プログラム
　本発明は、移動撮影装置、撮影制御装置、及び、撮影制御プログラムに関する。
　近年、撮影装置を移動装置に取付け、例えば、点検や監視に利用する自走式撮影装置の開発が進められている。ここで、自走式撮影装置には、可動範囲の制限等の、自走式撮影装置自体に起因する制約や、障害物や撮影対象の移動等の、周辺環境に起因する制約によって、自走式撮影装置で撮影した画像を観察する利用者が、所望の画像を観察できないという問題がある。
　この問題に対処する技術として、特許文献１には、特定の撮影位置における撮影装置の撮影方向、及び、ズーム情報を事前に設定する手法が開示されている。
日本国公開特許公報「特開２００６－３１１４４号公報（２００６年０２月０２日公開）」
　特許文献１に記載の技術は、自走式撮影装置自体に起因する制約に対処したものであり、周辺環境に起因する制約には対処できない。例えば、障害物等により、所望の撮影位置に移動することができない場合、事前に設定した当該所望の撮影位置からの撮影方向及びズームは無効となり、適切に撮影することができないという課題がある。
　本発明の一態様は、周辺環境が変化したときにも、適切な撮影を可能とすることを主たる目的とする。
　上記の課題を解決するために、本発明の一態様に係る移動撮影装置は、移動および撮影を実行する撮影部と、少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って前記撮影部に移動および撮影を実行させる主撮影処理を行う制御部と、を備え、前記制御部が、前記主撮影処理において前記入力撮影条件を達成できなかった場合に、前記撮影部に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行う。
　また、上記の課題を解決するために、本発明の一態様に係る撮影制御装置は、少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って、移動および撮影を実行する撮影部に移動および撮影を実行させる主撮影処理を行う制御部を備え、前記制御部が、前記主撮影処理において前記入力撮影条件を達成できなかった場合に、前記撮影部に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行う。
　本発明の一態様によれば、周辺環境が変化したときにも、適切な撮影を行うことができる。
本発明の実施形態１に係る自走式撮影装置の使用態様の一例を示す模式図である。 本発明の実施形態１に係る撮影装置及び移動装置の構成例を示す機能ブロック図である。 本発明の実施形態１に係る撮影制御部の構成例を示す機能ブロック図である。 本発明の実施形態１に係る、図１の使用態様を示す俯瞰図である。 本発明の実施形態１に係る実撮影条件の算出方法を示す図である。 本発明の実施形態１に係る駆動後の自走式撮影装置及び撮影対象の位置関係を示す図である。 本発明の実施形態１に係る、自走式撮影装置が停止場所を変更して撮影対象を撮影する状況を示す図である。 本発明の実施形態１に係る自走式撮影装置の処理例を示すフローチャートである。 本発明の実施形態２に係る自走式撮影装置の使用態様の一例を示す模式図である。 本発明の実施形態２に係る撮影装置及び撮影制御部の構成例を示す機能ブロック図である。 本発明の実施形態２に係る検出被写体画像領域情報の取得方法の一例を示す図である。 本発明の実施形態２に係る自走式撮影装置の処理例を示すフローチャートである。 本発明の実施形態３に係る自走式撮影装置の使用態様の一例を示す模式図である。 本発明の実施形態３に係る撮影装置及び撮影制御部の構成例を示す機能ブロック図である。 本発明の実施形態３に係る自走式撮影装置の処理例を示すフローチャートである。
　〔実施形態１〕
　本発明の実施形態１について、図１～図８に基づいて説明すれば、以下のとおりである。
　図１は、本実施形態に係る自走式撮影装置（移動撮影装置）１０１の使用態様の一例を示す模式図である。
　自走式撮影装置１０１は、撮影装置（撮影部）１０２、及び、移動装置１０３を備えている。撮影装置１０２は、移動装置１０３による移動、および、撮影を実行する撮影装置であって、入力した撮影条件、及び、検出した撮影条件に基づいて新規に撮影条件を設定し、当該設定した撮影条件に応じて移動および撮影を実行する。図１に示すように、移動装置１０３に取り付けられた撮影装置１０２が、撮影対象１０４を撮影する。
　図１に示す例では、自走式撮影装置１０１は、以下のように動作する。まず、自走式撮影装置１０１は、撮影装置１０２により、入力撮影条件に設定された撮影対象１０４の位置（以下、「撮影対象位置」と称す）を示す３次元位置情報（以下、「撮影対象位置情報」と称す）と、撮影対象１０４を撮影する位置（以下、「入力撮影場所」（撮影場所）と称す）における自走式撮影装置１０１の３次元位置情報（以下、「入力撮影場所情報」と称す）と、を取得する。
　次に、自走式撮影装置１０１は、入力撮影場所情報に基づいて移動装置１０３が駆動することにより、移動する。そして、自走式撮影装置１０１は、入力撮影場所に到達したこと、又は、障害物等（例えば、図１に示す障害物１０５）により進行できないことを検出すると、停止する。自走式撮影装置１０１は、停止すると、停止した場所の３次元位置情報（以下、「検出位置情報」と称す）と、入力撮影場所情報と、に基づいて、撮影対象１０４を撮影するための撮影条件（以下、「実撮影条件」と称す）を導出する。最後に、自走式撮影装置１０１は、実撮影条件に基づいて撮影装置１０２により撮影対象１０４を撮影する。
　なお、本実施形態では、撮影対象１０４の撮影と、撮影対象位置情報の取得、入力撮影場所情報の取得、検出位置情報の取得、及び、実撮影条件の導出の各処理を同一の端末で行う場合について説明するが、本発明はこれに限定されず、各処理を複数の端末で行ってもよいし、各処理の一部をサーバで行ってもよい。
　また、自走式撮影装置１０１は、点検用ロボット、監視用ロボット、警備用ロボット等に適用可能である。また、ドローン等の、飛行する装置にも適用可能である。
　（撮影装置１０２の構成）
　図２（ａ）は、本実施形態に係る撮影装置１０２の構成例を示す機能ブロック図である。図２（ａ）に示すように、撮影装置１０２は、撮影部２０１、及び、撮影制御部（制御部、撮影制御装置）２０２を備えている。
　撮影部２０１は、画像を取得する。一態様において、撮影部２０１は、撮影空間を画像として取り込むための光学部品、及び、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を具備するように構成されており、撮像素子における光電変換によって得られた電気信号に基づいて画像データを生成する。一態様において、撮影部２０１は、取得した画像データを生のデータのまま出力してもよいし、図示しない画像処理部を用いて、取得した画像データに対して輝度画像化、ノイズ除去等の画像処理を施した後に出力してもよいし、それら両方の画像データを出力してもよい。さらに、撮影部２０１は、画像データと、撮影時の焦点距離等のカメラパラメータとを撮影制御部２０２に出力するように構成してもよい。
　撮影制御部２０２は、撮影装置１０２を制御する撮影制御装置であって、自走式撮影装置１０１に、実撮影条件を設定する。一態様において、撮影制御部２０２は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって構成される。撮影制御部２０２は、少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って撮影装置１０２に移動および撮影を実行させる主撮影処理を行うとともに、当該主撮影処理において入力撮影条件を達成できなかった場合に、撮影装置１０２に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行う。撮影制御部２０２の詳細については、後述する。
　（移動装置１０３の構成）
　図２（ｂ）は、本実施形態に係る移動装置１０３の構成例を示す機能ブロック図である。図２（ｂ）に示すように、移動装置１０３は、駆動部２０３、及び、駆動制御部２０４を備えている。駆動部２０３は、駆動制御部２０４の指示に従って駆動することにより、自走式撮影装置１０１を撮影位置に移動させる。駆動制御部２０４は、撮影装置１０２から受けた指示を駆動部２０３に伝達し、一方、駆動部２０３から取得した、移動及び停止に関するデータを撮影装置１０２に出力する。
　（撮影制御部２０２の構成）
　図３は、本実施形態に係る撮影制御部２０２の構成例を示す機能ブロック図である。図３に示すように、撮影制御部２０２は、画像入力部３０１、入力撮影条件取得部３０２、検出撮影条件取得部３０３、撮影条件比較部３０４、実撮影条件算出部３０５、撮影条件出力部３０６、保存部３０７、制御部３０８、及び、データバス３０９を備えている。
　画像入力部３０１は、撮影部２０１から画像データを取得する。一態様において、画像入力部３０１が取得する画像データのデータ形式は、限定されることはなく、例えば、静止画であれば、例えば、Ｂｉｔｍａｐ、ＪＰＥＧ（Joint Photographic Experts Group）等、動画であれば、例えば、ＡＶＩ（Audio Video Interleave）、ＦＬＶ（Flash Video）等の汎用のデータ形式であってもよく、独自のデータ形式であってもよい。また、画像入力部３０１は、取得した画像データのデータ形式を変換してもよい。
　入力撮影条件取得部３０２は、自走式撮影装置１０１が撮影対象を撮影するための撮影条件（以下、「入力撮影条件」と称す）を取得する。入力撮影条件取得部３０２は、例えば、キーボード、マウス等によって入力撮影条件を直接取得する装置、予め生成しておいた入力撮影条件を保持できる外部記憶装置等によって構成される。一態様において、入力撮影条件は、自走式撮影装置１０１の入力撮影場所情報と、撮影対象１０４の撮影対象位置情報とによって構成される。
　検出撮影条件取得部３０３は、入力撮影条件取得部３０２が取得した入力撮影条件に基づいて自走式撮影装置１０１を移動させた場合に、自走式撮影装置１０１が実際に検出した撮影条件（以下、「検出撮影条件」と称す）を取得する。検出撮影条件の取得方法については、後述する。
　撮影条件比較部３０４は、入力撮影条件取得部３０２が取得した入力撮影条件と、検出撮影条件取得部３０３が取得した検出撮影条件とを比較して、入力撮影条件と、検出撮影条件とが一致しているか否かを判定する。
　実撮影条件算出部３０５は、撮影条件比較部３０４の出力結果に基づいて、撮影部２０１によって撮影対象を撮影するための実撮影条件を算出する。実撮影条件の算出方法については、後述する。
　撮影条件出力部３０６は、実撮影条件算出部３０５が算出した実撮影条件を保存部３０７から読み込み、自走式撮影装置１０１に出力する。
　保存部３０７は、入力撮影条件取得部３０２が取得した入力撮影条件、実撮影条件算出部３０５が算出した実撮影条件、画像処理に利用する種々のデータ等を保存する。一態様において、保存部３０７は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶装置によって構成される。
　制御部３０８は、撮影制御部２０２全体の制御を行う。制御部３０８は、例えば、ＣＰＵ（Central Processing Unit）等によって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。
　データバス３０９は、各々の機能ブロック間における、データのやり取りを行うためのバスである。
　なお、一態様において、撮影装置１０２は、図１に示すように、１台の自走式撮影装置１０１に撮影部２０１、及び、撮影制御部２０２が含まれる構成となっている。ただし、本実施形態はこれに限定されず、他の態様においては、一部の機能ブロックが独立した筐体を備えていてもよい。例えば、一態様において、撮影制御部２０２を備える装置を、例えば、ＰＣ（Personal Computer）等を用いて構成してもよい。
　（検出撮影条件の取得方法）
　続いて、本実施形態に係る検出撮影条件取得部３０３における検出撮影条件の取得方法について、説明する。
　まず、検出撮影条件取得部３０３は、移動装置１０３の停止を検出する。次に、撮影部２０１は、停止した場所において、撮影を行う。続いて、検出撮影条件取得部３０３は、撮影した画像において、予め存在が認識されているランドマーク等の特徴点を抽出し、抽出した特徴点に基づいて、自走式撮影装置１０１の検出位置情報を算出し、検出撮影条件として設定する。
　続いて、検出位置情報の算出方法について、説明する。自走式撮影装置１０１の検出位置情報をｔ＝（ｔｘ，ｔｙ，ｔｚ）、自走式撮影装置１０１の撮影方向をｒ＝（θ，φ，ψ）、撮影方向ｒを示す回転行列をＲ、撮影部２０１の内部パラメータをＡ、検出した特徴点の個数をＮ、特徴点の番号をｉ、番号ｉの特徴点の３次元座標をＰｉ＝（Ｐｘｉ，Ｐｙｉ，Ｐｚｉ）、番号ｉの特徴点の画像上への投影座標をｐｉ＝（ｍｉ，ｎｉ）、入力画像中における番号ｉの特徴点の観測座標をｐ´ｉ＝（ｍ’ｉ，ｎ’ｉ）とする。この場合、自走式撮影装置１０１の検出位置情報ｔは、（式１）の最小化問題を解くことで取得することができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｒ、ｔ、Ａ、Ｐｉ、ｐｉには、（式２）の関係がある。
Figure JPOXMLDOC01-appb-M000002
　なお、Ｓはスケールを示す定数である。また、内部パラメータＡは、撮影部２０１の焦点距離をｆｍ、ｆｎ、画像中心をｃｍ、ｃｎ、剪断係数をｓとするとき、（式３）によって定義することができる。
Figure JPOXMLDOC01-appb-M000003
　また、回転行列Ｒは（式４）によって定義することができる。
Figure JPOXMLDOC01-appb-M000004
　なお、本実施形態では、検出撮影条件取得部３０３は、自走式撮影装置１０１の停止場所の３次元位置を取得するようになっていればよく、上述したような画像によって撮影装置の３次元位置を算出する態様に限定されない。例えば、ＧＰＳ（Global Positioning System）を用いて、自走式撮影装置１０１が停止した場所の３次元位置を検出してもよいし、他の態様（例えば、ビーコン等）を用いて３次元位置を検出してもよい。
　（撮影条件の算出方法）
　続いて、本実施形態に係る実撮影条件算出部３０５における実撮影条件の算出方法について、図４～図７を用いて説明する。図４は、図１の使用態様を示す俯瞰図である。図４に示すように、入力撮影位置４０１上には障害物１０５があり、自走式撮影装置１０１は、入力撮影位置４０１に到達せず、停止場所４０２で停止する。なお、本実施形態では、停止場所４０２は、入力撮影位置４０１以外の場所であればよく、図４に示すような位置関係に限定されない。
　自走式撮影装置１０１が停止場所４０２で停止すると、検出撮影条件取得部３０３は、停止場所４０２における自走式撮影装置１０１の検出位置情報を取得する。続いて、撮影条件比較部３０４は、入力撮影場所情報と、検出位置情報と、を比較する。図４に示す例では、入力撮影場所情報と、検出位置情報とが一致しないため、実撮影条件算出部３０５は、実撮影条件を算出する。
　実撮影条件算出部３０５における実撮影条件の算出方法について、図５を用いて説明する。図５は、本実施形態に係る実撮影条件算出部３０５における実撮影条件の算出方法を示す図である。
　まず、実撮影条件算出部３０５は、入力撮影条件取得部３０２が取得した撮影対象位置情報と、検出撮影条件取得部３０３が取得した自走式撮影装置１０１の検出位置情報とを保存部３０７から読み出す。ここで、自走式撮影装置１０１の進行方向を示すベクトルをｄ＝（ｄｘ，ｄｙ，ｄｚ）、撮影対象位置情報をＰｏ＝（Ｐｏｘ，Ｐｏｙ，Ｐｏｚ）、自走式撮影装置１０１と撮影対象１０４と結ぶベクトルをｖ＝（ｖｘ，ｖｙ，ｖｚ）とする。この場合、自走式撮影装置１０１が撮影対象１０４を撮影するための撮影方向情報ｒｔｐ＝（θｔｐ，φｔｐ，ψｔｐ）と、ｒｔｐを示す回転行列Ｒｔｐとは、（式５）～（式７）によって取得することができる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　続いて、撮影条件出力部３０６は、Ｒｔｐを実撮影条件として自走式撮影装置１０１に出力する。自走式撮影装置１０１は、Ｒｔｐに基づいて、撮影対象１０４の方向を向くよう駆動し、撮影対象１０４を撮影する。
　図６は、本実施形態に係る駆動後の自走式撮影装置１０１及び撮影対象１０４の位置関係を示す図である。図６に示すように、自走式撮影装置１０１は、停止場所４０２上にあって、撮影対象１０４の方向を向いている。
　続いて、自走式撮影装置１０１は、予め設定されている規定撮影枚数の撮影を行うため、実撮影条件を更新し、撮影を行う。
　図７は、本実施形態に係る、自走式撮影装置１０１が停止場所を変更して撮影対象１０４を撮影する状況を示す図である。図７に示すように、停止場所７０１ａと、停止場所７０１ｂとが実撮影条件として設定されている。
　実撮影条件算出部３０５は、停止場所４０２の近傍である停止場所７０１ａと、停止場所７０１ｂとを実撮影条件として設定する。実撮影条件の設定方法は、停止場所４０２と別の場所になる方法であればどのような方法でもよく、例えば、予め規定された距離だけ前進、後退、水平移動するといった方法でもよいし、無作為の場所でもよい。
　また、本実施形態では、実撮影条件算出部３０５は、自走式撮影装置１０１が撮影対象１０４の方向を向くよう実撮影条件を設定しているが、撮影の方向は無作為の方向でもよい。また、本実施形態では、実撮影条件算出部３０５は、実撮影条件の設定時にカメラの画角や、絞り値、露光時間を変更しないが、これらを再設定する態様としてもよい。実撮影条件算出部３０５は、例えば、撮影対象が撮影位置から遠ざかっている場合には、カメラの画角を広角にする。また、実撮影条件算出部３０５は、照明との間の距離に応じて、絞り値及び露光時間を調整する。実撮影条件算出部３０５は、例えば、撮影位置が光源に近い場合には、絞り値を小さくし、露光時間を短くする。
　（自走式撮影装置１０１の処理）
　図８は、本実施形態に係る自走式撮影装置１０１の処理例を示すフローチャートである。図８を参照して、自走式撮影装置１０１が、入力撮影場所情報、及び、撮影対象位置情報を取得し、検出位置情報との差異に応じて実撮影条件を導出し、撮影を行う処理を説明する。
　ステップＳ１００において、入力撮影条件取得部３０２は、入力撮影場所情報、及び、撮影対象位置情報を取得する。
　ステップＳ１０１において、撮影条件出力部３０６は、移動装置１０３に入力撮影場所情報を出力する。移動装置１０３は、撮影条件出力部３０６から入力撮影場所情報を取得し、当該入力撮影場所情報に従って、入力撮影場所に向けて移動する。
　ステップＳ１０２において、移動装置１０３が停止していない場合（ステップＳ１０２のＮＯ）、撮影装置１０２は、ステップＳ１０２の判定処理を繰り返す。移動装置１０３が停止した場合には（ステップＳ１０２のＹＥＳ）、撮影装置１０２は、ステップＳ１０３の処理に進む。
　ステップＳ１０３において、検出撮影条件取得部３０３は、自走式撮影装置１０１の検出位置情報を取得する。
　ステップＳ１０４において、撮影条件比較部３０４は、入力撮影条件取得部３０２が取得した入力撮影場所情報と、検出撮影条件取得部３０３が取得した検出位置情報との差分を算出して、入力撮影場所情報と、検出位置情報とが同一であるか否かを判定する。撮影条件比較部３０４が、入力撮影場所情報と、検出位置情報とが同一でない（すなわち、主撮影処理において、撮影装置１０２の移動が、入力撮影条件に規定された撮影場所に到達する前に妨げられた）と判定した場合（ステップＳ１０４のＮＯ）、撮影装置１０２は、ステップＳ１０５の処理に進み、予備撮影処理を行う。
　ステップＳ１０５において、実撮影条件算出部３０５は、撮影対象位置情報と、検出位置情報とから、撮影対象の方向を向くための実撮影条件を算出する。
　ステップＳ１０６において、撮影条件出力部３０６は、自走式撮影装置１０１に実撮影条件を出力する。自走式撮影装置１０１は、撮影条件出力部３０６から実撮影条件を取得して、当該実撮影条件に従って、撮影装置１０２が撮影対象の方向を向くように駆動する。撮影装置１０２が撮影対象の方向を向くと、撮影部２０１は、撮影対象を撮影する。
　ステップＳ１０７～Ｓ１０９では、撮影制御部２０２が、予備撮影処理において、撮影装置１０２に、互いに異なる複数の撮影場所において入力撮影条件に規定された撮影対象位置を撮影させる。また、撮影制御部２０２が、予備撮影処理において、撮影装置１０２に、互いに異なる複数の撮影方向に向かって撮影を実行させる。
　ステップＳ１０７において、実撮影条件算出部３０５は、自走式撮影装置１０１を、規定した位置及び撮影方向に変更した状態で、撮影対象を撮影するための実撮影条件を算出する。
　ステップＳ１０８において、撮影条件出力部３０６は、算出した実撮影条件を制御部３０８に出力する。制御部３０８は、撮影条件出力部３０６から実撮影条件を取得し、取得した実撮影条件に応じて撮影装置１０２及び移動装置１０３を制御する。撮影装置１０２及び移動装置１０３が実撮影条件を満たす状態になると、撮影部２０１は、撮影対象を撮影する。
　ステップＳ１０９において、制御部３０８は、撮影枚数が規定枚数に達しているか否かを判定する。制御部３０８は、撮影枚数が規定枚数に達していないと判定した場合（ステップＳ１０９のＮＯ）、ステップＳ１０７の処理に戻り、実撮影条件を変更し、前述した撮影処理を繰り返す。制御部３０８は、撮影枚数が規定枚数に達していると判定した場合（ステップＳ１０９のＹＥＳ）、ステップＳ１１１の処理に進む。
　ステップＳ１０４において、撮影条件比較部３０４が、入力撮影場所情報と検出位置情報とが同一であると判定した場合（ステップＳ１０４のＹＥＳ）、ステップＳ１１０において、撮影部２０１は、撮影対象を撮影する。
　ステップＳ１１１において、制御部３０８は、撮影処理を終了するか否かを判定する。制御部３０８は、撮影処理を終了させず、継続すると判定した場合（ステップＳ１１１のＮＯ）、ステップＳ１００の処理に戻り、前述した撮影処理を繰り返す。制御部３０８は、撮影処理を終了すると判定した場合（ステップＳ１１１のＹＥＳ）、全ての処理を終了する。
　（実施形態１の効果）
　本実施形態によれば、想定する撮影条件とは異なる条件となった場合に、それぞれ異なる複数の撮影条件で撮影を行う自走式撮影装置を提供することができる。
　〔実施形態２〕
　本発明の実施形態２について、図９～図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　本実施形態は、撮影対象の位置が変化したため、自走式撮影装置（移動撮影装置）１０１ａが入力撮影場所情報に従って移動しても、想定とは異なる画像（例えば、撮影対象が画像の中心付近にない）しか撮影できない場合に、異なる複数の実撮影条件で撮影を行う処理が実施形態１と異なる。本実施形態における、それ以外の構成、及び、処理は、実施形態１と同様である。
　図９は、本実施形態に係る自走式撮影装置１０１ａの使用態様の一例を示す模式図である。図９（ａ）は、自走式撮影装置１０１ａの構成概要を示す。図９（ａ）に示すように、自走式撮影装置１０１ａは、撮影装置（撮影部）１０２ａ、及び、移動装置１０３を備えている。図９（ｂ）は、撮影画像９０２の例を示す。
　自走式撮影装置１０１ａは、以下のように動作する。自走式撮影装置１０１ａは、撮影装置１０２ａにより、撮影対象位置情報と、入力撮影場所情報と、撮影画像における撮影対象９０１の描画領域（以下、「入力被写体画像領域情報」と称す）とを取得する。その後、自走式撮影装置１０１ａは、撮影対象を撮影して撮影画像９０２を取得する。続いて、自走式撮影装置１０１ａは、撮影画像９０２において、撮影対象９０１が描画されている領域（以下、「検出被写体画像領域情報」と称す）を取得する。
　続いて、撮影制御部（制御部、撮影制御装置）２０２ａは、入力被写体画像領域情報と、検出被写体画像領域情報とを比較する。自走式撮影装置１０１ａは、入力被写体画像領域情報と、検出被写体画像領域情報との比較結果に基づいて、実撮影条件を導出する。そして、自走式撮影装置１０１ａは、実撮影条件に基づいて、撮影装置１０２を用いて、撮影対象を撮影して撮影画像９０２を取得する。
　（撮影制御部２０２ａの構成）
　図１０は、本実施形態における撮影装置１０２ａ、及び、撮影制御部２０２ａの構成例を示す機能ブロック図である。図１０（ａ）に示すように、撮影装置１０２ａは、撮影部２０１と、撮影制御部２０２ａとを備えている。
　図１０（ｂ）に示すように、撮影制御部２０２ａは、画像入力部３０１、入力撮影条件取得部３０２ａ、検出撮影条件取得部３０３ａ、撮影条件比較部３０４ａ、実撮影条件算出部３０５、撮影条件出力部３０６、保存部３０７、制御部３０８、及び、データバス３０９を備えている。
　入力撮影条件取得部３０２ａは、撮影対象位置情報と、入力撮影場所情報と、入力被写体画像領域情報とを取得する。検出撮影条件取得部３０３ａは、検出被写体画像領域情報を取得する。撮影条件比較部３０４ａは、入力被写体画像領域情報と、検出被写体画像領域情報とを比較して、一致しているか否かを判定する。
　なお、画像入力部３０１、実撮影条件算出部３０５、撮影条件出力部３０６、保存部３０７、制御部３０８、及び、データバス３０９は、実施形態１と同様である。
　（検出被写体画像領域情報の取得方法）
　図１１は、本実施形態に係る検出被写体画像領域情報の取得方法の一例を示す図である。図１１に示すように、検出撮影条件取得部３０３ａは、撮影画像９０２を、複数の領域に分割する。図１１の例では、検出撮影条件取得部３０３ａは、撮影画像９０２を４行６列に分割しているが、分割数はこれに限定されるものではなく、１以上の任意の行、及び、１以上の任意の列に分割してもよい。撮影画像９０２におけるｒ行ｃ列の領域をＡ（ｒ，ｃ）とする。
　検出撮影条件取得部３０３ａは、撮影画像９０２において、撮影対象９０１を抽出する。撮影対象９０１を抽出する方法は、限定されない。検出撮影条件取得部３０３ａは、例えば、テンプレートマッチングによって撮影対象９０１を抽出してもよいし、別の方法で抽出してもよい。ここで、テンプレートマッチングでは、一例として画像と、画像とを照合させて、どのような被写体かを検出する。また、前回撮影したものをテンプレートとして用いることも可能である。
　検出撮影条件取得部３０３ａは、撮影画像９０２から、撮影対象９０１が含まれる領域Ａ（ｒ０，ｃ０）を取得する。検出撮影条件取得部３０３ａが取得する領域は、１つの領域に限定されることはなく、撮影対象９０１が複数の領域に亘る場合には、当該複数の領域になる。
　（自走式撮影装置１０１ａの処理）
　図１２は、本実施形態に係る自走式撮影装置１０１ａの処理例を示すフローチャートである。図１２を参照して、自走式撮影装置１０１ａが、入力被写体画像領域情報と、検出被写体画像領域情報と、を比較し、比較結果に応じて実撮影条件を導出し、実撮影条件に従って撮影対象を撮影する処理を説明する。ここで、入力撮影条件は、撮影対象の画像内位置をさらに規定している。
　ステップＳ２００において、撮影装置１０２ａの入力撮影条件取得部３０２ａは、入力撮影場所情報と、撮影対象位置情報と、入力被写体画像領域情報とを取得する。
　ステップＳ２０１において、撮影条件出力部３０６は、入力撮影条件取得部３０２ａから入力撮影場所情報を取得し、当該入力撮影場所情報を移動装置１０３に出力する。移動装置１０３は、撮影条件出力部３０６から入力撮影場所情報を取得すると、当該入力撮影場所情報に従って入力撮影場所に向けて移動する。
　ステップＳ２０２において、検出撮影条件取得部３０３ａは、移動装置１０３が停止しているか否かを判定する。検出撮影条件取得部３０３ａは、移動装置１０３が停止していないと判定した場合（ステップＳ２０２のＮＯ）、ステップＳ２０２の判定処理を繰り返す。検出撮影条件取得部３０３ａが移動装置１０３が停止していると判定した場合（ステップＳ２０２のＹＥＳ）、撮影装置１０２ａは、ステップＳ２０３の処理に進む。
　ステップＳ２０３において、撮影部２０１は、入力撮影条件と、撮影対象位置情報とに基づいて、撮影対象を撮影する。
　ステップＳ２０４において、検出撮影条件取得部３０３ａは、検出被写体画像領域情報を取得する。
　ステップＳ２０５において、撮影条件比較部３０４ａは、主撮影処理によって撮影装置１０２ａが撮影した撮影画像に基づいて、予備撮影処理を行うか否かを判断する。すなわち、撮影条件比較部３０４ａは、入力被写体画像領域情報と、検出被写体画像領域情報とを比較して、両者が一致している場合には（ステップＳ２０５のＹＥＳ）、ステップＳ２１１の処理に進む。撮影条件比較部３０４ａは、入力被写体画像領域情報と、検出被写体画像領域情報とが一致していない（すなわち、主撮影処理によって撮影装置１０２ａが撮影した撮影画像内における撮影対象の位置が、入力撮影条件に規定された画像内位置と異なる）場合には（ステップＳ２０５のＮＯ）、ステップＳ２０６の処理に進み、予備撮影処理を行う。
　ステップＳ２０６において、実撮影条件算出部３０５は、実撮影条件を算出して取得する。
　ステップＳ２０７において、撮影条件出力部３０６は、実撮影条件を撮影部２０１に出力する。撮影部２０１は、撮影条件出力部３０６から実撮影条件を取得し、当該実撮影条件に従って、撮影対象を撮影する。
　ステップＳ２０８において、実撮影条件算出部３０５は、自走式撮影装置１０１ａを、規定した位置及び撮影方向に変更した状態で、撮影対象を撮影するための実撮影条件を算出する。撮影条件出力部３０６は、算出した実撮影条件を制御部３０８に出力する。
　ステップＳ２０９において、制御部３０８は、撮影条件出力部３０６から実撮影条件を取得し、取得した実撮影条件に応じて撮影装置１０２ａ及び移動装置１０３を制御する。例えば、制御部３０８は、予備撮影処理において、撮影装置１０２ａに、互いに異なる複数の撮影対象位置を撮影させる。撮影装置１０２ａ及び移動装置１０３が実撮影条件を満たす状態になると、撮影部２０１は、撮影対象を撮影する。
　ステップＳ２１０において、制御部３０８は、規定枚数撮影を行ったか否かを判定する。制御部３０８は、撮影枚数が規定撮影枚数に達していないと判定した場合（ステップＳ２１０のＮＯ）、ステップＳ２０８の処理に戻る。制御部３０８は、撮影枚数が規定撮影枚数に達していると判定した場合（ステップＳ２１０のＹＥＳ）、ステップＳ２１１の処理に進む。
　ステップＳ２１１において、制御部３０８は、撮影処理を終了するか否かを判定する。制御部３０８は、撮影処理を終了させず、継続すると判定した場合（ステップＳ２１１のＮＯ）、ステップＳ２００の処理に戻って、前述した撮影処理を繰り返す。制御部３０８は、撮影処理を終了すると判定した場合（ステップＳ２１１のＹＥＳ）、処理を終了させる。
　（実施形態２の効果）
　本実施形態によれば、画像領域情報を比較することにより、自走式撮影装置１０１ａの周辺環境に起因する制約として、撮影対象の位置が変化した場合であっても、当該撮影対象を適切に撮影することができる。
　〔実施形態３〕
　本発明の実施形態３について、図１３～図１５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　本実施形態は、撮影場所の３次元モデルから撮影対象を撮影したときの画像を仮想的に生成し、その生成した画像と、実際に撮影した画像とを比較することにより、想定通りの画像を撮影できたか否かを判定する処理が実施形態１と異なる。本実施形態における、それ以外の構成、及び、処理は、実施形態１と同様である。
　図１３は、本実施形態に係る自走式撮影装置（移動撮影装置）１０１ｂの使用態様の一例を示す模式図である。図１３（ａ）は、自走式撮影装置１０１ｂの構成概要を示す。図１３（ａ）に示すように、自走式撮影装置１０１ｂは、撮影装置（撮影部）１０２ｂ、及び、移動装置１０３を備えている。図１３（ｂ）は、撮影場所の３次元モデル１３０１の例を示す。図１３（ｃ）は、想定撮影画像１３０２の例を示す。
　自走式撮影装置１０１ｂは、以下のように動作する。自走式撮影装置１０１ｂは、撮影装置１０２ｂにより、３次元モデル１３０１と、入力撮影場所情報と、撮影対象位置情報とを入力する。次に、自走式撮影装置１０１ｂは、入力撮影場所情報と、撮影対象位置情報とに基づいて、３次元モデル１３０１を２次元画像（以下、「想定撮影画像」と称す）１３０２に変換する。その後、自走式撮影装置１０１ｂは、撮影位置に移動し、撮影対象を撮影することにより、撮影画像を取得する。続いて、自走式撮影装置１０１ｂは、撮影画像と、想定撮影画像１３０２とを比較する。自走式撮影装置１０１ｂは、想定撮影画像と、撮影画像とに基づいて、実撮影条件を導出する。最後に、自走式撮影装置１０１ｂは、実撮影条件に基づいて、撮影装置１０２により撮影を行う。
　（撮影制御部２０２ｂの構成）
　図１４は、本実施形態に係る撮影装置１０２ｂ、及び、撮影制御部（制御部、撮影制御装置）２０２ｂの構成例を示す機能ブロック図である。図１４（ａ）に示すように、撮影装置１０２ｂは、撮影部２０１と、撮影制御部２０２ｂとを備えている。
　図１４（ｂ）に示すように、撮影制御部２０２ｂは、画像入力部３０１、入力撮影条件取得部３０２ｂ、検出撮影条件取得部３０３、撮影条件比較部３０４ｂ、実撮影条件算出部３０５、撮影条件出力部３０６、保存部３０７、制御部３０８、及び、データバス３０９を備えている。
　入力撮影条件取得部３０２ｂは、撮影対象位置情報と、入力撮影場所情報と、３次元モデル１３０１とから、想定撮影画像１３０２を取得する。撮影条件比較部３０４ｂは、想定撮影画像１３０２と、撮影画像とを比較して、両者が一致しているか否かを判定する。
　なお、画像入力部３０１、検出撮影条件取得部３０３、実撮影条件算出部３０５、撮影条件出力部３０６、保存部３０７、制御部３０８、及び、データバス３０９は、実施形態１と同様である。
　（自走式撮影装置１０１ｂの処理）
　図１５は、本実施形態に係る自走式撮影装置１０１ｂの処理例を示すフローチャートである。図１５を参照して、自走式撮影装置１０１ｂが、想定撮影画像１３０２と、撮影画像と、を比較し、比較結果に応じて実撮影条件を導出し、実撮影条件に従って撮影対象を撮影する処理を説明する。
　ステップＳ３００において、入力撮影条件取得部３０２ｂは、入力撮影場所情報と、撮影対象位置情報と、想定撮影画像とを取得する。なお、撮影制御部２０２ｂは、事前に、入力撮影条件に基づいて想定撮影画像を生成する想定撮影画像生成処理を行う。
　ステップＳ３０１において、撮影条件出力部３０６は、移動装置１０３に入力撮影場所情報を出力する。移動装置１０３は、撮影条件出力部３０６から入力撮影場所情報を取得し、当該入力撮影場所情報に従って、入力撮影場所に向けて移動する。
　ステップＳ３０２において、検出撮影条件取得部３０３は、移動装置１０３が停止しているか否かを判定する。検出撮影条件取得部３０３は、移動装置１０３が停止していないと判定した場合（ステップＳ３０２のＮＯ）、ステップＳ３０２の判定処理を繰り返す。検出撮影条件取得部３０３が、移動装置１０３が停止していると判定した場合（ステップＳ３０２のＹＥＳ）、撮影装置１０２ｂは、ステップＳ３０３の処理に進む。
　ステップＳ３０３において、撮影部２０１は、入力撮影条件と、撮影対象位置情報とに基づいて、撮影対象を撮影する。
　ステップＳ３０４において、撮影条件比較部３０４ｂは、主撮影処理によって撮影装置１０２ｂが撮影した撮影画像に基づいて、予備撮影処理を行うか否かを判断する。すなわち、撮影条件比較部３０４ｂは、想定撮影画像と、撮影画像とを比較し、両者が一致している場合（ステップＳ３０４のＹＥＳ）、ステップＳ３１０の処理に進む。撮影条件比較部３０４ｂは、想定撮影画像と、撮影画像とが一致していない（すなわち、主撮影処理によって撮影装置が撮影した撮影画像と、想定撮影画像とが異なる）場合（ステップＳ３０４のＮＯ）、ステップＳ３０５の処理に進み、予備撮影処理を行う。
　ここで、想定撮影画像と、撮影画像とが一致しているか否かの判定は、両者の間の類似度を計算して、当該類似度と、閾値との大小関係に応じて行ってもよい。また、想定撮影画像と、撮影画像とが一致しているか否かの判定は、想定撮影画像と、撮影画像とを線画にした上で、両者の間における一致度を計算して、当該一致度と、閾値との大小関係に応じて行ってもよい。
　ステップＳ３０５において、実撮影条件算出部３０５は、想定撮影画像と、撮影画像とに基づいて、実撮影条件を算出する。
　ステップＳ３０６において、撮影条件出力部３０６は、実撮影条件を自走式撮影装置１０１ｂに出力する。撮影部２０１は、撮影条件出力部３０６から実撮影条件を取得し、当該実撮影条件に従って、撮影対象を撮影する。
　ステップＳ３０７において、実撮影条件算出部３０５は、自走式撮影装置１０１ｂを、規定した位置及び撮影方向に変更した状態で、撮影対象を撮影するための実撮影条件を算出する。撮影条件出力部３０６は、算出した実撮影条件を制御部３０８に出力する。
　ステップＳ３０８において、制御部３０８は、撮影条件出力部３０６から実撮影条件を取得し、取得した実撮影条件に応じて撮影装置１０２ｂ及び移動装置１０３を制御する。例えば、制御部３０８は、予備撮影処理において、撮影装置１０２ｂに、互いに異なる複数の撮影対象位置を撮影させる。撮影装置１０２ｂ及び移動装置１０３が実撮影条件を満たす状態になると、撮影部２０１は、撮影対象を撮影する。
　ステップＳ３０９において、制御部３０８は、規定枚数撮影を行ったか否かを判定する。制御部３０８は、撮影枚数が規定撮影枚数に達していないと判定した場合（ステップＳ３０９のＮＯ）、ステップＳ３０７の処理に戻る。制御部３０８は、撮影枚数が規定撮影枚数に達していると判定した場合（ステップＳ３０９のＹＥＳ）、ステップＳ３１０の処理に進む。
　ステップＳ３１０において、制御部３０８は、撮影処理を終了するか否かを判定する。制御部３０８は、撮影処理を終了させず、継続すると判定した場合（ステップＳ３１０のＮＯ）、ステップＳ３００の処理に戻り、前述した撮影処理を繰り返す。制御部３０８は、撮影処理を終了すると判定した場合（ステップＳ３１０のＹＥＳ）、全ての処理を終了させる。
　（実施形態３の効果）
　本実施形態によれば、撮影画像を比較することにより、自走式撮影装置１０１ｂの周辺環境に起因する制約として、撮影対象の位置が変化した場合であっても、当該撮影対象を適切に撮影することができる。
　〔実施形態１から３のバリエーション〕
　上記の各実施形態において、添付図面に図示されている構成などについては、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
　上記の各実施形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施形態の機能を実現する遠隔作業支援の装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
　また、上記の各実施形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　〔ソフトウェアによる実現例〕
　撮影装置１０２、１０２ａ、１０２ｂの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、撮影装置１０２、１０２ａ、１０２ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る移動撮影装置（自走式撮影装置１０１）は、移動および撮影を実行する撮影部（撮影装置１０２）と、少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って前記撮影部に移動および撮影を実行させる主撮影処理を行う制御部（撮影制御部２０２）と、を備え、前記制御部が、前記主撮影処理において前記入力撮影条件を達成できなかった場合に、前記撮影部に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行う。
　上記の構成によれば、入力撮影条件を達成できなかった場合に、撮影条件を変化させながら複数回の撮影を行う予備撮影処理を行うことで、周辺環境が変化したときにも、適切な撮影を行うことができる。
　本発明の態様２に係る移動撮影装置は、上記態様１において、前記制御部が、前記主撮影処理において、前記撮影部の移動が、前記入力撮影条件に規定された前記撮影場所に到達する前に妨げられた場合に、前記予備撮影処理を行うこととしてもよい。
　上記の構成によれば、撮影部が撮影場所に移動するのを妨げられた場合に、予備撮影を実行することで、適切な撮影を行うことができる。
　本発明の態様３に係る移動撮影装置は、上記態様２において、前記制御部が、前記予備撮影処理において、前記撮影部に、互いに異なる複数の撮影場所において前記入力撮影条件に規定された前記撮影対象位置を撮影させることとしてもよい。
　上記の構成によれば、撮影部が撮影場所に到達するのを妨げられた場合に、撮影部に、互いに異なる撮影場所において撮影対象の位置を撮影させることで、適切な撮影を行うことができる。
　本発明の態様４に係る移動撮影装置は、上記態様２において、前記制御部が、前記予備撮影処理において、前記撮影部に、互いに異なる複数の撮影方向に向かって撮影を実行させることとしてもよい。
　上記の構成によれば、撮影部が撮影位置に移動するのを妨げられた場合に、撮影部に、互いに異なる方向に向かって撮影させることで、適切な撮影を行うことができる。
　本発明の態様５に係る移動撮影装置（自走式撮影装置１０１ａ、１０１ｂ）は、上記態様１において、前記制御部（撮影制御部２０２ａ、２０２ｂ）が、前記主撮影処理によって前記撮影部が撮影した撮影画像に基づいて、前記予備撮影処理を行うか否かを判断することとしてもよい。
　上記の構成によれば、撮影画像が適切でない場合に、予備撮影処理を実行することができるため、周辺環境が変化したときにも、適切な撮影を行うことができる。
　本発明の態様６に係る移動撮影装置（自走式撮影装置１０１ａ）は、上記態様５において、前記入力撮影条件が、撮影対象の画像内位置をさらに規定しており、前記制御部（撮影制御部２０２ａ）が、前記主撮影処理によって前記撮影部が撮影した前記撮影画像内における前記撮影対象の位置が、前記入力撮影条件に規定された前記画像内位置と異なるとき、前記予備撮影処理を行うこととしてもよい。
　上記の構成によれば、撮影画像内の撮影対象の位置が入力撮影条件と異なる場合に、予備撮影処理を実行することができるため、周辺環境が変化したときにも、適切な撮影を行うことができる。
　本発明の態様７に係る移動撮影装置（自走式撮影装置１０１ｂ）は、上記態様５において、前記制御部（撮影制御部２０２ｂ）が、前記入力撮影条件に基づいて想定撮影画像を生成する想定撮影画像生成処理をさらに行い、前記主撮影処理によって前記撮影部が撮影した前記撮影画像と、前記想定撮影画像とが異なるとき、前記予備撮影処理を行うこととしてもよい。
　上記の構成によれば、主撮影処理で撮影した画像が想定撮影画像と異なる場合に、予備撮影処理を実行することができるため、周辺環境が変化したときにも、適切な撮影を行うことができる。
　本発明の態様８に係る移動撮影装置（自走式撮影装置１０１ａ、１０１ｂ）は、上記態様５～７において、前記制御部（撮影制御部２０２ａ、２０２ｂ）が、前記予備撮影処理において、前記撮影部に、互いに異なる複数の撮影対象位置を撮影させることとしてもよい。
　上記の構成によれば、撮影画像が適切でない場合に、撮影部に互いに異なる位置を撮影させることで、適切な撮影を行うことができる。
　本発明の態様９に係る撮影制御装置は、少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って、移動および撮影を実行する撮影部に移動および撮影を実行させる主撮影処理を行う制御部（撮影制御部２０２）を備え、前記制御部が、前記主撮影処理において前記入力撮影条件を達成できなかった場合に、前記撮影部に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行う。
　上記の構成によれば、入力撮影条件を達成できなかった場合に、撮影条件を変化させながら複数回の撮影を行う予備撮影処理を行うことで、周辺環境が変化したときにも、適切な撮影を行うことができる。
　本発明の態様１０に係る撮影制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記撮影制御装置が備える制御部（ソフトウェア要素）として動作させることにより上記撮影制御装置をコンピュータにて実現させる、撮影制御装置の撮影制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、２０１７年７月１３日に出願された日本国特許出願：特願２０１７－１３７３５３に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１０１、１０１ａ、１０１ｂ　自走式撮影装置（移動撮影装置）
　１０２、１０２ａ、１０２ｂ　撮影装置（撮影部）
　２０２、２０２ａ、２０２ｂ　撮影制御部（制御部、撮影制御装置）

Claims (10)

  1. 　移動および撮影を実行する撮影部と、
    　少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って前記撮影部に移動および撮影を実行させる主撮影処理を行う制御部と、を備え、
    　前記制御部は、前記主撮影処理において前記入力撮影条件を達成できなかった場合に、前記撮影部に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行うことを特徴とする移動撮影装置。
  2. 　前記制御部は、前記主撮影処理において、前記撮影部の移動が、前記入力撮影条件に規定された前記撮影場所に到達する前に妨げられた場合に、前記予備撮影処理を行うことを特徴とする請求項１に記載の移動撮影装置。
  3. 　前記制御部は、前記予備撮影処理において、前記撮影部に、互いに異なる複数の撮影場所において前記入力撮影条件に規定された前記撮影対象位置を撮影させることを特徴とする請求項２に記載の移動撮影装置。
  4. 　前記制御部は、前記予備撮影処理において、前記撮影部に、互いに異なる複数の撮影方向に向かって撮影を実行させることを特徴とする請求項２に記載の移動撮影装置。
  5. 　前記制御部は、前記主撮影処理によって前記撮影部が撮影した撮影画像に基づいて、前記予備撮影処理を行うか否かを判断することを特徴とする請求項１に記載の移動撮影装置。
  6. 　前記入力撮影条件は、撮影対象の画像内位置をさらに規定しており、
    　前記制御部は、前記主撮影処理によって前記撮影部が撮影した前記撮影画像内における前記撮影対象の位置が、前記入力撮影条件に規定された前記画像内位置と異なるとき、前記予備撮影処理を行うことを特徴とする請求項５に記載の移動撮影装置。
  7. 　前記制御部は、前記入力撮影条件に基づいて想定撮影画像を生成する想定撮影画像生成処理をさらに行い、前記主撮影処理によって前記撮影部が撮影した前記撮影画像と、前記想定撮影画像とが異なるとき、前記予備撮影処理を行うことを特徴とする請求項５に記載の移動撮影装置。
  8. 　前記制御部は、前記予備撮影処理において、前記撮影部に、互いに異なる複数の撮影対象位置を撮影させることを特徴とする請求項５から７の何れか１項に記載の移動撮影装置。
  9. 　少なくとも撮影場所および撮影対象位置を規定する入力撮影条件に従って、移動および撮影を実行する撮影部に移動および撮影を実行させる主撮影処理を行う制御部を備え、
    　前記制御部は、前記主撮影処理において前記入力撮影条件を達成できなかった場合に、前記撮影部に、撮影場所および撮影方向の少なくとも一方を変化させながら複数回の撮影を実行させる予備撮影処理を行うことを特徴とする撮影制御装置。
  10. 　請求項９に記載の撮影制御装置としてコンピュータを機能させるための撮影制御プログラムであって、上記制御部としてコンピュータを機能させるための撮影制御プログラム。
PCT/JP2018/015029 2017-07-13 2018-04-10 移動撮影装置、撮影制御装置、及び、撮影制御プログラム WO2019012761A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-137353 2017-07-13
JP2017137353 2017-07-13

Publications (1)

Publication Number Publication Date
WO2019012761A1 true WO2019012761A1 (ja) 2019-01-17

Family

ID=65001610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015029 WO2019012761A1 (ja) 2017-07-13 2018-04-10 移動撮影装置、撮影制御装置、及び、撮影制御プログラム

Country Status (1)

Country Link
WO (1) WO2019012761A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008087A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 電子スチルカメラ
JP2004297675A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 移動撮影機器
JP2006108915A (ja) * 2004-10-01 2006-04-20 Canon Inc 画像撮影装置及び画像撮影方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008087A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 電子スチルカメラ
JP2004297675A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 移動撮影機器
JP2006108915A (ja) * 2004-10-01 2006-04-20 Canon Inc 画像撮影装置及び画像撮影方法

Similar Documents

Publication Publication Date Title
JP5637633B2 (ja) 画像配信装置
WO2010050206A1 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
JP7140160B2 (ja) 制御装置、制御方法およびプログラム
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
JP6541327B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
JP2022177267A (ja) 認証システム、認証方法、及び、プログラム
JP2011097238A (ja) プライバシー保護画像加工機能を有する端末装置、その方法及びそのプログラム
JP5247338B2 (ja) 画像処理装置及び画像処理方法
US9942465B2 (en) Imaging apparatus and imaging condition setting method and program
CN114390206A (zh) 拍摄方法、装置和电子设备
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
WO2018092378A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TW201342303A (zh) 三維空間圖像的獲取系統及方法
WO2018012524A1 (ja) 投影装置、投影方法および投影制御プログラム
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
WO2019012761A1 (ja) 移動撮影装置、撮影制御装置、及び、撮影制御プログラム
KR101514346B1 (ko) 합성 사진 촬영 장치 및 방법
CN108781258B (zh) 环境信息确定方法、装置、机器人及存储介质
US9721371B2 (en) Systems and methods for stitching metallographic and stereoscopic images
JP7248039B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2008131174A (ja) 画像処理システム及び画像処理プログラム
JP2011182084A (ja) 画像処理装置および画像処理プログラム
WO2024018973A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
CN111385472B (zh) 图像处理方法以及图像获取装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18832851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18832851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP