WO2007013685A1 - インタラクティブ画像取得装置 - Google Patents

インタラクティブ画像取得装置 Download PDF

Info

Publication number
WO2007013685A1
WO2007013685A1 PCT/JP2006/315438 JP2006315438W WO2007013685A1 WO 2007013685 A1 WO2007013685 A1 WO 2007013685A1 JP 2006315438 W JP2006315438 W JP 2006315438W WO 2007013685 A1 WO2007013685 A1 WO 2007013685A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
unit
acquisition device
spherical
Prior art date
Application number
PCT/JP2006/315438
Other languages
English (en)
French (fr)
Inventor
Masahiko Inami
Dairoku Sekiguchi
Hiroki Mori
Shigesumi Kuwashima
Fumitoshi Matsuno
Original Assignee
The University Of Electro-Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The University Of Electro-Communications filed Critical The University Of Electro-Communications
Priority to US11/989,625 priority Critical patent/US20090207246A1/en
Publication of WO2007013685A1 publication Critical patent/WO2007013685A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to an interactive image acquisition device, and is applied to, for example, a case where tracking display is performed by tracking a desired object among images taken by an omnidirectional camera arranged over the surface of a spherical object. And suitable.
  • the research on mounting multiple cameras on a moving body can be done by mounting multiple cameras on a car and combining the images obtained from the multiple cameras.
  • the direction image is archived.
  • omnidirectional video is acquired according to the location, There have been no studies on stabilization and camera distribution to eliminate image shaking on moving objects.
  • an ⁇ -dimensional shape generation device that is designed to capture a target while moving a camera mounted on a vehicle, extract 3D information from the object, and generate a 3D map (for example, Patent Documents) 1)
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2Q05-115420.
  • the resolution decreases due to the very long distance from the position of the fixed camera to the imaging target.
  • the observer a video with a sense of presence that tracks the target object desired by the observer. Disclosure of the invention
  • the present invention has been made in consideration of the above points, and intends to propose an interactive image acquisition apparatus that can provide a real-time image to a monitor by tracking a specified object. Is.
  • the captured image processing apparatus is arranged so as to be capable of capturing images in a plurality of directions so that images captured by at least two or more image sensors are partially overlapped, and spatially.
  • the result of stitching together multiple images acquired by multiple image sensors that can be moved to each other, specifying the desired target from the images captured by the multiple image sensors, and stitching the multiple images together Placement relation between the obtained connected image and the specified object The object is placed in the approximate center region of the connected image based on the placement relationship.
  • a connected image is generated by connecting based on a plurality of images acquired by a plurality of image sensors arranged so as to be capable of capturing images in a plurality of directions, and the object specified from the connected images is connected to the connected image. Since the object can be arranged in a substantially central region of the connected image based on the arrangement relationship with the image, it is possible to provide an image that is tracked by focusing on the object of the connected image.
  • the image captured by at least two or more image sensors is arranged so as to be capable of capturing images in a plurality of directions so that the images are partially overlapped with each other and can be moved spatially.
  • a plurality of image sensors made, image connecting means for joining a plurality of images acquired by the plurality of image sensors, and specifying a desired object from images captured by the plurality of image sensors
  • An object designating means for supplying driving power to a plurality of image sensors, and a connected image obtained by connecting a plurality of images by the image connecting means and the object designating means.
  • the image processing means is provided for determining the arrangement relation with the object specified by the item No. 1 and arranging the object in a substantially central region of the connected image based on the arrangement relation.
  • the captured image processing apparatus of the present invention it is possible to capture a plurality of directions so as to be partially superposed with images captured by at least two or more imaging elements that are arranged at predetermined locations to be monitored.
  • Multiple image sensors to be arranged
  • an image connecting means for connecting dedicated images acquired by the plurality of image sensors, and an object specifying means for specifying a desired object from images picked up by the plurality of image sensors.
  • Image processing means arranged in a substantially central region of the image is provided.
  • a connected image representing the location of the monitoring target can be obtained by connecting the images based on a plurality of images that are arranged at a predetermined location to be monitored and acquired by a plurality of imaging elements capable of imaging in a plurality of directions.
  • the target object can be arranged in a substantially central region of the connected image based on the arrangement relation between the generated object and the target object existing in the designated monitoring target location from the connected image and the connected image.
  • a connected image is generated by connecting based on a plurality of images acquired by a plurality of imaging elements arranged to be able to capture images in a plurality of directions, and specified from the connected images. Based on the relationship between the target object and the connected image, it is possible to place the target object in a substantially central region of the connected image.
  • a captured image treatment device and a captured image processing method that can be provided in real time can be realized.
  • the independent operation is performed based on the driving power supplied from the power supply means, and the connection is made based on the plurality of images acquired by the plurality of imaging elements arranged so as to be capable of imaging in a plurality of directions.
  • the target object can be placed in a substantially central region of the connected image based on the positional relationship between the target object specified in the connected image and the connected image.
  • the location of the monitoring target can be determined by linking the images based on a plurality of images that are arranged at a predetermined location to be monitored and acquired by a plurality of imaging elements capable of recording images in a plurality of directions.
  • the connected image is generated, and the target object is placed in the approximate center area of the connected image based on the positional relationship between the connected image and the target object existing at the designated monitoring target location. Therefore, it is possible to realize a captured image processing apparatus that can track a target object in a connected image representing a location to be monitored and provide a realistic image in real time.
  • Figure 1 is a schematic diagram used to explain the outline of the object-surface distribution type camera.
  • Fig. 2 is a schematic diagram for explaining the source and the output of the object surface distribution type camera.
  • FIG. 3 is a schematic diagram for explaining a spherical image.
  • FIG. 4 is a schematic diagram for explaining a two-dimensional image extracted from a spherical image.
  • FIG. 5 is a schematic diagram showing the configuration of the indoor situation monitoring system according to the first embodiment.
  • FIG. 6 is a schematic block diagram showing the circuit configuration of the indoor condition confirmation ball.
  • FIG. 7 is a schematic block diagram showing the circuit configuration of the rotation amount calculation unit.
  • FIG. 8 is a schematic diagram showing a template.
  • FIG. 9 is a schematic diagram for explaining an example of a suitable template.
  • FIG. 10 is a schematic diagram for explaining an example of an inappropriate template.
  • Figure 11 is a schematic diagram used to explain the measurement of template deviation
  • Figure 12 shows the flow of the rotation amount calculation processing procedure using the optical flow. It is a chart. '
  • Figure 1 '3 is a schematic block diagram showing the configuration (color designation) of the tracking unit.
  • Fig. 14 is a schematic diagram for explaining the object area and the position of its center of gravity.
  • Fig. 15 is a schematic block diagram showing the configuration of the tracking unit (pattern designation). '
  • Figure 16 is a flowchart showing the tracking procedure for multiple evening galleries.
  • FIG. 17 is a schematic diagram showing the configuration of the force pusher endoscope system according to the second embodiment.
  • ⁇ Fig. 18 is a schematic diagram used to explain the propulsive force of the force-psel endoscope.
  • FIG. 19 is a schematic block diagram showing the circuit configuration of the force-psel endoscope.
  • FIG. 20 is a schematic diagram showing the configuration of the security system according to the third embodiment.
  • Figure 21 is a schematic block diagram showing the circuit configuration of the security system.
  • FIG. 22 is a schematic block diagram showing a circuit configuration of the indoor condition confirmation ball according to another embodiment.
  • FIG. 23 is a schematic diagram showing the configuration of a soccer ball with a camera according to another embodiment.
  • FIG. 24 is a schematic diagram showing the configuration of a headband with a camera according to another embodiment.
  • FIG. 25 is a schematic diagram showing a configuration of an object surface distribution type camera according to another embodiment.
  • Fig. 1 for example, as shown in Fig. 1, there are multiple image processing devices that can capture omnidirectional images in the space centered on sphere 2 without gaps.
  • Camera for example, CCD (Charge Coupled Device) image sensor
  • the object surface distribution type camera 1 is placed at the center of the imaging site.
  • omnidirectional images obtained from multiple cameras 3 are acquired and synthesized in real time to generate a spatial image as if perceived by humans. It is designed to track and display the target object desired by the observer included in the video.
  • the present invention is characterized by using an object surface distribution type camera 1 in which a plurality of cameras are distributed on the object surface like the outer shell of a shellfish shell.
  • this object surface distribution type camera 1 is arranged so as to be able to capture images in multiple directions so that an omnidirectional image can be acquired by partially superimposing images captured by at least two cameras 3.
  • the object surface distributed camera 1 can be rolled in a spherical shape, as a result, the camera 3 is configured to be movable in the air.
  • optical flow information in omnidirectional images (multi-directional images) acquired from a plurality of cameras 3, angular velocity information detected by a gyration sensor or the like attached to each of the plurality of cameras 3, etc.
  • the captured image processing apparatus As shown on the left side (source) of FIG. 2, when an object surface distributed camera 1 rotates, an image in a predetermined direction obtained from one of a plurality of cameras 3 is also framed. As the image progresses, the image rotates. By correcting the effect of the rotation, as shown on the right side of Fig. 2, the image is taken with a single camera in the same posture. It can be output as an easy-to-see and easy-to-understand video.
  • the captured image processing apparatus of the present invention corrects the influence of rotation by acquiring an omnidirectional image with a plurality of cameras 3 while the object surface distribution camera 1 is moving or rotating when imaging a subject.
  • a spherical image Q 1 is generated in which an omnidirectional image is seamlessly pasted on the surface of the sphere as shown in FIG. 3 (A).
  • the captured image processing apparatus cuts out and displays only the two-dimensional image V1 of the portion of the spherical image Q1 that contains the object that the monitor wants to monitor. Or as shown in Fig. 3 (C) In this way, the 2D image V1 is switched to the 2D image V2 as if the line of sight has been changed to the right, for example, according to the input operation by the supervisor's joystick or other image indicating device. It is designed so that it can be displayed, and an “arbitrary gaze” image can be presented as if the observer arbitrarily changes his gaze.
  • This “arbitrary line of sight” image is pasted on the sphere of the spherical image Q 1 when, for example, a human is positioned at the center of the spherical image Q 1 and the line of sight is arbitrarily changed from there It is an image that the observer sees a part of the omnidirectional image, and is an image as if a part of the three-dimensional space reflected in the eyes of the observer is cut out.
  • the spherical image Q 1 covers all directions in the space centered on the sphere 2, for example, as shown in FIG. 2D images V2, V3, and V4 of the parts that contain the objects 0B1, OB2, and OB3, respectively, and display the objects 0B1, '0B2 , 0 B 3 can be tracked to follow each other.
  • the captured image processing apparatus was applied to an indoor situation monitoring system, a capsule endoscope system, and a security system, which will be described later. The case will be described specifically.
  • FIG. 5 10 indicates the indoor situation monitoring system in the first embodiment as a whole, and the object surface distribution type camera 1 ( The indoor situation confirmation ball 11 corresponding to Fig. 1) and the spherical image Q 1 (Figs. 3 and 4) obtained by taking and synthesizing omnidirectional images in space with the indoor situation confirmation ball 11 Notebook personal computer that receives and displays wirelessly ( (Hereafter, this is referred to as a notebook computer).
  • This indoor situation check ball 11 1 is preliminarily arranged so that an omnidirectional image (images in multiple directions) in space can be captured by n cameras 13 arranged on the surface of the sphere 11 1 A. The camera is placed and the connection position of the images is calibrated.
  • the indoor status confirmation ball 11 1 is not necessarily required to be able to acquire images in a plurality of predetermined directions instead of an omnidirectional image as long as the spherical image Q 1 can be generated, and the optical axes of the n cameras 13 are also required. May not be on an extension extending radially from the center of the sphere 1 1 A.
  • This indoor condition check ball 1 1 is thrown into a collapsed building such as a disaster site, and it can be used to check whether survivors remain in that building,
  • the spherical image Q 1 generated based on the omnidirectional image is transmitted to the notebook computer 12 by wireless transmission or wired transmission, so that the indoor situation in the building can be identified via the spherical image Q 1 ⁇ . It is designed to allow the top computer 1 2 supervisor to visually check in real time.
  • the indoor status check ball 11 is operated by a battery (not shown), and omnidirectional images respectively obtained from n cameras 1 3 A to 1 3 n, that is, multi-directional image data are displayed.
  • this is referred to as the image data group.
  • VG 1 is input to the image capturing unit 15 of the image processing unit 14 and the image data group VG 1 is sent from the image capturing unit 15 to the evening. It is sent to the identification unit 16, the rotation amount calculation unit 18, the spherical image generation unit 19, and the tracking unit 20.
  • the image processing unit 14 has a calibration information holding unit 17, and the calibration information holding unit 17 receives the calibration information CB 1 from the rotation information calculating unit 18 and the spherical image generating unit 1. It is designed to send to 9.
  • the evening identification unit 16 uses the image group V 0 1 supplied from the image capturing unit 15 for example Pull Toe's (trademark) or IEEE (Institute Of Electrical and Electronics Engineers) 802. llg. Wireless communication such as:-Wireless transmission to notebook PC 1 2 through 2 2.
  • the notebook computer 1 2 receives the image data group VG 1 wirelessly transmitted from the indoor condition check ball 1 1 and displays an image representing the indoor condition corresponding to the image data group VG 1.
  • an image movement instruction device such as a mouse
  • a designation signal S 1 indicating the object is generated, This is transmitted wirelessly to the indoor status confirmation port 1 1.
  • the image processing unit 14 of the indoor status confirmation ball 1 1 receives the designated signal S 1 wirelessly transmitted from the notebook computer 1 2 via the wireless communication interface 2 2 and sends the designated signal S 1 to the evening. Get ⁇ Specific part 16
  • the evening target specifying unit 16 is designated by the supervisor from the image data group VG .1 supplied from the image capturing unit 15 based on the designation signal S 1 supplied from the notebook computer 12.
  • An object with a specific color is identified as an evening get, or an object with a pattern specified by the monitor is identified as an evening get, and an evening get identification signal TG indicating the identified object 1 is sent to the tracking unit 20.
  • the rotation amount calculation unit 1 8 of the indoor status confirmation ball 1 1 is supplied from the calibration information CB 1 supplied from the calibration information holding unit 1 7 and the image capturing unit 1 5 Based on the image data group VG 1, when the indoor situation check ball 1 1 moves or rotates, the rotation amount of the next frame following any arbitrary image frame as a reference is sequentially calculated. ⁇
  • the calibration information CB 1 is the lens distortion of each camera 1 3 A to 1 3 n in order to form the spherical image Q 1 (Figs. 3 and 4).
  • Geometrical information for calibration and images in multiple directions obtained from n cameras 1 3 'A to 13 n arranged on the surface of the sphere' 1 1 A are joined together.
  • the spherical image generating unit 19 of the image processing unit 14 is an information representing the connected positional relationship when the image data obtained from the cameras 13 3A to 1 3 n according to the calibration information CB 1 VG By connecting 1 (images in multiple directions), it is possible to generate a spherical image Q 1 with no seams and no distortion.
  • This calibration information holding unit 17 grasps the connection position relationship when images in multiple directions obtained from n cameras 1 3 A to 1 3 n are connected as the calibration information CB 1. It is also possible to calibrate the connection position later by the operator's operation. In particular, the images captured by the n cameras 1 3 A to 1 3 n are partially overlapped, and are connected based on the calibration information CB 1, thereby seamless A seamless connected image, ie a spherical image Q1, is generated. '
  • the rotation amount calculation unit 18 inputs each image data of the image data group VG 1 supplied from the image capturing unit 15 to the image conversion unit 31 as shown in FIG.
  • the image conversion unit 3 1 converts each image data of the image data group VG 1 into an R GB signal of 1024 X 7 6 8 pixels, and further converts it into a luminance signal Y of 5 12 X 384 pixels.
  • the luminance signal Y is sent to the template determination unit 32. '.,'
  • the image converter 31 converts the R GB signal into the luminance signal Y. This is because the amount of calculation increases if the calculation is performed in units of RGB signals when calculating the amount of rotation. Therefore, RGB signals are stored separately.
  • the template determination unit 32 uses the luminance signal Y to generate a 16 ⁇ 16 image in the previous frame (hereinafter referred to as the previous frame). It is determined whether or not all the template TPs made of prime materials (25 in this case) are suitable for pattern mapping.
  • the template TP Suitable for pattern matching is a pattern for which the minimum value is uniquely determined in the search for pattern matching, and it needs to be a template with a certain amount of design.
  • an inappropriate template T P is when the brightness of the entire image area of the camera is almost the same, or when the two color areas are in contact with each other at a linear boundary. This is because it is difficult to find a template whose correlation value is uniquely the minimum when pattern matching is performed.
  • the correct pattern matching is performed by searching for the minimum value of SAD (Sum of Absolute Difference) based on the appropriate template TP 1 in the previous frame. This is performed by detecting the position of the template TP 2 corresponding to the template TP 1 (that is, the amount of movement from the templates TP 1 to TP 2) in the next frame following (hereinafter referred to as the latest frame).
  • This search is performed by a two-step search: a coarse search in units of 4 pixels and a dense search in units of 1 pixel, thereby speeding up pattern matching. .
  • the template T P (T P 1 and T P 2) is positioned approximately in the center of the normal camera image area. This is because there is a high possibility that the frame will be displayed in the next frame at the beginning of the image area, and such a situation is avoided in advance.
  • the template determination unit 3 2 is a template TP 1 that is suitable for pattern matching among 25 templates TP 1 and TP 2. And TP 2 are selected, and the selected templates TP 1 and TP 2 are specified / ⁇ the first template ⁇ information T 1 is sent to the pattern marching unit 33. At this time, the template determination unit 32 saves this template information T 1 for use in the next frame.
  • the pattern matching unit 3 3 uses only the templates TP 1 and TP 2 that are suitable for pattern matching based on the template information T 1 from the template determination unit 3 2, and the template TP 1 of the previous frame is the latest.
  • the position change of the frame template TP 2, that is, the amount of movement is detected by pattern matching, and the detection result S 2 is sent to the coordinate conversion unit 3 4.
  • the coordinate conversion unit 3 ′ 4 holds calibration information.
  • Part 1 7 Based on the calibration information CB 1 supplied from CB 1, grasps the connecting positional relationship for forming the spherical image Q 1 as three-dimensional coordinates, and determines the position of the template TP 1 in the previous frame as the spherical image Q 1 Convert the upper 3D coordinates (x, y, z) to the position of template TP 2 in the latest frame (ie, position of previous frame + movement amount) 3-dimensional coordinates on the image Q 1 (X ', y z
  • the rotation amount estimation unit 35 is a spherical image Q 1 obtained by mapping a plurality of images respectively obtained from n cameras 13 3 A to 1 3 n ′ into a spherical surface having a radius of 2.5 m, for example. 'And assume that the templates TP 1 and TP 2 have moved on the spherical surface of the spherical image Q 1. In other words, the rotation amount estimation unit 3 5 determines the position of the template T P 1 of the previous frame before the rotation in a three-dimensional manner when calculating the rotation on the three-dimensional coordinates.
  • the set of 3D coordinates (x, y, z) and (x ', y', z ') contains an incorrect de-overnight component.
  • the first condition is that the image changes only due to the rotation of cameras 13 A to 13 n (depending on the translation or movement of cameras 13 A to 13 n) There is no change) and the second condition is that the imaging target is sufficiently far from the camera 1 3 A to 1 3 n (several meters or more) (the lens center of the camera 1 3 A to 1 3 n is shifted Therefore, if the position is too close, the error with the model used for the calibration will increase.) If the image does not satisfy the above condition, or if the pattern matching fails for some reason, etc.
  • the rotation amount estimation unit 35 can estimate the rotation amount between the previous frame and the latest frame by performing the estimation by the least square method with the incorrect component removed.
  • the rotation information RT 1 representing the rotation amount thus obtained is sent to the spherical image generation unit 19 and the tracking unit 20.
  • the rotation amount estimation unit 35 When calculating the rotation amount of the latest frame, the rotation amount estimation unit 35 needs to obtain not only the rotation amount from the previous frame but also the total rotation amount accumulated from the first frame as a reference.
  • the rotation amount calculation processing procedure using the optical kerf of the rotation amount calculation unit 18 will be described with reference to the flowchart of FIG.
  • the rotation amount calculation unit 1 8 enters from the start step of the routine RT 1 and proceeds to the next step SP 1 to obtain an image data group VG 1 ′ (images in multiple directions) obtained from n cameras 1 3 A to 13 n. And go to the next step SP2.
  • step SP 2 the rotation amount calculation unit 18 converts each image data of the image data group VG 1 into an RGB signal of 1024 x 768 pixels by the image conversion unit 31, and rotates it in the next step SP 3.
  • the quantity calculation unit 18 converts the RGB signal into a luminance signal Y of 5 1 2 x 384 pixels by the image conversion unit 31, and proceeds to the next step SP 4.
  • step SP4 the rotation amount calculation unit 18 uses the luminance signal Y to determine whether or not the 25 templates TP consisting of 16 ⁇ 16 pixels in the previous frame are suitable for pattern matching, Move to next step SP 5
  • step SP5 the rotation amount calculation unit 18 changes the position of the template TP1 in the previous frame determined to be appropriate in step SP4 and the appropriate template TP2 in the next latest frame following the previous frame. That is, the amount of movement from template TP 1 to template TP 2) is calculated, and the process proceeds to the next step SP 6.
  • step SP6 the rotation amount calculation unit 18, the template of the latest frame determined to be suitable for pattern matching in step SP4, saves TP2 for use in the next pattern matching. Move to next step SP 7.
  • step SP 7 the rotation amount calculation unit 1 8 converts the position of the template TP 1 of the previous frame into three-dimensional coordinates (x, y, z), and sets the position of the template TP 2 of the latest frame after rotation to 3 Convert to dimensional coordinates (X ', y', z ') and move to next step SP8.
  • step SP8 the rotation amount calculation unit 18 estimates the rotation amount between frames by obtaining the coefficients A, B, and C of the equations (1) to (3) by the least square method, and rotates this. Calculate as information RT 1, move to next step SP 9 and end the rotation amount calculation processing procedure.
  • the spherical image generator 19 is an image supplied from the image capture unit 1.5.
  • a spherical image Q 1 is generated by connecting the images of V G 1, and this is sent to the image specific area cutout display unit 21.
  • the tracking unit 20 in the image data group VG 1 Based on the image data group VG 1 supplied from the image capturing unit 15 and the target specifying signal TG 1 supplied from the target specifying unit 16, the tracking unit 20 in the image data group VG 1 The target object desired by the observer is tracked from each image and specified for tracking display, and the evening target position information TGP indicating the target object is sent to the image specific area cutout display unit 21.
  • the target position information TGP is set according to whether the evening target identifying signal TG 1 supplied from the evening target identifying unit 16 is based on the color designation or the pattern designation.
  • the processing content for generation is different, and the circuit configuration is suitable for each processing.
  • the tracking unit 20 uses the image data group VG 1 supplied from the image capturing unit 15 as the background difference processing unit 4 1 when the target identification signal TG 1 is specified by ⁇ . To enter.
  • the background difference processing unit 41 removes the background portion by extracting the difference between the previous frame image and the latest frame image in the image data group VG 1 and extracts only the moving portion. Is sent to the color extraction processing unit 4 2.
  • the background difference processing unit 41 removes the background part by extracting the difference between the image of the previous frame and the image of the latest frame in the image group VG 1 and extracts only the moving part. At this time, the rotation amount of the latest frame with respect to the previous frame is canceled based on the rotation information T 1 supplied from the rotation amount calculation unit 18.
  • the background difference processing unit 4 can reduce the amount of computation when removing the background part by taking the difference between the image of the previous frame and the image of the latest 7 frames, and the moving part data D 1 can be reduced.
  • the amount of computation and the computation processing time until extraction can be shortened.
  • the color extraction processing unit.4 2 is the motion partial data as shown in FIG. 14 when the evening target identifying signal TG 1 supplied from the evening target identifying unit 16 represents the color information of the object.
  • the object area 0 BA 1 having the color information is extracted from D 1 and sent to the center of gravity estimation unit 43.
  • the center-of-gravity estimation unit 43 estimates the center-of-gravity position G 1 of the object area O B A 1, and sends the center-of-gravity position G 1 to the highlighting display unit 44 as evening get position information T G P representing the center of the object.
  • the highlighting unit 44 recognizes the object area 0 BA 1 based on the evening-target position information TGP, and performs at least color tone processing, contour emphasis processing, or light / dark processing on the object area 0 BA 1. By applying one of the highlighting processes, the object that is the target of the tracking target is highlighted, and It can be recognized instantly.
  • the highlighting section 44 sends the evening-gated position information TGP to the image specific area cut-out display section 21.
  • the image specific area cut-out display unit 21 is an object region highlighted by the tracking unit 20 based on the spherical image Q 1 generated by the spherical image generation unit 19 and the evening get position information TGP.
  • An arrangement relationship with OBA 1 is obtained, an image area corresponding to the object area 0 BA 1 is set based on the arrangement relation, and the object area OBA 1 is a substantially central area of the spherical image Q 1.
  • the tracking image TGV focused on the object area 0 BA 1 is generated by cutting out the image part centering on the object area 0 BA 1 and No transmission from the evening face 2 2 to the notebook PC 1 2.
  • the image specific area cutout display unit 21 is supplied from the spherical image generation unit 19 when the desired object is not specified (color designation or pattern designation) by the observer.
  • the spherical image Q 1 is transmitted as it is from the wireless communication interface 2 2 to the personal computer 1 2 wirelessly.
  • the notebook PC 12 (Fig. 5) is designed to generate multiple tracking images TGV tracked for each target object and display them simultaneously on the display when multiple targets are specified. As a result, a plurality of tracking images TGV for a plurality of objects can be visually confirmed simultaneously by a monitor. .
  • the spherical image Q 1 is wirelessly transmitted from the wireless communication interface 2 2 to the notebook computer 12, and the monitor is displayed on the spherical image Q 1 displayed on the display by the notebook computer 12. It is possible to specify a desired object.
  • the notebook computer 1 2 (FIG. 5) holds identification information of the cameras 13 3 A to l 3 n that output images in multiple directions constituting the spherical image Q 1, and the spherical image Q 1 is temporarily held in a still image state according to the supervisor's instruction.
  • a supervisor (a desired object is designated from here), the designation signal S 1 and identification information are wirelessly transmitted to the indoor condition confirmation ball 11.
  • the image processing unit 14 of the indoor status confirmation ball 1 1 receives the designation signal S 1 and the identification information via the wireless communication interface 2 2, the image specific area cutout display unit 2 1 displays the designation signal S 1 and the identification information. Based on the identification information, the cameras 13 3 A to 13 n that output an image including the object area 0 BA 1 of the object specified in S 1 are specified.
  • the image specific area cutout display unit 2 1 uses the camera 1 3 A to 1 3 ⁇ specified based on the identification information to temporarily hold the spherical image Q 1 in the still image state and the specified signal S 1
  • the spherical image of the object area 0 BA 1 specified by the specification signal S 1 by tracking the temporal transition by counting the difference in the number of frames from the spherical image Q 1. Calculated 1 9 ⁇ 0
  • the image specific area cut-out display unit 21 recognizes the current arrangement of the object area 0 BA 1 in the spherical image Q 1 and sets an image area corresponding to the object area 0 BA 1 of the current arrangement, A tracking image TGV focused on the object area 0 BA 1 is generated by cutting out an image portion in which the object area 0 BA 1 is positioned so as to be approximately the center of the spherical image ⁇ 3 1, and this is generated wirelessly.
  • the notebook PC 1 2 displays a tracking H image in which the object area 0 BA 1 of the object specified on the spherical image Q 1 in the still image state is tracked as an evening target on the display. This allows the object to be visually confirmed in real time.
  • the tracking unit 20 is supplied from the image capturing unit 15 when the evening specific signal TG 1 is based on the pattern designation.
  • the supplied image data group VG 1 is input to the pattern 'matching unit 46.
  • the tracking unit 20 also sends the evening get identification signal TG 1 supplied from the evening get identification unit 16 to the pattern update unit 47 located at the next stage of the pattern matching unit 46.
  • the pattern update unit 47 downloads the pattern of the object specified by the monitor that can be specified based on the target specifying signal TG 1, and feeds back the pattern to the pattern matching unit 46.
  • the pattern matching unit 46 extracts the object specified by the supervisor by pattern matching using the pattern supplied from the pattern update unit 47 to the latest frame image in the image data group VG 1.
  • Target position information TGP indicating the center of gravity G 1 (Fig. 1'4) of the object area 0 BA1 is generated and sent to the highlight section 48, and the pattern of the object area 0 BA 1 is It is sent to the pattern update unit 47 to be updated as the latest pattern NP, and the target pattern is updated again with the latest pattern NP.
  • the pattern matching unit 46 As with the background difference processing unit 4 1 (FIG. 13), the rotation information supplied from the rotation amount calculation unit 18 when performing pattern matching with the image of the latest frame in the image data group VG 1 Based on RT 1, the rotation for the image of the latest frame is canceled. As a result, the pattern matching unit 46 can reduce the amount of computation when performing pattern matching with the image of the latest frame as much as possible, thereby shortening the amount of computation and the processing time.
  • the highlighting unit 48 recognizes the object area 0 BA1 (FIG. 14) based on the sunset-target position information TGP, and at least one of color tone processing, contour enhancement processing, and light / dark processing is performed on the object region OBA1. By applying the highlighting process, it is possible to highlight the evening target to be tracked and allow the observer to recognize it instantly.
  • Target position information TGP is sent to the image specific area cutout display 21.
  • the image specific area cut-out display unit 21 is an object that is highlighted by the tracking unit 20 based on the spherical image Q 1 generated by the spherical image generation unit 19 and the evening gate position information TGP.
  • the arrangement relation with the area 0 BA 1 is obtained, the image area corresponding to the object area 0 BA1 is set based on the arrangement relation, and the object area OBA1 is an almost central area of the spherical image Q 1.
  • the tracking image TGV focused on the target object area 0 B A1 is generated by cutting out the image portion centered on the target object area OBA1, and this is generated as a wireless communication interface 2 Wireless transmission from 2 to No. 1 PC 1 2
  • the image special area cutout display unit 21 stores the spherical image Q 1 supplied from the spherical image generation unit 19 as it is when the desired object is not designated (color designation or pattern designation) by the monitor. In this state, wireless transmission from the wireless communication interface 22 to the notebook computer 12 is performed.
  • the image processing unit 14 of the indoor situation confirmation ball 11 obtains an arrangement relationship between the plurality of object areas OBA1 and the all-round images constituting the spherical image Q1. Based on the arrangement relationship, the plurality of object areas 0 B A1 are arranged so as to be almost the center area of the spherical image Q 1, respectively, and the plurality of object areas 0 BA1 are the almost center area of the spherical image Q 1 Each of the image portions arranged on the spherical image Q 1 is cut out from the spherical image Q 1 to generate tracking images T GV each focused on the object area OBA 1, and these are generated on the display of the notebook computer 12. In this way, it is possible to display a plurality of tracking images TGV for a plurality of objects at the same time. (2-3) Tracking procedure for multiple evenings
  • the image processing unit 14 of the indoor status check ball 1 1 enters from the start step of the routine RT 2 and proceeds to the next step SP 1 1 where the image data captured by the n cameras 1 3A to 1 3 n Acquire VG 1 (multi-directional image data) from the image capture unit 15 and go to the next step SP 1 2.
  • step S P 13 the image processing unit 14 removes the background portion by the background difference processing unit 41 of the tracking unit 20 and extracts only the motion portion data D 1, and proceeds to the next step S P 13.
  • step SP13 the image processing units 1 and 4 perform the object having the color information designated by the color extraction processing unit 42 from the motion part data D1 based on the gait identification signal TG1. Extract material area 0 BA1 and move to the next step SP14.
  • step SP14 when there are a plurality of object areas OBA1 having color information of the same color, the image processing unit 14 searches for the one with the largest area, and in step SP15, determines the largest area.
  • Target object area 0 Obtain the center of gravity position G1 of BA1 and go to the next step SP1 6.
  • step SP16 the image processing unit 14 recognizes the center of gravity position G1 as the center of the object area 0 BA1, converts the center of gravity position G1 into the three-dimensional coordinates on the spherical image Q1, and the next step SP Move to 17.
  • step SP 17 the image processing unit 14 determines whether or not the processing from step SP 13 to step SP 16 has been performed for all other specified colors. If a negative result is obtained here, the image processing unit 14 returns to step SP 1 3 to overlap the object area 0 BA1 for all the specified colors. Recognize the heart position G 1 as the center of the evening, and continue processing until the center of gravity position G 1 is converted to 3D coordinates on the spherical image Q i.
  • step SP 1 7 if a positive result is obtained in step SP 1 7, this means that the center of gravity G 1 of the object area OBA 1 is recognized as the center of the evening gate for all the specified colors. This indicates that the center of gravity position G 1 has been converted to the three-dimensional coordinates on the spherical image Q 1, and at this time, the image processing unit 14 proceeds to the next step SP 1 8.
  • step SP 18 the image processing unit 14 maps each of these images onto the surface of the sphere using the image data group VG 1 (multi-directional image display) acquired in step SP 11.
  • a spherical image Q 1 is generated as if the image exists in all directions when viewed from the center of the sphere, and the positional relationship between the spherical image Q 1 and the object area OBA 1 corresponding to each color is determined.
  • the object area 0 BA 1 is arranged so that it is approximately the center area of the spherical image Q 1 based on the arrangement relation, and the image portion centered on the object area O BA 1 is cut out, A tracking image TGV with focus on the object area OBA 1 is generated, wirelessly transmitted from the wireless communication interface 2 2 to the notebook PC 1 2, and then the process proceeds to the next step SP 1 9 Exit.
  • the indoor status check ball 1 1 if the indoor status check ball 1 1 is thrown into a collapsed building at the disaster site, for example, 'the indoor status check ball 1 1 rolls with n forces 1 3 A to the camera 1 3 n Since an omnidirectional image (multi-directional image) can be acquired and a spherical image Q1 can be generated based on the omnidirectional image, a rescue crew enters the collapsed building and visually observes the surrounding situation from there. Spherical image Q 1 as if it was confirmed can be visually confirmed by the monitor of notebook computer 1 2. At this time, the indoor status check ball 11 1 rotates from the reference frame for the images in multiple directions obtained from the n cameras 1 3 A to 1 3 n as the ball 1 1 A rotates.
  • the rotation amount calculation unit 1 8 of the image processing unit 14 calculates the rotation amount from the reference frame, and the next frame, the next frame, and the next frame are further calculated from the reference frame. For the frame, by correcting the amount of rotation from the reference frame, a spherical image Q 1 as if taken with the same posture with a single camera is generated and displayed on the notebook computer 12. be able to.
  • the notebook personal computer 12 can allow the observer to visually check the moving image as if it were taken from the same posture with a single camera via the spherical image Q1. '
  • the indoor situation monitoring system 10 also tracks each object area OBA 1 of the object specified as multiple targets, obtains the positional relationship between the object area OBA 1 and the spherical image Q 1, and Based on the placement relationship, the gravity center position G 1 of the object area 0 BA 1 is arranged so as to be substantially the center area of the spherical image Q 1, and the image portion centered on the object area 0 BA 1 is cut out.
  • Target object area ⁇ Tracking image TGV focused on BA 1 is generated for each color and wirelessly transmitted to notebook computer 12 2, so that multiple images can be simultaneously transmitted via the display of notebook computer 12.
  • the target object can be displayed as “King”. .
  • the indoor status monitoring system 1 0 By highlighting the object area 0 BA 1, it is possible to find at a glance the evening target that the observer is interested in from a plurality of objects, and track and display the track. During this time, it is possible to prevent the observer from losing sight of the object.
  • a spherical surface is obtained based on a multi-directional image full of a sense of presence around the site acquired by the indoor situation confirmation ball 11 1 that can be moved and rotated in various ways.
  • An image Q 1 is generated, and a plurality of objects desired by the observer are tracked and tracked from the spherical image Q 1 so as to make it easy for the observer to see the evening target of the object of interest. Can be provided respectively.
  • FIG. 17 in which parts corresponding to those in FIG. 5 are assigned the same reference numerals, 50 is the second embodiment as a whole.
  • the capsule endoscope system in Fig. 1 shows the capsule endoscope 51 corresponding to the object surface distribution camera 1 (Fig. 1) and the capsule endoscope 51. It is composed of a notebook computer 1 2 that receives and displays the spherical image Q 1 obtained by capturing and synthesizing the image.
  • This capsule endoscope 51 has an omnidirectional image (multiple images) of the human body space by n cameras 1 3 arranged on the surface of a sphere 53 provided inside the transparent cover 52 at the tip of the capsule.
  • the camera is arranged in advance so that the image of the direction) can be picked up, and the connected positional relationship of the images is calibrated.
  • This capsule endoscope system 50 can be used to create an internal view of the stomach, digestive organs, etc. captured by ⁇ cameras 13 only by swallowing a force-pell endoscope 51. It was designed to show in real time on the display.
  • the capsule endoscope system 50 is an extracorporeal magnetic field in which opposed electromagnets capable of producing a uniform magnetic field are arranged in three directions ( ⁇ , ⁇ , ⁇ ) in the vertical, horizontal, and height directions.
  • a magnetic field negative pole / S pole
  • the capsule body 51 in the capsule endoscope 51 is connected to the capsule via the inner magnet 6 1 of the capsule.
  • the endoscope 5 1 is directed to an arbitrary direction, and an external rotating magnetic field RJ is created by the magnetic field in the arbitrary direction, and the capsule body 5 1 is rotated to be provided on the outer surface of the capsule body 5 1 A.
  • the spiral helix 54 can generate the driving force of the capsule endoscope 51.
  • the capsule endoscope system 50 can freely control the forward and backward movement and the traveling direction with respect to the capsule endoscope 51, it can approach the target site in the human body or can observe the human body. And the position can be adjusted. '
  • the capsule endoscope 51 is a small battery built in the capsule body 51. To supply power to the image processing unit 14.
  • the circuit configuration of the image processing unit 14 is almost the same as that of the image processing unit 14 of the indoor state confirmation ball 11 in the first embodiment.
  • the p-pessel endoscope 5 1 is an image processing unit 14 that captures image data VG 1 (image data in multiple directions) obtained from n cameras 1 3 A to 1 3 n respectively.
  • 1 Input the image group VG 1 into the image capture unit 1 5 through the image capture unit 1 5 to the evening get identification unit 1 6, rotation amount calculation unit 1 8, spherical image generation unit 1 9 and It is sent to the racking section 20. '
  • the image fi processing unit 14 has a calibration information holding unit 1 7, 'The calibration information CB 1 is obtained from the calibration information holding unit 17 and the rotation amount calculating unit 18 and spherical image generation Send to Part 1 9
  • the evening target identifying unit 16 wirelessly transmits the image data group VG 1 supplied from the image capturing unit 15 to the notebook computer 12 via the wireless communication interface 22.
  • the notebook PC 1 2 receives the image group VG 1 wirelessly transmitted from the capsule endoscope 51 and displays on the display an image representing the situation inside the human body corresponding to the image group VG 1.
  • the specified signal S 1 indicating the predetermined site is generated by wirelessly transmitting to the capsule endoscope 51 by displaying and specifying a predetermined site in the human body displayed in the image with a mouse or the like. .
  • the image processing unit 14 of the force pusher endoscope 5 1 receives the designation signal S 1 from the notebook computer 12 via the wireless communication interface 2 2, and sends the designation signal S 1 to the target identification unit. 1 Send to 6.
  • the evening target identifying unit 16 is designated by the monitor from the image data group VG 1 supplied from the image capturing unit 15 5 based on the designation signal S 1 supplied from the notebook computer 12.
  • a specific part of the specified color is specified as an evening target, or a predetermined part of a pattern designated by the monitor is specified as an evening target, and a target specifying signal TG 1 indicating the specified predetermined part Is sent to the tracking unit 20.
  • the rotation amount calculation unit 18 of the capsule endoscope 51 includes the calibration information CB 1 supplied from the calibration information holding unit 17 and the image data supplied from the image capturing unit 15. Based on the overnight group VG 1, when the capsule endoscope 51 is propelled or rotated, the rotation amount of the next frame following any reference image frame is calculated sequentially. .
  • the calibration information CB 1 forms a spherical image Q 1
  • the geometric information and n cameras 1 3 A to 13 n arranged on the sphere surface are obtained respectively.
  • This is information that represents the positional relationship when omnidirectional images in the human body are connected, and the image processing unit 14 displays images in multiple directions obtained from the cameras 13A to 13 n according to this calibration information CB1. By connecting them, a seamless spherical image Q 1 with no seams and no distortion can be generated.
  • the calibration information holding unit 17 knows the connection positional relationship when images in multiple directions obtained from n cameras 1 3A to 1 3 n are connected as the calibration information CB 1 and monitors it. It can be calibrated later by the user's operation. In particular, the images captured by the n cameras 13 A to 13 n are partially superimposed, and are connected based on the calibration information CB 1 so that there is no seam and distortion. No seamless connected image, ie spherical image Q 1 is generated. .
  • the rotation amount calculation unit 18 inputs each image data of the image data group VG 1 supplied from the image capturing unit 15 to the image conversion unit 31 as shown in FIG.
  • the image conversion unit 3 1 converts each image data of the image data group VG 1 into a RGB signal of 102 4 X: 768 pixels, and converts it into a luminance signal Y of 5 1 2 x 384 pixels.
  • the luminance signal Y is converted and sent to the template determination unit 32.
  • the image converter 31 converts the R GB signal into the luminance signal Y. This is because the amount of calculation increases if the R GB signal is calculated as a unit when calculating the amount of rotation. In order to reduce this, RGB signals are stored separately.
  • the template determination unit 32 uses the luminance signal Y to generate 25 templates TP 1 consisting of 16 ⁇ 16 pixels in the previous frame. Whether or not is suitable for pattern matching is determined. Pattern matching is performed by searching for the minimum value of SAD based on an appropriate template TP 1 in the previous frame as shown in Fig. 11. Thus, the template corresponding to the template TP 1 in the latest frame following the previous frame is used. This is done by detecting the position of TP 2 (ie, the amount of movement from template TP 1 to TP 2). This search is performed by a two-step search, a coarse search in units of 4 pixels and a dense search in units of 1 pixel, thereby speeding up pattern matching.
  • the template determination unit 3 2 determines the templates TP 1 and TP 2 suitable for pattern matching out of the 25 templates TP 1 and TP 2, and selects the selected template ⁇ ⁇ 1 and ⁇ ⁇ ⁇ ⁇ ⁇ Template information for identifying 2 ⁇ 1 is sent to the pattern matching unit 3 3. At this time, the template determination unit 3 2 stores the template information ⁇ 1 for use in the next frame. '
  • the pattern matching unit 3 3 uses the templates ⁇ ⁇ 1 and ⁇ ⁇ 2 that are suitable for pattern matching based on the template information ⁇ 1 from the template determination unit 3 2, and the template ⁇ ⁇ 1
  • the position change of the latest frame template ⁇ ⁇ 2 and the amount of movement is detected by pattern matching, and the detection result S 2 is sent to the coordinate conversion unit 3 4
  • the coordinate conversion unit 3 4 is the calibration information. Based on the calibration information CB 1 supplied from the holding unit 1 7, the connected positional relationship for forming the spherical image Q 1 is grasped as a three-dimensional coordinate, and the template in the previous frame is obtained.
  • the rotation amount estimation unit 35 has a spherical image Q 1 obtained by mapping a plurality of images obtained from n cameras 13 A to 13 n, for example, into a spherical surface having a radius of 2.5 m. Assuming that spherical image Q 1 is a template on the spherical surface
  • the spherical image generation unit 19 includes the image data group VG 1 supplied from the image capture unit 15, the calibration information holding unit 1, the calibration information CB 1 and the rotation amount calculation unit 1 8
  • a spherical image Q 1 is generated by concatenating each image in the image group VG 1 captured by n cameras 1 3 8 to 1 3 n based on the rotation information RT 1 supplied from This is sent to the image specific area cutout display section 21.
  • the tracking unit 20 includes an image data group VG 1 supplied from the image capturing unit 15 and an evening get: the evening specifying unit 16 from the evening get specifying signal TG 1. Evening group VG 1 identifies the desired part of the human body for the tracking display from each image in VG 1 and sends the evening target position information TGP indicating the predetermined part to the image specific area cutout display unit 21 Yes
  • the evening get identification signal TG 1 supplied from the evening get identification unit 16 is set according to the color designation and the pattern designation.
  • the processing contents of 'To generate get position information T GP' differ, and the circuit configuration is suitable for each processing.
  • the circuit configuration is shown in Figs. Since it is as shown in FIG. 5, its description is omitted here.
  • the highlighting unit 44 (Fig. 13) of the tracking unit 20 recognizes the object area OBA1 (Fig. 14) corresponding to the predetermined part based on the target position information TGP, and the object area OBA1 By highlighting at least one of color tone processing, contour emphasis processing, or lightness processing, a predetermined portion that is an evening target of tracking is made to stand out and recognized instantly by a monitor. It is made to be able to let you.
  • the highlighting section 44 sends this evening get position information TGP to the image specific area cutout display section 21.
  • the clipping display unit 2 1 is a highlighting process by the tracking unit 20 based on the spherical image Q 1 generated by the spherical image generation unit 19 and the evening position information TGP. Is determined to be related to the target object area OBA1, and an image area corresponding to the target object area 0 BA1 is set based on the arrangement relation. 1 is located almost in the center area, and by cutting out the image area centering on the object area 0 BA1, a tracking image TGV focused on the object area 0 BA1 is generated and wirelessly generated. Wireless transmission from communication interface 22 to notebook PC 1 2.
  • the image specific area cutout display unit 21 is configured so that the spherical image Q 1 supplied from the spherical image generation unit 19 is left as it is when a predetermined part is not designated by the monitor. Wireless transmission from face 22 to notebook PC.
  • the personal computer 1 2 when a plurality of predetermined parts in the human body to be monitored are designated, a plurality of tracking images T GV tracked for each of the predetermined parts are displayed on the display. It is designed to be able to display at the same time.
  • the image T GV can be checked at the same time by the observer.
  • the spherical image Q 1 is wirelessly transmitted from the wireless communication interface 2 2 to the wireless personal computer 1 2 and displayed on the display by the wireless personal computer 1 2. On the image Q1, it is possible to specify a predetermined part in the human body desired by the observer.
  • the notebook computer 1 2 holds the identification information of the cameras 1 3 A to 1 3 n that output images in multiple directions constituting the spherical image Q 1. Is temporarily held in the still image state according to the instruction of the image, and when a desired predetermined part is designated by the observer on the spherical image Q 1 in the still image state, the designation signal S 1. and the identification information are Wireless transmission to capsule endoscope 5 1
  • the image processing unit 14 of the force pusher endoscope 5 1 Upon receiving the designation signal S 1 and the identification information via the wireless communication interface 2 2, the image processing unit 14 of the force pusher endoscope 5 1 receives the designation signal from the image specific area extraction display unit 2 1. Based on the identification information, the cameras 13 A to 13 n outputting the image including the object of the predetermined part designated by S 1 and the area 0 BA 1 are specified. '.
  • Image specific area cutout display unit 2 1 receives spherical image Q 1 temporarily stored in a still image state and designation signal S 1 by cameras 1 3 A to 1 3 n specified based on the identification information. Count the difference in the number of frames between the current spherical image Q 1 and track the temporal transition to calculate the current location in the spherical image Q 1 of the object area OBA 1 specified by the specified signal S 1 .
  • the image specific area cutout display unit 21 recognizes the current arrangement of the object area OBA 1 in the spherical image Q 1, sets an image area corresponding to the object area 0 BA 1 of the current arrangement, and A tracking image TGV focused on the object area OBA 1 is generated by cutting out an image portion in which the object area 0 BA 1 is positioned approximately at the center of the spherical image Q 1.
  • Wireless transmission from evening face 2 2 to laptop 1 2 the notebook PC 1 2 displays a tracking image on the display, tracking the target area 0 BA1 of the specified part of the human body specified on the spherical image Q 1 in the still image state on the display, to the monitor.
  • the predetermined part can be visually checked in real time.
  • the image processing unit 14 of the capsule endoscope 51 obtains an arrangement relationship between a plurality of object regions OBA1 and the spherical image Q1 when a plurality of predetermined parts in the human body are designated.
  • a tracking image TGV with the focus on the multiple object areas 0 BA1 is generated, and these can be displayed simultaneously on the display of the laptop computer 12.
  • a plurality of tracking images TGV for a plurality of predetermined parts can be simultaneously visually confirmed by a monitor.
  • the capsule endoscope 51 when the capsule endoscope 51 enters the human body, the capsule endoscope 51 rotates while the camera 1 3 A ⁇ Camera 13 n can be used to acquire an omnidirectional image of the human body and generate a spherical image Q 1 representing the human body. It is as if the surrounding situation is visually confirmed from the human body. The spherical image Q 1 can be visually confirmed by the supervisor via the notebook computer 12. .
  • the capsule endoscope 51 also rotates from the reference frame for images in a plurality of directions obtained from the cameras 13 A to 13 n.
  • the rotation amount calculation unit 1 8 of the image processing unit 14 calculates the rotation amount from the reference frame, and the next frame, the next frame, and the next frame are also calculated from the reference frame. By correcting the amount of rotation, a spherical image Q 1 as if it was taken with the same posture with a single camera can be generated and displayed on the notebook computer 12.
  • the capsule endoscope system 50 tracks each of the object areas 0 BA 1 of a plurality of parts designated as evening targets, and the positional relationship between the object area OBA 1 and the spherical image Q 1 Based on the relevant relationship, place the center of gravity G 1 of the object area 0 BA 1 so that it is almost the center area of the spherical image Q 1 Is extracted from the spherical image Q 1 to generate a tracking image TGV focused on the object area 0 BA 1 for each color (that is, a predetermined part), and these are wirelessly transmitted to the notebook computer 12.
  • a plurality of predetermined parts can be tracked and displayed simultaneously via the display of the sort PC 12.
  • the capsule endoscope system 50 can display a high-resolution image full of sensation from a position close to the predetermined part while tracking the predetermined part in the human body, so the predetermined part is the affected part. Sometimes, the observer can visually check the condition of the affected area in detail.
  • the capsule endoscope system 50 highlights the object area OBA 1 of the predetermined part that the monitor pays attention to, so that a plurality of predetermined parts are selected. It is possible to find and get out at a glance the evening target that the monitor is interested in at a glance, and to prevent the monitor from losing sight of the predetermined part while tracking and displaying the rack. it can. .
  • the capsule endoscope system 50 generates the spherical image Q 1 from the omnidirectional image in the human body acquired by the capsule endoscope 51 that can be moved in various ways such as propulsion or rotation.
  • the capsule endoscope system 50 By tracking and displaying a plurality of predetermined parts of interest from the spherical image Q 1 in the spherical image Q 1, it is possible to provide each of the evening parts of the predetermined parts of interest in a form that is easy for the observer to view. .
  • This surveillance camera 71 is an omnidirectional image of the internal space of the ATM room 7 3 by n cameras 7 2 A to 7 2 n arranged on the surface of the hemisphere.
  • the camera layout is calibrated in advance so that (multi-directional images) can be captured.
  • the monitoring camera 71 As long as the hemispherical image Q2 can be generated, it is not always necessary to obtain images in a plurality of predetermined directions instead of an omnidirectional image, and n cameras 7 2 A to 7
  • the optical axis of 2n does not have to be on the extended line extending radially from the center of the hemisphere.
  • the surveillance camera 7 1 is rotatable and the cameras 7 '1 A to 7 1 n are fixed to the surface of the hemisphere, but the interior space of the ATM room 73 is entirely at an angle of view of 180 degrees.
  • the number and camera arrangement are calibrated so that azimuth images (images in multiple directions) can be acquired.
  • a surveillance camera 71 is installed in an ATM room 73, and a personal computer 5 is installed in a separate room, so that the monitor of the personal computer 75 can be connected to the ATM room. 7 3
  • the room conditions are projected in real time.
  • a surveillance camera 71 is provided, and the personal computer 75 in front of the bank. It is also possible to project passers-by who pass by in real time.
  • the security system 70 is connected to the surveillance camera 7 1 and the personal computer 7 5 via the communication interfaces 8 1 and 8 2.
  • Surveillance camera 7 1 which has a configuration connected to each other by a wired connection, is a group of image data VG 1 (multiple directions) obtained from n cameras 7 2 A to 7 2 n provided on the surface of the hemisphere. The image is sent to the personal computer 75 via the communication interface 8 1.
  • Personal Review 7 5 captures the image data group VG 1 received from the monitoring camera 7 1 via the communication interface 8 2 into the image capture unit 15 of the image processing unit 14, The image capturing unit 15 sends the image to the evening target identifying unit 16, the spherical image generating unit 19, and the tracking unit 20.
  • the image processing unit 14 of the personal computer 7 5 has a calibration information holding unit 1 7, and the calibration information holding unit 1 7
  • the calibration information CB 1 is sent to the spherical image and generator 1'9.
  • the evening get identifying unit 16 outputs the image data group VG 1 supplied from the image capturing unit 15 to the monitor 8 4 to output images in a plurality of directions captured by the monitoring camera 7 1.
  • the monitor 8 designates a predetermined portion representing the inside of the ATM room 7 3 existing in the image with the mouse 8 3
  • an evening target specifying signal TG 1 indicating the predetermined portion is generated and Lacking part 20 Sends out to 0.
  • the calibration information CB 1 is the geometrical information for calibrating the lens distortion of each camera 7 2 A to 7 2 n and the surface of the hemisphere to form the hemispherical image Q 2.
  • This is information that represents the connection position relationship when linking multiple images obtained from the n cameras 7 2 A to 7 2 n that are arranged, and the image processing unit 14 has this calibration information CB 1 According to ', a seamless and distortion-free hemispherical image Q 2 can be generated by connecting images in a plurality of directions obtained from the n cameras 7 2 A to 7 2 n. .
  • This calibration information holding unit 17 knows the connection position relationship when connecting a plurality of images obtained from n cameras 7 2 A to 7 2 n as calibration information CB 1.
  • the connection position relationship can be calibrated later by the operator's operation.
  • the images captured by the n cameras 7 2 A to 7 2 n are partially overlapped, and are connected based on the calibration information CB 1 so that there is no seam.
  • a seamless connected image without distortion, that is, a hemispherical image Q 2 is generated.
  • the spherical image generation unit 19 includes the camera group VG 1 supplied from the image capturing unit 15 and the carrier information CB 1 supplied from the calibration information holding unit 17 according to the camera information CB 1. 2 A ⁇ Image data group VG 1 captured by camera 2 2 n 2 is generated and sent to the image specific area cutout display unit 21.
  • the tracking unit 20 Based on the image data group VG 1 supplied from the image capture unit 15 and the evening get specifying signal TG 1 supplied from the evening get specifying unit 16, the tracking unit 20 performs image data conversion. A specified part in the ATM room 73 desired by the supervisor is identified for tracking display from each image in the group VG 1 and the sunset target position information T GP indicating the predetermined part is displayed to the image specific area cutout display part 21. Send it out.
  • the tracking unit 20 generates the evening / hull position information T GP according to whether the evening target identification signal TG 1 supplied from the target identification unit 16 is color designation or pattern designation.
  • the circuit configuration is as shown in Fig. 13 and Fig. 15 and the explanation is omitted here.
  • the tracking unit 20 in the third embodiment does not use the rotation information R T 1, the processing can be simplified for this point. '
  • the highlighting section 44 (FIG. 13) of the tracking section 20 recognizes the object area 0 B A1 corresponding to a predetermined part in the ATM room 73 based on the target position information T GP and recognizes the object area OBA1.
  • the emphasis display unit 44 sends the evening target position information TGP to the image specific area cutout display unit 21.
  • the image specific area cut-out display unit 21 is an object region highlighted by the racking unit 20 based on the hemispherical image Q 2 generated by the spherical image generation unit 19 and the target position information TGP. 0 An image corresponding to the object area 0 BA1 is obtained based on the arrangement relationship with BA1. An area is set, and the object area 0 BA 1 is arranged so as to be almost the center area of the hemispherical image Q 2, and the object area 0 BA 1 is arranged in the almost center area of the hemispherical image Q 2. By cutting out the portion from the hemispherical image Q 2, a tracking image TGV focused on the object area 0 BA 1 subjected to the highlighting process is generated and output to the monitor 84.
  • the image specific area cut-out display unit 21 keeps the hemispherical image Q 2 supplied from the spherical image generation unit 19 when the predetermined part in the ATM room 73 is not designated by the monitor. Output to monitor 8-4.
  • a plurality of tracking images TGV tracked for each of the predetermined parts are simultaneously displayed on the monitor 84.
  • a plurality of tracking image TGVs for a plurality of predetermined portions can be simultaneously checked by a monitor.
  • the image processing unit 14 of the personal computer 75 it is possible to designate a predetermined part in the A ⁇ M room 7 3 that the monitor wants to monitor on the hemispherical image Q 2 displayed on the monitor 84. is there.
  • the personal computer 7 5 holds the identification information of the cameras 7 2 A to 7 2 n that output the images in multiple directions constituting the hemispherical image Q 2. Accordingly, the hemispherical image Q 2 is temporarily held in a still image state, and a predetermined portion in the ATM room 7 3 is designated by the mouse 8 3 on the hemispherical image Q 2 in the still image state. Then, the designation signal S 1 and identification information are sent to the target identification unit 16.
  • the image processing unit 14 of the personal computer evening 5 uses the evening-target location information TGP for identifying a predetermined portion designated by the observer via the evening-target identifying unit 16 and the tracking unit 20.
  • Image specific area cutout display section 2 Outputs to 1.
  • the image specific area cutout display unit 21 identifies the cameras 13 A to 13 n that output images including the target area 0 BA 1 specified by the target position information T GP. Identify based on information.
  • the image specific area cut-out display unit 2 1 has a hemispherical image Q 2 temporarily held in a still image state by the cameras 1 3 A to 1 3 n specified based on the identification information, and a mouse 83 in the ATM room 73.
  • the object area specified by the mouse 83 0 B A1 hemisphere by counting the difference in the number of frames from the current hemispherical image Q 2 where a predetermined part of Calculate the current location in image Q2.
  • the image identification so-called area cutout display unit 21 recognizes the current position of the object area 0 B A1 in the hemispherical image Q 2 and recognizes the hemispherical image Q corresponding to the object area 0 BA 1 of the current position.
  • the image area of 2 is set, and the object area 0 BA1 is focused by cutting out the image portion arranged so that the object area 0 BA1 is almost the center area of the hemispherical image Q2.
  • a tracking image TGV is generated and output to the monitor 84.
  • the tracking image T GV ′ obtained by tracking the predetermined object region OBA1 in the ATM room 73 designated on the hemispherical image Q 2 as an evening gate is monitored 84. So that the monitor can visually confirm a predetermined part in the ATM room 73 in real time.
  • the image processing unit 14 of the personal computer 75 obtains an arrangement relationship between the plurality of object areas 0 BA1 and the hemispherical image Q2 when a plurality of predetermined portions in the ATM room 73 are designated.
  • the plurality of object areas 0 BA 1 are arranged so as to be substantially the center area of the hemispherical image Q 2 based on the arrangement relation, and the plurality of object areas 0 BA 1 arranged in this way are positioned at the center.
  • Each of the image parts is cut out from the hemispherical image Q 2 to obtain the tracking image TGV focused on the target area ⁇ BA 1.
  • Each of them can be generated and displayed on the monitor 84 at the same time. This allows the monitor to visually confirm the plurality of racking images TGV for a plurality of predetermined parts designated in the ATM room 73 at the same time. It is made to be able to do it.
  • the tracking process procedure for multiple targets for tracking and providing tracking for multiple evening targets when the specified parts specified in the ATM room 73 by the monitor are colored is also shown in the figure. Since it is as shown in FIG. 16, the description is omitted here for convenience.
  • the n cameras 72A to 72n in the surveillance camera 71 attached to the ceiling of the ATM room 73 are used to add to the indoor space of the ATM room 73.
  • a hemispherical image Q2 can be generated based on the omnidirectional image, and it is as if the situation inside the ATM room 73 is visually confirmed from inside the ATM room 73. Hemisphere image Q 2 can be presented to the observer.
  • the security system 0 also tracks the object area 0 BAl with respect to a predetermined part in the ATM room 73 that is designated as a plurality of targets, and determines the positional relationship between the object area 0 BA1 and the hemispherical image Q 2.
  • the center of gravity G 1 of the object area 0 BA1 is positioned so as to be approximately the center area of the hemispherical image Q 2 based on the arrangement relevance, and the image portion centered on the object area OBA1 is hemispherical.
  • Each of the images Q 2 is cut out to generate a tracking image TGV focused on the object area 0 BA1 for each predetermined portion in the ATM room 73 and output them to the monitor 84. Multiple predetermined parts can be tracked and displayed simultaneously via the.
  • the security system 70 While tracking a predetermined part, it is possible to display a high-resolution video close to the predetermined part, so that when there is an unauthorized user of ATM in the predetermined part, the supervisor details the unauthorized user. It can be visually confirmed. At that time, the security system 70 highlights the target area OBA 1 of the predetermined part that the supervisor is interested in, so that the evening spot that the supervisor notices from among the predetermined parts can be seen at a glance. It is possible to find out, and it is possible to prevent the observer from losing sight of the predetermined part while tracking and displaying the track.
  • the security system 70 generates the hemispherical image Q2 based on the omnidirectional image for the internal space of the ATM room 73 acquired by the surveillance camera 71, and the hemispherical image Q2 By tracking and displaying a plurality of predetermined parts that the monitor pays attention to from among them, it is possible to provide each of the predetermined parts of interest to the monitor in an easy-to-see form.
  • an image processing unit 14 is provided inside the indoor situation confirmation ball 11 (FIG. 6), and the spherical image Q 1 generated by the image processing unit 14 is used.
  • the present invention is not limited to this.
  • n cameras 1 3 A to 1 3 n and the image data group VG 1 (multi-directional images) captured by the cameras 1 3 A to 1 3 n to the notebook computer 1 2 A wireless communication interface 2 3 for wireless transmission is provided, and the wireless communication interface 2 4 for receiving the image data group VG 1 from the indoor status confirmation ball 1 1 on the notebook computer 12 2 and an image.
  • a processing unit 14 may be provided.
  • the notebook PC 1 2 can output the spherical image Q 1 generated by the image processing unit 1 4 to the display 2 5 for display.
  • the indoor situation monitoring system 10 is constructed by using the indoor situation confirmation ball 11 as an object surface distribution type camera 1 (FIG. 1).
  • the present invention is not limited to this, and is assumed to correspond to the object surface distribution type camera 1 (FIG. 1).
  • n cameras 13 A to 1 as shown in FIG. 3 n is a single ball with a camera provided on its surface 110 or a basketball with a camera 0 (not shown), or n cameras around the referee's head as shown in Fig. 24 1 3 A to 1 3 n Headband with camera with 1 n attached, or a cap with camera (not shown) with a camera provided not only around but also at the nodal part.
  • a spectator system may be constructed.
  • the image processing unit 1 is based on the electric power supplied from the bagtery 62 to the capsule endoscope 51 (FIG. 19) in the force-psel endoscope system 50.
  • the present invention is not limited to this, and the power receiving coil (not shown) inside the capsule body 51 A is shown by the principle of electromagnetic induction by a magnetic field generated from a coil arranged outside the human body. You may make it supply electric power.
  • n cameras' 1 3 A to 1 3 n and 7 1 A to 7 In are provided on the surface of the sphere.
  • the present invention is not limited to this.
  • a plurality of cameras are provided on each surface of a cube provided inside a sphere made of transparent acrylic, or a plurality of cameras are provided on the surface of a cube or other various polyhedrons.
  • multiple cameras may be provided on the same surface, and the target to be provided with the camera, the camera arrangement and the number do not necessarily have to be strictly defined. For example, as shown in FIG.
  • a camera 1 3 1 A is provided at the apex of the cylindrical body 1 3 2, and a plurality of cameras 1 3 2 B and 1 3 2 are provided on the peripheral side surface of the body 1 3 2.
  • Object surface distribution with C A type camera 1 3 0 may be used.
  • the images captured by these cameras are partially superimposed, and by performing image processing on these images, seamless spherical images Q 1 and hemispherical images Q 2 that have no joints and no distortion are obtained.
  • the tracking object displays the target object, target part, and target part desired by the observer from the spherical image Q 1 and the hemispherical image Q 2 in the still image state.
  • the present invention is not limited to this, and the object desired by the observer from the spherical image Q 1 and the hemispherical image Q 2 in the moving image state is described. It may be specified as an evening target when tracking and displaying objects, target parts and target parts.
  • the omnidirectional image in space is acquired by n cameras 1 3 A to 1 3 n.
  • the present invention is not limited to this, and an omnidirectional image in space can be acquired by mounting a rotation module inside the indoor situation confirmation ball 11 1 and rotating it spontaneously. Also good.
  • the image processing unit 14 is provided inside the capsule endoscope 51 so that the spherical image Q 1 and the tracking image TGV are wirelessly transmitted to the personal computer 12.
  • the present invention is not limited to this.
  • the capsule endoscope 5 1 is not provided with the image processing unit 14, and the notebook personal computer 1 2 is provided with the image processing unit 14, Only the omnidirectional image may be wirelessly transmitted from the endoscope 51 to the notebook computer 12 2, and the spherical image Q 1 and the tracking image TGV may be generated by the image processing unit 14 of the notebook computer 12.
  • n cameras 7 2 A to 7 2 n are fixedly attached to the surface of the hemisphere of the surveillance camera 71.
  • the present invention is not limited to this, and n cameras 7 2 A to 7 2 n are moved freely along the surface of the hemisphere on the assumption that the calibration is adjusted. It may be attached.
  • the surveillance camera 71 is provided with a plurality of power cameras 7 2 A to 7 2 n, and the personal computer 75 is provided with the image processing unit 14.
  • the present invention is not limited to this, and the surveillance camera 71 is provided with a plurality of cameras 7 2 A to 7 2 n and an image processing unit 14, and the final hemispherical image Q 2 and The tracking image TGV may be transmitted to the personal computer 75.
  • the present invention is not limited to this.
  • an omnidirectional image in the ATM room 73 may be acquired by suspending it from the ceiling so that it can be rotated using a spherical surveillance camera.
  • the image processing unit 14 is provided with a rotation amount calculation unit 18 as in the first and second embodiments, and the rotation information RT 1 from the rotation amount calculation unit 18 is generated as a spherical image. It may be supplied to the unit 19 and the tracking unit 20.
  • the captured image processing apparatus of the present invention is applied to the indoor condition monitoring system 10, the capsule endoscope system 50, and the security system 70.
  • the present invention is not limited to this, and may be applied to various other systems.
  • the present invention is not limited to this, and a part of the sphere. It is also possible to generate a spherical image lacking or a spherical image composed of a rugby ball-like sphere.
  • the camera 1 as a plurality of image sensors. 3 A to 1 3 n and 7 2 A to 7 2 n, spherical image generation unit 19 as' image linking means', 'sunset target specifying unit 16 as object specifying means, image as image processing means
  • the specific area cut-out display unit 21 is used to configure an indoor situation monitoring system 10 0, a capsule endoscope system 50, and a security system 70 as a captured image treatment device, the present invention has been described.
  • the present invention is not limited to this, and a captured image processing apparatus may be configured by a plurality of imaging elements, image connecting means, object specifying means, and image processing means having various other circuit configurations.
  • the isotactic image acquisition device of the present invention can be applied to various imaging systems that present an image with a sense of reality while imaging and tracking an imaging target from a close position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、指定した対象物を追跡して臨場感のある画像をリアルタイムで監視者に提供できるようにする。本発明は、少なくとも2つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数のカメラ13によって取得される複数の画像をつなき合わせることにより球面画像Q1を生成し、複数の画像の中から指定された対象物と、球面画像Q1との配置関連性を求め、その配置関連性に基づいて対象物を球面画像Q1の略中央領域に配置することにより、球面画像Q1のうち当該対象物にフォーカスを当てて追跡したトラッキング画像を提供することかできる。

Description

明 細 書 . イ ンタラクティ ブ画像取得装置 技術分野
本発明は、 インタラクティ ブ画像取得装置に関し、 例えば球状物体の表 面に渡って配置された全方位カメラにより撮像された画像のうち所望の対 象物を追従して トラッキング表示する場合に適用して好適なものである。 背景技術 ， ,
現在、 我々 生活空間には駅や街頭に多数のカメラが分散し、 またカメ ラ付携帯電話機等の普及により、 まさに 「ュビキ,タス」 空間が構築されつ つある社会となっている。 しかしながら、 これらのカメラの多ぐは空間中 の特定位置に固定されることが前提となっており、 定点観察が主なァプリ ケ一シヨンである。
研究の上では、 .位置が既知な複数のカメラの映像をネッ トワークで接続 し解析することにより特定の対象物を追跡することが行われている。 特に 、 カーネギーメロン大学では、 スタジアムの観客席に多数の固定カメラを 配置することにより任意視点の映像を合成することを試みている。
しかしながら、 何れの方法においても固定カメラを前提にレた手法であ ることには変わりなく、 カメラと撮像対象との距離が長くなるため解像度 の低下に直結する。 また、 複数のカメラによる任意視点の映像をリアル夕 ィムに合成することは計算量的に膨大であった。
また、 移動体に複数のカメラを装着する研究としては、 複合現実感の研 究の一環として自動車に複数のカメラを装着し、 その複数のカメラから得 られた画像を合成することにより都市の全方向映像のァーカイ ビングが行 われている。 しかし、 場所に応じた全方向映像を取得してはいるものの、 移動体上での映像の揺れを無くすための安定化やカメラの分散配置等の研 究は^だ行われていない。
一方、 車両にカメラを搭載して移動しながら対象物を撮影し、 そこから 三次元情報を抽出して三次元地図を生成するようになされた≡次元形状生 成装置がある （例えば、 特許文献 1参照） 。
さらに、 人に装着されたカメラにより定期的に映像を取得する研究も行 われているが、 それらはあく まで人の生活を記録したり、 所謂ライ フログ を目的としたものに過ぎない。 特許文献 1 特開 2Q05- 115420公報。 ところで、 例えばス夕ジアムに多数の固定カメラを配置することにより 任意視点の映像を合成する場合には、 固定カメラの位置から撮像対象まで の距離が非常に長いため解像度が低下すると共に、 撮像対象の近くで監視 者所望の対象物を追跡するような臨場感のある映像を監視者に提示するこ とはできないという問題があつた。 発明の開示
本発明は以上の点を考慮してなされたもので、 指定した対象物を追跡し て臨場感のある画像をリアルタイムで監視者に提供し得るィン夕ラクティ ブ画像取得装置を提案しょうとするものである。
かかる課題を解決するため本発の撮像画像処理装置においては、 少なく とも 2つ以上の撮像素子によって撮像された画像が部分的に重畳されるよ う複数方向を撮像可能に配置されると共に空間的に移動可能になされた複 数の撮像素子によって取得される複数の画像をつなぎ合わせ、 複数の撮像 素子によって撮像された画像の中から所望の対象物を指定し、 複数の画像 をつなぎ合わせた結果得られる連結画像と指定された対象物との配置関連 性を求め、 その配置関連性に基づいて対象物.を連結画像の略中央領域に配 置するようにする。
これにより、 複数方向を撮像可能に配置された複数の撮像素子によって 取得された複数の画像を基に連結することにより連結画像を生成し、 その 連結画像の中から指定された対象物と、 連結画像との配置関連性に基づい て対象物を連結画像の略中央領域に配置することができるので、 連結画像 のうち当該対象物にフオーカスを当てて追跡した画像を提供することがで ぎる。
また本発明の撮像画像処理装置においては、 少なく とも 2つ以上の撮像 素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可 能に配置される'と共に空間的に移動可能になされた複数の撮像素子と、 当 該複数の撮像素子によって取得された複数の画像をつなぎ合わせるための 画像連結手段と、 複数の撮像素子によって撮像された画像の中から所望の 対象物を指定するための対象物指定手段と、 複数の撮像素子に対して駆動 電力を供給す'るための電力供給手段と、 画像連結手段によって複数の画像 をつなぎ合わせた結果得られる連結画像と対象物指定手段によって指定さ れた対象物との配置関連性を求め、 その配置関連性に基づいて対象物を連 結画像の略中央領域に配置する画像処理手段とを設けるようにする。
これにより、 電力供給手段から供給される駆動電力'に基づいて単独で動 作し、 複数方向を撮像可能に配置された複数の撮像素子によって取得され た複数の画像を基に連結することにより連結画像を生成し、 その連結画像 の中から指定された対象物と、 連結画像との配置関連性に基づいて対象物 を連結画像の略中央領域に配置することができるので、 連結画像のうち当 該対象物にフォーカスを当てて追跡した画像を提供することができる。
さらに本発明の撮像画像処理装置においては、 監視対象となる所定の場 所に配置され、 少なく とも 2つ以上の撮像素子によって撮像された画像が 部分的に重畳されるよう複数方向を撮像可能に配置される複数の撮像素子 と、 当該複数の撮像素子によって取得された捧数の画像をつなぎ合わせる ためめ画像連結手段と、 複数の撮像素子によって撮像された画像の中から 所望の対象物を指定するための対象物指定手段と、 画像連結手段によって 複数の画像をつなぎ合わせた結果得られる連結画像と対象物指定手段によ つて指定された対象物との配置関連性を求め、 その配置関連性に基づいて 対象物を連結画像の略中央領域に配置する画像処理手段とを設けるように する。 ·
これにより、 監視対象となる所定の場所に配置され、 複数方向を撮像可 能な複数の撮像素子によって取得された複数の画像を基に連結することに より監視対象の場所を表した連結画像を生成し、 その連結画像の中から指 定された監視対象の場所に存在する対象物と、 連結画像との配置関連性に 基づいて対象物を連結画像の略中央領域に配置することができるので、 監 視対象の場所を表した連結画像のうち当該対象物にフォーカスを当てて追 跡した画像を提供することができる。
本発明によれば、 複数方向を撮像可能に配置された複数の撮像素子によ つて取得された複数の画像を基に連結することにより連結画像を生成し、 その連結画像の中から指定された対象物と、 連結画像との配詹関連性に基 づいて対象物を連結画像の略中央領域に配置することができるので、 連結 画像のうち当該対象物を追跡して臨場感のある画像をリアルタイムに提供 し得る撮像画像処置装置及び撮像画像処理方法を実現することができる。 また本発明によれば、 電力供給手段から供給される駆動電力に基づいて 独自に動作し、 複数方向を撮像可能に配置された複数の撮像素子によって 取得された複数の画像を基に連結することにより連結画像を生成し、 その 連結画像の中から指定された対象物と、 連結画像との配置関連性に基づい て対象物を連結画像の略中央領域に配置することができるので、 連結画像 のうち当該対象物を追跡して臨場感のある画像をリアルタイムに提供し得 る撮像画像処理装置を実現することができる。 さらに本発明によれば、 監視対象となる所定の場所に配置され、 複数方 向を ί梟像可能な複数の撮像素子によって取得された複数の画像を基に連結 することにより監視対象の場所を表した連結画像を生成し、 その連結画像 の中から指定された監視対象の場所に存在する対象物と、 連結画像との配 置関連性に基づいて対象物を連結画像の略中央領域に配置することができ るので、 監視対象の場所を表した連結画像のうち当該対象物を追跡して臨 場感のある画像をリアルタイムに提供し得る撮像画像処理装置を実現する ことができる。 図面の簡単な説明 ，
図 1は、 物^表面分布型カメラの概要の説明に供する略線図である。 図 2は、 物体表面分布型カメラのソース及びァゥ トプッ トの説明に供す る略線図である。
図 3は、 球面画像の説明に供する略線図である。
図 4は、 球面画像から抽出した 2次元画像の説明に供する略線図である 図 5は、 第 1の実施の形態における屋内状況監視システムの構成を示す 略線図である。
図 6は、 屋内状況確認ボールの回路構成を示す略線的プロック図である 図 7は、 回転量算出部の回路構成を示す略線的プロック図である。
図 8は、 テンプレートを示す略線図である。
図 9は、 適当なテンプレートの例の説明に供する略線図である。
図 1 0は、 適当でないテンプレートの例の説明に供する略線図である。 図 1 1は、 テンプレートのずれを計測する際の説明に供する略線図であ る
図 1 2は、 オプティカルフローによる回転量算出処理手順を示すフロー チャートである。 '
図 1' 3は、 トラッキング部の構成 （色指定） を示す略線的ブロック図で あ 。
図 1 4は、 対象物領域とその重心位置の説明に供する略線図である。 図 1 5は、 トラッキング部の構成 （パターン指定） を示す略線的ブロ ッ ク図である。 '
図 1 6は、 複数夕一ゲッ 卜の トラッキング処理手順を示すフローチヤ一 トである。
図 1 7は、 第 2の実施の形態における力プセル内視鏡システムの構成を 示す略線図である。 · 図 1 8は、 力'プセル内視鏡の推進力の説明に供する略線図である。
図 1 9は、 力プセル内視鏡の回路構成を示す略線的プロック図である。 図 2 0は、 第 3の実施の形態におけるセキュリティシステムの構成を示 す略線図である。
図 2 1は、 セキュリティシステムの回路構成を示す略線的プロック図で ある。
図 2 2は、 他の実施の形態における屋内状況確認ボールの回路構成を示 す略線的プロック図である。
. 図 2 3は、 他の実施の形態におけるカメラ付サッカーボールの構成を示 す略線図である。
図 2 4は、 他の実施の形態におけるカメラ付へッ ドバン ドの構成を示す 略線図である。
図 2 5は、 他の実施の形態における物体表面分布型カメラの構成を示す 略線図である。 発明を実施するための最良の形態
以下、 図面について、 本発明の一実施の形態を詳述する ( 1 ) 本発明の基本概念 · .
本^明におけるィンタラクティプ画像取得装置としての撮像画像処理装 置は、 例えば図 1に示すように球 2の表面に当該球 2を中心とした空間上 の全方位画像を隙間なく撮像できるように複数のカメラ （例えば C C D ( Charge Coupled Device)撮像素子） 3が配置された物体表面分布型カメ ラ 1を用い、 その物体表面分布型カメラ 1を撮像現場の中心に置き、 物体 表面分布型カメラ 1が移動したり或いは回転しながら、 複数のカメラ 3か ら得られる全方位画像を取得してリアルタイムに合成することにより、 あ たかも人間が知覚しているような空間像の映像を生成し、 その映像に含ま れる監視者所望の対象物を追跡して トラツキング表示し得るようになされ たものである。
ところで人間は 2つの眼球を持つが、 実際に知覚する視覚的な空間像は 単一である。 ハエ ト リグモは 8つの目を持ち、 ホ夕テ貝は外套膜に無数の 外套眼を持っているが何れも単一の空間像を知覚していると考えられてい る。 '
従来、 実質的に全方位画像を取得するためには例えば魚眼レンズや回転 双曲面鏡が用いられているが、 単一カメラで全方位画像を取得するため解 像度の点で難がある。 そこで本発明は、 ホ夕テ貝の外套眼のように物体表 面に複数のカメラを分散配置した物体表面分布型カメラ 1を用いることを 一つの特徴としている。
特に、 この物体表面分布型カメラ 1は、 少なく とも 2つ以上のカメラ 3 によって撮像された画像がそれそれ部分的に重畳されることにより全方位 画像を取得できるよう複数方向を撮像可能に配置されると共に、 当該物体 表 分布型カメラ 1が球状で転がり得る構成のため結果的にカメラ 3が空 間上を移動可能に設けられた構成となっている。
また人間は、 頭部運動時には前庭による角運動情報、 網膜上のォプティ カルフ口一情報に基づき網膜像の動きを補正して、 結果的に揺れのない空 間像として知覚することができる。'
本 ¾明の'撮像画像処理装置では、 移動或いは回転といった多様に運動可 能な物体表面分布型カメラ 1により取得される撮像現場周辺の臨場感に溢 れた全方位画像を人間が理解し易い形でかつリアルタイムに提供すること を目的としている。
すなわち本発明の撮像画像処理装置では、 複数のカメラ 3から取得した 全方位画像 （複数方向の画像） におけるオプティカルフロー情報や、 複数 のカメラ 3にそれぞれ装着されたジャィ口センサ等により検出する角速度 情報等に基づいて、 全方位画像における移動或いは回転による影響を補正 することにより、 あたかも単一のカメラにより同一姿勢で撮影しているか のような監視者に見易くかつ知得し易い映像として提示しょう とするもの である。
実際上、 撮像画像処理装置では、 図 2の左側 （ソース） に示すように、 物体表面分布型カメラ 1が回転したとき複数のカメラ 3のうちの一つから 取得した所定方向の画像についてもフレームが進むに連れて画像が回転し てしまうが、 その回転による影響を補正することにより、 図 2の右側 （ァ ゥ トプヅ ト） に示すように、 あたかも単一のカメラにより同一姿勢で撮影 しているかのような見易くかつ知得し易い映像として出力し得るようにな されている。
特に、 本発明の撮像画像処理装置は、 被写体を撮像する際の物体表面分 布型カメラ 1が移動或いは回転しながら全方位画像を複数のカメラ 3によ つて取得して回転による影響を補正しながら合成することにより、 図 3 ( A ) に示すような球体の表面に全方位画像がつぎ目なく貼り付けられたよ うな球面画像 Q 1を生成する。
そして撮像画像処理装置は、 図 3 ( B ) に示すように、 この球面画像 Q 1のうち監視者が監視を希望する対象物が含まれている部分の 2次元画像 V 1だけを切り出してディスプレイに表示したり、 また図 3 ( C ) に示す ように、 その 2次元画像 V 1から監視者のジョイスティ ック等の画像指示 デバイスによる入力操作に応じて例えば右方向へ視線を変更したかのよう な 2次元画像 V 2に切り換えてディスプレイに表示することができるよう になされており、 あたかも監視者が任意に視線を変更するかのような 「任 意視線」 画像を提示し得るようになされている。
この 「任意視線」 画像とは、 例えば球面画像 Q 1の中心に人間が位置し 、 そこから任意に視線を変えて周囲を見渡したときに、 当該球面画像 Q 1 の球体に貼り付けられている全方位画像のうちの一部を監視者が見るよう なイメージであり、 監視者の眼に映る 3次元空間の一部を切り取ったかの ような画像である。，
また本発明 撮像画像処理装置では、 球面画像 Q 1が球 2を中心とした 空間上の全方位をカバーしているため、 図 4に示すように、 例えば 3人の 監視者がそれぞれ監視を希望する対象物 0 B 1、 O B 2、 O B 3がそれぞ れ含まれている部分の 2次元画像 V 2、 V 3、 V 4を切り出して表示し、 さらに対象物 0 B 1、 ' 0 B 2、 0 B 3をそれぞれ追従するように トラツキ ング表示し得るようになされている。
上述のような撮像画像処理装置については種々のアプリケ一ションが考 えられるが、 ここでは、'撮像画像処理装置が後述する屋内状況監視システ ム、 カプセル内視鏡システム及びセキュリティシステムに適用された場合 について具体的に説明する。
( 2 ) 第 1の実施の形態 . ,
( 2 - 1 ) 第 1の実施の形態における屋内状況監視システムの全体構成 図 5において、 1 0は全体として第 1の実施の形態における屋内状況監 視システムを示し、 物体表面分布型カメラ 1 (図 1 ) に相当する屋内状況 確認ボール 1 1 と、 当該屋内状況確認ボール 1 1によって空間上の全方位 画像を撮像し合成することにより得られた球面画像 Q 1 (図 3及び図 4 ) を無線により受信して表示するノートブック型パーソナルコンピュータ （ 以下、 これをノートパソコンと呼ぶ） 1 2とによって構成されている。 こ 屋内状況確認ボール 1 1は、 その球 1 1 Aの表面に配置された n個 のカメラ 1 3によって空間上の全方位画像 （複数方向の.画像） を撮像する ことが可能なように予めカメラが配置され、 画像の連結位置関係がキヤ リ ブレ一シヨンされている。
なお屋内状況確認ボール 1 1は、 球面画像 Q 1を生成することがでぎれ ば必ずしも全方位画像ではなく所定の複数方向の画像を取得できれば良く 、 また n個のカメラ 1 3についてもその光軸が球 1 1 Aの中心から放射状 に伸びた延長線上になくてもよい。
この屋内状況確認,ボール 1 1は、 例えば災害現場等の倒壊した建物内に 投げ込まれ、 そ'の建物に生存者が残存しているか否かを確認するために用 いられることが考えられ、 全方位画像に基づいて生成した球面画像 Q 1が 無線伝送又は有線伝送によってノートバソコン 1 2へ伝送されることによ り、 当該球面画像 Q 1·を介して当該建物における屋内の状況をノ一トパソ コン 1 2の監視者に対してリアルタイムに目視確認させ得るようになされ ている。
( 2 - 2 ) 屋内状況確認ボールの回路構成
図 6に示すように屋内状況確認ボール 1 1は、 図示しないバッテリによ. り動作し、 n個のカメラ 1 3 A〜 1 3 nからそれぞれ得られる全方位画像 すなわち複数方向の画像デ一夕 （以下、 これを画像デ一夕群と呼ぶ） V G 1を画像処理部 1 4の画像取込み部 1 5に入力し、 当該画像データ群 V G 1を画像取込み部 1 5から夕一ゲ、ソ ト特定部 1 6、 回転量算出部 1 8、 球 面画像生成部 1 9及びトラッキング部 2 0へ送出する。
画像処理部 1 4は、 キヤ リブレーション情報保持部 1 7を有しており、 当該キヤ リブレーション情報保持部 1 7からキヤ リブレーション情報 C B 1を回転量算出部 1 8及び球面画像生成部 1 9へ送出するようになされて いる。 夕一ゲッ 卜特定部 1 6は、 画像取込み部 1 5から供給された画像デ一夕 群 V 0 1を例えばプル一トウ一ス （商標） や IEEE(Institute Of Electrical and Electronics Engineers)802. llg等の無線通信イン夕フ： —ス 2 2を介してノートパソコン 1 2へ無線伝送する。
ノートパソコン 1 2 (図 5 ) では、 屋内状況確認ボール 1 1から無線伝 送された画像デ一夕群 V G 1を受信し、 当該画像データ群 V G 1に対応し た屋内状況を表す画像をディスプレイに表示し、 当該画像中に存在する監 視者所望の対象物 （例えば人物等） をマウス等の画像移動指示デバイスに より指定させることにより、 当該対象物を示す指定信号 S 1を生成し、 こ れを屋内状況確認ポ'一ル 1 1へ無線伝送する。
屋内状況確認ボール 1 1の画像処理部 1 4は、 無線通信ィン夕フェース 2 2を介してノートパソコン 1 2から無線伝送された指定信号 S 1を受信 し、 当該指定信号 S 1 を夕一ゲッ 卜特定部 1 6へ送出する。
夕ーゲッ ト特定部 1 6は、. ノ一トパソコン 1 2から供給された指定信号 S 1に基づいて、 画像取込み部 1 5から供給された画像データ群 V G .1の 中から監視者により指定された色の対象物を夕一ゲツ トとして特定したり 、 或いは監視者により指定されたパターンの対象物を夕一ゲッ トとして特 定し、 その特定した対象物を示す夕一ゲッ ト特定信号 T G 1を トラツキン グ部 2 0へ送出する。 '
一方、 屋内状況確認ボール 1 1の回転量算出部 1 8は、 キヤ リブレ一シ ョン情報保持部 1 7かち供給されるキヤ リブレーション情報 C B 1 と、 画 像取込み部 1 5から供給される画像データ群 V G 1 とに基づいて、 当該屋 内状況確認ボール 1 1が移動又は回転したときに、 基準とする任意の画像 フレームに続く次のフレームの回転量を順次算出するようになされている ο
ところでキヤ リプレーション情報 C B 1 とは、 球面画像 Q 1 (図 3及び 図 4 ) を形成するために、 個々のカメラ 1 3 A〜 1 3 nが持つレンズ歪を 較正するための幾何学的情報及び球' 1 1 Aの表面に配置された n個のカメ ラ 1 3' A〜 13 nからそれぞれ得られる複数方向の画像を張り合わせる （ 以下、 これを連結させると呼ぶ） ときの連結位置関係を表した情報であり 、 画像処理部 14の球面画像生成部 19がこのキヤ リブレーション情報 C B 1に従ってカメラ 1 3A〜 1 3 nから得られる画像デ一夕群 VG 1 (複 数方向の画像） を連結させることにより継ぎ目が無くかつ歪みのない球面 画像 Q 1を生成し得るようになされている。
このキヤ リブレ一ション情報保持部 1 7は、 n個のカメラ 1 3 A〜 1 3 nからそれぞれ得られる複数方向の画像を連結させる際の連結位置関係を キヤ リプレ一ション情報 C B 1として把握しており、 監視者の操作により 連結位置関係を'後から較正することもできるようになされている。 特に、 n個のカメラ 1 3 A〜 1 3 nによって撮像された各画像はそれぞれ部分的 に重畳しており、 それらがキヤ リブレ一シヨン情報 CB 1に基づいて連結 されることにより、 継ぎ目のないシームレスな連結画像すなわち球面画像 Q 1が生成される。 '
実際上、 回転量算出部 18では、 図 7に示すように画像取込み部 1 5か ら供給された画像データ群 VG 1の各画像データを画像変換部 3 1に入力 する。 画像変換部 3 1は、 画像デ一夕群 VG 1の各画像デ一夕を 1024 X 7 6 8画素の R GB信号に変換し、 それをさらに 5 12 X 384画素の 輝度信号 Yに変換し、 当該輝度信号 Yをテンプレー卜判定部 32へ送出す る。 ' . ， '
なお画像変換部 3 1は、 R GB信号を輝度信号 Yに変換するが、 これは 回転量算出の際に R G B信号を単位として演算したのでは演算量が多くな るので、 その演算量を低減するためであり、 RGB信号については別途保 持しておくようになされている。
テンプレート判定部 32は、 図 8に示すように、 輝度信号 Yを用いて一 つ前のフレーム （以下、 これを前フレームと呼ぶ） における 1 6 x 1 6画 素からなるテンプレート T Pの全て （この場合 2 5個） についてパ夕一ン マッ^ングに適当であるか否かを判定する。
ここでパターンマッチングに適当なテンプレート T P.とは、 パターンマ ツチングの探索において一意に最小値が求まるようなパターンであり、 あ る程度絵柄の複雑なテンプレートである必要がある。
逆に、 適当でないテンプレート T Pとは、 カメラの画像領域全体の輝度 が殆ど同一であったり、 2色の領域が直線的な境界で接している場合など である。 このような場合はパターンマツチングを行つたときに相関値が一 意に最小値となるテンプレートを見つけることが困難だからである。
すなわち、 図 9 ( A ) 及び （B ) に示すような、 やや複雑な絵柄であれ ば適当なテンプレートであるといえるのに対し、 図 1 0 ( A ) 及び （B ) に示すような、 単一色の絵柄や 2色の領域が直線的な境界で接している絵 柄のテンプレートは適当でないことになる.。
なぉパ夕一ンマッチングは、 図 1 1に示すように前フレームにおける適 当なテンプレ一ト T P 1を基に S A D (Sum of Absolute Difference)の最 小値を探索することにより、 当該前フレームに続く次のフレーム （以下、 これを最新フレームと呼ぶ） における当該テンプレート T P 1に相当する テンプレート T P 2の位置 （すなわちテンプレート T P 1〜 T P 2への移 動量） を検出することにより行われる。 この探索は、 ' 4画素単位の粗探索 と 1画素単位の密探索の 2段階探索により行われ、 パターンマッチングの 高速化が図られている。 .
ここでテンプレート T P ( T P 1及び T P 2 ) は、 通常カメラの画像領 域におけるほぼ中央に位置付けられている。 これは、 画像領域のはじの部 分では次のフレームでフレームァゥ 卜するおそれが高いがらであり、 この ような事態を予め回避するようになされている。
このようにしてテンプレート判定部 3 2は、 2 5個のテンプレート T P 1及び T P 2のうちパターンマヅチングに適しているテンプレート T P 1 及び T P 2を選定し、 その選定したテンプレ一ト T P 1及び T P 2を特定 する/≥めのテンプレー 卜情報 T 1をパターンマヅチング部 3 3へ送出する 。 なお、 このときテンプレート判定部 3 2は、 このテンプレート情報 T 1 を次のフレームにおいても使用するために保存しておく。
パターンマッチング部 3 3は、 テンプレート判定部 3 2からのテンプレ 一ト情報 T 1に基づいてパターンマツチングに適しているテンプレ一ト T P 1及び T P 2だけを用い、 前フレームのテンプレート T P 1 と最新フレ —ム.のテンプレ一ト T P 2とにおける位置変化すなわち移動量をパターン マッチングにより検出し、 その検出結果 S 2を座標変換部 3 4へ送出する 座標変換部 3' 4は、 キャリブレーション情報保持部 1 7から供給される キヤ リプレーション情報 C B 1に基づいて球面画像 Q 1を形成するための 連結位置関係を 3次元座標として把握し、 前フレームにおけるテンプレー ト T P 1の位置を球面画像 Q 1上の 3次元座標 （x、 y、 z ) に変換する と共に、 最新フレームにおけるテンプレート T P 2の位置 （すなわち前フ レームの位置 +移動量） を球面画像 Q 1上の 3次元座標 （X '、 y z
' ) に変換し、 前フレームの 3次元座標 （x、 y、 z ) 及び最新フレーム の 3次元座標 （X 、 y '、 z ' ) を回転量推定部 3 5へ送出する。
.回転量推定部 3 5は、 n個のカメラ 1 3 A〜 1 3 n 'からそれぞれ得られ る複数の画像が例えば半径 2 . 5 mの球面にマツビングされたものを球面 画像 Q 1であると'仮定し、 その球面画像 Q 1の球面上をテンプレート T P 1及び T P 2がどのように移動したのかを求めるようになされている。 すなわち回転量推定部 3 5は、 3次元座標上での回転を求めるに当たつ て、 回転前における前フレームのテンプレート T P 1の位置を 3次元座槔
( x、 y、 z ) とし、 回転後における最新フレームのテンプレート T P 2 の位置を 3次元座標 （x '、 y '、 z ' ) とすると、 次式 X ' = c 0 s A * c o s B + ( c 0' s B · s i n A · s i n C
― s i n A • c 0 s C) y + ( c o s A · s i n B · c 0 s C
+ s i n A • s i n C) z • ( 1 ) y ' ― s i n A • c o s B + ( s i n A · s i n B · s i n C
+ c 0 s A • c 0 s C ) y + ( s i n A · s i n B · s i n C
― c 0 s A • s i n C) z • ( 2 ) z ' =— s i n B · x + c o s B · s i n C · y.+ c o s B · c o s C z …… （ 3 ) で表すことができる。 ここでパターンマツチングに成功したテンプレー ト T P 1及び T P 2が複数あれば、 3次元座標 （x、 y、 z ) 及び （χ ' 、 y '、 z ' ) の組が複数あるため、 最小二乗法による推定を行うことに より係数 A、 B及び Cを求めて回転軸及び回転角度を求めることができる 。 すなわち回転量推定部 3 5では、. このような線形変換という単純なモデ ルにより高速な最小二乗計算を実現するようになされている。
ここで問題なのは、 3次元座標 （x、 y、 z ) 及び （x '、 y '、 z ' ) の組には、 正しくないデ一夕成分が含まれているということである。 例 えば、 第 1の条件として、 画像の変化はカメラ 1 3 A〜 1 3 nの回転によ るものだけであること （カメラ 1 3 A〜 1 3 nの平行移動や動いているも のによる変化がない） や、 第 2の条件として、 撮像対象がカメラ 1 3 A〜 1 3 nから十分遠ぐ （数メートル以上） に存在する （カメラ 1 3 A〜 1 3 nのレンズ中心がずれているためにあまり近い位置ではキヤリプレーショ ンに使うモデルとの誤差が大きぐなる） ことを満たさない場合の画像変化 によって生じたずれや、 何らかの理由でパターンマッチングがうまくいか なかった場合等には正しくないデ一夕成分が含まれるため、 これらの正し くないデ一夕成分を排除する必要がある。 . すなわち回転量推定部 35は、 正しくないデ一夕成分を排除した状態で 最小二乗法による推定を行うことにより前フレームと最新フレームとの間 の回転量を推定することができるのであり、 このようにして求めた回転量 を表す回転情報 R T 1を球面画像生成部 1 9及びトラッキング部 20へ送 出する。
なお回転量推定部 35は、 最新フレームの回転量を算出する際、 前フレ —ムからの回転量だけではなく基準となる最初のフレームからの累積され た総回転量を求める必要がある。
このような回転量算出部 18のォプティカルフ口一による回転量算出処 理手順について、 次の図 1 2のフローチャートを用いて説明する。 回転量 算出部 1 8は、'ルーチン RT 1の開始ステップから入って次のステツプ S P 1へ移り、 n個のカメラ 1 3 A〜 13 nから得られる画像データ群 V G 1 ' (複数方向の画像デ一夕） を取得し、 次のステップ S P 2へ移る。
ステップ S P 2において回転量算出部 1 8は、 画像変換部 3 1によ り、 画像データ群 VG 1の各画像データを 1 024 x 768画素の R G B信号 に変換し、 次のステップ S P 3において回転量算出部 18は、 画像変換部 3 1により、 ； RGB信号を 5 1 2 x 384画素の輝度信号 Yに変換し、 次 のステップ SP 4へ移る。
ステップ S P 4において回転量算出部 18は、 輝度信号 Yを用いて前フ レームにおける 1 6 X 1 6画素からなる 25個のテンプレー卜 T Pについ てパターンマッチングに適当であるか否かを判定し、 次のステヅプ S P 5 へ移る。
ステツプ S P 5において回転量算出部 1 8は、 ステップ S P 4で適当と 判断した前フレームにおけるテンプレート TP 1と、 当該前フレームに続 く次の最新フレームにおける適当なテンプレート T P 2との位置変化 （す なわちテンプレート TP 1からテンプレート TP 2までの移動量） を算出 し、 次のステップ S P 6へ移る。 ステヅプ S.P 6において回転量算出部 1 8 ,は、 ステップ S P 4でパ夕一 ンマッチングに適していると判定した最新フレームのテンプレ一ト. T P 2 を次のパターンマツチングに用いるために保存し、 次のステップ S P 7へ 移る。
ステップ S P 7において回転量算出部 1 8は、 前フレームのテンプレー ト T P 1の位置を 3次元座標 （x、 y、 z ) に変換し、 回転後となる最新 フレームのテンプレート T P 2の位置を 3次元座標 （X '、 y '、 z ' ) に変換し、 次のステップ S P 8へ移る。
ステップ S P 8において回転量算出部 1 8は、 最小二乗法により （ 1 ) 式〜 （ 3 ) 式の係数 A、 B及び Cを求めることによってフレーム間の回転 量を推定し、 こ'れを回転情報 R T 1 として算出し、 次のステップ S P 9へ 移って回転量算出処理手順を終了する。
球面画像生成部 1 9は、 画像取込み部 1.5から供給される画像.データ群
V G 1、 キヤリブレ一ション情報保持部 1 7から供給されるキヤ リブレー ション情報 C B 1及び回転量算出部 1 8から供給される回転情報 R T 1に 基づいて、 n個のカメラ 1 3 A〜 1 3 nによって撮像された画像データ群
V G 1の各画像を連結することにより球面画像 Q 1を生成し、 これを画像 特定領域切出し表示部 2 1へ送出する。
トラッキング部 2 0は、 画像取込み部 1 5から供給される画像データ群 V G 1及び夕ーゲッ ト特定部 1 6から供給されたターゲッ ト特定信号 T G 1に基づいて、 画像デ一夕群 V G 1における各画像から監視者所望の対象 物を追跡して トラッキング表示するために特定し、 その対象物を示す夕一 ゲッ ト位置情報 T G Pを画像特定領域切出し表示部 2 1へ送出する。
ここで トラッキング部 2 0では、 夕一ゲヅ 卜特定部 1 6から供給される 夕ーゲッ ト特定信号 T G 1が色指定による場合と、 パターン指定による場 合とに応じてターゲッ ト位置情報 T G Pを生成するための処理内容が異な り、 それぞれの処理に適した回路構成を有している。 図 1 3に示すように、 トラッキング部 2 0は、 ターゲッ ト特定信号 T G 1が^指定によるものである場合、 画像取込み部 1 5から供給される画像 データ群 V G 1を背景差分処理部 4 1へ入力する。
背景差分処理部 4 1は、 画像データ群 V G 1における前フレームの画像 と最新フレームの画像との差分を取ることにより背景部分を除去して動き のある部分だけを抽出し、 その動きのある部分を表す動き部分デ一夕 D 1 を色抽出処理部 4 2へ送出する。
なお背景差分処理部 4 1は、 画像デ一夕群 V G 1における前フレームの 画像と最新フレームの画像との差分を取ることにより背景部分を除去して 動きのある部分だけを抽出するが、 その際、 回転量算出部 1 8から供給さ れる回転情報 T 1に基づいて前フレームに対する最新フレームの回転分 をキャンセルするようになされている。
これ,により、 背景差分処理部 4 は前フレームの画像と最新 7レームの 画像との差分を取って背景部分を除去する際の演算量を極力低減し得、 動 き部分デ一夕 D 1を抽出するまでの演算量及び演算処理時間を短縮化し得 るようになされている。
色抽出処理部.4 2は、 夕一ゲッ ト特定部 1 6から供給される夕ーゲッ ト 特定信号 T G 1が対象物の色情報を表している場合、 図 1 4に示すように 動き部分データ D 1のうち当該色情報を有する対象物領域 0 B A 1 を抽出 し、 それを重心推定部 4 3へ送出する。
重心推定部 4 3は、 対象物領域 O B A 1の重心位置 G 1 を推定し、 その 重心位置 G 1を対象物の中心を表す夕一ゲッ ト位置情報 T G Pとして強調 表示部 4 4へ送出する。
.強調表示部 4 4は、 夕ーゲッ ト位置情報 T G Pに基づいて対象物領域 0 B A 1 を認識し、 その対象物領域 0 B A 1に対して色調処理、 輪郭強調処 理又は明暗処理の少なく ともいずれかの強調表示処理を施すことにより、 トラッキング対象の夕一ゲッ トである対象物を際立たせ、 監視者に対して 瞬時に認識させ得るようになされている。 ここで強調表示部 4 4は、 この 夕一ゲッ ド位置情報 T G Pを画像特定領域切出し表示部 2 1へ送出する。 画像特定領域切出し表示部 2 1は、 球面画像生成部 1 9によって生成さ れた球面画像 Q 1 と、 夕一ゲッ ト位置情報 T G Pに基づいて トラッキング 部 2 0により強調表示処理された対象物領域 O B A 1 との配置関連性を求 め、 その配置関連性に基づいて当該対象物領域 0 B A 1に対応する画像領 域を設定し、 当該対象物領域 O B A 1が球面画像 Q 1のほぼ中央領域にな るよう配置し、 その対象物領域 0 B A 1を中心とした画像部分を切り出す ことにより、 当該対象物領域〇 B A 1にフォーカスを当てた トラッキング 画像 T G Vを生成し、 これを無線通信ィン夕フェース 2 2からノ一トパソ コン 1 2へ無^伝送する。
' なお画像特定領域切出し表示部 2 1は、'監視者.により所望の対象物が指 定 （色指定又はパ夕一ン指定） されなかったときは、 球面画像生成部 1 9 から供給される球面画像 Q 1をそのままの状態で無線通信ィン夕フェース 2 2からノ一'トパソコン 1 2へ無線伝送する。
ノートパソコン 1 2 (図 5 ) は、 対象物が複数指定されているときは、 複数の対象物毎に追跡した複数のトラッキング画像 T G Vを生成してディ スプレイに同時に表示し得るようになされており、 これにより複数の対象 物に対する複数のトラッキング画像 T G Vを同時に監視者に目視確認させ 得るようになされている。 .
ところで画像処理部 1 4では、 球面画像 Q 1を無線通信イン夕フェース 2 2からノートパソコン 1 2へ無線伝送し、 当該ノートパソコン 1 2によ りデイスプレイに表示した球面画像 Q 1上で監視者所望の対象物を指定さ せることが可能である。
ここでノートパソコン 1 2 (図 5 ) は、 球面画像 Q 1 を構成している複 数方向の画像を出力するカメラ 1 3 A〜 l 3 nの識別情報を保持しており 、 当該球面画像 Q 1を監視者の指示に応じて静止画状態で一時的に保持し その静止画状態の球面画像 Q 1上で監視者 (こより所望の対象物が指定さ れる 、 その指定信号 S 1及び識別情報を屋内状況確認ボール 1 1へ無線 送信する。
屋内状況確認ボール 1 1の画像処理部 1 4は、 無線通信ィン夕フェース 2 2を介して指定信号 S 1及び識別情報を受信すると、 画像特定領域切出 し表示部 2 1により当該指定信号 S 1で指定された対象物の対象物領域 0 B A 1が含まれる画像を出力しているカメラ 1 3 A〜 1 3 nを識別情報に 基づいて特定する。
画像特定領域切出し表示部 2 1は、 識別情報に基づいて特定したカメラ 1 3 A〜 1 3 ΐΊにより、 静止画状態で一時的に保持した球面画像 Q 1 と、 指定信号 S 1 受信した現時点における球面画像 Q 1 とにおけるフレーム 数の差をカウン トして時間的推移を追跡することにより、 指定信号 S 1で 指定された対象物領域 0 B A 1の球面画像. Q 1における現時点配.置を算出 一 9 Ο 0
そして画像特定領域切出し表示部 2 1は、 球面画像 Q 1のうち対象物領 域 0 B A 1の現時点配置を認識し、 その現時点配置の対象物領域 0 B A 1 に対応する画像領域を設定し、 当該対象物領域 0 B A 1が球面画像<3 1の ほぼ中央になるよう位置付けられた画像部分を切り出すことにより、 対象 物領域 0 B A 1にフォーカスを当てた トラヅキング画像 T G Vを生成し、 これを無線通信ィン夕フ X—ス 2 2からノートパソコン 1 2へ無線伝送す
« o
かく してノートパソコン 1 2では、 静止画状態の球面画像 Q 1上で指定 した対象物の対象物領域 0 B A 1 を夕一ゲッ トとして追跡した トラツキン グ H像をディスプレイに表示し、 監視者に対象物をリアルタイムに目視確 認させることができるようになされている。
一方、 図 1 5に示すように、 トラッキング部 2 0は、 夕一ゲッ ト特定信 号 T G 1がパターン指定によるものである場合、 画像取込み部 1 5から供 給される画像データ群 VG 1をパターン 'マッチング部 46へ入力する。 ま トラッキング部 20は、 夕一ゲッ ト特定部 1 6から供給される夕一 ゲッ ト特定信号 TG 1をパターンマッチング部 46の次段に位置するパ夕 ーン更新部 47へ送出する。 パターン更新部 47は、 ターゲッ ト特定信号 T G 1に基づいて特定可能な監視者により指定された対象物のパターンを ァヅプデ一卜し、' 当該パターンをパターンマツチング部 46へフィードバ ックする。
パターンマッチング部 46では、 画像デ一夕群 VG 1における最新フレ ―ムの画像に対し、 パターン更新部 47から供給されたパターンを用いて パターンマッチングすることにより監視者に指定された対象物を抽出し、 その対象物領愈 0 BA1の重心位置 G 1 (図 1'4) を示すターゲッ ト位置 情報 TGPを生成して強調表示部 48へ送出すると共に、 その対象物領域 0 B A 1のパターンを最新パターン N Pとして更新するべくパターン更新 部 47へ送出し、 対象物のパターンを最新パターン NPで再度アツプデ一 卜する。 '
なおパターンマッチング部 46では、 背景差分処理部 4 1 (図 13) と 同様、 画像データ群 VG 1における最新フレームの画像とパターンマッチ. ングを行う際、 回転量算出部 18から供給される回転情報 R T 1に基づい て最新フレームの画像に対する回転分をキャンセルするようになされてい る。 これにより、 パターンマッチング部 46は最新フレームの画像とパ夕 —ンマッチングを行う際.の演算量を極力低減し得、 演算量及び演算処理時 間を短縮化するようになされている。
強調表示部 48では、 夕ーゲッ ト位置情報 TGPに基づいて対象物領域 0 BA1 (図 14) を認識し、 その対象物領域 OBA1に対して色調処理 、 輪郭強調処理又は明暗処理の少なく ともいずれかの強調表示処理を施す ことにより、 トラッキング対象の夕一ゲッ トを際立たせ、 監視者に対して 瞬時に認識させ得るようになされている。 ここで強調表示部 48は、 この ターゲッ ト位置情報 TGPを画像特定領'域切出し表示部 2 1へ送出する。 画 ΐί特定領域切出し表示部 2 1は、 球面画像生成部 1 9によって生成さ れた球面画像 Q 1と、 夕一ゲヅ ト位置情報 TGPに基づいて トラッキング 部 20により強調表示処理された対象物領域 0 B A 1との配置関連性を求 め、 その配置関連性に基づいて当該対象物領域 0 BA1に対応する画像領 域を設定し、 当該対象物領域 OBA1が球面画像 Q 1のほぼ中央領域にな るよう配置し、 その対象物領域 OBA1を中心とした画像部分を切り出す ことにより、 当該対象物領域 0 B A1にフォーカスを当てた トラッキング 画像 T G Vを生成し、 これを無線通信ィンタフヱ一ス 2 2からノ一卜パソ コン 1 2へ無線伝送する。
なお画像特 領域切出し表示部 2 1は、 監視者により所望の対象物が指 定 （色指定又は.パターン指定） されなかったときは、 球面画像生成部 19 から供給される球面画像 Q 1をそのままの状態で無線通信ィンダフエース 22からノートパソコン 1 2へ無線伝送する。
屋内状況確認ボール 1 1の画像処理部 14は、 対象物が複数指定されて いるときは、 複数の対象物領域 OBA1と、 球面画像 Q 1を構成する全方 位画像との配置関連性を求め、 その配置関連性に基づいて複数の対象物領 域 0 B A1がそれぞれ球面画像 Q 1のほぼ中央領域になるよう配置し、 複 数の対象物領域 0 BA1が球面画像 Q 1のほぼ中央領域に配置された画像 部分を当該球面画像 Q 1からそれぞれ切り出すことにより、 当該複数の対 象物領域 OBA1にフォーカスを当てたトラッキング画像 T GVをそれぞ れ生成し、 これらをノートパソコン 1 2のディスプレイに同時に表示し得 るようになされており、 これにより複数の対象物に対する複数のトラツキ ング画像 T G Vを同時に監視者に目視確認させ得るようになされている。 ( 2 - 3 ) 複数夕一ゲッ トのトラッキング処理手順
次に、 監視者によって複数の対象物を色指定されたときに複数夕一ゲッ トを追跡して トラツキング表示するための複数夕一ゲッ 卜のトラツキング 処理手順について、 図 1 6のフローチヤ一卜を用いて説明する。
なお、 複数の対象物がパターン指定されたときの複数夕一ゲッ 卜の トラ ッキング処理手順については、 色指定の場合と比べて指定の仕方が異なる だけであり、 技術的思想としては本質的に変わりがないため、 ここでは便 宜上説明を省略する。
屋内状況確認ボール 1 1の画像処理部 14は、 ルーチン R T 2の開始ス テツプから入って次ステップ S P 1 1へ移り、 n個のカメラ 1 3A〜 1 3 nによって撮像された画像デ一夕群 VG 1 (複数方向の画像デ一夕） を画 像取込み部 1 5から敢得し、 次のステツプ S P 1 2へ移る。
ステップ S P 13において画像処理部 14は、 トラッキング部 20の背 景差分処理部 4 1により背景部分を除去して動き部分データ D 1だけを抽 出し、 次のステップ S P 1 3へ移る。
ステップ S P 13において画像処理部 1,4は、 色抽出処理部 42により 、 夕一ゲ、メ ト特定信号 TG 1に基づいて動き部分デ一夕 D 1のうち指定さ れた色情報を有する対象物領域 0 BA1を抽出し、 次のステツプ S P 14 へ移る。
ステツプ S P 14において画像処理部 14は、 同色の色情報を有する対 象物領域 OBA1が複数存在する場合、 その中で.最大面積のものを探し、 次のステップ S P 1 5で、 その最大面積を持つ対象物領域 0 BA1の重心 位置 G 1を求め、 次のステップ S P 1 6へ移る。
ステップ S P 16において画像処理部 14は、 その重心位置 G 1を対象 物領域 0 BA1の中心として認識し、 当該重心位置 G 1を球面画像 Q 1上 の 3次元座標に変換し、 次のステップ S P 17へ移る。
ステツプ S P 1 7において画像処理部 14は、 指定された他の全ての色 についてもステップ S P 1 3〜ステップ S P 1 6までの処理を行ったか否 かを判定する。 ここで否定結果が得られると、 画像処理部 14はステップ S P 1 3に戻って、 全ての指定された色について対象物領域 0 BA1の重 心位置 G 1を夕一ゲヅ 卜の中心として認'識し > その重心位置 G 1を球面画 像 Q i上の 3次元座標に変.換.し終わるまで処理'を続行する。
これに対してステップ S P 1 7で肯定結果が得られると、 このことは全 ての指定された色について対象物領域 O B A 1の重心位置 G 1を夕一ゲヅ トの中心として認識し、 その重心位置 G 1を球面画像 Q 1上の 3次元座標 に変換し終えたことを表しており、 このとき画像処理部 1 4は次のステツ プ S P 1 8へ移る。
ステップ S P 1 8において画像処理部 1 4は、 ステップ S P 1 1で取得 した画像データ群 V G 1 (複数方向の画像デ一夕） を用いて、 球体の表面 にこれらの各画像をマツピングすることにより、 球体の中心から見て全方 向に映像が存 するかのような球面画像 Q 1を生成し、 その球面画像 Q 1 と、 各色にそれぞれ対応する対象物領域 O B A 1 との配置関連性を求め、 その配置関連性に基づいて対象物領域 0 B A 1が球面画像 Q 1の.ほぼ中央 領域となるよう配置し、 その対象物領域 O B.A 1 を中心とした画像部分を 切り出すことにより、'当該対象物領域 O B A 1にフォーカスを当てた トラ ッキング画像 T G Vを生成し、 これを無線通信ィン夕フエース 2 2からノ ートパソコン 1 2へ無線伝送した後、 次のステップ S P 1 9へ移って処理 を終了する。
( 2— 4 ) 第 1の実施の形態における動作及び効果 '
以上の構成において、 第 1の実施の形態における屋内状況監視システム
1 0では、 屋内状況確認ボール 1 1が例えば災害現場の倒壊した建物内に 投げ込まれた場合、 '当該屋内状況確認ボール 1 1が転がりながら n個の力 メラ 1 3 A〜カメラ 1 3 nによって全方位画像 （複数方向の画像） を取得 し、 当該全方位画像に基づいて球面画像 Q 1を生成することができるので 、 あたかも倒壊した建物内にレスキュー隊員が入り込んでそこから周囲の 状況を目視確認しているかのような球面画像 Q 1をノートパソコン 1 2の 監視者に目視確認させることができる。 このとき屋内状況確認ボール 1 1は、 球 1 1 Aが回転することに伴って n個のカメラ 1 3 A〜カメラ 1 3 nから得られる複数方向の画像について も基準となるフレームから回転することになるが、 画像処理部 1 4の回転 量算出部 1 8で基準となるフ レームからの回転量を算出し、 基準のフ レ一 ムから次のフレームやその次のフレーム、 さらにその次のフレームについ ても基準のフレームからの回転量分を補正することにより、 単一のカメラ で同一姿勢により撮影したかのような球面画像 Q 1を生成し、 これをノ一 トパソコン 1 2に表示することができる。
すなわちノ一 トパソコン 1 2では、 単一のカメラで同一姿勢により撮影 したかのような動画像を、 球面画像 Q 1を介してリアルタイムに監視者に 目視確認させ ことができる。 '
： また屋内状況監視システム 1 0は、 ターゲッ トとして複数指定された対 象物の対象物領域 O B A 1 ごとに追跡し、 対象物領域 O B A 1 と球面画像 Q 1 との配置関連性を求め、 当該配置関連性に基づいて対象物領域 0 B A 1の重心位置 G 1が球面画像 Q 1のほぼ中央領域になるよう配置し、 その 対象物領域 0 B A 1を中心とした画像部分を切り出すことにより、 当該対 象物領域◦ B A 1にフォーカスを当てた トラッキング画像 T G Vを各色ご とに生成し、 これらをノートパソコン 1 2に無線伝送することにより、 当 該ノートパソコン 1 2のディスプレイを介して同時に複数の対象物を 卜ラ ヅキング表示することができる。 .
従って、 屋内状況監視システム 1 0では、 災害現場等の倒壊した建物の 屋内すなわち現場に屋内状況確認ボール 1 1が投げ込まれた場合、 監視者 が希望する対象物を複数追跡しながら、 当該対象物の間近で臨場感溢れる 高.解像度映像としてノートパソコン 1 2に表示することができるので、 対 象物が被災者のとき、 監視者はその被災者の状況を詳細に認識することが できる。
その際、 屋内状況監視システム 1 0は、 監視者が機能する対象物の対象 物領域 0 B A 1を強調表示していること'により、 複数の対象物の中から監 視者 注目する夕一ゲヅ トを一目で探し出すことができ、 かつ追跡して ト ラッキング表示している最中にも監視者が対象物を見失うことを防止する ことができる。
以上の構成によれば、 屋内状況監視システム 1 0では、 移動或いは回転 といった多様に運動可能な屋内状況確認ボール 1 1により取得される現場 周辺の臨場感に溢れた複数方向の画像に基づいて球面画像 Q 1を生成し、 その球面画像 Q 1の中から監視者が希望する複数の対象物を追跡して トラ ッキング表示することにより、 監視者にとって注目する対象物の夕一ゲッ トを見易い形でそれぞれ提供することができる。
( 3 ) 第 2の 施の形態
( 3 - 1 ) 第 2の実施の形態におけるカプセル内視鏡システムの全体構成 図 5 との対応部分に同一符号を付して示す図 1 7において、 5 0は全体 として第 2の実施の形態におけるカプセル内視鏡システムを示し、 物体表 面分布型カメラ 1 (図 1 ) に相当するカプセル内視鏡 5 1 と、 当該カプセ ル内視鏡 5 1によって人体内の全方位画像 （複数方向の画像） を撮像し合 成することにより得られた球面画像 Q 1を無線により.受信して表示するノ. —トパソコン 1 2 とによって構成されている。
このカプセル内視鏡 5 1は、 そのカプセル先端部分の透明カバ一 5 2の 内部に設けられた球 5 3の表面に配置された n個のカメラ 1 3によって人 体内空間の全方位画像 （複数方向の画像） を撮像することが可能なように 予めカメラが配置され、 画像の連結位置関係がキヤリブレーションされて い 。'
.なおカプセル内視鏡 5 1においても、 球面画像 Q 1を生成することがで きれば必ずしも全方位画像ではなく所定の複数方向の画像を取得できれば 良く、 また n個のカメラ 1 3についてもその光軸が球 5 3の中心から放射 状に伸びた延長線上になくてもよい。 , このカプセル内視鏡システム 5 0は、 '人間が力プセル内視鏡 5 1 を飲み 込む けで η個のカメラ 1 3によって撮像された胃や消化器等の内部をノ ―トパソコン 1 2のディスプレイにリアルタイムに映し出しようになされ たものである。
図 1 8に示すようにカプセル内視鏡システム 5 0は、 均一な磁場を出す ことが可能な対向型電磁石を縦 ·横 ·高さの 3方向 （Χ、 Υ、 Ζ ) に配置 した体外磁場発生装置 （図示せず） に'よって任意の方向へ磁場 （Ν極/ S 極） を発生させることにより、 カプセル内視鏡 5 1におけるカプセル本体 5 1 Αの内部磁石 6 1 を介して当該カプセル内視鏡 5 1 を任意の方向へ向 かせ、 この任意の方向の磁場によって外部回転磁界 R Jを作り出し、 カブ セル本体 5 1 を回転させることでカプセル本体 5 1 Aの外表面に設けら れた螺旋状の螺旋 5 4が当該カプセル内視鏡 5 1の推進力を発生させ得る ようになされている。
従ってカプセル内視鏡システム 5 0では、 カプセル内視鏡 5 1に対して 自由自在に前後進及び進行方向をコントロールすることができるため、 人 体内の対象部位にアプローチしたり、 人体内における観察方向やポジショ ンを調整し得るようになされている。 '
( 3 - ) カプセル内視鏡の回路構成
図 6 との対応部分に同一符号を付した図 1 9 ( A ) '及び （B ) に示すよ うにカプセル内視鏡 5 1は、 カプセル本体 5 1に内蔵された小型のバッテ リ.6 2から画像処理部 1 4に対して電力を供給するようになされている。 なお画像処理部 1 4の回路構成としては、 第 1の実施の形態における屋内 状況確認ボール 1 1の画像処理部 1 4とほぼ同一である。
pプセル内視鏡 5 1は、 n個のカメラ 1 3 A〜 1 3 nからそれぞれ得ら れる画像デ一夕群 V G 1 (複数方向の画像データ） を画像処理部 1 4の画 像取込み部 1 5に入力し、 当該画像デ一夕群 V G 1を画像取込み部 1 5か ら夕ーゲッ 卜特定部 1 6、 回転量算出部 1 8、 球面画像生成部 1 9及びト ラヅキング部 2 0へ送出する。 '
画 fi処理部 1 4は、 キャリブレーション情報保持部 1 7を有しており、 ' 当該キヤ リブレ一ション情報保持部 1 7からキヤリブレーション情報 C B 1を回転量算出部 1 8及び球面画像生成部 1 9へ送出する。
夕ーゲッ ト特定部 1 6は、 画像取込み部 1 5から供給された画像データ 群 V G 1を無線通信ィン夕フェース 2 2を介してノートパソコン 1 2へ無 線伝送する。
ノ一トパソコン 1 2では、 カプセル内視鏡 5 1から無線伝送された画像 デ一夕群 V G 1を受信し、 当該画像デ一夕群 V G 1に対応した人体内部の 状況を表す画像をディスプレイに表示し、 当該画像中に表示された人体内 の所定部位を ウス等により指定ざせることにより、 当該所定部位を示す 指定信号 S 1を生成し、 これをカプセル内視鏡 5 1へ無線伝送する。
力プセル内視鏡 5 1の画像処理部 1 4は、 無線通信ィン夕フエース 2 2 を介してノートパソコン 1 2からの指定信号 S 1 を受信し、 当該指定信号 S 1をターゲッ ト特定部 1 6へ送出する。
夕一ゲッ ト特定部 1 6は、 ノートパソコン 1 2から供給された指定信号 S 1に基づいて、 画像取込み部 1 5から供給された画像デ一夕群 V G 1の 中から監視者により指定された色の所定部位を夕一ゲッ トとして特定した り、.或いは監視者により指定されたパターンの所定部位を夕一ゲッ トとし て特定し、 その特定した所定部位を示すターゲッ ト特定信号 T G 1を トラ ヅキング部 2 0へ送出する。
一方、 カプセル内視鏡 5 1の回転量算出部 1 8は、 キャ リブレーション 情報保持部 1 7から供給されるキヤ リブレ一シヨン情報 C B 1 と、 画像取 込み部 1 5から供給される画像デ一夕群 V G 1 とに基づいて、 当該カプセ ル内視鏡 5 1が推進又は回転したときに、 基準とする任意の画像フレーム に続く次のフレームの回転量を順次算出するようになされている。
ところでキヤ リブレーション情報 C B 1 とは、 球面画像 Q 1を形成する ために、 個々のカメラ 13A〜 1 3 nが持つレンズ歪を較正するための幾 何学的情報及び球体表面に配置された n個のカメラ 1 3 A〜 1 3 nからそ れぞれ得られる人体内の全方位画像を連結させるときの位置関係を表した 情報であり、 画像処理部 14がこのキヤ リプレーション情報 C B 1に従つ てカメラ 13A〜 1 3 nから得られる複数方向の画像を連結させることに より継ぎ目が無くかつ歪みのないシームレスな球面画像 Q 1を生成し得る ようになされている。
このキヤリブレ一ション情報保持部 1 7は、 n個のカメラ 1 3A〜 1 3 nからそれぞれ得られる複数方向の画像を連結させる際の連結位置関係を キヤ リブレーショ 情報 C B 1として把握しており、 監視者の操作により 連結位置関係 後から較正することもできるようになされている。 特に、 n個のカメラ 13 A〜 13 nによって撮像された各画像はそれぞれ部分的 に重畳しており、 それらがキヤリブレーション情報 C B 1に基づいて連結 されることにより、 継ぎ目が無くかつ歪みのないシームレスな連結画像す なわち球面画像 Q 1が生成される。.
実際上、 回転量算出部 1 8では、 図 7に示したように画像取込み部 1 5 から供給された画像データ群 VG 1の各画像デ一夕を画像変^部 3 1に入 力する。 画像変換部 3 1は、 画像デ一夕群 VG 1の各画像デ一夕を 1 02 4 X:7 68画素の RGB信号に変換し、 それをさらに 5 1 2 x 384画素 の輝度信号 Yに変換し、 当該輝度信号 Yをテンプレート判定部 32へ送出 する。
なお画像変換部 3 1は、 R GB信号を輝度信号 Yに変換するが、 これは 回転量算出の際に R GB信号を単位として演算したのでは演算量が多くな るので、 その演算量を低減するためであり、 RGB信号については別途保 持しておくようになされている。
テンプレート判定部 32は、 図 8に示したように、 輝度信号 Yを用いて 前フレームにおける 1 6 x 1 6画素からなる 25個のテンプレート TP 1 についてパターンマッチングに適当であるか否かを判定する。 なおパターンマッチングは、 図 1 1に示したように前フレームにおける 適当なテンプレート T P 1を基に S A Dの最小値を探索することにより、 当該前フレームに続く最新フレームの当該テンプレート T P 1に相当する テンプレート T P 2の位置 （すなわちテンプレート T P 1〜T P 2への移 動量） を検出することにより行われる。 この探索は、 4画素単位の粗探索 と 1画素単位の密探索の 2段階探索により行われ、 パターンマッチングの 高速化が図られている。
このようにしてテンプレート判定部 3 2は、 2 5個のテンプレート T P 1及び T P 2のうちパターンマッチングに適しているテンプレート T P 1 及び T P 2を )ί定し、 その選定したテンプレート Τ Ρ 1及び Τ Ρ 2を特定 するためのテンプレート情報 Τ 1をパターンマッチング部 3 3へ送出する 。 なお、 このときテンプレート判定部 3 2は、 このテンプレート.情報 Τ 1 を次のフレームにおいても使用するために保存しておく。 '
パターンマッチング部 3 3は、 テンプレート判定部 3 2からのテンプレ —ト情報 Τ 1に基づいてパターンマッチングに適しているテンプレート Τ Ρ 1及び Τ Ρ 2だげを用い、 前フレームのテンプレート Τ Ρ 1 と最新フレ ームのテンプレート Τ Ρ 2とにおける位置変化すなわち移動量をパターン マッチングにより検出し、 その検出結果 S 2を座標変'換部 3 4へ送出する 座標変換部 3 4は、 キヤリブレーション情報保持部 1 7から供給される キヤ リブレーション情報 C B 1に基づいて球面画像 Q 1 を形成するための 連結位置関係を 3次元座標として把握し、 前フレームにおけるテンプレー ト . Τ Ρ 1の位置を球面画像 Q 1上の 3次元座標 （x、 y、 z ) に変換する と共に、 最新フレームにおけるテンプレート T P 2の位置 （すなわち前フ レームの位置 +移動量） を球面画像 Q 1上の 3次元座標 （X '、 y '、 z ' ) に変換し、 前フレームの 3次元座標 （x、 y、 z ) 及び最新フレーム の 3次元座標 （X '、 y '、 z ' ) を回転量推定部 3 5へ送出する。
回転量推定部 3 5は、 n個のカメラ 1 3 A〜 1 3 nからそれぞれ得られ る複数方向の画像が例えば半径 2 . 5 mの球面にマツビングされたものを 球面画像 Q 1であると仮定し、 その球面画像 Q 1の球面上をテンプレート
T P 1及び T P 2がどのように移動したのかを上述した （ 1 ) 式〜 （ 3 ) 式から求め、 このようにして求めた回転量を表す回転情報 R T 1を球面画 像生成部 1 9及びトラッキング部 2 0へ送出する。
なお回転量算出部 1 8は、 最新フレームの回転量を算出する際、 前フレ
—ムからの回転量だけではなく基準となるフレームからの累積された総回 転量を求める必要が:ある。
このような Hi転量算出部 1 8のォプティカルフローによる回転量算出処 理手順について、 次の図 1 2に示した通りであるため、 ここではその説明 を省略する。
球面画像生成部 1 9は、 画像取込み部 1 5から供給される画像デ一夕群 V G 1、 キヤ リブレ ション情報保持部 1 Ίから供給されるキヤ リブレー ション情報 C B 1及び回転量算出部 1 8から供給される回転情報 R T 1に 基づいて、 n個のカメラ 1 3八〜 1 3 nによって撮像された画像デ一夕群 V G 1の各画像を連結することにより球面画像 Q 1を生成し、 これを画像 特定領域切出し表示部 2 1へ送出する。 '
トラッキング部 2 0は、 画像取込み部 1 5から供給される画像データ群 V G 1及び夕一ゲッ：ト特定部 1 6から.供給された夕一ゲッ ト特定信号 T G 1に基づいて、 画像デ一夕群 V G 1における各画像から監視者が希望する 人体内の所定部位を トラッキング表示のために特定し、 その所定部位を示 す夕ーゲッ ト位置情報 T G Pを画像特定領域切出し表示部 2 1へ送出する ここで トラッキング部 2 0では、 夕一ゲッ ト特定部 1 6から供給される 夕一ゲッ ト特定信号 T G 1が色指定による場合と、 パターン指定による場 合とに応じて夕一ゲッ ト位置情報 T GPを生成するため'の処理内容が異な り、 それぞれの処理に適した回路構成を有しているが、 その回路構成は図 1 3及び図 1 5に示した通りであるため、 ここではその説明を省略する。 トラヅキング部 20の強調表示部 ·44 (図 13) は、 ターゲッ ト位置情 報 T GPに基づいて所定部位に相当する対象物領域 OBA1 (図 14) を 認識し、 その対象物領域 OBA1に対して色調処理、 輪郭強調処理又は明 喑処理の少なく ともいずれかの強調表示処理を施すことによ り、 トラツキ ング対象の夕一ゲッ トである所定部位を際立たせ、 監視者に対して瞬時に 認識させ得るようになされている。 ここで強調表示部 44は、 この夕一ゲ ッ ト位置情報 TGPを画像特定領域切出し表示部 2 1へ送出する。
画像特定領： 切出し表示部 2 1は ·、 球面画像生成部 1 9によって生成さ れた球面画像 Q 1と、 夕一ゲッ 卜位置倩報 T G Pに基づいて トラツキング 部 2 0によ り強調表示処理された対象物領域 OBA1との配置関連性を求 め、 その配置関連性に基づいて当該対象物領域 0 BA1に対応す,る画像領 域を設定し、 当該対象物領域 0 BA1が球面画像 Q 1のほぼ中央領域にな るよう配置し、 その対象物領域 0 BA1を中心とした画像部分を切り出す ことにより、 当該対象物領域 0 BA1にフォーカスを当てた トラッキング 画像 T G Vを生成し、 これを無線通信ィ ン夕フェース 22からノートパソ コン 1 2へ無線伝送する。
なお画像特定領域切出し表示部 2 1は、 監視者により所定部位が指定さ れなかったときは、 球面画像生成部 19から供給される球面画像 Q 1をそ のままの状態で無線通信ィン夕フェース 22からノートパソコン.1 2へ無 線伝送する。
このときノ一 卜パソコン 1 2では、 監視者が監視することを希望する人 体内の所定部位が複数指定されているときは、 複数の所定部位ごとに追跡 した複数の トラッキング画像 T GVをディスプレイに同時に表示し得るよ うになされており、 これにより複数の所定部位に対する複数の トラツキン グ画像 T G-Vを同時に監視者に目視確認させ得るようになされている。 と ろで画像処理部 1 4では、 球面画像 Q 1を無線通信ィン夕フェース 2 2からノ一卜パソコン 1 2へ無線伝送し、 当該ノ一卜パソコン 1 2によ りディスプレイに表示した球面画像 Q 1上で監視者が所望する人体内の所 定部位を指定させることが可能である。
ここでノートパソコン 1 2は、 球面画像 Q 1を構成している複数方向の 画像を出力するカメラ 1 3 A〜 1 3 nの識別情報を保持しており、 当該球 面画像 Q 1を監視者の指示に応じて静止画状態で一時的に保持し、 その静 止画状態の球面画像 Q 1上で監視者により所望の所定部位が指定されると 、 その指定信号 S 1.及び識別情報をカプセル内視鏡 5 1へ無線送信する。
力プセル内視鏡 5 1の画像処理部 1 4は、 無線通信ィン夕フェース 2 2 を介して指定信号 S 1及び識別情報を受信すると、 画像特定領域切出し表 示部 2 1により当該指定信号 S 1で指定された所定部位の対象物,領域 0 B A 1が含まれる画像を出力しているカメラ 1 3 A〜 1 3 nを識別情報に基 づいて特定する。 ' .
画像特定領域切出し表示部 2 1は、 識別情報に基づいて特定したカメラ 1 3 A〜 1 3 nにより、 静止画状態で一時的に保持した球面 ®像 Q 1 と、 指定信号 S 1を受信した現時点における球面画像 Q 1 とにおけるフレーム 数の差をカウン 卜して時間的推移を追跡することにより、 指定信号 S 1で 指定された対象物領域 O B A 1の球面画像 Q 1における現時点配置を算出 する。
そして画像特定領域切出し表示部 2 1は、 球面画像 Q 1のうち対象物領 域 O B A 1の現時点配置を認識し、 その現時点配置の対象物領域 0 B A 1 に対応する画像領域を設定し、 当該対象物領域 0 B A 1が球面画像 Q 1の ほぼ中央になるよう位置付けられた画像部分を切り出すことにより、 対象 物領域 O B A 1にフォーカスを当てた トラヅキング画像 T G Vを生成し、 これを無線通信ィン夕フェース 2 2からノートパソコン 1 2へ無線伝送す か してノートパソコン 1 2では、 静止画状態の球面画像 Q 1上で指定 した人体内の所定部位の対象物領域 0 BA1を夕ーゲッ 卜 として追跡した トラッキング画像をディスプレイに表示し、 監視者に所定部位をリアルタ ィムに目視確認させることができるようになされている。
なお カプセル内視鏡 5 1の画像処理部 14は、 人体内の所定部位が複 数指定されているときは、 複数の対象物領域 OBA1と、 球面画像 Q 1と の配置関連性を求め、 その配置関連性に基づいて複数の対象物領域 0 B A 1が球面画像 Q 1のほぼ中央領域になるよう配置し、 複数の対象物領域 0 BA1が球面画像 Q 1のほぼ中央領域に配置された画像部分を当該球面画 像 Q 1から切り出すことにより、 当該複数の^象物領域 0 BA1にフォー カスを当てた トラヅキング画像 TGVをそれぞれ生成し、 これらをノート パソコン 1 2のディスプレイに同時に表示し得るようになされており、 こ れにより複数の所定部位に対する複数の トラッキング画像 T GVを同時に 監視者に目視確認させることができるようになされている。
因みに、 監視者によって複数の所定部位が色指定されたときの複数夕一 ゲッ トを追跡して トラッキング表示するための複数夕一ゲッ 卜のトラツキ ング処理手順については、 図 16に示したフローチャートと同様であるた め、. ここでは便宜上その説明を省略する。
. (3— 3) 第 2の実施の形態における動作及び効果
以上の構成において、 第 2の実施の形態における力プセル内視鏡システ ム 50では、 カプセル内視鏡 51が人体内に入り込んだ場合、 当該カプセ ル内視鏡 5 1が回転しながらカメラ 1 3 A〜カメラ 13 nによって人体内 の全方位画像を取得し、 その人体内を表した球面画像 Q 1を生成すること ができるので、 あたかも人体内から周囲の状況を目視確認しているかのよ うな球面画像 Q 1を、 ノートパソコン 1 2を介して監視者に目視確認させ ることができる。 . このときカプセル内視鏡 5 1は、 カプセル本体 5 1 Aが回転することに 伴って'カメラ 1 3 A〜カメラ 1 3 nから得られる複数方向の画像について も基準となるフレームから回転してしまうが、 画像処理.部 1 4の回転量算 出部 1 8で基準となるフレームからの回転量を算出し、 基準のフレームか ら次のフレームやその次のフレーム、 さらにその次のフレームについても 回転量分を補正することにより、 単一のカメラで同一姿勢により撮影した かのような球面画像 Q 1を生成し、 これをノ一トバソコン 1 2に表示する ことができる。
すなわちノートパソコン 1 2では、 単一のカメラで同一姿勢により人体 内を撮影したかのよ,うな動画像を、 球面画像 Q 1 を介してリアルタイムに 監視者に目視^認させることができる。 '
またカプセル内視鏡システム 5 0は、 夕一ゲッ トとして複数指定された 所 部位の対象物領域 0 B A 1 をそれぞれ.追跡し、 その対象物 域 O B A 1 と球面画像 Q 1 との配置関連性を求め、 当該配置関連性に基づいて対象 物領域 0 B A 1の重心位置 G 1が球面画像 Q 1のほぼ中央領域になるよう 配置し、 'その対象物領域 0 B A 1を中心とした画像部分を球面画像 Q 1か ら切り出すことにより、 当該対象物領域 0 B A 1にフォーカスを当てた ト ラヅキング画像 T G Vを各色 （すなわち所定部位） ごとに生成し、 これら をノ一トパソコン 1 2に無線送信することにより、 当該ソート.パソコン 1 2のディスプレイを介して同時に複数の所定部位を トラッキング表示する ことができる。
従って、 カプセル内視鏡システム 5 0では、 人体内の所定部位を追跡し ながら、 当該所定部位に近接した位置から臨場感溢れる高解像度映像を表 示することができるので、 所定部位が患部であるとき、 監視者はその患部 の状況を詳細に目視確認することができる。
その際、 カプセル内視鏡システム 5 0は、 監視者が注目する所定部位の 対象物領域 O B A 1を強調表示していることにより、 複数の所定部位の中 から監視者が注目する夕一ゲッ トを一目で探,し出すこと'ができ、 かつ追跡 して ラッキング表示している最中にも監視者が所定部位を見失うことを 未然に防止することができる。 .
以上の構成によれば、 カプセル内視鏡システム 5 0では、 推進或いは回 転といった多様に運動可能なカプセル内視鏡 5 1により取得される人体内 の全方位画像から球面画像 Q 1を生成し、 その球面画像 Q 1の中から監視 者が注目する複数の所定部位を追跡して トラッキング表示することにより 、 監視者にとって注目する所定部位の夕一ゲッ トを見易い形でそれぞれ提 供することができる。
( 4 ) 第 3の実施の形態
( 4 - 1 ) 第 3の実施の形態におけるセキュリティシステムの全体構成 図 5 との対応部分に同一符号を付して示す図 2 0において、 7 0は全体 として第 3の実施の形態におけるセキュリティシステムを示し、 .物体表面 分布型カメラ 1 (図 1 ) に相当する監視カメラ 7 1が天井に取り付けられ ており、 その監視カメラ 7 1の半球体の表面に設けられた n個のカメラ 7 2八〜カメラ 7 2 nによって例えば銀行の A T M室 7 3の室内状況を表し た全方位画像を撮像し合成することにより得られた半.球面画像 Q 2を当該 監視カメラ 7 1から受信して表示するパーソナルコンピュー夕 7 5 とによ つて構成されている。
この監視カメラ 7 1は、 その半球体の表面に配置された n個のカメラ 7 2 A〜カメラ 7 2 nによって A T M室 7 3の内部空間に対する全方位画像
(複数方向の画像） を撮像することが可能なように予めカメラ配置がキヤ リブレーションされている。
.なお監視カメラ 7 1においても、 半球面画像 Q 2を生成することができ れば必ずしも全方位画像ではなく所定の複数方向の画像を取得できれば良 く、 また n個のカメラ 7 2 A〜 7 2 nについてもその光軸が半球体の中心 から放射状に伸びた延長線上になくてもよい。 なお監視カメラ 7 1は、 回転自在でばなくカメラ 7 '1 A〜 7 1 nが半球 体の 面に固定されているが、 A T M室 7 3の内部空間を 1 8 0度の画角 で全方位画像 （複数方向の画像） を取得し得るようにその個数及びカメラ 配置がキャ リブレーションされている。
このセキュリティシステム 7 0は、 A T M室 7 3に監視カメラ 7 1が設 置される一方、 別室にはパーソナルコンピュー夕 Ί 5が設置されており、 これにより当該パーソナルコンピュータ 7 5のモニタに A T M室 7 3の室 内状況をリアルタイムに映し出.すようになされたものである。
因みにセキュ リティシステム 7 0においては、 A T M室 7 3内に限らず 、 銀行の前の通りを監視するために監視カメラ 7 1を設けて、 パーソナル コンピュ一夕 7 5のモニタに銀行の'前を通り過ぎる通行人等をリアルタイ ムに映し出すことも可能である。
( 4— 2 ) セキュ リティ システムの回路構成
図 6 との対応部分に同一符号を付した図 2. 1に示すようにセキュリティ システム 7 0は、 監視カメラ 7 1 とパーソナルコンピュー夕 7 5とが通信 インタフヱ一ス 8 1及び 8 2を介して相互に有線接続された構成を有する 監視カメラ 7 1は、 その半球体の表面に設けられた n個のカメラ 7 2 A 〜 7 2 nからそれぞれ得られる画像デ一夕群 V G 1 (複数方向の画像デ一 夕） を通信ィン夕フェース 8 1を介してパーソナルコンピュータ 7 5へ送 1目 。
パーソナルコンビュ一夕 7 5は、 通信イン夕フエ一ス 8 2を介して監視 カメラ 7 1から受信した画像デ一夕群 V G 1を画像処理部 1 4の画像取込 み部 1 5に取り込み、 当該画像取込み部 1 5から夕ーゲッ ト特定部 1 6、 球面画像生成部 1 9及びトラッキング部 2 0へ送出する。
パーソナルコンピュー夕 7 5の画像処理部 1 4は、 キャリブレーション 情報保持部 1 7を有しており、 当該キヤ リブレ一シヨン情報保持部 1 7か らキヤ リブレーシヨン情報 C B 1を球面画像,生成部 1' 9へ送出する。
夕一ゲッ ト特定部 1 6は、 画像取込み部 1 5から供給された画像データ 群 V G 1 をモニタ 8 4へ出力することにより監視カメラ 7 1によって撮像 された複数方向の画像を当該モニタ 8 4に表示し、 当該画像中に存在する A T M室 7 3内を表す所定部分をマウス 8 3によって監視者に指定させる ことにより、 当該所定部分を示す夕一ゲッ ト特定信号 T G 1 を生成して ト ラ ヅキング部 2 0へ送出する。
ところでキャ リブレーション情報 C B 1 とは、 個々のカメラ 7 2 A〜 7 2 nが持つレンズ歪を較正するための幾何学的情報及び半球面画像 Q 2を 形成するために、 半球体の表面に配置された n個のカメラ 7 2 A〜カメラ 7 2 nからそれぞれ得られる複数の画像を連 させるときの連結位置関係 を表した情報であり、 画像処理部 1 4がこのキヤ リブレーション情報 C B 1 'に従って n個のカメラ 7 2 A〜カメラ 7 2 nから得られる複数方向の画 像を連結させることにより継ぎ目が無くかつ歪みのない半球面画像 Q 2を 生成し得るようになされている。 .
このキャリブレーション情報保持部 1 7は、 n個のカメラ 7 2 A〜カメ ラ 7 2 nからそれぞれ得られる複数の画像を連結させる際の連結位置関係 をキヤリブレーション情報 C B 1 として把握しており、 監視者の操作によ り連結位置関係を後から較正することもできるようになされている。 特に 、 n個のカメラ 7 2 A ~ 7 2 nによって撮像された各画像はそれぞれ部分 的に重畳しており、 それらがキヤリブレ一ション情報 C B 1に基づいて連 結されることにより、 継ぎ目が無くかつ歪みのないシ一ムレスな連結画像 すなわち半球面画像 Q 2が生成される。
球面画像生成部 1 9は、 画像取込み部 1 5から供給される画像デ一夕群 V G 1及びキヤ リブレ一ション情報保持部 1 7から供給されるキヤリブレ —シヨン情報 C B 1に基づいて、 カメラ 7 2 A〜カメラ 7 2 nによって撮 像された画像データ群 V G 1の各画像を連結することにより半球面画像 Q 2を生成し、 これを画像特定領域切出し表示部 2 1へ送出する。
ト ^ッキング部 20は、 画像取込み部 1 5から供給される画像データ群 VG 1及び夕一ゲッ ト特定部 1 6から供給された夕一ゲッ ト特定信号 TG 1に基づいて、 画像デ一夕群 VG 1における各画像から監視者が希望する A T M室 73内の所定部分を トラッキング表示のために特定し、 その所定 部分を示す夕ーゲッ ト位置情報 T GPを画像特定領域切出し表示部 2 1へ 送出する。
ここで トラッキング部 20では、 ターゲッ ト特定部 1 6から供給される 夕一ゲッ ト特定信号 TG 1が色指定による場合と、 パターン指定による場 合とに応じて夕ーゲッ 卜位置情報 T GPを生成するための処理内容が異な り、 それぞれめ処理に適した回路構成を有しているが、 その回路構成は図 1 3及び図 1 5で示した通りであるため、 ここではその説明を省略する。 但し、 第 3の実施の形態における トラッキング部 20では、 回転情報 R T 1を用いることがないので、 その点については処理を簡略化することが 可能である。 '
トラッキング部 20の強調表示部 44 (図 13 ) は、 ターゲッ ト位置情 報 T GPに基づいて ATM室 73内の所定部分に相当.する対象物領域 0 B A1を認識し、 その対象物領域 OBA1に対して色調処理、. 輪郭強調処理 又は明暗処理の少なく ともいずれかの強調表示処理を施すことにより、 ト ラツキング対象の夕一ゲッ トである A T M室 73内の所定部分を際立たせ 、 監視者に対して瞬時に 識させ得るようになされている。 ここで強調表 示部 44は、 この.夕一ゲッ ト位置情報 TGPを画像特定領域切出し表示部 2 1へ送出する。
画像特定領域切出し表示部 2 1は、 球面画像生成部 1 9によって生成さ れた半球面画像 Q 2と、 ターゲッ 卜位置情報 T G Pに基づいて 卜ラッキン グ部 20により強調表示処理された対象物領域 0 BA1との配置関連性を 求め、 その配置関連性に基づいて当該対象物領域 0 BA1に対応する画像 領域を設定し、 当該対象物領域 0 B A 1が半球面画像 Q 2のほぼ中央領域 になるよう配置し、 その対象物領域 0 B A 1が半球面画像 Q 2のほぼ中央 領域に配置された画像部分を当該半球面画像 Q 2から切り出すことにより 、 強調表示処理が施された対象物領域 0 B A 1にフォーカスを当てた トラ ッキング画像 T G Vを生成し、 これをモニタ 8 4へ出力する。
なお画像特定領域切出し表示部 2 1は、 監視者により A T M室 7 3内の 所定部分が指定されなかったときは、 球面画像生成部 1 9から供給される 半球面画像 Q 2をそのままの状態でモニタ 8 4へ出力する。
このときパーソナルコンピュータ 7 5では、 監視者によって A T M室 7 3内の所定部分が複数指定されているときは、 複数の所定部分ごとに追跡 した複数の ト ^ヅキング画像 T G Vをモニタ 8 4に同時に表示し得るよう になされており、 これにより複数の所定部分に対する複数の トラッキング 画 ί象 T G Vを同時に監視者に目視確認させることができるように.なされて いる。
ところでパーソナルコンピュータ 7 5の画像処理部 1 4では、 モニタ 8 4に表示した半球面画像 Q 2上で監視者が監視を所望する A Τ M室 7 3内 の所定部分を指定させることが可能である。
ここでパーソナルコンピュー夕 7 5は、 半球面画像 Q 2を構成している 複数方向の画像を出力するカメラ 7 2 A〜 7 2 nの識別情報を保持してお り、 監視者の指示に応じて当該半球面画像 Q 2を静止画状態で一時的に保 持し、 その静止画状態の半球面画像 Q 2上で監視者により A T M室 7 3内 の所定部分がマウス 8 3により指定されると、 その指定信号 S 1及び識別 情報をターゲッ ト特定部 1 6へ送出する。
これによりパーソナルコンピュー夕 Ί 5の画像処理部 1 4は、 夕一ゲッ ト特定部 1 6及びトラツキング部 2 0を介して監視者によって指定された 所定部分を特定する夕ーゲッ ト位置情報 T G Pを画像特定領域切出し表示 部 2 1へ出力する。 , 画像特定領域切出し表示部 2 1は、 ターゲッ ト位置情報 T GPで特定さ れた所定部分の対象物領域 0 B A 1が含まれる画像を出力しているカメラ 1 3 A〜 1 3 nを識別情報に基づいて特定する。
画像特定領域切出し表示部 2 1は、 識別情報に基づいて特定したカメラ 1 3 A〜 1 3 nにより、 静止画状態で一時的に保持した半球面画像 Q 2と 、 マウス 83により ATM室 73内の所定部分が指定された現時点の半球 面画像 Q 2とにおけるフレーム数の差をカウン ト して時間的推移を追跡す ることにより、 マウス 83により指定された対象物領域 0 B A1の半球面 画像 Q 2における現時点配置を算出する。
そして画像特定謂域切出し表示部 2 1は、 半球面画像 Q 2のうち対象物 領域 0 B A1の'現時点配置を認識し、 その現時点配置の対象物領域 0 B A 1に対応する半球面画像 Q 2の画像領域を.設定し、 当該対象物領域 0 BA 1が半球面画像 Q 2のほぼ中央領域になるよう配置した画像部分を切り出 すことにより、 対象物領域 0 BA1にフォーカスを当てた トラッキング画 像 TGVを生成し、 これをモニタ 84へ出力する。
かく してパーソナルコンピュータ 75では、 半球面画像 Q 2上で指定し た ATM室 73内における所定'部分の対象物領域 OBA1を夕一ゲヅ トと して追跡した トラッキング画像 T GV'をモニタ 84に表示し、 監視者に A T M室 73内の所定部分をリアルタイムに目視確認させることができるよ うになされている。
なお、 パーソナルコンピュータ 75の画像処理部 14は、 ATM室 73 内の所定部分が複数指定-されているときは、 複数の対象物領域 0 BA1と 、 半球面画像 Q 2との配置関連性を求め、 その配置関連性に基づいて複数 の対象物領域 0 B A 1が半球面画像 Q 2のほぼ中央領域になるよう配置し 、 そのようにして配置された複数の対象物領域 0 BA1が中心に位置する 画像部分をそれぞれ半球面画像 Q 2から切り出すことにより、 当該複数の 対象物領域◦ B A 1にフォーカスを当てた トラッキング画像 T G Vをそれ ぞれ生成し、 これらをモニタ 84に同時に表示し得るようになされており 、 これにより A TM室 73内で指定された複数の所定部分に対する複数の 卜ラッキング画像 T G Vを同時に監視者に目視確認させることができるよ うになされている。
因みに、 監視者によって ATM室 73内で指定された複数の所定部分が 色指定されたときの複数夕一ゲッ トを追跡して トラッキング奉示するため の複数ターゲッ トのトラッキング処理手順についても、 図 1 6に示した通 りであるため、 ここでは便宜上その説明を省略する。
(4— 3) 第 3の実施の形態における動作及び効果
以上の構成において、 第 3の実施の形態におけるセキュリティシステム 7 0では、 ATM室 73の天井に取り付けられた監視カメラ 7 1における n個のカメラ 72A〜カメラ 72 nによって ATM室 73の室内空間にお ける全方位画像を取得し、 その全方位画像に基づいて半球面画像 Q 2を生 成することができるので、 あたかも ATM室 73の内部から ATM室 73 内の状況を目視確認しているかのような半球面画像 Q 2を監視者に提示す ることができる。
またセキュリティシステム 0は、 ターゲッ トとして複数指定された A TM室 73内の所定部分に対する対象物領域 0 BAlをそれぞれ追跡し、 その対象物領域 0 BA1と半球面画像 Q 2との配置関連性を求め、 その配 置関連性に基づいて対象物領域 0 BA1の重心位置 G 1が半球面画像 Q 2 のほぼ中央領域になるよう配置し、 その対象物領域 OBA1を中心とした 画像部分を半球面画像 Q 2からそれぞれ切り出すことにより、 当該対象物 領域 0 BA1にフォーカスを当てた トラヅキング画像 T G Vを A T M室 7 3内の所定部分ごとに生成し、 これらをモニタ 84へ出力することにより 、 当該モニタ 84を介して同時に複数の所定部分を トラッキング表示する ことができる。
従って、 セキュリティシステム 70では、 指定された ATM室 73内の 所定部分を追跡しながら、 当該所定部分に近接した臨場感溢れる高解像度 映像を表示することができるので、 所定部分に A T Mの不正利用者が存在 するとき、 監視者はその不正利用者を詳細に目視確認することができる。 その際、 セキュリティシステム 7 0は、 監視者が注目する所定部分の対 象物領域 O B A 1を強調表示することにより、 複数の所定部分の中から監 視者が注目する夕一ゲツ 卜を一目で探し出すことができ、 かつ追跡して ト ラッキング表示している最中にも監視者が所定部分を見失うことを未然に 防止することができる。
以上の構成によれば、 セキュリティシステム 7 0では、 監視カメラ 7 1 により取得される A T M室 7 3の内部空間に対する全方位画像に基づいて 半球面画像 Q 2を生成し、 その半球面画像 Q 2の中から監視者が注目する 所定部分を複数追跡して トラツキング表示することにより、 監視者にとつ て注目する所定部分の夕ーゲッ トを見易い形でそれぞれ提供することがで きる。
( 5 ) 他の実施の形態
なお上述の第 1の実施の形態においては、 屋内状況確認ボール 1 1 (図 6 ) の内部に画像処理部 1 4が'設けられ、 当該画像処理部 1 4により生成 された球面画像 Q 1をノートパソコン 1 2へ無線伝送.して表示させるよう にした場合について述べたが、 本発明はこれに限らず'、 例えば図 2 2に示 すように屋内状況確認ボール 1 1に画像処理部 1 4を設けるのではなく、 n個のカメラ 1 3 A〜 1 3 nと、 当該カメラ 1 3 A〜 1 3 nによって撮像 された画像データ群 V G 1 (複数方向の画像） をノー トパソコン 1 2へ無 線伝送する無線通信ィン夕フェース 2 3 とだけを設け、 ノートパソコン 1 2に当該画像データ群 V G 1を屋内状況確認ボール 1 1から受信するため の無線通信ィン夕フェース 2 4と画像処理部 1 4とを設けるようにしても 良い。 この場合も、 ノート.パソコン 1 2は画像処理部 1 4によって生成さ れた球面画像 Q 1をディスプレイ 2 5に出力して表示させることができる ま こ上述の第 1の実施の形態においては、 物体表面分布型カメラ 1 (図 1 ) に相当するものとして屋内状況確認ボール 1 1を用いることにより屋 内状況監視システム 1 0を構築するようにした場合について述べてが、 本 発明はこれに限らず、 物体表面分布型カメラ 1 (図 1 ) に相当するものと して、 例えば図 2 3に示すような n個のカメラ 1 3 A〜 1 3 nがその表面 に設けられたカメラ付サッ力一ボール 1 1 0やカメラ付バスケッ トボール 0図示せず） 、 或いは図 2 4に示すような審判員の頭部周囲に渡って n個 のカメラ 1 3 A〜 1 3 nが取り付けられたカメラ付へッ ドバン ド 1 2 0や 、 周囲のみならず項点部分にもカメラが設けられたカメラ付キャップ （図 示せず） を用 ることによりスポーヅ観戦システムを構築するようにして も良い。
きらに上述の第 2の実施の形態においては、 力プセル内視鏡システム 5 0におけるカプセル内視鏡 5 1 (図 1 9 ) がバグテリ' 6 2から供給される 電力を基に画像処理部 1 4を動作させるようにした場合について述べたが 、 本発明はこれに限らず、 人体外に配置したコイルから発生させる磁界に よる電磁誘導の原理によってカプセル本体 5 1 A内部の受電コイル （図示 せず） に電力を供給するようにしても良い。
さらに上述の第 1乃至第 3の実施の形態においては、 球体の表面に n個 のカメラ' 1 3 A〜 1 3 n、 7 1 A〜 7 I nを設けるようにした場合につい て述べたが、 本発明はこれに限らず、 透明なアク リルでなる球体の内部に 設けられた例えば立方体の各面に複数のカメラを設けたり、 立方体やその 他種々の多面体の表面に複数のカメラを設けたり、 同一面上に複数のカメ ラを設けたり してもよく、 カメラを設ける対象、 カメラ配置や数に関して は必ずしも厳格に定めなくても良い。 例えば図 2 5に示すように、 円筒形 状の本体 1 3 2の頂点部分にカメラ 1 3 1 Aが設けられ、 かつ本体 1 3 2 の周側面に複数のカメラ 1 3 2 B及び 1 3 2 Cが設けられた物体表面分布 型カメラ 1 3 0を用いるようにしても良い。 '
すなわち、 これらのカメラにより撮像された画像が部分的に重畳され、 これらの画像に対して画像処理を施すことにより継ぎ巨が無くかつ歪みの ないシームレスな球面画像 Q 1や半球面画像 Q 2を生成することができれ ば、 カメラを配置する筐体の形状やカメラ配置及び数には制限はない。 さらに上述の第 1乃至第 3の実施の形態においては、 静止画状態の球面 画像 Q 1及び半球面画像 Q 2の中から監視者が所望する対象物、 対象部位 及び対象部分を トラッキング表示する際の夕一ゲッ トとして指定すること ができるようにした場合について述べたが、 本発明はこれに限らず、 動画 状態の球面画像 Q 1及び半球面画像 Q 2の中から監視者が所望する対象物 、 対象部位及び対象部分を トラッキング表示す'る際の夕一ゲッ トとして指 定するようにしても良い。
さらに上述の第 1の実施の形態においては、 屋内状況確認ボール 1 1が 転がされる際に n個のカメラ 1 3 A〜 1 3 nによって空間上の全方位画像 を取得するようにした場合について述べたが、 本発明はこれに限らず、 屋 内状況確認ボール 1 1の内部に回転モ一夕を搭載して自発的に回転させる ことにより空間上の全方位画像を取得するようにしても良い。
さらに上述の第 2の実施の形態においては、 カプセル内視鏡 5 1の内部 に画像処理部 1 4.を設けて球面画像 Q 1やトラッキング画像 T G Vをノ一 卜パソコン 1 2へ無線伝送するようにした場合について述べたが、 本発明 はこれに限らず、. カプセル内視鏡 5 1には画像処理部 1 4を設けず、 ノー トパソコン 1 2に画像処理部 1 4を設けて、 カプセル内視鏡 5 1からは全 方位画像だけをノ一トパソコン 1 2へ無線伝送させ、 ノートパソコン 1 2 の画像処理部 1 4で球面画像 Q 1及びトラッキング画像 T G Vを生成する ようにしても良い。
さらに上述の第 3の実施の形態においては、 監視カメラ 7 1の半球体の 表面に n個のカメラ 7 2 A〜 7 2 n .を固定的に取り付けるようにした場合 について述べたが、 本発明はこれに限らず、 ，キヤ-リブレーションを調整す ることを前提として n個のカメラ 7 2 A〜 7 2 nを半球体の表面に沿って 自在に動かすように取り付けても良い。
さらに上述の第 3の実施の形態においては、 監視カメラ 7 1に複数の力 メラ 7 2 A〜 7 2 nが設けられ、 パ一ソナルコンピュータ 7 5に画像処理 部 1 4が設けられるような構成にした場合について述べたが、 本発明はこ れに限らず、 監視カメラ 7 1に複数のカメラ 7 2 A〜 7 2 n及び画像処理 部 1 4を設け、 最終的な半球面画像 Q 2及びトラツキング画像 T G Vをパ 一ソナルコンピュータ 7 5へ送信するようにしても良い。
さらに上述の第 3の実施の形態においては、 半球体の監視カメラ 7 1が A T M室 7 3め天井部分に固定した状態で取り付けられるようにした場合 について述べたが、 本発明はこれに限らず、 球状の監視カメラを用いて回 転可能に天井部分から吊下げることにより A T M室 7 3内の全方位画像を 取得するようにしても良い。 この場合、 画像処理部 1 4には、 第 1及び第 2の実施の形態と同様に回転量算出部 1 8を設けて、 当該回転量算出部 1 8からの回転情報 R T 1を球面画像生成部 1 9及びトラッキング部 2 0へ 供給するようにすればよい。
さらに上述の第 1乃至第 3の実施の形態においては、 本発明の撮像画像 処理装置を、 屋内状況監視システム 1 0、 カプセル内視鏡システム 5 0及 びセキユ リティ システム 7 0に適用するようにした場合について述べたが 、 本発明はこれに限らず、 これら以外の他の種々のシステムに適用するよ うにしても良い。
さら'に上述の第 1及び第 2の実施の形態においては、 完全な球体でなる 球面画像 Q 1を生成するようにした場合について述べたが、 本発明はこれ に限らず、 球体の一部が欠けている球面画像や、 ラグビーボール状の球体 でなる球面画像を生成するようにしても良い。
さらに上述の実施の形態においては、 複数の撮像素子としてのカメラ 1 3 A〜 1 3 n及び 7 2 A〜 7 2 n、 画像連結手段'としての球面画像生成部 1 9、 '対象物指定手段としての夕ーゲッ ト特定部 1 6、 画像処理手段とし ての画像特定領域切出し表示部 2 1によつて撮像画像処置装置としての屋 内状況監視システム 1 0、 カプセル内視鏡システム 5 0及びセキュリティ システム 7 0を構成するようにした場合について述べたが、 本発明はこれ に限らず、 その他の種々の回路構成でなる複数の撮像素子、 画像連結手段 、 対象物指定手段及び画像処理手段によって撮像画像処理装置を構成する ようにしても良い。 産業上の利用可能性，
本発明のィソ夕ラクティ ブ画像取得装置は、 えば撮像対象を接近した 位置から撮像して追跡しながら臨場感ある映像として提示する種々の撮影 システムに適用することができる。

Claims

' 請 求 の 範 囲
1 . 少なく とも 2つ以上の撮像素子によって撮像された画像が部分的に重 畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能に なされた複数の撮像素子と、
上記複数の撮像素子によって取得された複数の画像をつなぎ合わせるた めの画像連結手段と、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指 定するための対象物指定手段と、
上記画像連結手 によって上記複数の画像をつなぎ合わせた結果得られ る連結画像と上記対象物指定手段によって指定'された上記対象物との配置 関連性を求め、.その配置関連性に基づいて上記対象物を上記連結画像の略 中央領域に配置する画像処理手段と'
を具えることを特徴とするイ ン夕ラクティブ画像取得装置。
2 . 上記複数の撮像素子から取得された上記複数の画像の連結位置関係を 事前に把握して較正するキャリブレーション手段
を具えるこどを特徴とする請'求項 1に記載のィン夕ラクティ ブ画像取得 装置。
3 . 上記対象物指定手段によって指定された上記対象物に対して当該対象 物が指定されたことを強調するための指定対象強調手段
を具えることを特徴とする請求項 1に記載のィン夕ラクティ ブ画像取得 装置。
4 . 上記インタラクティブ画像取得装置は、
上記複数の撮像素子から得られる上記複数の画像を無線伝送するための 無線伝送手段と、
上記無線伝送手段により無線伝送された上記複数の画像を受信する画像 受信手段と を具え、 '
上記画像受信手段により受信した上記複数の画像を上記画像連結手段へ 供給するようにした
ことを特徴 する請求項 1に記載のィン夕'ラクティブ画像取得装置。
5 . 上記画捧連結手段により連結された上記連結画像を静止画状態で一時 的に保持する一時保持手段と、
上記連結画像を構成する上記複数の画像を出力する上記複数の撮像素子 の識別情報を保持する識別情報保持手段と、 .
上記一時保持手段から読み出した上記連結画像に対して上記対象物指定 手段により上記対象物が指定ざれたとき、 上記一時的に保持された当該連 結画像と、 上記識別情報に対応した.上記複数の'撮像素子から現時点で得ら れる上記連結画像とにおける時間的推移を追跡することにより上記指定さ れた上記対象物の現時点配置を求める現時点配置算出手段と
を具え、
上記一時保持手段によって保持された上記静止画状態の上記連結画像に 対して上記対象物を上記対象物指定手段によって指定すると共に、 上記画 像処理手段により上記現時点配'置に基づいて上記現時点における画像内で の上記配置関連性を求めるようにした
ことを特徴とする請求項 1に記載のィ ン夕ラクティ'ブ画像取得装置。
6 . 少なく とも 2つ以上の撮像素子によって撮像された画像が部分的に重 畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能に なされた複数の撮像素子と、
上記複数の撮像素子によって取得された複数の画像をつなぎ合わせるた めの画像連結手段と、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指 定するための対象物指定手段と、
上記複数の撮像素子に対して駆動電力を供給するための電力供給手段と 上記画像連結手段によって上記複数の画像をつなぎ合わせた結果得られ る連結画像と上記対象物指定手段によって指定された上記対象物との配置 関連性を求め、 その配置関連性に基づいて上記対象物を上記連結画像の略 中央領域に配置する画像処理手段と
を具えることを特徴とするイン夕ラクティ ブ画像取得装置。
7 . 上記電力供給手段は、 電磁結合部を具え、 外部から供給される電磁波 を基に電磁誘導の原理により上記駆動電力を生成する
ことを特徴とする請求項 6に記載のィ ン夕ラクティブ画像取得装置。
8 . 上記複数の撮 ί 素子によって取得された上記複数の画像を無線伝送す るための無線伝送手段と、 '
'上記無線伝送手段から無線伝送された上記複数の画像を受信する画像受 信手段と
を具え、
上記複数の撮像素子及び上記無線伝送手段が球状あるいは円筒状のカブ セル収納体に収められた状態で、 上記画像受信手段により受信した上記複 数の画像を上記画像連結手段へ供給するようにした
ことを特徴とする請求項 6に記載のィ ン夕ラクティブ画像取得装置。
9 . 上記インタラクティ ブ画像取得装置は、 '
上記対象物指定手段によって指定された上記対象物を示す指定信号を無 線伝送するための無線伝送手段と、
上記無線伝送手段により無線伝送された上記指定信号を受信する指定信 号受信手段と
を具え、
上記複数の撮像素子及び上記無線伝送手段が球状あるいは円筒状のカブ セル収納体に収められた状態で、 上記指定信号受信手段により受信した上 記指定信号を上記画像連結手段へ供給するようにした 乙とを特徴とする請求項 6に記載のインタラクティブ画像取得装置。 1 0ノ上記画像連結手段により連結された上記連結画像を静止画状態で一 時的に保持する一時保持手段と、
上記連結画像を構成する上記複数の画像を出力する土記複数の撮像素子 の識別情報を保持する識別情報保持手段と、
上記一時保持手段から読み出した上記連結画像に対して上記対象物指定 手段により上記対象物が指定されたとき、 上記一時的に保持された当該連 結画像と、 上記識別情報に対応した上記複数の撮像素子から現時点で得ち れる上記連結画像とにおける時間的推移を追跡することにより上記指定さ れた上記対象物の瑪時点配置を求める現時点配置算出手段と
を具え、 1 '
上記一時保持手段によって保持された上記静止画状態の上記連結画像に 対して上記対象物を上記対象物指定手段によって指定すると共に、 上記画 像処理手段により上記現時点配置に基づいて上記現時点における画像内で の上記配置関連性を求めるようにレた '
ことを特徴とする請求項 6に記載のィ ンタラクティブ画像取得装置。 1 1 . 上記対象物指定手段は、 上記対象物を複数指定すると共に、 上記画像処理手段は、 上記複数の撮像素子によって取得された上記複数 の画像と上記複数指定された対象物とのそれぞれの上記配置関連性を求め るようにした
ことを特徴とする請求項 6に記載のィ ン夕ラクティ ブ画像取得装置。 1 2 . 監視対象となる所定の場所に配置され、' 少なく とも 2つ以上の撮像 素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可 能に配置される複数の撮像素子と、
上記複数の撮像素子によって取得された複数の画像をつなぎ合わせるた めの画像連結手段と、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指 定するための対象物指定手段と、 '
上記画像連結手段によって上記複数の画像をつなぎ合わせた結果得られ る連結画像と上記対象物指定手段によって指定された上記対象物との配置 関連性を求め、 その配置関連性に基づいて上記対象物を上記連結画像の略 中央領域に配置する画像処理手段と
を具えることを特徴とするィ ン夕ラクティ ブ画像取得装置。
1 3 . 上記インタラクティブ画像取得装置は、
上記指定手段により上記対象物が指定されないときは、 上記連結画像を 構成する全ての上記複数の画像を所定の情報処理装置へ伝送する伝送手段 と ，
を具えるこどを特徴とする請求項 1 2に記載のィン夕ラクティ ブ画像取 得装置。
1 4 . 少なく とも 2つ以上の撮像素子によって撮像された画像が部分的に 重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能 になされた複数の撮像素子によって取得される複数の画像をつなぎ合わせ る画像連結ステップと、
. 上記複数の撮像素子によって Ϊ最像された画像の中から所望の対象物を指 定するための対象物指定ステツプと、
上記画像連結ステツプ (こよって上記複数の画像をつなぎ合わせた結果得 られる連結画像と上記対象物指定ステツプで指定された上記対象物との配 置関連性を求める配置関連性判定ステツプと
上記配置関連性判定ステツプにより求められた上記配置関連性に基づい て上記対象物を上記連結画像の略中央領域に配置する画像処理ステツプと を具えることを特徴とするイン夕ラクティ ブ画像取得方法。
PCT/JP2006/315438 2005-07-29 2006-07-28 インタラクティブ画像取得装置 WO2007013685A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/989,625 US20090207246A1 (en) 2005-07-29 2006-07-28 Interactive image acquisition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005221728A JP2007043225A (ja) 2005-07-29 2005-07-29 撮像画像処理装置及び撮像画像処理方法
JP2005-221728 2005-07-29

Publications (1)

Publication Number Publication Date
WO2007013685A1 true WO2007013685A1 (ja) 2007-02-01

Family

ID=37683556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/315438 WO2007013685A1 (ja) 2005-07-29 2006-07-28 インタラクティブ画像取得装置

Country Status (3)

Country Link
US (1) US20090207246A1 (ja)
JP (1) JP2007043225A (ja)
WO (1) WO2007013685A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572240A (zh) * 2010-12-22 2012-07-11 索尼公司 成像设备、图像处理设备、图像处理方法和程序
JP2016127377A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラム
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
JP7487464B2 (ja) 2018-11-30 2024-05-21 株式会社リコー 画像処理装置、撮像装置、動画再生システム、方法およびプログラム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537673A (ja) * 2007-05-04 2010-12-09 スミス アンド ネフュー インコーポレーテッド 外科手術用カメラシステム
US8208024B2 (en) * 2007-11-30 2012-06-26 Target Brands, Inc. Communication and surveillance system
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
US9497386B1 (en) * 2009-09-22 2016-11-15 Altia Systems Inc. Multi-imager video camera with automatic exposure control
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
US20140160262A1 (en) * 2010-12-23 2014-06-12 Mihai Busuioc Lensless retinal camera apparatus and method
DE102011109990A1 (de) 2011-05-05 2012-11-08 Jonas Pfeil Kamerasystem zur Aufnahme von Bildern und dazugehöriges Verfahren
JP5957838B2 (ja) * 2011-09-30 2016-07-27 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9924907B2 (en) * 2011-09-30 2018-03-27 Google Technology Holdings LLC Method and system for identifying location of a touched body part
US9426430B2 (en) * 2012-03-22 2016-08-23 Bounce Imaging, Inc. Remote surveillance sensor apparatus
KR101758684B1 (ko) * 2012-07-23 2017-07-14 한화테크윈 주식회사 객체 추적 장치 및 방법
JP6065474B2 (ja) * 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
WO2014043511A1 (en) * 2012-09-13 2014-03-20 Krull Curtis J Method and system for training sports officials
JP6005496B2 (ja) * 2012-12-07 2016-10-12 株式会社東芝 遠隔監視装置および遠隔監視方法
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
GB2516282B (en) * 2013-07-17 2017-07-26 Vision Rt Ltd Method of calibration of a stereoscopic camera system for use with a radio therapy treatment apparatus
CN103686069A (zh) * 2013-07-17 2014-03-26 太仓市鸿欣工业产品设计有限公司 不倒翁结构的视频声音监听装置
KR101471927B1 (ko) * 2013-09-13 2014-12-11 우석 계 멀티카메라 및 이를 이용한 영상표시장치와 그 방법
EP2897112B1 (de) * 2014-01-17 2019-03-06 Wincor Nixdorf International GmbH Verfahren und Vorrichtung zur Vermeidung von Fehlalarmen bei Überwachungssystemen
US9876992B2 (en) 2014-04-30 2018-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and distance measuring apparatus using the same
WO2016059470A1 (en) * 2014-10-17 2016-04-21 Panono Gmbh Camera system for capturing images and methods thereof
US9826013B2 (en) * 2015-03-19 2017-11-21 Action Streamer, LLC Method and apparatus for an interchangeable wireless media streaming device
JP6675607B2 (ja) * 2015-05-28 2020-04-01 国立大学法人東京工業大学 画像処理装置、画像処理システム、および画像処理プログラム
JP6668002B2 (ja) * 2015-05-29 2020-03-18 国立大学法人東京工業大学 動画生成装置、動画生成システム、および動画生成プログラム
WO2017051063A1 (en) 2015-09-23 2017-03-30 Nokia Technologies Oy Video content selection
WO2017121926A1 (en) * 2016-01-15 2017-07-20 Nokia Technologies Oy Method and apparatus for calibration of a multi-camera system
WO2017149441A1 (en) 2016-02-29 2017-09-08 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
US10057487B1 (en) * 2016-03-25 2018-08-21 Scott Zhihao Chen Panoramic imaging systems based on normal-lens cameras
KR20180017591A (ko) * 2016-08-10 2018-02-21 삼성전자주식회사 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
WO2018079490A1 (ja) * 2016-10-24 2018-05-03 国立大学法人東京工業大学 画像生成装置、および画像生成プログラム
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR101810668B1 (ko) * 2017-03-07 2017-12-20 링크플로우 주식회사 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
EP3461124B1 (en) 2017-09-25 2024-05-01 Ricoh Company, Ltd. Communication terminal, image communication system, display control method, and carrier means
KR101957610B1 (ko) * 2017-12-18 2019-03-12 숭실대학교산학협력단 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체
KR102546346B1 (ko) * 2018-05-14 2023-06-22 한국전자통신연구원 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
JP7258482B2 (ja) * 2018-07-05 2023-04-17 キヤノン株式会社 電子機器
JP7434797B2 (ja) 2018-11-30 2024-02-21 株式会社リコー 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
CN115917809A (zh) 2020-03-27 2023-04-04 得克萨斯系统大学董事会 用于锂电池的低钴和无钴高能正极材料

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079881A (ja) * 1996-09-04 1998-03-24 Sharp Corp 撮像装置
JPH10126766A (ja) * 1996-10-18 1998-05-15 Fujitsu General Ltd 監視カメラ装置
JP2005167604A (ja) * 2003-12-02 2005-06-23 Chuo Electronics Co Ltd 映像監視システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744147B2 (ja) * 1997-04-21 2006-02-08 ソニー株式会社 パノラマ画像生成装置および方法
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7473218B2 (en) * 2002-08-06 2009-01-06 Olympus Corporation Assembling method of capsule medical apparatus
JP2004065574A (ja) * 2002-08-06 2004-03-04 Olympus Corp カプセル型内視鏡の組立方法及びカプセル型内視鏡
JP4374850B2 (ja) * 2002-12-24 2009-12-02 アイシン精機株式会社 移動体周辺監視装置
US7050084B1 (en) * 2004-09-24 2006-05-23 Avaya Technology Corp. Camera frame display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079881A (ja) * 1996-09-04 1998-03-24 Sharp Corp 撮像装置
JPH10126766A (ja) * 1996-10-18 1998-05-15 Fujitsu General Ltd 監視カメラ装置
JP2005167604A (ja) * 2003-12-02 2005-06-23 Chuo Electronics Co Ltd 映像監視システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572240A (zh) * 2010-12-22 2012-07-11 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN102572240B (zh) * 2010-12-22 2017-08-11 索尼公司 成像设备、图像处理设备和图像处理方法
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
CN105980962B (zh) * 2014-02-17 2019-07-23 索尼公司 信息处理设备和信息处理方法
JP2016127377A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラム
JP7487464B2 (ja) 2018-11-30 2024-05-21 株式会社リコー 画像処理装置、撮像装置、動画再生システム、方法およびプログラム

Also Published As

Publication number Publication date
JP2007043225A (ja) 2007-02-15
US20090207246A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
WO2007013685A1 (ja) インタラクティブ画像取得装置
US11727642B2 (en) Image processing apparatus, image processing method for image processing apparatus, and program
US10574889B2 (en) Information processing device, information processing method, and program
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN105942959B (zh) 胶囊内窥镜系统及其三维成像方法
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
US20210160426A1 (en) Panoramic camera and image processing systems and methods
JP4804256B2 (ja) 情報処理方法
CN205758500U (zh) 胶囊内窥镜系统
WO2014162324A1 (en) Spherical omnidirectional video-shooting system
CN105027030A (zh) 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
EP2685707A1 (en) System for spherical video shooting
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
WO2020084951A1 (ja) 画像処理装置および画像処理方法
JP2016127377A (ja) 画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラム
WO2022023142A1 (en) Virtual window
Stricker et al. From interactive to adaptive augmented reality
JPH07306956A (ja) 閉鎖空間施設を利用した仮想空間体験システム
JP6929674B2 (ja) 環境画像表示システム及び環境画像表示方法
WO2022246608A1 (zh) 生成全景视频的方法、装置和可移动平台
CN211019070U (zh) 立体视频采集系统
CN117083556A (zh) 改进的沉浸式观看体验

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11989625

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06782298

Country of ref document: EP

Kind code of ref document: A1