WO2010143558A1 - 制御装置、カメラシステム及びプログラム - Google Patents

制御装置、カメラシステム及びプログラム Download PDF

Info

Publication number
WO2010143558A1
WO2010143558A1 PCT/JP2010/059248 JP2010059248W WO2010143558A1 WO 2010143558 A1 WO2010143558 A1 WO 2010143558A1 JP 2010059248 W JP2010059248 W JP 2010059248W WO 2010143558 A1 WO2010143558 A1 WO 2010143558A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
panoramic image
control unit
display
Prior art date
Application number
PCT/JP2010/059248
Other languages
English (en)
French (fr)
Inventor
和則 坂木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP21185805.5A priority Critical patent/EP3923565A1/en
Priority to KR1020117028827A priority patent/KR101662074B1/ko
Priority to EP10786089.2A priority patent/EP2442548B1/en
Priority to EP18166839.3A priority patent/EP3367662B1/en
Priority to BRPI1012976-6A priority patent/BRPI1012976A2/ja
Priority to CN201080024248.1A priority patent/CN102461153B/zh
Priority to US13/320,550 priority patent/US10798280B2/en
Priority to KR1020167026684A priority patent/KR101782282B1/ko
Priority to RU2011149201/07A priority patent/RU2528566C2/ru
Publication of WO2010143558A1 publication Critical patent/WO2010143558A1/ja
Priority to US17/009,435 priority patent/US11477375B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Definitions

  • the present invention relates to a control device, a camera system, and a program.
  • Patent Document 1 an imaging system is known that aims to quickly move the imaging direction of an imaging device in a desired direction.
  • Patent Document 1 controls to move the imaging direction of the imaging device based on a rectangular panoramic image.
  • the control based on the panoramic image is not intuitive only when the imaging target corresponding to the panoramic image is a rectangle.
  • the present invention has been made in view of the above problems, and an object of the present invention is to control the imaging direction of the imaging apparatus based on the panoramic image even when the imaging target is other than a rectangle. To provide an intuitive control device, camera system, and program.
  • a panorama image display area for displaying a panorama image captured by a camera and an area corresponding to a position specified by the panorama image are enlarged and enlarged.
  • the circular panoramic image may be generated based on an image captured a plurality of times by the camera.
  • the display control unit may switch the panorama image displayed in the panorama image display area from a circular panorama image to a rectangular panorama image according to a panorama image switching operation.
  • the display control unit may display a circular panorama image and a rectangular panorama image in the panorama image display area.
  • the display control unit may be capable of moving the panoramic image display area on the screen.
  • a panorama image display area for displaying a panorama image captured by a camera and an area corresponding to a position specified by the panorama image are enlarged.
  • the display control unit displays an image captured by the camera under the control of the camera control unit in the enlarged image display area,
  • the display control unit is provided with a control device that switches the shape of the panoramic image in response to a panoramic image switching operation.
  • the display control unit may switch the shape of the panorama image from a circle to a rectangle in accordance with a panorama image switching operation.
  • a camera system including a camera that captures an image and a control device that controls the camera, wherein the control device includes the camera
  • a display that controls to display a panoramic image display area that displays a panoramic image captured in step, and an enlarged image display area that displays an enlarged image by enlarging the area corresponding to the position specified in the panoramic image.
  • An image captured by a camera is displayed in the enlarged image display area, and the panorama image is a circular panorama image.
  • the circular panoramic image may be generated based on an image captured a plurality of times by the camera.
  • the display control unit may switch the panorama image displayed in the panorama image display area from a circular panorama image to a rectangular panorama image according to a panorama image switching operation.
  • the display control unit may display a circular panorama image and a rectangular panorama image in the panorama image display area.
  • the display control unit may be capable of moving the panoramic image display area on the screen.
  • a camera system including a camera that captures an image and a control device that controls the camera, wherein the control device is a camera.
  • Display control for controlling to display a panoramic image display area for displaying a captured panoramic image and an enlarged image display area for displaying an enlarged image by enlarging an area corresponding to a position specified by the panoramic image.
  • a camera control unit that controls the camera to capture an area corresponding to a position designated on the panoramic image, and the display control unit is controlled by the camera control unit.
  • the image captured in step S is displayed in the enlarged image display area, and the display control unit switches the shape of the panoramic image according to a panoramic image switching operation.
  • the display control unit may switch the shape of the panorama image from a circle to a rectangle in accordance with a panorama image switching operation.
  • a panoramic image display area for displaying a circular panoramic image captured by a camera, and the panoramic image among images captured by the camera.
  • An enlarged image display area for displaying an enlarged image by enlarging an area corresponding to the position designated in (1), and an area corresponding to the position designated on the panoramic image.
  • a program for causing a computer to function as a second means for controlling the camera to take an image is provided.
  • the circular panoramic image may be generated based on an image captured a plurality of times by the camera.
  • the first means may switch a panorama image displayed in the panorama image display area from a circular panorama image to a rectangular panorama image in response to a panorama image switching operation.
  • the first means may display a circular panorama image and a rectangular panorama image in the panorama image display area.
  • the first means may be capable of moving the panoramic image display area on the screen.
  • control device it is possible to provide a control device, a camera system, and a program that can more intuitively control the imaging direction of the imaging device on a panoramic image.
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an imaging system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating in detail the configuration of a camera terminal device and a center server in the system of FIG. 1.
  • 6 is a schematic diagram for explaining a pan operation and a tilt operation of the camera terminal device 200.
  • FIG. It is a schematic diagram which shows the display state of a panoramic image and a bird's-eye view image. It is a schematic diagram for demonstrating the process which produces
  • FIG. 10 is a schematic diagram showing a state where menus such as “Screen Mode”, “View Size”, “Image Codec”, “Frame Rate” are displayed when the panel “View” is clicked. It is a schematic diagram showing a menu displayed when the panel “Camera” is clicked. It is a schematic diagram which shows each menu displayed when "Presetposition”, “Trigger”, “Other”, and "information” are clicked.
  • First embodiment an example of an imaging system including a camera terminal device and a server
  • (1) Configuration example of imaging system (2) Configuration example of camera terminal device and center server (3) Display operation of first panorama image and second panorama image (4) Processing to generate first panorama image (5) About the GUI (6) Specifying the shooting direction on the first panoramic image
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an imaging system according to an embodiment of the present invention.
  • the imaging system 100 includes a camera terminal device (IP camera) 200, a center server 300, and a client 400.
  • the plurality of camera terminal devices 200, the center server 300, and the client 400 are connected via a network 500.
  • a proxy server 600 is connected to the network 500, and a plurality of camera terminal devices 200 are connected to the proxy server 600.
  • a monitor 310 is connected to the center server 300.
  • the camera terminal device 200 is a surveillance camera installed indoors or outdoors, for example, and displays an image acquired by the camera terminal device 200 on the monitor 310 of the center server 300, whereby the camera terminal device 200. You can monitor the area where is installed.
  • the client 400 is connected to the camera terminal device 200, the center server 300, or the proxy server 600 via the network 500. Further, the client 400 may have a function of the center server 300 and a function of the monitor 310 described later.
  • Video captured by the camera terminal device 200 is sent to the client 400 via the network 500, and a first panoramic image and a second panoramic image are displayed on the display screen of the client 400 together with a live video described later.
  • the IP camera is mentioned as an example of the camera terminal apparatus 200, it is not limited to this, An analog camera may be sufficient.
  • the panoramic image indicates a range that can be captured by the camera terminal device 200.
  • the panorama image has various shapes, for example, a circular panorama image or a rectangular panorama image as shown in FIG. 4, a ring-shaped panorama image projected onto a cylindrical surface as shown in FIG. is there.
  • a circular panorama image and a rectangular panorama image will be described as examples of the first panorama image and the second panorama image, respectively.
  • FIG. 2 is a schematic diagram showing in detail the configuration of the camera terminal device 200 and the center server 300 in the system of FIG.
  • Each component of the camera terminal device 200 or the center server 300 shown in FIG. 2 can be configured by hardware (circuit or the like) or an arithmetic processing device such as a CPU and software (program) for causing it to function.
  • the camera unit 201 of the camera terminal device 200 includes an imaging optical system, performs an imaging operation based on an imaging control signal CTa supplied from a terminal control unit 210 described later, and generates a video signal Dcam.
  • the camera unit 201 supplies the generated video signal Dcam to the signal processing unit 202 via the bus 220.
  • a memory unit 203, an imaging direction control unit 204, a network interface unit 206, a storage unit 207, and a terminal control unit 210 are also connected to the bus 220.
  • the signal processing unit 202 compresses the video signal Dcam and stores the obtained video encoded signal DV in the memory unit 203. Also, the video signal of the first panorama image (hereinafter referred to as “first panorama image signal” DF and the video of the second panorama image is used by using the video signal Dcam obtained by sequentially moving the imaging direction of the camera unit 201.
  • a signal DP (hereinafter referred to as “second panorama image signal”) DP is generated and stored in the storage unit 207. Note that the compression processing of the video signal Dcam, the first panorama image signal DF, or the second panorama image signal is performed. The DP is generated based on a signal processing control signal CTb supplied from the terminal control unit 210 described later.
  • the imaging direction control unit 204 moves the imaging direction of the camera unit 201 in a direction instructed by a direction control signal CTc supplied from the terminal control unit 210 to be described later. Perform the calculation. Further, a drive signal MDp for performing a pan operation and a drive signal MDt for performing a tilt operation are generated based on the calculation result, and supplied to the imaging direction adjustment unit 205. In addition, the imaging direction control unit 204 generates a camera position information signal PM indicating which direction the imaging direction of the camera unit 201 is, and supplies the camera position information signal PM to the terminal control unit 210.
  • the imaging direction adjustment unit 205 includes a panning operation motor that moves the camera unit 201 in the left-right direction and a tilt operation motor that moves the camera unit 201 in the up-down direction.
  • the imaging direction adjustment unit 205 adjusts the imaging direction of the camera unit 201 to the direction instructed by the direction control signal CTc by driving the pan operation motor by the drive signal MDp and the tilt operation motor by the drive signal MDt, respectively.
  • the imaging direction adjustment unit 205 performs an endless pan operation without limiting the operation range.
  • FIG. 3 is a schematic diagram for explaining the pan operation and tilt operation of the camera terminal device 200, and shows a case where the camera terminal device 200 is mounted on a ceiling or the like.
  • FIG. 3B shows a pan / tilt operation of the camera terminal device 200 according to the present embodiment.
  • FIG. 3A shows a pan / tilt operation of a general camera terminal device for comparison. As shown in FIG. 3A, in a general camera terminal device, pan operation is performed endlessly at 360 °, and tilt operation is performed in a range of 90 ° from the vertical direction to the horizontal direction.
  • the camera terminal device 200 can perform the pan operation endlessly at 360 °, and can perform the tilt operation within a range of 220 ° centering on the vertical direction. Therefore, the video signal DF of the first panoramic image can be generated and stored in the storage unit 207 by a method described later.
  • a first panoramic image to be described later is a circular panoramic image, and when operating the imaging direction across the center of the circle, the camera terminal device 200 according to the present embodiment is the shortest to the target imaging direction. Can be moved mechanically.
  • the camera imaging direction cannot be mechanically moved so as to cross the center of a circle.
  • the network interface unit 206 is an interface for performing communication between the camera terminal device 200 and the center server 300 via the network 500.
  • the terminal control unit 210 controls the camera unit 201 by the imaging control signal CTa, controls the signal processing unit 202 by the signal processing control signal CTb, controls the imaging direction control unit 204 by the direction control signal CTc, and sets the imaging direction. Imaging is performed while sequentially moving. Then, the terminal control unit 210 generates the first panorama image signal DF and the second panorama image signal DP based on the obtained video signal Dcam and stores them in the storage unit 207.
  • the imaging system 100 includes a camera terminal device that includes both a live video based on the video signal Dcam and the first panorama image or the second panorama image based on the first panorama image signal DF or the second panorama image signal DP. 200 can be transmitted to the center server 300 and displayed on the monitor 310.
  • the first panorama image and the second panorama image may be referred to as a reference image.
  • FIG. 4 is a schematic diagram illustrating a display state of the second panorama image and the first panorama image.
  • the center server 300 can display either the first panorama image or the second panorama image together with the live video on the monitor 310 according to the user's selection.
  • the center server 300 may be configured to display both the first panorama image and the second panorama image together with the live video.
  • a circular panoramic image lacking an image near the center is used as the first panorama image.
  • One panoramic image may be used.
  • the camera terminal device 200 is installed on a ceiling or the like, and displays a downward image of the camera terminal device 200. Therefore, as shown in FIG. 4, the first panoramic image is acquired in a range of pan 360 ° and tilt 220 ° with a vertical line extending downward from the camera terminal device 200 as a center, and its outline is circular. It becomes.
  • the imaging direction adjustment unit 205 is configured to perform an endless panning operation as described above. Accordingly, the second panoramic image stored in the storage unit 207 is, for example, as illustrated in FIG. 4, so that one end portion has an angle difference of “+ 180 °” from the reference direction and the other end portion so that the images do not overlap. Is assumed to have an angle difference of “ ⁇ 180 °” from the reference direction. Further, since the operation range of the pan operation is not limited, the center position of the operation range cannot be set as the reference direction as in the case where the operation range is limited, for example. Accordingly, a reference direction is set in advance, and the second panorama image signal DP is generated so that the reference direction becomes the center position of the second panorama image. Further, the imaging direction control unit 204 generates, as the camera position information signal PM, a signal indicating, for example, an angle difference between the imaging directions with respect to a preset reference direction.
  • the reference direction is set in advance as described above, it is not necessary to determine which direction the second panoramic image is generated by the imaging operation based on which direction. If the camera position information signal PM indicates an angle difference between the image capturing direction and the reference direction, the position in the image capturing direction based on the camera position information signal PM on the second panoramic image can be easily determined.
  • the reference direction is set in advance, and the angle difference between the imaging direction and the reference direction is indicated by the camera position information signal PM.
  • the position in the imaging direction based on the camera position information signal PM can be easily determined in both the first panorama image and the second panorama image.
  • the vertical direction can be set as the reference direction.
  • the terminal control unit 210 analyzes the command signal CM supplied from the center server 300 via the network interface unit 206, and generates an imaging control signal CTa, a signal processing control signal CTb, and a direction control signal CTc.
  • the video encoded signal DV stored in the memory unit 203, the first panorama image signal DF, the second panorama image signal DP, and the imaging direction control unit 204 stored in the storage unit 207 are supplied.
  • the camera position information signal PM is sent to the center server 300.
  • the network interface unit 301 of the center server 300 is an interface for performing communication via the network 500 between the camera terminal device 200 and the center server 300.
  • the network interface unit 301 supplies the video encoded signal DV supplied from the camera terminal device 200 to the decompression processing unit 302.
  • the network interface unit 301 supplies the camera position information signal PM to the position determination processing unit 303 and supplies the first panorama image signal DF and the second panorama image signal DP to the image processing unit 304.
  • the decompression processing unit 302 performs decompression processing of the video encoded signal DV and supplies the obtained video signal Dcam to the display processing unit 305.
  • the position determination processing unit 303 determines whether the imaging direction indicated by the camera position information signal PM corresponds to the position of the first panorama image or the second panorama image, and uses the position determination result KP as the image processing unit. 304 is supplied.
  • the camera position information signal PM generates the first panorama image signal DF or the second panorama image signal DP so that the preset reference direction is the center position of the pan operation and tilt operation as described above. Assuming that the camera position information signal PM indicates an angle difference between the reference direction and the current imaging direction, the current imaging direction is at either the overhead image or the second panoramic image based on the camera position information signal PM. It can be easily determined whether it corresponds.
  • the image processing unit 304 performs image processing based on the position determination result KP, and generates a first panorama image signal DFC of the first panorama image and a second panorama image signal DPC of the second panorama image.
  • the second panorama image signal DPC the second panorama image signal DPC in which the position determined by the position determination result KP is the center position can be generated.
  • the image processing unit 304 determines a difference amount between the determined position and the center position of the second panoramic image, and based on the determined difference amount, the determined position becomes the center position of the image.
  • the second panoramic image is processed so that That is, the second panorama image display image frame of “ ⁇ 180 °” is set with the determined position as the center position, and the second panorama image in the region corresponding to the difference amount deviating from the second panorama image display image frame is set. Is pasted into a region without an image to generate a second panoramic image signal DPC of the second panoramic image with the determined position as the center position. Even in the case of the first panorama image signal DFC, in the case of a “first panorama image rotation mode” to be described later, as in the case of the second panorama image signal DPC, the determined position and the first panorama image are detected.
  • a difference amount from the reference position in the pan direction is determined, and the first panoramic image is processed based on the determined difference amount so that the determined position is positioned on the image.
  • the image processing unit 304 determines the position based on the position determination result KP (the position where the optical axis of the imaging optical system of the camera unit 201 faces) in each of the first panorama image signal DFC and the second panorama image signal DPC. ) Is displayed. Further, the image processing unit 304 supplies the first panorama image signal DFC and the second panorama image signal DPC generated by performing image processing to the display processing unit 305.
  • the display processing unit 305 uses the video signal Dcam supplied from the decompression processing unit 302 and the first panorama image signal DFC and the second panorama image signal DPC supplied from the image processing unit 304 to generate the display drive signal HD. Generated and supplied to the monitor 310. Further, the display processing unit 305 generates a display drive signal HD by using a GUI video signal generated based on a GUI display control signal CTg supplied from the control unit 310 described later, and supplies the display drive signal HD to the monitor 310.
  • the monitor 310 drives a display element such as a liquid crystal display element, a plasma display element, or a cathode ray tube on the basis of the display drive signal HD, and the first panorama image, the second panorama image with the imaging direction as the center position, A captured image (live video) of the camera unit 201, a GUI image, and the like are displayed on the screen.
  • a display element such as a liquid crystal display element, a plasma display element, or a cathode ray tube on the basis of the display drive signal HD
  • the first panorama image, the second panorama image with the imaging direction as the center position A captured image (live video) of the camera unit 201, a GUI image, and the like are displayed on the screen.
  • the user interface unit 315 uses a GUI, presents information to the user using the monitor 310, and when a user operation is performed with a pointing device or a keyboard as an operation input unit based on the presented information Then, an operation signal US corresponding to a user operation is supplied to the control unit 310 to perform a desired operation or the like.
  • the control unit 310 determines what kind of processing the user has requested to select and what kind of processing is executed, and generates a control signal CTm based on the determination result. To control the operation of the center server 300. Further, a command signal CM is generated based on the determination result, supplied to the camera terminal device 200 via the network interface unit 301, and the operation of the camera terminal device 20 is controlled. Further, the control unit 310 generates a GUI display control signal CTg and supplies it to the display processing unit 305.
  • the camera terminal device 200 generates the first panorama image signal DF and the second panorama image signal DP from the image signal Dcam.
  • the center server 300 or the client 400 performs the first panorama image signal DP.
  • the panoramic image video signal DF and the second panoramic image video signal DP may be generated.
  • the network interface unit 206 of the camera terminal device 200 sends the video signal Dcam output from the camera block 201 to the center server 300 or the client 400.
  • the center server 300 or the client 400 includes a signal processing unit similar to that of the camera terminal device 200, and can generate the video signal DF of the first panoramic image and the video signal DP of the second panoramic image.
  • the video signal DF of the first panorama image and the video signal DP of the second panorama image are stored in a memory such as a hard disk provided in the center server 300 or the client 400.
  • the control unit 310 requests the camera terminal apparatus 200 for the first panorama image signal DF, the second panorama image signal DP, the camera position information signal PM, and the video encoding signal DV. Send.
  • the camera terminal device 200 reads out the first panorama image signal DF and the second panorama image signal DP. To the center server 300.
  • the camera terminal device 200 controls the camera unit 201, the signal processing unit 202, and the imaging direction control unit 204.
  • the image pickup operation is performed while moving the image pickup direction, and the first panorama image signal DF and the second panorama image signal DP are generated and transmitted to the center server 300.
  • the camera terminal device 200 stores the generated first panorama image signal DF and second panorama image signal DP in the storage unit 207.
  • the camera terminal device 200 supplies the camera position information signal PM generated by the imaging direction control unit 204 to the center server 300.
  • the camera terminal device 200 starts an imaging operation of the camera unit 201, compresses the obtained video signal Dcam by the signal processing unit 202, and stores the video encoded signal DV in the memory unit 203. Further, the encoded video signal DV stored in the memory unit 203 is supplied to the center server 300.
  • the proxy server 600 As shown in FIG. 1, when the camera terminal device 200 and the network 500 are connected via a proxy server 600, information exchange between the camera terminal device 200 and the center server 300 is performed by the proxy server 600. Is done via.
  • the position determination processing unit 303 of the center server 300 determines whether the imaging direction indicated by the camera position information signal PM corresponds to the position of the first panorama image or the second panorama image, and the position determination result KP. Is supplied to the image processing unit 304.
  • the imaging direction is set to the reference direction, so the position in the imaging direction is the second. This is the center position of the panoramic image.
  • the image processing unit 304 performs image processing based on the position determination result KP.
  • the position determination result KP indicates that the position in the imaging direction is the center position of the second panoramic image
  • the image in the imaging direction is the center of the second panoramic image.
  • the second panorama image signal DP is supplied to the display processing unit 305 as the second panorama image signal DPC without performing the second panorama image processing.
  • the position in the imaging direction is not the center position of the second panoramic image
  • the difference amount between the determined position in the imaging direction and the center position of the second panoramic image is determined, and the determined difference amount is Based on this, the second panorama image is processed so that the determined position becomes the center position of the image, and the second panorama image signal DPC is generated.
  • the second panoramic image for example, when the angle difference indicated by the camera position information signal PM is “0 °”, it is displayed on the screen of the monitor 310 driven by the display drive signal HD from the display processing unit 305. Displays a captured image captured by the camera unit 201, a second panoramic image whose reference direction is the center position, and an image related to the GUI.
  • the determined position and the pan direction of the first panorama image are changed.
  • a difference amount from the reference position is determined, and based on the determined difference amount, the first panoramic image is rotated so that the determined position is positioned below the image (on a straight line L described later), 1 panoramic image signal DFC is generated.
  • the image processing unit 304 also determines the position in the imaging direction based on the position determination result KP (the optical axis of the imaging optical system of the camera unit 201 is oriented) in each of the first panorama image signal DFC and the second panorama image signal DPC. Display position).
  • the decompression processing unit 302 decompresses the video encoded signal DV and supplies the obtained video signal Dcam to the display processing unit 305. Further, the control unit 310 supplies a GUI display control signal CTg for performing GUI display to the display processing unit 305.
  • FIG. 5 An image is acquired for each region of the first panorama image.
  • the zoom of the camera terminal device 200 is fixed, panning and tilting are performed at certain arbitrary intervals, and a still image is acquired.
  • the numbers shown in FIG. 5 indicate the order of image acquisition.
  • each point of the still image is converted into a relative position (x, y, z) viewed from the rotation center of the camera terminal device 200.
  • a camera with a horizontal angle of view thh [degree] and an aspect ratio of a is set at the origin, and is directed in the -z direction.
  • the visible range is a rectangle of 2Lx ⁇ 2Ly.
  • (X3, y3, z3) obtained here is a value expressed in a coordinate system when a point (x, y, z) in a still image is viewed from the rotation center of the camera.
  • the relative position is converted into latitude and longitude.
  • (x3, y3, z3) obtained above is converted into latitude and longitude.
  • the angle formed by the (x3, y3, z3) direction with respect to the -z direction is the longitude, and the angle formed with the xz plane is the latitude.
  • the obtained latitude and longitude (La, Lo) are represented by a latitude axis and a longitude coordinate system in the circumferential direction.
  • the first panoramic image signal DF can be generated.
  • FIG. 9 is a schematic diagram showing a display screen of the monitor 310.
  • FIG. 9 shows both a normal screen and a full screen display. In either case, an operation panel (control panel) is displayed on the left side of the screen and a live image is displayed on the right side of the screen. When “Screen Mode” on the operation panel is set to “Full”, the full screen is displayed.
  • FIG. 10 is a schematic diagram for explaining an operation by the operation panel.
  • the operation panel is a panel for each function, and each panel can be folded and stored.
  • the panel classification is as follows. ⁇ View Display settingsCamera control Settings related to camera operationPanorama Panorama display / Preset position Settings related to presets ⁇ Trigger Trigger settings-Other Other settings
  • FIG. 10A shows a state where “View” is clicked, and a menu is displayed under the “View” column.
  • FIG. 10B shows a state where “Camera control” is clicked, and a menu is displayed under the “Camera control” column.
  • FIG. 10C shows a state in which the panel “Camera control” is dragged. By dragging, the panel “Camera control” can be made a floating window.
  • FIG. 11 shows a state where menus such as “Screen Mode”, “View Size”, “Image Codec”, “Frame Rate” are displayed when the panel “View” is clicked.
  • “Screen Mode” menu you can change the display mode between normal and full screen.
  • “View Size” you can specify 1/4, 1/2, same size, Fit mode of the image. Fit mode displays images according to the size of the current display area.
  • “Image ⁇ ⁇ Codec” menu you can change the Codec.
  • “Frame Rate” menu you can change the JPEG frame rate.
  • the movie save button is used for saving a movie
  • the still image save button is used for saving a still image.
  • a microphone volume slider, a microphone mute on / off button, an audio volume slider, an audio mute on / off button, and the like are provided.
  • FIG. 12 shows a menu displayed when the panel “Camera” is clicked.
  • the operation mode on the image can be switched.
  • the pan / tilt control buttons the pan / tilt direction can be specified by operating the buttons in the arrow direction.
  • the button located in the middle of the pan and tilt control buttons is a home position button.
  • the zoom button is a button for designating the zoom of the camera terminal device 200, and is configured so that the boundary between the optical zoom and the digital zoom can be seen. If you keep pressing the “W” and “T” zoom buttons, the zoom operation will continue.
  • the focus button is used to set the focus to “far” or “near”.
  • various buttons such as ONE PUSH AUTO FOCUS button and exclusive control right acquisition button are provided.
  • FIG. 13 shows menus displayed when “Preset position”, “Trigger”, “Other”, and “information” are clicked.
  • “Preset position” is a thumbnail display of images in a plurality of predetermined shooting directions. By clicking and selecting one of the thumbnail images, the camera terminal device 200 is directed in the direction of the selected thumbnail image. be able to.
  • FIG. 14 is a schematic diagram showing a state where the first panorama image is displayed by clicking “Preset position” on the operation panel on the display screen of the monitor 310.
  • a live image is displayed on the right side of the operation panel.
  • the sub-panel on which the first panoramic image is displayed can be arranged outside the operation panel as shown in FIG. Further, the sub-panel on which the first panoramic image is displayed can be moved within the display screen.
  • FIG. 16 is a schematic diagram showing in detail the sub-panel on which the first panoramic image is displayed.
  • the direction of the image displayed in the live video on the right side is indicated by +.
  • the first panorama image can be switched to the second panorama image by clicking the panorama switching button at the upper right of the first panorama image.
  • FIG. 17 shows an operation of changing the direction of the live video using the first panoramic image.
  • the pan / tilt direction of the camera terminal device 200 can be changed using the pan / tilt control buttons described above, but can also be performed by designating an arbitrary point in the first panoramic image.
  • the optical axis of the imaging optical system of the camera terminal device 200 is directed in the direction of the + mark, and a live image in that direction is displayed.
  • an operation signal US corresponding to the user operation is sent to the control unit 310, and based on this, the imaging direction control of the camera terminal device 200 is performed.
  • the optical axis of the imaging optical system of the camera terminal device 200 is directed in the direction of the mark ⁇ . Accordingly, the live image displayed on the right side of the operation panel is switched to the image in the direction of the mark ⁇ .
  • the user can designate the pan / tilt direction of the camera terminal apparatus 200 by designating an arbitrary point in the first panoramic image. Since the first panoramic image includes all videos in the pan / tilt direction that the camera terminal device 200 can shoot, the user designates the direction of the camera terminal device 200 on the first panoramic image. Thus, a live image in a desired direction can be displayed.
  • the direction of the optical axis may be controlled by specifying an area with a frame surrounding a predetermined range.
  • the direction of the camera terminal device 200 is designated on the first panorama image
  • a mode in which the first panorama image is rotated. is there.
  • the position (+ mark) where the live video is currently displayed is positioned on the straight line L upward from the center of the first panoramic image. Is set to the angular position of the first panoramic image.
  • the live image displayed on the right side of the operation panel switches to the image in the direction of the ⁇ mark.
  • the position of the ⁇ mark in the first panorama image is a straight line.
  • the first panoramic image is rotated so as to be positioned on L. Therefore, the user can immediately recognize that the direction of the live video is on the straight line L of the first panoramic image by viewing the first panoramic image.
  • the user can designate the pan direction of the camera terminal device 200 by designating an arbitrary point in the second panorama image, and based on this, the live video can be designated.
  • the direction can be switched.
  • FIG. 19 shows an example in which a panoramic image is displayed on a cylindrical curved surface as a reference image instead of the panoramic image shown in FIG.
  • a rectangular panoramic image displayed in the range of + 180 ° to ⁇ 180 ° may be displayed on the cylindrical surface.
  • the user can designate the pan direction of the camera terminal device 200 by designating the “display designated point” on the curved surface, and the direction of the live video can be switched based on this. it can.
  • the above-described processing including designation of the imaging direction is performed by the display processing unit 305 based on the GUI display control signal CTg.
  • FIG. 20 shows a state in which “safe” and “table” are arranged on the floor, and the camera terminal device 200 is installed directly above the intermediate position (point O) between “safe” and “table”. Then, it is assumed that the suspicious person approaching the “safe” can be monitored by the live video of the camera terminal device 200.
  • FIG. 21 shows a state in which the first panoramic image is displayed on the monitor 310 together with the live video (FIG. 21A) and a state in which the second panoramic image is displayed on the monitor 310 together with the live video in the state of FIG. FIG. 21 (B)) is schematically shown.
  • FIG. 21A shows a state in which the first panoramic image is displayed on the monitor 310 together with the live video
  • FIG. 21 (B)) a state in which the second panoramic image is displayed on the monitor 310 together with the live video in the state of FIG. FIG. 21 (B)) is schematically shown.
  • FIG. 21A since the image is displayed in an overhead view, it is possible to intuitively click an intermediate position (point O shown in FIG. 20) between “safe” and “table”. it can. Further, in the case of the first panoramic image, since the distortion of the image near the point O is relatively small, the direction of the optical axis is accurately directed to the position of the point O. Therefore, even in the live video, the “safe” and “table” videos will not protrude from the display screen.
  • FIG. 22 shows a state in which the suspicious person is moving in the vicinity of the “safe” in the live video and the first panorama image and the second panorama image in the case of FIGS. 20 and 21. .
  • a suspicious person is moving in the vicinity of the “safe” in the live video, in order to track the suspicious person, it is necessary to change the direction of the optical axis of the camera terminal device 200 according to the movement of the suspicious person. is there.
  • the image is distorted at an intermediate position between the “safe” and the “table”, so that the click position is intentionally operated so as to change the moving direction immediately below the image. Need to do.
  • the second panoramic image has less distortion and can be controlled more intuitively than the first panoramic image.
  • the first panorama image and the second panorama image since it is possible to switch between the first panorama image and the second panorama image according to the situation, it is possible to improve the ease of use of the user according to the scene. Further, if there is a space in the display screen, both the first panorama image and the second panorama image are displayed, so that the switching operation becomes unnecessary and the usability can be improved.
  • the rectangular panoramic image is controlled so that the imaging direction is the center position.
  • the present invention is not limited to this, and even if the imaging direction is changed, the panoramic image is not rotated and fixed. Good.
  • the present invention can be widely applied to, for example, surveillance camera control devices, camera systems, and programs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　本発明に係る制御装置は、カメラ端末装置２００で撮像されたパノラマ画像を表示するパノラマ画像表示領域と、パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示処理部３０５と、パノラマ画像上で指定された位置に対応する領域をカメラ端末装置２００で撮像するように制御する制御部３１０と、を有し、表示処理部３０５は、制御部３１０の制御によりカメラ端末装置２００で撮影された画像を拡大画像表示領域に表示し、パノラマ画像は、円形のパノラマ画像である、センターサーバー３００が提供される。

Description

制御装置、カメラシステム及びプログラム
　本発明は、制御装置、カメラシステム及びプログラムに関する。
　従来、例えば下記の特許文献１に記載されているように、撮像装置の撮像方向を速やかに所望の方向に移動させることを目的とした撮像システムが知られている。
特開２００７－４３５０５号公報
　特許文献１に記載された技術は、長方形のパノラマ画像に基づいて撮像装置の撮像方向を移動させるよう制御するものである。しかしながら、パノラマ画像に対応する撮像対象が、長方形の場合にしか、パノラマ画像に基づいた制御が直感的にはならないという課題を生じる。
　そこで、本発明は、上記課題に鑑みてなされたものであり、本発明の目的とするところは、撮像対象が長方形以外の場合にも、パノラマ画像に基づいた撮像装置の撮像方向の制御をより直感的にできる制御装置、カメラシステム及びプログラムを提供することにある。
　上記課題を解決するために、本発明のある観点によれば、カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、前記パノラマ画像は、円形のパノラマ画像である、制御装置が提供される。
　また、前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成されたものであってもよい。
　また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替えるものであってもよい。
　また、前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示するものであってもよい。
　また、前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能であるものであってもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、制御装置が提供される。
　また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替えるものであってもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、前記カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、前記パノラマ画像は、円形のパノラマ画像である、カメラシステムが提供される。
　また、前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成されたものであってもよい。
　また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替えるものであってもよい。
　また、前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示するものであってもよい。
　また、前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能であるものであってもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、カメラシステムが提供される。
　また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替えるものであってもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像された円形のパノラマ画像を表示するパノラマ画像表示領域と、前記カメラで撮影された画像のうち前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する第１の手段、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する第２の手段、としてコンピュータを機能させるためのプログラムが提供される。
　また、前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成されたものであってもよい。
　また、前記第１の手段は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替えるものであってもよい。
　また、前記第１の手段は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示するものであってもよい。
　また、前記第１の手段は、前記パノラマ画像表示領域を画面上にて、移動させることが可能であるものであってもよい。
　本発明によれば、パノラマ画像上において、撮像装置の撮像方向の制御をより直感的にできる、制御装置、カメラシステム及びプログラムを提供することができる。
本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。 図１のシステムにおいて、カメラ端末装置とセンターサーバーの構成を詳細に示す模式図である。 カメラ端末装置２００のパン動作、チルト動作を説明するための模式図である。 パノラマ画と俯瞰画の表示状態を示す模式図である。 俯瞰画信号ＤＦを生成する処理を説明するための模式図である。 俯瞰画信号ＤＦを生成する処理を説明するための模式図である。 俯瞰画信号ＤＦを生成する処理を説明するための模式図である。 俯瞰画信号ＤＦを生成する処理を説明するための模式図である。 モニターの表示画面を示す模式図である。 操作パネルによる操作を説明するための模式図である。 パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示す模式図である。 パネル“Camera”をクリックした場合に表示されるメニューを示す模式図である。 “Presetposition”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示す模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 通常のパノラマ画像の代わりに、円筒状の曲面にパノラマ画像を表示して参照画像とした例を示す模式図である。 第１のパノラマ画像の表示による効果について説明するための模式図である。 第１のパノラマ画像の表示による効果について説明するための模式図である。 第１のパノラマ画像の表示による効果について説明するための模式図である。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施の形態（カメラ端末装置とサーバーからなる撮像システムの例）
（１）撮像システムの構成例
（２）カメラ端末装置とセンターサーバーの構成例
（３）第１のパノラマ画像及び第２のパノラマ画像の表示動作について
（４）第１のパノラマ画像を生成する処理について
（５）ＧＵＩについて
（６）第１のパノラマ画像上での撮影方向の指定
　＜１．第１の実施形態＞
（１）撮像システムの構成例
　図１は、本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。撮像システム１００は、カメラ端末装置（ＩＰカメラ）２００、センターサーバー３００、クライアント４００を有しており、複数のカメラ端末装置２００、センターサーバー３００及びクライアント４００は、ネットワーク５００を介して接続されている。また、ネットワーク５００には、プロキシサーバー６００が接続されており、プロキシサーバー６００には複数のカメラ端末装置２００が接続されている。また、センターサーバー３００にはモニター３１０が接続されている。本実施形態において、カメラ端末装置２００は、例えば屋内又は屋外に設置される監視カメラであって、カメラ端末装置２００で取得した画像をセンターサーバー３００のモニタ３１０に表示することで、カメラ端末装置２００が設置された領域を監視できる。クライアント４００は、ネットワーク５００を介してカメラ端末装置２００、センターサーバー３００、またはプロキシサーバー６００と接続される。また、クライアント４００は、後述するセンターサーバ３００の機能とモニタ３１０の機能を備えるものであっても良い。カメラ端末装置２００で撮影された映像は、ネットワーク５００を介してクライアント４００に送られ、クライアント４００の表示画面には後述するライブ映像とともに第１のパノラマ画像、第２のパノラマ画像が表示される。なお、カメラ端末装置２００の例として、IPカメラをあげているが、これに限定されず、アナログカメラであってもよい。
　パノラマ画像は、カメラ端末装置２００で撮像可能な範囲を示している。パノラマ画像には、様々な形状があり、例えば、図４のように、円形のパノラマ画像や長方形のパノラマ画像、図１９のように、円筒面上に投射したような輪っか状のパノラマ画像などがある。以下、実施形態において、第１のパノラマ画像及び第２のパノラマ画像の例として、それぞれ円形のパノラマ画像及び長方形のパノラマ画像をあげて説明する。
（２）カメラ端末装置とセンターサーバーの構成例
　図２は、図１のシステムにおいて、カメラ端末装置２００とセンターサーバー３００の構成を詳細に示す模式図である。図２に示すカメラ端末装置２００またはセンターサーバー３００の各構成要素は、ハードウェア（回路など）または、ＣＰＵなどの演算処理装置とこれを機能させるためのソフトウェア（プログラム）によって構成することができる。カメラ端末装置２００のカメラ部２０１は、撮像光学系を含み、後述する端末制御部２１０から供給された撮像制御信号ＣＴaに基づいて撮像動作を行い、映像信号Ｄcamを生成する。また、カメラ部２０１は、生成した映像信号Ｄcamを、バス２２０を介して信号処理部２０２に供給する。なお、バス２２０には、メモリ部２０３、撮像方向制御部２０４、ネットワークインタフェース部２０６、記憶部２０７、端末制御部２１０も接続されている。
　信号処理部２０２は、映像信号Ｄcamの圧縮処理を行い、得られた映像符号化信号ＤＶをメモリ部２０３に記憶させる。また、カメラ部２０１の撮像方向を順次移動して得られた映像信号Ｄcamを用いて第１のパノラマ画の映像信号（以下「第１のパノラマ画信号という」ＤＦ及び第２のパノラマ画の映像信号（以下「第２のパノラマ画信号」という）ＤＰを生成して、記憶部２０７に記憶させる。なお、映像信号Ｄcamの圧縮処理や、第１のパノラマ画信号ＤＦまたは第２のパノラマ画信号ＤＰの生成は、後述する端末制御部２１０から供給された信号処理制御信号ＣＴbに基づいて行う。
　撮像方向制御部２０４は、カメラ部２０１の撮像方向を、後述する端末制御部２１０から供給された方向制御信号ＣＴcによって指示された方向に移動させるため、撮像方向を移動する際の速度や加速度の計算を行う。また、計算結果に基づきパン動作を行うための駆動信号ＭＤpやチルト動作を行うための駆動信号ＭＤtを生成して、撮像方向調整部２０５に供給する。また、撮像方向制御部２０４は、カメラ部２０１の撮像方向がいずれの方向であるかを示すカメラ位置情報信号ＰＭを生成して、端末制御部２１０に供給する。
　撮像方向調整部２０５は、カメラ部２０１を左右方向に移動させるパン動作モータと、カメラ部２０１を上下方向に移動させるチルト動作モータを有している。撮像方向調整部２０５は、駆動信号ＭＤpによってパン動作モータ、駆動信号ＭＤtによってチルト動作モータをそれぞれ駆動して、カメラ部２０１の撮像方向を方向制御信号ＣＴcによって指示された方向に調整する。また、撮像方向調整部２０５は、動作範囲が制限されることなくエンドレスにパン動作を行うものとする。
　図３は、カメラ端末装置２００のパン動作、チルト動作を説明するための模式図であって、カメラ端末装置２００を天井などに装着した場合を示している。ここで、図３（Ｂ）は、本実施形態に係るカメラ端末装置２００のパン・チルト動作を示している。一方、図３（Ａ）は、比較のため、一般的なカメラ端末装置のパン・チルト動作を示している。図３（Ａ）に示すように、一般的なカメラ端末装置では、パン動作を３６０°のエンドレスで行い、チルト動作については、鉛直方向から水平方向までの９０°の範囲で行う。これに対し、本実施形態に係るカメラ端末装置２００は、パン動作を３６０°のエンドレスで行うとともに、チルト動作については、鉛直方向を中心として２２０°の範囲で行うことができる。従って、後述する手法により第１のパノラマ画の映像信号ＤＦを生成して記憶部２０７に記憶することができる。後述の第１のパノラマ画像は、円形のパノラマ画像であり、円の中央付近を中心をまたいで、撮像方向を操作する場合に、本実施形態に係るカメラ端末装置２００は、目的撮像方向まで最短でメカ的にも移動することができる。一方、一般的なカメラ端末装置では、円の中心をまたぐようにはカメラ撮像方位をメカ的に移動させることができない。
　ネットワークインタフェース部２０６は、カメラ端末装置２００とセンターサーバー３００との間で、ネットワーク５００を介して通信を行うためのインタフェースである。
　端末制御部２１０は、撮像制御信号ＣＴaによってカメラ部２０１を制御し、信号処理制御信号ＣＴbによって信号処理部２０２を制御し、方向制御信号ＣＴcによって撮像方向制御部２０４を制御して、撮像方向を順次移動しながら撮像を行う。そして、端末制御部２１０は、得られた映像信号Ｄcamに基づいて第１のパノラマ画信号ＤＦ及び第２のパノラマ画信号ＤＰを生成させて記憶部２０７に記憶させる。
　本実施形態に係る撮像システム１００は、映像信号Ｄcamによるライブ映像と、第１のパノラマ画信号ＤＦまたは第２のパノラマ画信号ＤＰによる第１のパノラマ画または第２のパノラマ画を共にカメラ端末装置２００からセンターサーバー３００に送信し、モニター３１０に表示することができる。尚、本明細書において、第１のパノラマ画像及び第２のパノラマ画像を参照画像と称する場合がある。図４は、第２のパノラマ画と第１のパノラマ画の表示状態を示す模式図である。センターサーバー３００は、ユーザの選択に応じて、第１のパノラマ画または第２のパノラマ画の一方をモニター３１０にライブ映像とともに表示することができる。また、センターサーバー３００は、第１のパノラマ画及び第２のパノラマ画の双方をライブ映像とともに表示するように構成されていても良い。なお、図４の右図では、中央付近の画像が欠けた円形のパノラマ画像を第１のパノラマ画像としているが、これに限定されず、中央付近の画像が欠けていない円形のパノラマ画像を第１のパノラマ画像としてもよい。
　カメラ端末装置２００は、天井などに設置され、カメラ端末装置２００の下方向の画像を表示する。このため、図４に示すように、第１のパノラマ画は、カメラ端末装置２００から下向きに延在する鉛直線を中心として、パン３６０°、チルト２２０°の範囲で取得され、その輪郭は円形となる。
　また、撮像方向調整部２０５は、上述のようにエンドレスにパン動作を行うことができるように構成されている。したがって、記憶部２０７に記憶する第２のパノラマ画像は、例えば図４に示すように、画像が重複しないように、一方の端部が基準方向から「＋１８０°」の角度差、他方の端部が基準方向から「－１８０°」の角度差を有するものとする。また、パン動作の動作範囲が制限されないので、例えば動作範囲が制限されている場合のように、動作範囲の中央位置を基準方向とすることができない。したがって、基準方向を予め設定しておき、この基準方向が第２のパノラマ画像の中央位置となるように第２のパノラマ画信号ＤＰを生成する。また、撮像方向制御部２０４は、カメラ位置情報信号ＰＭとして、予め設定された基準方向に対する撮像方向の例えば角度差を示す信号を生成する。
　このように基準方向を予め設定しておくものとすれば、第２のパノラマ画像がいずれの方向を基準とした撮像動作によって生成された画像であるかを判別する必要がない。また、カメラ位置情報信号ＰＭによって、基準方向に対する撮像方向の角度差を示すものとすれば、第２のパノラマ画像上におけるカメラ位置情報信号ＰＭに基づく撮像方向の位置を容易に判別できる。
　チルト動作においても、予め基準方向を設定しておき、カメラ位置情報信号ＰＭによって、基準方向に対する撮像方向の角度差を示すものとする。これにより、第１のパノラマ画像、第２のパノラマ画像の双方において、カメラ位置情報信号ＰＭに基づく撮像方向の位置を容易に判別できる。なお、チルト動作については、カメラ端末装置２００が天井に設置されている場合、鉛直方向を基準方向とすることができる。
　端末制御部２１０は、ネットワークインタフェース部２０６を介してセンターサーバー３００から供給されたコマンド信号ＣＭを解析して、撮像制御信号ＣＴaや信号処理制御信号ＣＴb，方向制御信号ＣＴcの生成を行う。また、メモリ部２０３に記憶されている映像符号化信号ＤＶや、記憶部２０７に記憶されている第１のパノラマ画信号ＤＦ、第２のパノラマ画信号ＤＰ、および撮像方向制御部２０４から供給されたカメラ位置情報信号ＰＭをセンターサーバー３００に送出する処理等を行う。
　センターサーバー３００のネットワークインタフェース部３０１は、カメラ端末装置２００とセンターサーバー３００とで、ネットワーク５００を介して通信を行うためのインタフェースである。ネットワークインタフェース部３０１は、カメラ端末装置２００から供給された映像符号化信号ＤＶを伸長処理部３０２に供給する。また、ネットワークインタフェース部３０１は、カメラ位置情報信号ＰＭを位置判別処理部３０３に供給し、第１のパノラマ画信号ＤＦ及び第２のパノラマ画信号ＤＰを画像処理部３０４に供給する。
　伸長処理部３０２は、映像符号化信号ＤＶの伸長処理を行い、得られた映像信号Ｄcamを表示処理部３０５に供給する。
　位置判別処理部３０３は、カメラ位置情報信号ＰＭで示された撮像方向が第１のパノラマ画像または第２のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果ＫＰを画像処理部３０４に供給する。ここで、カメラ位置情報信号ＰＭは、上述のように予め設定した基準方向がパン動作、チルト動作の中央位置となるように第１のパノラマ画信号ＤＦまたは第２のパノラマ画信号ＤＰを生成し、カメラ位置情報信号ＰＭは基準方向と現在の撮像方向の角度差を示すものとすれば、カメラ位置情報信号ＰＭに基づき、現在の撮像方向が俯瞰画像または第２のパノラマ画像のいずれの位置に対応するか容易に判別できる。
　画像処理部３０４は、位置判別結果ＫＰに基づいて画像処理を行い、第１のパノラマ画像の第１のパノラマ画信号ＤＦＣ、及び第２のパノラマ画像の第２のパノラマ画信号ＤＰＣを生成する。第２のパノラマ画信号ＤＰＣについては、位置判別結果ＫＰにより判別された位置が中央位置とされた第２のパノラマ画信号ＤＰＣを生成することができる。この場合、画像処理部３０４では、判別された位置と第２のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第２のパノラマ画像を処理する。すなわち、判別された位置を中央位置として「±１８０°」の第２のパノラマ画像表示画枠を設定して、第２のパノラマ画像表示画枠から外れる差分量分の領域の第２のパノラマ画像を、画像の無い領域に貼り付けることで、判別された位置を中央位置とした第２のパノラマ画像の第２のパノラマ画信号ＤＰＣを生成する。第１のパノラマ画信号ＤＦＣの場合においても、後述する「第１のパノラマ画像を回転させるモード」の場合は、第２のパノラマ画信号ＤＰＣと同様に、判別された位置と第１のパノラマ画のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の上に位置するように第１のパノラマ画像を処理する。また、画像処理部３０４は、第１のパノラマ画信号ＤＦＣ及び第２のパノラマ画信号ＤＰＣのそれぞれにおいて、位置判別結果ＫＰに基づく位置（カメラ部２０１の撮像光学系の光軸が向いている位置）を表示する。さらに、画像処理部３０４は、画像処理を行うことにより生成した第１のパノラマ画信号ＤＦＣ及び第２のパノラマ画信号ＤＰＣを表示処理部３０５に供給する。
　表示処理部３０５は、伸長処理部３０２から供給された映像信号Ｄcamや、画像処理部３０４から供給された第１のパノラマ画信号ＤＦＣ及び第２のパノラマ画信号ＤＰＣを用いて表示駆動信号ＨＤを生成してモニター３１０に供給する。また、表示処理部３０５は、後述する制御部３１０から供給されたＧＵＩ表示制御信号ＣＴgに基づいて生成したＧＵＩ用映像信号を用いて、表示駆動信号ＨＤを生成してモニター３１０に供給する。
　モニター３１０は、表示駆動信号ＨＤに基づいて、表示素子例えば液晶表示素子やプラズマ表示素子あるいは陰極線管等を駆動して、第１のパノラマ画像、撮像方向を中央位置とした第２のパノラマ画像やカメラ部２０１の撮像画像（ライブ映像）、ＧＵＩ画像等を画面上に表示する。
　ユーザインタフェース部３１５は、ＧＵＩが用いられており、モニター３１０を用いてユーザに対する情報の提示を行い、提示された情報に基づき操作入力手段であるポインティングデバイスやキーボード等でユーザ操作が行われたとき、ユーザ操作に応じた操作信号ＵＳを制御部３１０に供給して所望の動作等を行わせる。
　制御部３１０は、操作信号ＵＳとモニター３１０の表示状態に基づき、ユーザがどのような処理の選択やどのような処理の実行を要求したか判別して、判別結果に基づき制御信号ＣＴmを生成して各部に供給し、センターサーバー３００の動作を制御する。また、判別結果に基づきコマンド信号ＣＭを生成して、ネットワークインタフェース部３０１を介してカメラ端末装置２００に供給し、カメラ端末装置２０の動作を制御する。さらに、制御部３１０は、ＧＵＩ表示制御信号ＣＴgを生成して表示処理部３０５に供給する。
　なお、上述した例では、カメラ端末装置２００が映像信号Ｄcamから第１のパノラマ画の映像信号ＤＦ及び第２のパノラマ画の映像信号ＤＰを生成したが、センターサーバー３００またはクライアント４００が第１のパノラマ画の映像信号ＤＦ及び第２のパノラマ画の映像信号ＤＰを生成しても良い。この場合、カメラ端末装置２００のネットワークインタフェース部２０６は、カメラブロック２０１から出力された映像信号Ｄcamをセンターサーバー３００またはクライアント４００へ送る。センターサーバー３００またはクライアント４００は、カメラ端末装置２００と同様の信号処理部を備えることで、第１のパノラマ画の映像信号ＤＦ及び第２のパノラマ画の映像信号ＤＰを生成することができる。第１のパノラマ画の映像信号ＤＦ及び第２のパノラマ画の映像信号ＤＰは、センターサーバー３００またはクライアント４００が備えるハードディスク等のメモリに記憶される。
（３）第１のパノラマ画像及び第２のパノラマ画像の表示動作について
　次に、第１のパノラマ画像及び第２のパノラマ画像表示動作について説明する。制御部３１０は、動作開始時に、カメラ端末装置２００に対して、第１のパノラマ画信号ＤＦ及び第２のパノラマ画信号ＤＰとカメラ位置情報信号ＰＭおよび映像符号化信号ＤＶを要求するコマンド信号ＣＭを送信する。カメラ端末装置２００は、記憶部２０７に第１のパノラマ画信号ＤＦ、第２のパノラマ画信号ＤＰを記憶しているとき、この第１のパノラマ画信号ＤＦ、第２のパノラマ画信号ＤＰを読み出してセンターサーバー３００に送信する。また、カメラ端末装置２００は、画記憶部２０７に第１のパノラマ画信号ＤＦまたは第２のパノラマ画信号ＤＰが記憶されていないとき、カメラ部２０１や信号処理部２０２および撮像方向制御部２０４を制御して、撮像方向を移動しながら撮像動作を行い、第１のパノラマ画信号ＤＦ及び第２のパノラマ画信号ＤＰを生成してセンターサーバー３００に送信する。なお、カメラ端末装置２００は、生成した第１のパノラマ画信号ＤＦ及び第２のパノラマ画信号ＤＰは、記憶部２０７に記憶させる。
　カメラ端末装置２００は、撮像方向制御部２０４で生成したカメラ位置情報信号ＰＭをセンターサーバー３００に供給する。また、カメラ端末装置２００は、カメラ部２０１の撮像動作を開始して、得られた映像信号Ｄcamを信号処理部２０２で圧縮し映像符号化信号ＤＶをメモリ部２０３に記憶させる。さらに、メモリ部２０３に記憶されている映像符号化信号ＤＶをセンターサーバー３００に供給する。なお、図１に示すように、カメラ端末装置２００とネットワーク５００とがプロキシサーバ６００を介して接続されている場合、カメラ端末装置２００とセンターサーバー３００との間の情報のやり取りは、プロキシサーバ６００を経由して行われる。
　センターサーバー３００の位置判別処理部３０３は、カメラ位置情報信号ＰＭで示された撮像方向が第１のパノラマ画像または第２のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果ＫＰを画像処理部３０４に供給する。第２のパノラマ画を例に挙げると、例えばカメラ位置情報信号ＰＭで示す角度差が「０°」であるとき、撮像方向は基準方向に設定されていることから、撮像方向の位置は第２のパノラマ画像の中央位置となっている。
　画像処理部３０４は、位置判別結果ＫＰに基づいて画像処理を行う。ここで、位置判別結果ＫＰによって、撮像方向の位置が第２のパノラマ画像の中央位置であることが示されたときは、撮像方向の画像が第２のパノラマ画像の中央となっていることから、第２のパノラマ画像処理を行うことなく、第２のパノラマ画信号ＤＰを第２のパノラマ画信号ＤＰＣとして表示処理部３０５に供給する。一方、撮像方向の位置が第２のパノラマ画像の中央位置でない場合は、判別された撮像方向の位置と第２のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第２のパノラマ画像を処理し、第２のパノラマ画信号ＤＰＣを生成する。
　このため、第２のパノラマ画像においては、例えばカメラ位置情報信号ＰＭで示す角度差が「０°」であるとき、表示処理部３０５からの表示駆動信号ＨＤによって駆動されるモニター３１０の画面上には、カメラ部２０１で撮影された撮像画像と、基準方向が中央位置とされている第２のパノラマ画像、およびＧＵＩに関する画像が表示される。
　第１のパノラマ画像の場合、後述する「第１のパノラマ画像を回転させるモード」の場合は、第２のパノラマ画信号ＤＰＣと同様に、判別された位置と第１のパノラマ画像のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の下（後述する直線Ｌ上）に位置するように第１のパノラマ画像を回転させ、第１のパノラマ画信号ＤＦＣを生成する。また、画像処理部３０４は、第１のパノラマ画信号ＤＦＣ及び第２のパノラマ画信号ＤＰＣのそれぞれにおいて、位置判別結果ＫＰに基づく撮像方向の位置（カメラ部２０１の撮像光学系の光軸が向いている位置）を表示する。
　伸長処理部３０２は、映像符号化信号ＤＶを伸長して、得られた映像信号Ｄcamを表示処理部３０５に供給する。また、制御部３１０は、ＧＵＩ表示を行うためのＧＵＩ表示制御信号ＣＴgを表示処理部３０５に供給する。
（４）第１のパノラマ画像を生成する処理について
　次に、第１のパノラマ画信号ＤＦを生成する処理について、図５～図８に基づいて説明する。第１のパノラマ画像信号ＤＦを生成する際には、第１のパノラマ画像の領域毎に画像を取得する。先ず、図５に示すように、カメラ端末装置２００のズームを固定して、ある任意の間隔でパン、チルトを行い、静止画を取得する。図５中に示す数字は、画像取得の順番を示している。
　次に、以下の［１］～［３］の手順により、静止画像座標系の座標変換を行う。ここでは、図６に示すように、静止画像の各点を、カメラ端末装置２００の回転中心から見た相対位置(x,y,z)に変換する。
［１］　　水平画角thh[degree]、アスペクト比aのカメラの視点を原点に置き、-z方向に向ける。距離Lの位置に被写体平面(x, y, -L)を考えると、見える範囲は 2Lx × 2Ly の長方形になる。ここで、Lx=L・tan(thh/2)、Ly=Lx/aの関係が成立する。
［２］　　カメラの姿勢は本来(x, y,
z, p, q, r)であるが、視点の位置が原点に固定されていると考えると、x=y=z=0であり、ここでは(p, q, r)　（p: Pan(y軸回転), q: Tilt(x軸回転), r: roll(z軸回転)）のみを考える。
［３］　　(2Lx)×(2Ly)の長方形内の点(j, i)を用いると下記の式が成り立つ。
x=Lx × (j-Lx)/Lx
y = Ly × (i - Ly) / Ly
z = -L
［４］　　(x, y, z)を用いて以下のRoll変換、Tilt変換、Pan変換式を適用する。
Figure JPOXMLDOC01-appb-M000001
　ここで得られた(x3,y3,z3)が、静止画像のある点（x,y,z)をカメラの回転中心から見た座標系で表した値となる。
　次に、相対位置を緯度、経度に変換する。ここでは、図７に示すように、上記で得られた(x3,y3,z3)を緯度、経度に変換する。(x3, y3, z3)の方向が-zの方向に対して水平方向となす角度が経度であり、またx-z平面となす角度が緯度になり、以下の式で求めることができる。
・緯度(Latitude)
La = tan-1
( y3 / ::sqrt( x3 * x3 + z3 * z3))
・経度(Lo)
0.0 < z3のとき
　　　0.0 < x3の場合　Lo = 90.0 + La
　　　0.0≧x3の場合　Lo = -90.0 - La
0.0 ≧z3のとき
　　　　　　　　　　Lo = tan-1( x3 / z3) / RAD
ただし、
RAD = π/ 180　(π:円周率)
　次に、第１のパノラマ画像への変換を行う。ここでは、図８に示すように、得られた緯度、経度（La,Lo）を、緯度を半径の軸、経度を円周方向の座標系で表す。
　以上のようにして、第１のパノラマ画信号ＤＦを生成することができる。
（５）ＧＵＩについて
　次に、ＧＵＩについて説明する。図９は、モニター３１０の表示画面を示す模式図である。図９では、通常の画面と全画面表示の双方を示しており、いずれの場合においても、画面左側に操作パネル（コントロールパネル）が表示され、画面右側にライブ映像が表示されている。操作パネルの“Screen Mode”を“Full”にすると全画面表示となる。
　図１０は、操作パネルによる操作を説明するための模式図である。操作パネル内は機能毎のパネルとなっており、各パネルを折り畳んで格納することができる。パネルの分類は以下の通りである。
・View
　 表示に関する設定
・Camera control
　カメラ操作に関する設定
・Panorama
  パノラマ表示
・Preset position
　プリセットに関する設定
・Trigger
　トリガーに関する設定
・Other
　その他の設定
　各パネルをクリックすると、そのパネルが開くように構成されている。図１０（Ａ）は、“View”をクリックした状態を示しており、“View”欄の下にメニューが表示される。一方、図１０（Ｂ）は、“Camera control”をクリックした状態を示しており、“Camera control”欄の下にメニューが表示される。また、図１０（Ｃ）はパネル“Camera control”をドラッグした状態を示しており、ドラッグすることによりパネル“Camera control”をフローティングウィンドウにすることができる。
　図１１は、パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示している。“Screen Mode”メニューでは、表示モードをノーマルとフルスクリーンに変更できる。“View Size”では、画像の1/4,1/2,等倍,Fitモードを指定できる。Fitモードは現在の表示エリアの大きさに合わせて画像を表示する。“Image Codec” メニューでは、Codecの変更を行うことができる。“Frame Rate”メニューでは、JPEGのフレームレートを変更することができる。動画保存ボタンは動画の保存に、静止画保存ボタンは静止画の保存のために用いる。その他、マイクボリュームスライダー、マイクミュートオン/オフボタン、音声ボリュームスライダー、音声ミュートオン/オフボタン等が設けられている。
　図１２は、パネル“Camera”をクリックした場合に表示されるメニューを示している。“Operation Mode”メニューでは、画像上での操作モード切替を行うことができる。パン、チルト制御ボタンでは、矢印方向のボタンを操作することにより、パン、チルト方向を指定することができる。パン、チルト制御ボタンの真中に位置するボタンは、ホームポジションボタンである。ズームボタンは、カメラ端末装置２００のズームを指定するボタンであって、光学ズームとデジタルズームの境界が分かるように構成されている。ズームボタンの「W」、「T」を押し続けるとズーム操作が継続して行われる。また、フォーカスボタンは、フォーカスを「遠距離」、「近距離」に設定するために用いられる。その他、ＯＮＥ　ＰＵＳＨ　ＡＵＴＯ　ＦＯＣＵＳボタン、排他制御の制御権獲得ボタン等の各種ボタンが設けられている。
　図１３は、“Preset position”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示している。“Preset position”は、予め定められた複数の撮影方向の画像をサムネイル表示したもので、サムネイル画像の１つをクリックして選択することにより、カメラ端末装置２００を選択したサムネイル画像の方向に向けることができる。
（６）第１のパノラマ画像上での撮影方向の指定
　次に、図１４～図１８に基づいて、第１のパノラマ画像の表示について説明する。図１４は、モニター３１０の表示画面において、操作パネルの“Preset position”をクリックして第１のパノラマ画像を表示した状態を示す模式図である。なお、操作パネルの右側にはライブ映像が表示されている。上述したように、“Preset position”欄をドラッグして移動することにより、図１５に示すように、第１のパノラマ画像が表示されたサブパネルを操作パネルの外に配置することができる。また、第１のパノラマ画像が表示されたサブパネルは表示画面内で移動することができる。
　図１６は、第１のパノラマ画像が表示されたサブパネルを詳細に示す模式図である。第１のパノラマ画像には、右側のライブ映像で表示されている画像の方向（カメラ端末装置２００の撮像光学系の光軸の向き）が、＋印によって示されている。また、図１６に示すように、第１のパノラマ画像の右上のパノラマ切替釦をクリックすることにより、第１のパノラマ画像を第２のパノラマ画像に切換えることができる。
　図１７は、第１のパノラマ画像を用いてライブ映像の方向を変更する操作を示している。カメラ端末装置２００のパン・チルト方向を変更する場合、上述したパン、チルト制御ボタンによって行うことができるが、第１のパノラマ画像中の任意の点を指定することによっても行うことができる。図１７の状態では、＋印の方向にカメラ端末装置２００の撮像光学系の光軸が向けられ、その方向のライブ映像が表示されている。この状態で図１７の第１のパノラマ画像に示す●印の部分をクリックすると、ユーザ操作に応じた操作信号ＵＳが制御部３１０に送られて、これに基づいてカメラ端末装置２００の撮像方向制御部２０４が制御されることにより、●印の方向にカメラ端末装置２００の撮像光学系の光軸が向けられる。従って、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わる。
　これにより、ユーザは、第１のパノラマ画像中の任意の点を指定することにより、カメラ端末装置２００のパン・チルト方向を指定することができる。第１のパノラマ画像には、カメラ端末装置２００が撮影可能なパン・チルト方向の映像が全て含まれていることから、ユーザは、第１のパノラマ画像上でカメラ端末装置２００の方向を指定することで、所望の方向のライブ映像を表示することができる。なお、クリックする位置を示す＋印の代わりに、所定範囲を囲む枠で領域指定して光軸の向きを制御するようにしても良い。
　第１のパノラマ画像上でカメラ端末装置２００の方向を指定した場合に、第１のパノラマ画像の表示状態は変わらずにライブ映像のみが切り換わるモードと、第１のパノラマ画像が回転するモードがある。第１のパノラマ画像が回転するモードでは、図１８に示すように、現在ライブ映像が表示されている位置（＋印）は第１のパノラマ画像の中心から上方に向かう直線Ｌ上に位置するように第１のパノラマ画像の角度位置が設定される。次に第１のパノラマ画像上で●印をクリックすると、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わり、同時に第１のパノラマ画像において●印の位置が直線Ｌ上に位置するように第１のパノラマ画像が回転する。従って、ユーザは、第１のパノラマ画像を見ることで、ライブ映像の方向が第１のパノラマ画像の直線Ｌ上であることを即座に認識することができる。
　第２のパノラマ画像においても同様に、ユーザは、第２のパノラマ画像中の任意の点を指定することにより、カメラ端末装置２００のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。
　図１９は、図４に示したようなパノラマ画像の代わりに、円筒状の曲面にパノラマ画像を表示して参照画像とした例を示している。このように、＋１８０°から－１８０°の範囲で表示される長方形のパノラマ画像を円筒面上に表示するようにしても良い。これにより、ユーザによる視認性を高めることができ、所望の方向の映像を表示させることができる。図１９の場合においても、ユーザは、曲面上の「表示指定点」を指定することにより、カメラ端末装置２００のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。なお、撮影方向の指定を含む上記処理は、ＧＵＩ表示制御信号ＣＴｇに基づいて、表示処理部３０５により行われる。
（７）第１のパノラマ画像を表示したことによる効果
　次に、図２０～図２２に基づいて、第１のパノラマ画像の表示による効果について説明する。図２０は、床面上に「金庫」と「テーブル」が配置され、「金庫」と「テーブル」の中間位置（点Ｏ）の直上にカメラ端末装置２００が設置された様子を示している。そして、カメラ端末装置２００のライブ映像により「金庫」に近づく不審者を監視できるものとする。
　図２１は、図２０の状態において、第１のパノラマ画像をライブ映像とともにモニタ３１０に表示した状態（図２１（Ａ））と、第２のパノラマ画像をライブ映像とともにモニタ３１０に表示した状態（図２１（Ｂ））を模式的に示している。既に説明したように、第１のパノラマ画像または第２のパノラマ画像上の任意の位置をクリックすると、カメラ端末装置２００の光軸の向きをクリックした位置に変更することができ、ライブ映像の撮影方向を変更することができる。
　図２１（Ｂ）に示すように、第２のパノラマ画像の場合、カメラ端末装置２００の真下、すなわち、「金庫」と「テーブル」の中間の位置では、画像が歪んでいるため、クリックした位置に光軸の向きを変更したとしても、光軸の向きは実際の「金庫」と「テーブル」の中間位置（図２０に示す点Ｏ）の位置とはならない。つまり、「金庫」と「テーブル」の中心の周辺を見たい場合に、第２のパノラマ画像（長方形パノラマ画像）上で操作すると、本来ユーザが見たい箇所から外れた映像となってしまい、直感的な制御ができない。このため、図２１（Ｂ）に示すように、ライブ映像の下辺から「金庫」と「テーブル」の映像が表示画面からはみ出してしまう事態が生じる。
　一方、図２１（Ａ）に示すように、俯瞰した状態で画像が表示されることから、「金庫」と「テーブル」の中間位置（図２０に示す点Ｏ）を直感的にクリックすることができる。また、第１のパノラマ画像の場合は、点Ｏ付近の映像の歪みが比較的少ないため、光軸の向きは正確に点Ｏの位置を向く。従って、ライブ映像においても、「金庫」と「テーブル」の映像が表示画面からはみ出してしまうことはない。
　また、図２２は、図２０及び図２１の場合において、ライブ映像中に「金庫」の近辺を不審者が移動している様子と、第１のパノラマ画像及び第２のパノラマ画像を示している。ライブ映像中で「金庫」の近辺を不審者が移動している場合、不審者を追跡するためには、不審者の動きに合わせてカメラ端末装置２００の光軸の向きを変えていく必要がある。
　このような場合において、第２のパノラマ画像の場合、「金庫」と「テーブル」の中間の位置では画像が歪んでいるため、画像の真下で移動方向を換えるようにクリック位置を意図的に操作する必要が生じる。
　一方、第１のパノラマ画像の場合、「金庫」と「テーブル」の中間の位置での画像の歪みが少ないため、ライブ映像を見ながら、不審者の移動に合わせて直感的にクリックをしていくことで、不審者の移動に合わせて光軸の向きを移動させることができる。
　なお、カメラ端末装置２００の直下ではなく、周辺付近を見たい場合には、第２のパノラマ画像の方が、歪みが少なく、第１のパノラマ画像よりもより直感的な制御が可能となる。本実施形態では、状況に応じて第１のパノラマ画像と第２のパノラマ画像を切換えることが可能なため、場面に応じて、ユーザの使い易さを向上させることが可能である。また、表示画面内にスペースがあれば、第１のパノラマ画像と第２のパノラマ画像を両方表示することで、切り替え操作が不要となり、使い易さを向上させることが可能である。
　以上の実施の形態では、長方形のパノラマ画像において、撮像方向を中央位置になるように制御していたが、これに限らず、撮像方向を変えてもパノラマ画像を回転させず固定としたままでもよい。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　この発明は、例えば監視カメラの制御装置、カメラシステム及びプログラム等に広く適用できる。
　１００　　撮像システム
　２００　　カメラ端末装置
　３００　　センターサーバー
　３０１　　ネットワークインターフェース部
　３０５　　表示処理部
　３１０　　制御部
　５００　　ネットワーク
　７００　　撮像装置
　７０１　　記憶部
　７０４　　画像処理部
　７０５　　表示処理部
　７１０　　制御部

Claims (19)

  1. 　カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    　前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    　前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    　前記パノラマ画像は、円形のパノラマ画像である、制御装置。
  2. 　前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成された、請求項１に記載の制御装置。
  3. 　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替える、請求項１に記載の制御装置。
  4. 　前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示する、請求項１に記載の制御装置。
  5. 　前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能である、請求項１に記載の制御装置。
  6. 　カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画
    像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    　前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    　前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、制御装置。
  7. 　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替える、請求項６に記載の制御装置。
  8. 　画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、
    　前記制御装置は、
    　前記カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    　前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    　前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    　前記パノラマ画像は、円形のパノラマ画像である、カメラシステム。
  9. 　前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成された、請求項８に記載のカメラシステム。
  10. 　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替える、請求項８に記載のカメラシステム。
  11. 　前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示する、請求項８に記載のカメラシステム。
  12. 　前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能である、請求項８に記載のカメラシステム。
  13. 　画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、
    　前記制御装置は、
    　カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画
    像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    　前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    　前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、カメラシステム。
  14. 　前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替える、請求項１３に記載のカメラシステム。
  15. 　カメラで撮像された円形のパノラマ画像を表示するパノラマ画像表示領域と、前記カメラで撮影された画像のうち前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を一画面上で表示するように制御する第１の手段、
    　前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する第２の手段、
    　としてコンピュータを機能させるためのプログラム。
  16. 　前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成された、請求項１５に記載のプログラム。
  17. 　前記第１の手段は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替える、請求項１５に記載のプログラム。
  18. 　前記第１の手段は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示する、請求項１５に記載のプログラム。
  19. 　前記第１の手段は、前記パノラマ画像表示領域を画面上にて、移動させることが可能である、請求項１５に記載のプログラム。
     
PCT/JP2010/059248 2009-06-09 2010-06-01 制御装置、カメラシステム及びプログラム WO2010143558A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
EP21185805.5A EP3923565A1 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
KR1020117028827A KR101662074B1 (ko) 2009-06-09 2010-06-01 제어 장치, 카메라 시스템 및 기록 매체
EP10786089.2A EP2442548B1 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
EP18166839.3A EP3367662B1 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
BRPI1012976-6A BRPI1012976A2 (ja) 2009-06-09 2010-06-01 A control device, a camera system, and a program
CN201080024248.1A CN102461153B (zh) 2009-06-09 2010-06-01 控制装置和相机系统
US13/320,550 US10798280B2 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
KR1020167026684A KR101782282B1 (ko) 2009-06-09 2010-06-01 제어 장치, 카메라 시스템 및 카메라 제어를 행하는 제어 방법
RU2011149201/07A RU2528566C2 (ru) 2009-06-09 2010-06-01 Устройство управления, система камеры и программа
US17/009,435 US11477375B2 (en) 2009-06-09 2020-09-01 Control device, camera system, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009138594A JP5338498B2 (ja) 2009-06-09 2009-06-09 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
JP2009-138594 2009-06-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/320,550 A-371-Of-International US10798280B2 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
US17/009,435 Continuation US11477375B2 (en) 2009-06-09 2020-09-01 Control device, camera system, and program

Publications (1)

Publication Number Publication Date
WO2010143558A1 true WO2010143558A1 (ja) 2010-12-16

Family

ID=43308813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059248 WO2010143558A1 (ja) 2009-06-09 2010-06-01 制御装置、カメラシステム及びプログラム

Country Status (9)

Country Link
US (2) US10798280B2 (ja)
EP (3) EP3923565A1 (ja)
JP (1) JP5338498B2 (ja)
KR (2) KR101662074B1 (ja)
CN (1) CN102461153B (ja)
BR (1) BRPI1012976A2 (ja)
RU (1) RU2528566C2 (ja)
TW (1) TWI422218B (ja)
WO (1) WO2010143558A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5820210B2 (ja) * 2011-09-15 2015-11-24 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
CN103731630B (zh) * 2012-10-16 2019-01-11 华为技术有限公司 一种视频监控方法、设备和系统
NO334902B1 (no) * 2012-12-07 2014-07-07 Kongsberg Defence & Aerospace As System og fremgangsmåte for overvåking av minst ett observasjonsområde
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US10761704B2 (en) * 2014-06-16 2020-09-01 Braeburn Systems Llc Graphical highlight for programming a control
JP2016033620A (ja) * 2014-07-31 2016-03-10 キヤノン株式会社 画像取得装置
US9420177B2 (en) * 2014-10-10 2016-08-16 IEC Infrared Systems LLC Panoramic view imaging system with laser range finding and blind spot detection
TWI578781B (zh) 2014-10-21 2017-04-11 群暉科技股份有限公司 藉助於全景地圖來管理一監視系統之方法與裝置
JP6504793B2 (ja) * 2014-11-14 2019-04-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11856297B1 (en) * 2014-12-31 2023-12-26 Gn Audio A/S Cylindrical panorama hardware
JP6543108B2 (ja) * 2015-06-29 2019-07-10 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
CN107438152B (zh) * 2016-05-25 2023-04-07 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及系统
JP6786378B2 (ja) * 2016-12-26 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6938237B2 (ja) 2017-06-21 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
CN107682621A (zh) * 2017-09-06 2018-02-09 深圳天珑无线科技有限公司 旋转拍照方法、装置、移动终端及计算机可读存储介质
CN109001208A (zh) * 2018-05-28 2018-12-14 南京中电熊猫平板显示科技有限公司 一种显示面板的缺陷定位装置及缺陷定位方法
JP6777208B2 (ja) * 2019-09-05 2020-10-28 株式会社リコー プログラム
JP7517356B2 (ja) * 2022-02-21 2024-07-17 株式会社リコー 情報処理システム、通信システム、画像共有方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189180A (ja) * 1992-12-21 1994-07-08 Tsuneaki Hibi パノラマ撮影装置
JP2001148850A (ja) * 1999-11-18 2001-05-29 Canon Inc 映像処理装置、映像処理方法、映像配信システム、記憶媒体
JP2002034032A (ja) * 2000-07-13 2002-01-31 Asahi Optical Co Ltd 監視カメラシステム用コントローラ
JP2007043505A (ja) * 2005-08-03 2007-02-15 Sony Corp 撮像システムとカメラ制御装置およびパノラマ画像生成方法とプログラム
JP2008028778A (ja) * 2006-07-21 2008-02-07 Sony Corp 画像処理装置、画像処理方法及びそのプログラム
JP2008301191A (ja) * 2007-05-31 2008-12-11 Victor Co Of Japan Ltd 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US6020931A (en) * 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6529234B2 (en) * 1996-10-15 2003-03-04 Canon Kabushiki Kaisha Camera control system, camera server, camera client, control method, and storage medium
US7092012B2 (en) * 1996-11-15 2006-08-15 Canon Kabushiki Kaisha Image processing apparatus and method, storage medium, and communication system
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6977676B1 (en) * 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6769131B1 (en) 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
JP2002200210A (ja) * 2000-12-28 2002-07-16 Asobous:Kk 野球におけるスコアメイカーシステムと、自動編集システムと、動作分析システムよりなる情報処理の方法
US7134093B2 (en) * 2001-04-18 2006-11-07 International Business Machines Corporation Graphical user interface for direct control of display of data
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
JP4100934B2 (ja) * 2002-02-28 2008-06-11 シャープ株式会社 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US6839067B2 (en) * 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
JP2005148265A (ja) 2003-11-13 2005-06-09 Sony Corp カメラ装置
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7746376B2 (en) * 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US20060028550A1 (en) * 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
JP2006211105A (ja) 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
EP1851948A1 (fr) * 2005-02-09 2007-11-07 Previsite Procede de realisation en masse de visites virtuelles interactives pour diffusion multimedia, ainsi que systeme de misse en oeuvre
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
DE102006003524A1 (de) * 2006-01-24 2007-07-26 Oerlikon Contraves Ag Panorama-Sicht-System insbesondere in Kampfahrzeugen
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법
CN101505411A (zh) * 2006-04-05 2009-08-12 哥瑞考儿童产品公司 视频婴孩监视器系统
US20080049099A1 (en) * 2006-08-25 2008-02-28 Imay Software Co., Ltd. Entire-view video image process system and method thereof
US20080062250A1 (en) * 2006-09-13 2008-03-13 X10 Wireless Technologies, Inc. Panoramic worldview network camera with instant reply and snapshot of past events
US20080111831A1 (en) * 2006-11-15 2008-05-15 Jay Son Efficient Panoramic Image Generation
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
ATE521054T1 (de) * 2006-12-20 2011-09-15 Axis Ab Verfahen und einrichtung zur erkennung von sabotage an einer überwachungskamera
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US20090073254A1 (en) * 2007-09-17 2009-03-19 Hui Li Omnidirectional imaging system with concurrent zoom
KR101467870B1 (ko) 2008-04-10 2014-12-02 삼성전자주식회사 디지털 영상 촬영 장치, 그 제어방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체
US20090290024A1 (en) * 2008-05-21 2009-11-26 Larson Bradley R Providing live event media content to spectators
RU83675U1 (ru) * 2008-10-03 2009-06-10 Закрытое Акционерное Общество "Голлард" Система видеомониторинга
RU2008139232A (ru) * 2008-10-03 2010-04-10 Закрытое акционерное общество "ГОЛЛАРД" (RU) Система и способ видеомониторинга
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP2011239150A (ja) 2010-05-10 2011-11-24 Sony Corp 制御装置、カメラシステム及びプログラム
JP2011239149A (ja) 2010-05-10 2011-11-24 Sony Corp 制御装置、カメラシステム及びプログラム
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP5569329B2 (ja) * 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189180A (ja) * 1992-12-21 1994-07-08 Tsuneaki Hibi パノラマ撮影装置
JP2001148850A (ja) * 1999-11-18 2001-05-29 Canon Inc 映像処理装置、映像処理方法、映像配信システム、記憶媒体
JP2002034032A (ja) * 2000-07-13 2002-01-31 Asahi Optical Co Ltd 監視カメラシステム用コントローラ
JP2007043505A (ja) * 2005-08-03 2007-02-15 Sony Corp 撮像システムとカメラ制御装置およびパノラマ画像生成方法とプログラム
JP2008028778A (ja) * 2006-07-21 2008-02-07 Sony Corp 画像処理装置、画像処理方法及びそのプログラム
JP2008301191A (ja) * 2007-05-31 2008-12-11 Victor Co Of Japan Ltd 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2442548A4 *

Also Published As

Publication number Publication date
RU2528566C2 (ru) 2014-09-20
CN102461153B (zh) 2015-02-25
EP2442548A4 (en) 2012-11-28
EP2442548B1 (en) 2018-05-02
RU2011149201A (ru) 2013-06-10
KR20160116044A (ko) 2016-10-06
CN102461153A (zh) 2012-05-16
US10798280B2 (en) 2020-10-06
KR101782282B1 (ko) 2017-09-26
EP3367662B1 (en) 2021-12-29
JP5338498B2 (ja) 2013-11-13
KR20120030403A (ko) 2012-03-28
EP3367662A1 (en) 2018-08-29
US20200404176A1 (en) 2020-12-24
JP2010287965A (ja) 2010-12-24
EP3923565A1 (en) 2021-12-15
US11477375B2 (en) 2022-10-18
TWI422218B (zh) 2014-01-01
EP2442548A1 (en) 2012-04-18
KR101662074B1 (ko) 2016-10-05
US20120062695A1 (en) 2012-03-15
TW201123856A (en) 2011-07-01
BRPI1012976A2 (ja) 2018-01-16

Similar Documents

Publication Publication Date Title
JP5338498B2 (ja) 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
US11146726B2 (en) Control device, camera system and program
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
JP2011091546A (ja) 侵入物検知システム
JP2019186635A (ja) 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP5464290B2 (ja) 制御装置、制御方法、及びカメラシステム
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP2011205574A (ja) 制御装置、カメラシステム及びプログラム
JP2019032448A (ja) 制御装置、制御方法、及びプログラム
JP2018174468A (ja) 映像表示装置、映像表示装置の制御方法及びプログラム
KR20050062859A (ko) 감시카메라의 포지셔닝 방법
JP2002077880A (ja) 遠隔監視システム
JP2019140599A (ja) 情報処理装置、情報処理方法及びプログラム
JP2019140566A (ja) 情報処理装置、情報処理方法及びプログラム
JP2013090196A (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR20080033573A (ko) 가상 맵을 이용한 프리셋 설정방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080024248.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10786089

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13320550

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20117028827

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010786089

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2011149201

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 9476/DELNP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1012976

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1012976

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111202