WO2007119712A1 - カメラ装置、画像処理装置および画像処理方法 - Google Patents

カメラ装置、画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2007119712A1
WO2007119712A1 PCT/JP2007/057862 JP2007057862W WO2007119712A1 WO 2007119712 A1 WO2007119712 A1 WO 2007119712A1 JP 2007057862 W JP2007057862 W JP 2007057862W WO 2007119712 A1 WO2007119712 A1 WO 2007119712A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
enlarged
reduced
display
Prior art date
Application number
PCT/JP2007/057862
Other languages
English (en)
French (fr)
Inventor
Tatsuro Ogawa
Original Assignee
Opt Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opt Corporation filed Critical Opt Corporation
Priority to EP07741298A priority Critical patent/EP2009907A4/en
Priority to US12/297,025 priority patent/US20100020202A1/en
Publication of WO2007119712A1 publication Critical patent/WO2007119712A1/ja

Links

Classifications

    • G06T3/12—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a camera device, an image processing device, and an image processing method that use a wide-angle photographic lens.
  • Patent Document 1 discloses a camera device using an omnidirectional imaging lens as a camera device having a wide shooting angle of view.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2003-303335
  • an image obtained by photographing a wide area is narrow, but the resolution of an image of a narrow area, for example, a person's face or clothes, is low, and it is difficult to determine the contents of the image.
  • the present invention is capable of displaying an image captured over a wide range and, if necessary, enlarging and displaying a narrow range of images so that the contents of the image can be easily identified.
  • An object is to provide an image processing apparatus and an image processing method.
  • a camera device of the present invention includes a camera unit having a wide-angle shooting lens and an imaging unit having an imaging surface on which subject light transmitted through the imaging lens forms an image.
  • Image processing control means for performing image processing of image data of a picked-up image formed on the means; display means including a display screen for displaying a video of image data image-processed by the image processing control means; and operating the display screen
  • a camera device including an operation unit.
  • the image processing control means includes a reduced video generation process that generates a reduced image in which the entire captured image is displayed in a partial area of the display screen, and one or more portions of the captured image, depending on the shooting lens.
  • An enlarged video generation process that corrects distortion and generates an enlarged video that is larger than the reduced video, and a control for displaying the reduced video and the enlarged video on the display screen are performed.
  • a reduced video is displayed indicating a range corresponding to the enlarged video.
  • the reduced video is displayed indicating the range corresponding to the enlarged video, so the positional relationship of the enlarged video in the reduced video is easily achieved.
  • the image data relating to the reduced video from the image processing control unit to the display unit is stored. It is assumed that the transfer timing and the transfer timing of the image data related to the enlarged video are different from each other.
  • Another invention is based on the above-described invention, and the reduced video has been subjected to reduction processing of the data amount of the image.
  • a plurality of display means and operation means are provided for the camera unit, and image processing control means is provided on the operation device side.
  • the camera device has such a configuration, by providing a plurality of operation devices in one camera unit, it is possible to view images captured by the same camera unit on the display screens of the plurality of operation devices. You can. Further, by providing the image processing control means for each operating device, it is possible to view a video obtained by performing different image processing for each operating device on the formed image.
  • image data transferred to generate an enlarged image from the camera unit side to the display unit side is an enlarged image of the image data of the captured image. It is assumed that the image data is only for the corresponding part.
  • the image data transferred from the camera unit side to the display means side in order to generate an enlarged image is a portion corresponding to the enlarged image in the image data of the captured image.
  • the transfer time of the image data transferred from the camera unit to the operation device side can be shortened. For this reason, an enlarged image can be smoothly displayed on a plurality of operation devices.
  • an image processing apparatus is an image processing apparatus that performs image processing on a captured image of a subject formed on an imaging unit by a wide-angle imaging lens.
  • V to generate a reduced video that displays the entire captured image in a partial area of the display screen, and to correct distortion caused by the photographic lens using one or more parts of the captured image
  • an enlarged image generation process for generating an enlarged image that is larger than the reduced image and control for displaying the reduced image and the enlarged image on the display screen are performed.
  • an image processing method of the present invention is an image processing method for performing image processing on a captured image of a subject formed on an imaging means by a wide-angle imaging lens.
  • V to generate a reduced video that displays the entire captured image in a partial area of the display screen, and to correct distortion caused by the photographic lens using one or more parts of the captured image
  • an enlarged image generation process for generating an enlarged image that is enlarged compared to the reduced image and a process for displaying the reduced image and the enlarged image on the display screen are performed.
  • the camera device, the image processing device, and the image processing method of the present invention it is possible to display an image of a wide range, and to enlarge and display a narrow range of images as necessary. Can do. Therefore, the entire photographing range can be viewed, and even if the image is in a narrow range, the contents can be easily distinguished and viewed as an image.
  • FIG. 1 is a diagram showing an overall configuration of a camera device according to an embodiment of the present invention.
  • FIG. 2 is a perspective view showing a configuration of a camera unit of the camera device in FIG. 1.
  • FIG. 3 is a block diagram showing a configuration of the camera device of FIG. 1.
  • FIG. 4 is a diagram showing a video display mode in the camera device of FIG. 1.
  • FIG. 5 is a diagram showing another display mode of video in the camera device of FIG. 1.
  • FIG. 6 is a diagram showing another display mode of video in the camera device of FIG. 1.
  • FIG. 7 is a diagram showing a configuration of another embodiment of the camera device according to the embodiment of the present invention.
  • FIG. 8 is a block diagram showing a configuration of the camera device of FIG.
  • Circuit device Image processing control means
  • a camera apparatus 100 according to a first embodiment of the present invention will be described with reference to FIGS.
  • the camera device 100 can be used as a home or office surveillance camera, as well as a camera device for taking pictures of meeting scenes and product inspections.
  • the image processing method will be described in conjunction with the operation of the camera device 100.
  • FIG. 1 shows an overall appearance configuration of the camera apparatus 100.
  • the camera device 100 includes a camera unit 200, a monitor 300 as display means, and an operation device 400 as operation means.
  • a monitor 300 is attached to the operation device 400.
  • On the monitor 300 an image taken by the camera unit 200 is displayed.
  • the operation device 400 includes an operation switch 410 and the like for operating the camera device 100, such as switching display contents displayed on the power switch of the camera device 100 and the monitor 300.
  • the camera unit 200 includes an exterior housing 210, an optical system 220, an imaging element 230 as an imaging unit, and a circuit device 240, which are illustrated by dotted lines in the drawing.
  • the exterior casing 210 has a small form, for example, having a substantially rectangular parallelepiped shape of 3 cm square.
  • the optical system 220 includes a photographic lens 221 and a lens barrel 222.
  • the lens barrel 222 is accommodated in the outer casing 210, and the photographing lens 221 is exposed to the outside of the outer casing 210.
  • the taking lens 221 is a so-called wide-angle lens having optical characteristics with a wide field angle of 180 degrees.
  • the photographing lens 221 has a front surface on the object light incident side bulging like a normal convex lens, and is close to a flat surface.
  • the glass inside the lens has been devised, it has a 180 ° field of view, and it can shoot all around the optical axis, that is, all around 360 °.
  • An imaging element 230 is disposed at the imaging position of the photographic lens 221.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • photoelectric conversion element may be used instead of CMOS.
  • the lens barrel 222 is provided with a focus adjustment knob 223.
  • the lens barrel 222 is configured to advance and retreat in the optical axis direction with respect to the imaging element 230 when the pin adjustment knob 223 is picked up with a finger and rotated around the optical axis. Therefore, the position of the photographic lens 221 in the optical axis direction can be adjusted by the focus adjustment knob 223 so that the imaging position of the photographic lens 221 becomes the imaging surface of the imaging device 230.
  • the camera unit 200 includes a microphone 201, a USB connection unit 203 to which a USB (Univereal Serial Bus) cable 202 as a communication means is connected, and an AV signal output unit 204 that outputs audio and video signals.
  • the microphone 201 captures sound at a location within the shooting range.
  • the camera unit 200 and the operation device 400 are connected to the USB connection unit 203.
  • the connected USB cables 202 are connected so that they can communicate with each other.
  • the AV signal output unit 204 is used when outputting image data and audio signals on the camera unit 200 side to a monitor or a speaker.
  • FIG. 3 shows the configuration of the circuit device 240 and the overall configuration of the camera device 100 as a block diagram. The operation and the like of the camera device 100 will be described with reference to FIG.
  • the circuit device 240 is also configured as an image processing device.
  • the subject light that has passed through the photographing lens 221 forms an image on the imaging surface of the imaging device 230, and an image signal based on this combined image is output from the imaging device 230.
  • the image signal output from the image sensor 230 is input to the circuit device 240.
  • the circuit device 240 includes an image signal processing unit 241, an image compression processing unit 242, a control unit 243, a memory 244 provided for the control unit 243, a coordinate conversion unit 245, and a memory 24 6 provided for the coordinate conversion unit 245. It has.
  • the image signal output from the image sensor 230 is input to the image signal processing unit 241.
  • predetermined image processing such as color processing is performed on the image signal from the image sensor 230.
  • the image compression processing means 242 compresses the image data of the image signal subjected to the image processing by the image signal processing means 241 to generate compressed image data in which the data amount of the image data is reduced. Is the image data compression process using, for example, JPEG (Joint Photograp hie Experts Group)? T.
  • JPEG Joint Photograp hie Experts Group
  • the control unit 243 controls the operation of the camera device 100, including a video generation process corresponding to the display mode of the captured video of the shooting lens 221 displayed on the monitor 300. As shown in FIGS. 4, 5, and 6, which will be described later, the camera device 100 according to this embodiment selects a plurality of display modes having different video contents from the captured image of the photographing lens 221 on the monitor 300. Can be displayed.
  • the control unit 243 performs image processing for generating a video to be displayed in each display mode from the image data of the captured image.
  • the control unit 243 is configured by a CPU (Central Processing Unit), for example.
  • the memory 244 includes a work memory for executing this program in addition to a program for operating each unit of the camera device 100.
  • the image signal processing unit 241 or the image The memory 244 is used in the processing in the image compression processing unit 242.
  • the coordinate conversion unit 245 processes the captured image on the imaging surface of the image sensor 230 so as to be an image displayed in each display mode and displays the image on the monitor 300. It has a function of converting the coordinate position into the coordinate position of the video on the monitor 300.
  • the memory 246 is a work memory when image processing is performed using the coordinate conversion unit 245.
  • the monitor 300 displays an image based on the image signal output from the circuit device 240.
  • it is composed of a liquid crystal display device, a CRT display device, or a plasma display device.
  • the operation device 400 is provided with a power switch of the camera device 100, an operation switch 410 for operating the camera device 100 for switching display contents displayed on the monitor 300, and the like (see FIG. 1). Based on the operation content of the operation switch 410, the camera device 100 operates via the control unit 243. The instruction of the operation switch 410 is transmitted to the control unit 243, and a predetermined operation is executed. The operation switch 410 is used to specify the position of the area display to be described later.
  • the operation switch 410 is provided with a main selection button 411 and a sub selection button 412 for switching a display mode of an image by the photographing lens 221 displayed on the monitor 300.
  • a main selection button 411 and a sub selection button 412 for switching a display mode of an image by the photographing lens 221 displayed on the monitor 300.
  • the initial display mode when the captured image of the photographic lens 221 is displayed is the entire image 310 shown in FIG. 4 (A). It is a whole display mode.
  • the camera unit 200 is installed on a wall surface of a room, for example, and in the entire image 310 shown in the drawing, the up and down directions on the paper surface are respectively in the vertical direction of the subject, and the paper surface.
  • the left and right directions correspond to the left and right directions of the subject.
  • the top, bottom, left, and right directions of the subject in the video are shown as (up), (down), (left), and (right), respectively.
  • the entire image 310 is an image in which the image of the photographing lens 221 formed on the imaging surface of the image sensor 230 is displayed as it is. As described above, the image formation size of the photographing lens 221 is within the imaging surface of the image sensor 230. For this reason, the imaging contour of the imaging lens 221 on the imaging surface of the imaging element 230 is circular, and the portion of the imaging surface other than the imaging portion is a dark portion with a small amount of light. In this embodiment, pixel data is treated as 0-brightness data for portions other than the imaging portion of the photographing lens 221 on the imaging surface.
  • the image formed by the imaging lens 221 is displayed in a circle, and the other portions are displayed in black.
  • the entire image 310 is an image captured at an angle of view of 180 degrees by the photographic lens 221. Therefore, the so-called distortion is strengthened as the central force is directed toward the periphery.
  • the monitor 300 displays the enlarged image 320 shown in FIG. 4B from the whole display mode in which the whole image 310 shown in FIG. 4A is displayed by pressing the main selection button 411. It is possible to switch to the enlarged display mode and the combined display mode I for displaying the combined video 330 shown in FIG. To change the display mode, every time the main selection button 411 is pressed, the entire display mode (Fig. 4 (A)) ⁇ enlarged display mode (Fig. 4 (B)) ⁇ combined display mode I (Fig. 4 (C)) ) ⁇ Overall display mode (Fig. 4 (A)) ... That is, by pressing the main selection button 411, three display modes (Fig. 4 (A)), enlarged display mode (Fig. 4 (B)), and combined display mode 1 (Fig. 4 (C)) are displayed. A display mode can be selected.
  • the enlarged image 320 in the enlarged display mode shown in FIG. 4B is obtained by distorting the image of the substantially rectangular region 320A indicated by the dotted line in the center of the entire image 310 shown in FIG. While the aberration is corrected, the display screen of the monitor 300 is an enlarged image that has been enlarged so as to be displayed on the screen.
  • the area 320A is set to include, for example, an image of a subject whose vertical field angle is 90 degrees and horizontal field angle is 120 degrees with the optical axis of the taking lens 221 as the center!
  • the enlarged image 320 is a panorama that extends 90 degrees in the up and down direction and 120 degrees in the left and right direction, with the optical axis of the taking lens 221 as the center. It is a video.
  • the enlarged video 320 is generated based on image data of a captured image corresponding to the portion of the area 320A. That is, the image data of the image sensor 230 output from the image compression processing unit 242 is generated by performing image processing such as pixel data compensation processing on the image data of the portion corresponding to the region 320A.
  • the enlarged image 320 is generated as an image obtained by performing the distortion correction process and the enlargement process on the captured image of the portion corresponding to the region 320A. Since the enlarged video 320 is generated based on the image data of the image sensor 230, the video data power of the entire video 310 is also larger than that of the enlarged video 320. There is little deterioration.
  • the combined video 330 in the combined display mode I shown in FIG. 4 (C) includes a reduced video 340 of the whole video 310 on the upper left of the display screen of the monitor 300 in addition to the enlarged video 320 shown in FIG. 4 (B).
  • the video is also displayed.
  • the reduced video 340 is generated by performing interleaving processing of pixel data on the image data of the image sensor 230 output from the image compression processing unit 242. Since the reduced video 340 is generated by thinning out the pixel data, the amount of image data is smaller than the data amount of the entire video 310. As a result, the processing speed of various processes performed on the reduced video 340, such as transfer of image data of the reduced video 340, is increased.
  • the means for reducing the image data of the reduced video 340 may be performed by reducing image data such as color information in addition to the pixel data thinning-out process described above. Further, when shooting the reduced video 340, the image data may be reduced by lowering the frame rate of the shooting.
  • the reduced image 340 can be viewed in the center of the shooting range while observing the entire range taken by the taking lens 221. The details can be seen in the enlarged video.
  • an area display 341 is displayed as a display indicating a range corresponding to the area 320A. By displaying this area display 341, the positional relationship of the enlarged image 320 in the reduced image 340 can be known.
  • the sub-select button 412 is pressed. Then, as will be described below, a plurality of display modes can be further selected for each display mode.
  • the display mode of the monitor 300 is the entire display mode (Fig. 4 (A))
  • the sub-select button 412 is pressed once
  • the display mode of the monitor 300 is displayed as an enlarged image 320 shown in Fig. 5 (A).
  • the enlarged image 320 shown in FIG. 5 (A) is the same image as the enlarged image 320 shown in FIG. 4 (B). That is, in the entire display mode (FIG. 4A), when the sub selection button 412 is pressed once, the same enlarged image 320 as when the main operation button 411 is pressed is displayed.
  • the display mode of the monitor 300 is changed to the display of the two video power monitors 300 of the 2-split video 350 and the 2-split video 351 as shown in FIG. You can switch to the 2-split display mode displayed at the top and bottom of the screen.
  • the two-divided images 350 and 351 are images respectively corresponding to the regions 350A and 351A having a substantially arcuate fan shape indicated by a dotted line in the entire image 310 illustrated in FIG.
  • the 2-split video 350 corresponds to the video in the area 350A
  • the 2-split video 351 corresponds to the video in the area 351A.
  • Regions 350A and 351A are regions that are set vertically symmetrical with respect to the center of the entire image 310. Each region has, for example, a peripheral side force of the photographing lens 221 of 60 degrees as a result of directing the optical axis. It is set to include the image of the subject within the field of view and within the field of view of 110 degrees around the optical axis.
  • the two split images 350 and 351 have an image angle of 60 degrees from the periphery of the photographing lens 221 to the optical axis side and 110 degrees in the left-right direction at a position above and below the optical axis of the photographing lens 221. It is a panoramic image that extends in the horizontal direction of the angle of view.
  • Image of two harm images 350, 351 ⁇ , images of areas 350A, 351A [Troubleshooting, photographic lens 221] These distortion aberrations are corrected and the display screens on the top and bottom of the monitor 300 are displayed. It is an enlarged image that has been enlarged so as to be displayed quickly.
  • the two-divided images 350 and 3 51 can also be obtained by performing pixel data interpolation processing on the image data of the imaging element 230 output from the image compression processing unit 242.
  • the captured image corresponding to 350 mm and 351 mm is generated as an image that has been subjected to distortion correction processing and enlargement processing. Therefore, compared to generating the two-segment video 350, 351 from the video data of the entire video 310, the video displayed on the monitor 300 is less deteriorated. It has become a thing.
  • the display mode of the monitor 300 is changed to a 4-split video 360, a 4-split video 361, a 4-split video 362, and a 4-split video, as shown in FIG. 3 63 4 images can be switched to the 4-split display mode displayed on the top, bottom, left and right of the monitor 300 display screen.
  • the four divided images 360, 361, 362, 363 are images corresponding to the regions 360A, 361A, 362A, and 363A, respectively, in the overall image 310 shown in FIG. is there.
  • the 4-division video 360 corresponds to the area 360A
  • the 4-division video 361 corresponds to the area 361A
  • the 4-division video 362 corresponds to the area 362A
  • the 4-division video 363 corresponds to the area 363A.
  • Regions 360A, 361A, 362A, 363 ⁇ , and the whole image 310 [This is a symmetrical area that is set 45 degrees above and below 45 degrees diagonally and below 45 degrees diagonally. It is set to include the image of the subject in the range of the angle of view of 50 degrees and the angle of view of 90 degrees around the optical axis.
  • four-division images 360, 361, 362, and 363 are 50 images from the periphery of the photographing lens 221 to the optical axis side at the positions 45 degrees above and below the left and right of the scene lens 221. It is a panoramic image with an angle of view of 60 degrees and an angle of view of 60 degrees in the left-right direction.
  • the four-divided images 360, 361, 362, and 363 are displayed on the upper and lower display screens of the monitor 300 as well as the distortion aberration of the photographing lens 221 is corrected for the images in the regions 360 ⁇ , 361A, 362 ⁇ , and 363 ⁇ .
  • the enlarged image is enlarged so as to be displayed on the screen.
  • the four-divided video 360, 361, 362, 363 is also the pixel data of the image sensor 230 output from the image compression processing unit 242.
  • a captured image of a portion corresponding to the regions 360 ⁇ , 361A, 362 ⁇ , and 363 ⁇ is generated as an image that has been subjected to distortion correction processing and enlargement processing. For this reason, the video data camera of the entire image 310 generates the four-divided images 360, 361, 362, and 363, so that the monitor 300 displays little deterioration of the displayed image.
  • the display mode of the monitor 300 is an enlarged display mode (Fig. 4 (B))
  • the display mode of the monitor 300 is changed to the two-split display mode shown in Fig. 5 (B). Can be switched.
  • the display mode of the monitor 300 can be switched to the 4-split display mode shown in FIG.
  • the display mode of the monitor 300 is shown in FIG. 5 (A) in which the same video as the enlarged video 320 shown in FIG. 4 (B) is displayed. It becomes an enlarged display mode.
  • the display mode of the monitor 300 is the enlarged display mode (FIG. 4 (B)
  • the 2-split display mode (FIG. 5 (B)) ⁇ 4 split display mode (Fig. 5 (C)) ⁇ Enlarged display mode (Fig. 5 (A)) ⁇ ⁇ ⁇
  • the display mode of the monitor 300 can be switched in this order.
  • Display mode power of monitor 300 When the combined display mode 1 (Fig. 4 (C;)) in which the combined video 330 is displayed is pressed once, the sub-select button 412 is pressed once, the display mode of the monitor 300 is displayed. 6 It is possible to switch to the combined display mode II in which the combined video 370 shown in (A) is displayed.
  • the combined video 370 is a video in which the reduced video 340 and the enlarged video 371 are displayed together.
  • the enlarged image 371 is an image corresponding to an area designated by the area display 342 having an arch-like substantially fan shape displayed so as to be superimposed on the reduced image 340.
  • the area display 342 has, for example, a range of an angle of view of 50 degrees from the peripheral side of the photographing lens 221 toward the optical axis and an angle of view of 90 degrees around the optical axis. It is set to be included in the image of the subject in the range.
  • the image 371 is a panoramic image having a field angle of 50 degrees from the periphery of the photographing lens 221 to the optical axis side and a field angle of 90 degrees in the left-right direction.
  • This area display 342 can be moved to an arbitrary position in the circumferential direction of the reduced image 340 by rotating the ball switch 413.
  • the enlarged image 371 is designated by the area display 342 which is moved to a desired position by operating the ball-shaped switch 413. With respect to the image in the region, the distortion aberration of the photographic lens 221 is corrected, and the enlarged image is enlarged to be displayed on the display screen of the monitor 300.
  • the enlarged video 371 is displayed on the region display 342 by performing pixel data interpolation processing or the like on the image data of the imaging element 230 output from the image compression processing unit 242.
  • the captured image of the corresponding part is generated as an image that has been subjected to distortion correction processing and enlargement processing. Therefore, the video data of the reduced video 340 generated by thinning out the pixel data is less deteriorated in the video displayed on the monitor 300 as compared with the case where the enlarged video 371 is generated.
  • the reduced video 340 is displayed at the upper left of the display screen of the monitor 300.
  • the reduced image 340 shows the entire range captured by the taking lens 221 and the shooting range of the area display 342. Can see the details in the enlarged video. Further, by displaying the area display 342, the positional relationship of the enlarged image 371 in the reduced image 340 can be known.
  • FIG. 6 (B) Display Mode Power of Monitor 300
  • the display mode of the monitor 300 is shown in FIG. 6 (B). It is possible to switch to the combined display mode III in which the image 380 is displayed.
  • This combined video 380 is a video in which two videos, a two-split video 381A and a two-split video 381B, are displayed together with the reduced video 360.
  • the two-divided images 381A and 381B are images corresponding to the areas designated by the two area displays 343A and 343B that have an arch-like substantially fan shape displayed superimposed on the reduced image 340.
  • the 2-split video 381 A corresponds to the area display 343A
  • the 2-split video 381B corresponds to the area display 343B.
  • the area displays 343A and 343B are symmetrical on both sides of the optical axis of the photographic lens 221.
  • the peripheral side force of the photographic lens 221 is directed to the optical axis, and the range of the angle of view is 60 degrees.
  • it is set to include the image of the subject in the range of 110 degrees of view around the optical axis.
  • the images of the two-divided images 381A and 381B are the light from the taking lens 221.
  • the panoramic image extends in the left-right direction with a field angle of 60 degrees from the periphery of the taking lens 221 to the optical axis side and a field angle of 110 degrees in the left-right direction.
  • the area displays 343A and 343B can be moved to arbitrary positions in the circumferential direction of the reduced image 340 by rotating the ball-type switch 413.
  • the two split images 38 1A and 381B are processed by correcting distortion distortion of the photographic lens 221 for the image of the area specified by the area display 343A and 343B moved to the desired position by operating the ball switch 413.
  • the enlarged image is enlarged so that it is displayed on the upper and lower display screens of the monitor 300.
  • the two-divided video 381A and 381B are similar to the above-described two-divided videos 350 and 351, and the pixel data complement processing is performed on the image data of the image sensor 230 output from the image compression processing unit 242.
  • a captured image of a portion corresponding to the region displays 343A and 343B is generated as a video that has been subjected to distortion correction processing and enlargement processing. Therefore, compared to the generation of the two-segment video 381A and 381B from the video data of the reduced video 340 generated by thinning out the pixel data, the video displayed on the monitor 300 is less deteriorated. .
  • the reduced video 340 is displayed at the upper left of the display screen of the monitor 300.
  • the reduced image 340 can be viewed while viewing the entire area captured by the taking lens 221.
  • the shooting range of the displays 343A and 343B With regard to the shooting range of the displays 343A and 343B, a detailed state can be seen with the enlarged image. Further, by displaying the area displays 343A and 343B, it is possible to know the positional relationship in the reduced image 340 of the two-divided images 381A and 381B.
  • the combined video 390 is a video in which four videos of a 4-split video 391A, a 4-split video 391B, a 4-split video 391C, and a 4-split video 391D are displayed together with the reduced video 340.
  • Quadrant images 391A, 391B, 391C, and 391D are specified by four area displays 344A, 344B, 344C, and 344D that display a substantially fan-shaped display that is superimposed on the reduced image 340. This is an image corresponding to the area to be recorded.
  • 4 split video 391 A corresponds to area display 344A
  • 4 split video 391B corresponds to area display 344B
  • 4 split video 391C corresponds to area display 344C
  • 4 split video 391D corresponds to area display 344D It corresponds.
  • Area indications 344A, 344B, 344C, and 344D are in the contraction / J, video 340, symmetrically about the optical axis of the photographing lens 221 at 45 degree intervals, for example, from the peripheral side of the photographing lens 221 toward the optical axis. It is set to include the image of the subject within the range of the angle of view of 50 degrees and the angle of view of 90 degrees around the optical axis.
  • the four-division images 391A, 391B, 391C, and 391D are symmetrical about the optical axis of the photographic lens 221 and have an angle of view of 50 degrees from the periphery of the photographic lens 221 to the optical axis side. It is a panoramic image with an angle of view of 90 degrees left and right.
  • the area displays 344A, 344B, 344C, and 344D can be moved to arbitrary positions in the circumferential direction of the reduced image 340 by rotating the ball type switch 413.
  • Four-segment video 391A, 391B, 391C, 391D is an area display that is moved to a desired position by operating the ball switch 413.
  • the photographic lens 22 1 For the video in the area specified by 344A, 344B, 344C, 344D, the photographic lens 22 1 The distortion aberration is corrected and the enlarged image is enlarged so that it is displayed on the upper, lower, left, and right display screens of the monitor 300!
  • the four-divided video 391 A, 391B, 391C, and 391D are similar to the four-divided video 360, 361, 362, and 363 described above, with respect to the image data of the image sensor 230 output from the image compression processing unit 242. Then, by performing pixel data complementation processing, etc., a captured image of a portion corresponding to the region display 344A, 344B, 344C, 344D is generated as an image that has been subjected to distortion correction processing and enlargement processing.
  • the video displayed on the monitor 300 is less degraded. It has become a thing.
  • the reduced video 340 is displayed at the upper left of the display screen of the monitor 300.
  • the reduced image 340 allows the entire image captured by the taking lens 221 to be viewed.
  • the details of the shooting ranges of the area displays 344A, 344B, 344C, and 344D can be seen from the enlarged image.
  • area display 344A, 344B, 3 By displaying 44C and 344D, it is possible to know the positional relationship in the reduced image 340 of the two-divided images 381A and 381B.
  • the display mode I of the monitor 300 when the display mode I of the monitor 300 is displayed together with the display mode I (FIG. 4C), when the sub-select button 412 is pressed, the combined display mode is displayed each time the button is pressed.
  • the display mode of the monitor 300 can be switched in the order of II (Fig. 6 (A))-> combined display mode III (Fig. 6 (B))-> combined display mode IV (Fig. 6 (C)).
  • the circuit device 240 power also transfers the image data to the monitor 300.
  • Image data of the reduced video 340 and other video enlarged video 320, enlarged video 371, 2 split video 381A, 381B, 4 split Images 391A, 391B, 391C, 391D (hereinafter these images are collectively referred to as other images) are transferred at different timings. By doing so, the transfer time of the image data can be shortened compared to transferring the image data of the reduced video 340 and the image data of another video at the same timing.
  • the above-mentioned other video displays the entire shooting range, and pays attention to a part of the reduced video 340. Therefore, the video shot as another video is taken.
  • changes in the range are viewed in real time or short, and sequentially over time.
  • the image data of other video is transferred in real time in real time, and the image data of reduced video is transferred at regular intervals, for example, every 10 frames.
  • the image data of the reduced video 340 is displayed in full frame in real time.
  • the image data of other videos may be transferred at regular intervals, for example, every 10 frames.
  • the image data of the reduced video 340 and the image data of the other video are transferred at a predetermined ratio, for example, the transfer time of the image data of the other video with respect to the transfer time 1 of the image data of the reduced video 340.
  • the data may be transferred alternately at a ratio of 4.
  • the operation device 400 may be a personal computer!
  • monitor 300 is
  • the operation switch 410 corresponds to a personal computer keyboard or mouse.
  • the main operation button 411 and the sub operation button 412 are respectively predetermined keys on the keyboard.
  • the movement of the area display 342, area display 343A, 343B, and area display 344A, 344B, 344C, 344D by the ball type switch 413 is performed using a mouse.
  • a camera unit 200 is connected to a server 500 via a USB cable 202, and a plurality of operation devices 400 (personal computers) are connected to the server 500.
  • the camera device 100 in this embodiment has a configuration in which a plurality of operation devices 400 (personal computers) are connected to the camera unit 200. With such a configuration, it is possible to view images from the camera unit 200 with a plurality of operation devices 400 (personal computers).
  • USB connection sections 203 are provided on the camera section 200 side, and a plurality of operation devices 400 (personal computers) can be directly connected to the camera section 200 without going through the server 500.
  • operation devices 400 personal computers
  • the connection between the camera unit 200 and the server 500 or the connection between the camera unit 200 and the operation device 400 is not limited to a USB connection, but should be connected by other connection means such as wireless means.
  • the configuration of the circuit device 240 is operated with the circuit device 240A on the camera unit 200 side as shown in FIG. It may be divided into the circuit device 240B on the construction device 400 (PC) side. That is, the configuration of the circuit device 240A on the camera unit 200 side is the image signal processing unit 241, the image compression processing unit 242, the control unit 243A, and the memory unit 244A. Then, the configuration of the circuit device 240B on the operating device 400 (personal computer) side includes a control unit 243B, a memory 244B, a coordinate conversion unit 245, and a memory 246.
  • the coordinate conversion unit 245 and the memory 246 have the same functions as those described with reference to FIG.
  • the control unit 243A, the memory 244A, the control unit 243B, and the memory 244B have the same functions as the control unit 243 and the memory 244 described in FIG.
  • the video generation processing corresponding to each display mode is mainly performed by the control unit 243B, the memory 244B, the coordinate transformation provided in the operation device 400 (personal computer). This is performed by the conversion unit 245 and the memory 246.
  • an enlarged video 320 or the like (enlarged video 320, two-divided video 350 , 351, 4-division video 360, 361, 362, 363, 2-division video 381 A, 381B, 4-division video 391A, 391B, 391C, 391D, which are collectively referred to as enlarged video 320, etc. ) Can be generated.
  • the camera unit 200 when the camera unit 200 generates various enlarged images 320 or the like based on instructions from a plurality of operation devices 400 (personal computers), the camera unit 200 displays various enlarged images 320 or the like. Will be generated. For this reason, a huge amount of processing work is executed in the camera unit 200, which takes a long time and causes problems such as an increase in the time required until an image is displayed on the operation device 400 (personal computer).
  • the controller 243B, the memory 244B, the coordinate converter 245, and the memory 246 are provided on the operation device 400 (personal computer) side, different enlarged images are independently provided in each operation device 400 (personal computer). 320 etc. can be displayed quickly.
  • the transfer time of the image data can be shortened as compared with the case where all the image data regarding the image captured by the image sensor 230 is transferred from the camera unit 200 to the controller device 400. Therefore, it is possible to smoothly display the enlarged image on the monitor 300 of each operation device 400 (personal computer). It should be noted that the transfer of the image data of the area display designated as the reduced video 340 may be transferred at different timings as in the first embodiment.
  • the image data of the area display may be the image data of only the part corresponding to the area display accurately, but the part corresponding to the area display when the enlarged video 320 or the like is generated. May require image data of surrounding pixels. In such a case, image data of surrounding pixels may be transferred as appropriate.
  • the image data may be transferred when the subject moves.
  • infrared A line sensor may be provided so that when a person enters the shooting range, a detection signal from the infrared sensor is received and image data is transferred.
  • the display content of the monitor 300 at this time is a reduced image 340 and other images including moving objects (persons, etc.) (enlarged image 320, enlarged image 371, 2-divided image 381A, 381B, 4-divided image 391A, 391B , 391C, 391D.) Is preferred to display.
  • the camera apparatus 100 has been described as an example.
  • image data captured by an imaging unit such as a camera is stored on a node disk or a DVD (Digital Versatile).
  • the image data may be recorded on a recording means such as a disc and processed by the circuit means 240 as an image processing apparatus and displayed on the monitor 300.
  • the image processing device (circuit means 240) and the recording means on which the image data is recorded may be connected via a network.
  • the image data recorded by the imaging unit recorded in the recording unit is subjected to image processing by the image processing method described in the above circuit device 240, and the video is displayed on the monitor 300.
  • a reduced video generation process for generating a reduced video 340 with respect to image data picked up by the image pickup means recorded in the recording means, and distortion caused by the photographing lens 221 for one or more portions of the picked-up image.
  • Enlarged image generation that corrects and generates other images (enlarged image 320, enlarged image 371, 2-divided image 381A, 381B, 4-divided image 391A, 391B, 391C, 391D) compared to reduced image 340.
  • image processing for displaying the reduced video 340 and the other video on the monitor 300 may be performed.

Abstract

　広い範囲を撮影した画像を表示できるとともに、必要に応じて、狭い範囲の画像を拡大して表示することにより、画像の内容を判別し易くしたカメラ装置を提供すること。 　カメラ装置において、撮像画像の全体が上記表示手段の表示画面の一部の領域に表示される縮小映像を生成し、撮像画像の１または複数の部分について広角の撮影レンズによる歪みを補正するとともに縮小映像に比べて拡大された拡大映像を生成し、縮小映像および拡大映像の両方を表示画面に表示する。

Description

明 細 書
カメラ装置、画像処理装置および画像処理方法
技術分野
[0001] 本発明は、広角の撮影レンズを用いるカメラ装置、画像処理装置および画像処理 方法に関するものである。
背景技術
[0002] 従来から、銀行あるいはコンビ-エンスストアの店舗等では、強盗や盗難あるいは 空き巣等の犯罪への対策として店舗内等を撮影するためのカメラ装置を有する監視 システムが用いられている。また、近年の犯罪の増加に伴い、一般家庭にも監視シス テムが普及し始めている。このような監視システムに用いられるカメラ装置には、監視 範囲を死角なく撮影できるように広 、撮影画角で撮影できることが要求される。広 ヽ 撮影画角を有するカメラ装置として全方位撮像レンズを用いたカメラ装置が、例えば 特許文献 1に開示されて ヽる。
[0003] 特許文献 1：特開 2003— 303335号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、広 、範囲を撮影した画像は、狭 、範囲の画像、例えば、人物の顔や 服装等については、解像度が落ち、画像の内容が判別し難いという問題がある。
[0005] そこで、本発明は、広い範囲を撮影した画像を表示できるとともに、必要に応じて、 狭い範囲の画像を拡大して表示することにより、画像の内容を判別し易くしたカメラ装 置、画像処理装置および画像処理方法を提供することを課題とする。
課題を解決するための手段
[0006] 上述の課題を解決するため、本発明のカメラ装置は、広角の撮影レンズと、撮影レ ンズを透過した被写体光が結像する撮像面を有する撮像手段とを有するカメラ部と、 撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段と 、画像処理制御手段により画像処理された画像データの映像を表示する表示画面を 備える表示手段と、表示画面を操作する操作手段とを備えるカメラ装置において、画 像処理制御手段は、撮像画像の全体が表示画面の一部の領域に表示される縮小映 像を生成する縮小映像生成処理と、撮像画像の 1または複数の部分にっ 、て撮影レ ンズによる歪みを補正するとともに縮小映像に比べて拡大された拡大映像を生成す る拡大映像生成処理と、縮小映像および拡大映像を表示画面に表示する制御を行 なうこととする。
[0007] カメラ装置をこのような構成とすることにより、歪みが補正された拡大映像により撮影 範囲の細部についての映像を観ることができるとともに、縮小映像により撮影範囲の 全体の様子を観ることができる。
[0008] また、他の発明は、上述の発明に加え、縮小映像には、拡大映像に対応する範囲 を示す表示が行われることとする。
[0009] カメラ装置をこのような構成とすることにより、縮小映像に、拡大映像に対応する範 囲を示す表示が行われるため、拡大映像の縮小映像内における位置関係を容易に
½認することができる。
[0010] また、他の発明は、上述の発明に加え、縮小映像および拡大映像を同時に表示画 面に表示する場合に、画像処理制御手段から表示手段への縮小映像に係る画像デ ータの転送のタイミングと、拡大映像に係る画像データの転送のタイミングとを互いに 異なるよう〖こしたこととする。
[0011] カメラ装置をこのような構成とすることにより、縮小映像の画像データと拡大映像の 画像データとを同じタイミングで転送するのに比べて、画像データの転送時間を短く することができる。
[0012] また、他の発明は、上述の発明にカ卩え、縮小映像は、画像のデータ量が低減処理 されていることとする。
[0013] カメラ装置をこのような構成とすることにより、縮小映像の画像データの転送時間を 短くすることができる。
[0014] また、他の発明は、上述の発明に加え、表示手段と操作手段は、カメラ部に対して 複数備えられ、画像処理制御手段は、操作装置側に備えられることとする。
[0015] カメラ装置をこのような構成とすること〖こより、 1つのカメラ部に複数の操作装置を備 えることにより、同一のカメラ部で捕えた映像を複数の操作装置の表示画面で観るこ とができる。また、画像処理制御手段を操作装置毎に備えることにより、結像画像に 対して操作装置毎に異なる画像処理を行った映像を観ることができる。
[0016] また、他の発明は、上述の発明に加え、カメラ部側から表示手段側に拡大映像を生 成するために転送される画像データは、撮像画像の画像データのうち、拡大映像に 対応する部分のみの画像データであることとする。
[0017] カメラ装置をこのような構成とすることにより、拡大映像を生成するためにカメラ部側 から表示手段側に転送する画像データを、撮像画像の画像データのうち、拡大映像 に対応する部分のみの画像データとすることにより、カメラ部から操作装置側に転送 する画像データの転送時間を短くすることができる。このため、複数の操作装置にお いて、拡大映像の表示を円滑に行うことができる。
[0018] 上述の課題を解決するため、本発明の画像処理装置は、広角の撮影レンズにより 撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理装置にお
V、て、撮像画像の全体を表示画面の一部の領域に表示される縮小映像を生成する 縮小映像生成処理と、撮像画像の 1または複数の部分にっ 、て撮影レンズによる歪 みを補正するとともに縮小映像に比べて拡大された拡大映像を生成する拡大映像生 成処理と、縮小映像および拡大映像を表示画面に表示する制御を行なうこととする。
[0019] 画像処理装置をこのような構成とすることにより、歪みが補正された拡大映像により 撮影範囲の細部についての映像を観ることができるとともに、縮小映像により撮影範 囲の全体の様子を観ることができる。
[0020] 上述の課題を解決するため、本発明の画像処理方法は、広角の撮影レンズにより 撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法にお
V、て、撮像画像の全体を表示画面の一部の領域に表示される縮小映像を生成する 縮小映像生成処理と、撮像画像の 1または複数の部分にっ 、て撮影レンズによる歪 みを補正するとともに縮小映像に比べて拡大された拡大映像を生成する拡大映像生 成処理と、縮小映像および拡大映像を表示画面に表示する処理を行なうこととする。
[0021] このような画像処理方法を採用することにより、歪みが補正された拡大映像により撮 影範囲の細部についての映像を観ることができるとともに、縮小映像により撮影範囲 の全体の様子を観ることができる。 発明の効果
[0022] 本発明のカメラ装置、画像処理装置および画像処理方法によれば、広 、範囲を撮 影した画像を表示できるとともに、必要に応じて、狭い範囲の画像を拡大して表示す ることができる。このため、撮影範囲の全体を観ることができるとともに、狭い範囲の画 像にっ 、ても、その内容を判別し易 、画像として観ることができる。
図面の簡単な説明
[0023] [図 1]本発明の実施の形態に係るカメラ装置の全体構成を示す図である。
[図 2]図 1のカメラ装置のカメラ部の構成を示す斜視図である。
[図 3]図 1のカメラ装置の構成を示すブロック図である。
[図 4]図 1のカメラ装置における映像の表示態様を示す図である。
[図 5]図 1のカメラ装置における映像の他の表示態様を示す図である。
[図 6]図 1のカメラ装置における映像の他の表示態様を示す図である。
[図 7]本発明の実施の形態に係るカメラ装置の他の実施の形態の構成を示す図であ る。
[図 8]図 7のカメラ装置の構成を示すブロック図である。
符号の説明
100 … カメラ装置
221 … 撮影レンズ
230 … 撮像素子 (撮像手段）
240 … 回路装置 (画像処理制御手段)
300 … モニタ（表示画面）
320 … 拡大映像
340 … 縮小映像
341 … 領域表示
343A … 領域表示
343B ' … 領域表示
344A … 領域表示
344B ' … 領域表示 344C ··· 領域表示
344D … 領域表示
350 … 2分割映像 (拡大映像）
351 … 2分割映像 (拡大映像）
360 … 4分割映像 (拡大映像）
361 … 4分割映像 (拡大映像）
362 … 4分割映像 (拡大映像）
363 … 4分割映像 (拡大映像）
381A … 2分割映像 (拡大映像)
381B · - 2分割映像 (拡大映像)
391A … 4分割映像 (拡大映像)
391B · - 4分割映像 (拡大映像)
391C · ·· 4分割映像 (拡大映像)
391D … 4分割映像 (拡大映像)
400 … 操作装置 (操作手段）
発明を実施するための最良の形態
[0025] (第 1の実施の形態）
本発明の第 1の実施の形態に係るカメラ装置 100について、図 1から図 6を参照し ながら説明する。なお、このカメラ装置 100は、家庭用や事務所用の監視カメラとして 使用できる他、会議の風景の撮影、製品検査のための撮影を行うカメラ装置として使 用することができる。なお、画像処理方法については、カメラ装置 100の動作に併せ て説明する。
[0026] 図 1にカメラ装置 100の全体的な外観の構成を示す。このカメラ装置 100は、カメラ 部 200、表示手段としてのモニタ 300、および操作手段としての操作装置 400を有し ている。この実施の形態においては、操作装置 400にモニタ 300がー体に取り付けら れている。モニタ 300には、カメラ部 200で撮影した画像が表示される。操作装置 40 0は、カメラ装置 100の電源スィッチやモニタ 300に表示される表示内容を切り替える 等、カメラ装置 100を操作するための操作スィッチ 410等が備えられている。 [0027] 次に、図 2を参照しながらカメラ部 200の構成を説明する。カメラ部 200は、図面中 、点線にて図示をする外装筐体 210、光学系 220、撮像手段としての撮像素子 230 および回路装置 240を備えている。外装筐体 210は、例えば、 3cm四方の略直方体 を呈する小型の形態となっている。光学系 220は、撮影レンズ 221およびレンズ鏡筒 222を有している。
[0028] 光学系 220は、レンズ鏡筒 222が外装筐体 210内に収容され、撮影レンズ 221は 外装筐体 210の外部に露出させられている。撮影レンズ 221は、 180度の広い画角 の光学特性を有するいわゆる広角レンズである。この撮影レンズ 221は、被写体光の 入射側となる前面が通常の凸レンズ程度の膨らみとなっており、平面に近いものとな つている。し力し、レンズ内部のガラスの処理に工夫を施し、 180度の画角を有し、か つ光軸周りの全周囲、すなわち 360度の全周囲に亘つて撮影可能となっている。
[0029] 撮影レンズ 221の結像位置には、撮像素子 230が配設されている。撮像素子 230 としては、例えば、 CMOS (Complementary Metal OxideSemiconductor)を 使用する。 CMOSの代わりに CCD (Charge Coupled Device)やその他の光電 変換素子を使用してもよい。
[0030] レンズ鏡筒 222には、ピント調整ノブ 223が設けられている。レンズ鏡筒 222は、ピ ント調整ノブ 223を手指で摘んで光軸の周りに回転させると、撮像素子 230に対して 、光軸方向に進退するように構成されている。したがって、ピント調整ノブ 223により、 撮影レンズ 221の結像位置が撮像素子 230の撮像面になるように、撮影レンズ 221 の光軸方向の位置を調整することができる。
[0031] この実施の形態においては、撮影レンズ 221による結像画像は、撮像素子 230の 撮像面内に全て収まるように撮像素子 230の撮像面の大きさ、および撮影レンズ 22 1と撮像素子 230との配置が構成されている。したがって、撮像素子 230の撮像面に は、撮影レンズ 221の形状に対応して円形の画像が結像することになる。
[0032] また、カメラ部 200は、マイク 201、通信手段としての USB (Univereal Serial B us)ケーブル 202が接続する USB接続部 203、およびオーディオやビデオの信号を 出力する AV信号出力部 204とを有している。マイク 201は、撮影を行う範囲の場所 の音を取り込むものである。カメラ部 200と操作装置 400とは、 USB接続部 203に接 続される USBケーブル 202により相互に通信可能に接続されている。 AV信号出力 部 204は、カメラ部 200側の画像データや音声信号をモニタやスピーカに出力する 場合に使用される。
[0033] 図 3は回路装置 240の構成およびカメラ装置 100の全体的な構成をブロック図とし て示している。この図 3を参照しながら、カメラ装置 100の動作等について説明する。 また、回路装置 240は、画像処理装置としても構成されている。
[0034] 撮影レンズ 221を透過した被写体光は、撮像素子 230の撮像面に結像し、この結 像画像に基づく画像信号が撮像素子 230から出力される。撮像素子 230から出力さ れた画像信号は、回路装置 240に入力する。この回路装置 240は、画像信号処理 部 241、画像圧縮処理部 242、制御部 243、この制御部 243について備えられるメ モリ 244、座標変換部 245、およびこの座標変換部 245について備えられるメモリ 24 6を備えている。
[0035] 撮像素子 230から出力された画像信号は、画像信号処理手段 241に入力する。こ の画像信号処理手段 241において、撮像素子 230からの画像信号に対して、カラー 処理等の所定の画像処理を施す。
[0036] 画像圧縮処理手段 242においては、画像信号処理手段 241で画像処理を施され た画像信号の画像データを圧縮処理し、画像データのデータ量が減らされた圧縮画 像データを生成する。画像データの圧縮処理は、例えば、 JPEG (Joint Photograp hie Experts Group)を用いて？ Tつ。
[0037] 制御部 243は、モニタ 300に表示される撮影レンズ 221の撮影映像の表示態様に 応じた映像の生成処理を含めてカメラ装置 100の動作の制御を司る。この実施の形 態のカメラ装置 100は、後述する図 4、図 5および図 6に示すように、撮影レンズ 221 の撮影映像を、映像の内容が異なる複数の表示態様を選択してモニタ 300に表示 することができる。制御部 243は、撮影画像の画像データから各表示態様において 表示される映像を生成する画像処理を行う。制御部 243は、例えば CPU (Central Processing Unit)により構成する。
[0038] メモリ 244は、カメラ装置 100の各部を動作させるためのプログラムの他、このプログ ラムを実行するためのワークメモリを備えている。例えば、画像信号処理部 241や画 像圧縮処理部 242における処理において、このメモリ 244が活用されることになる。
[0039] 座標変換部 245は、制御部 243とともに、画像圧縮処理部 242からの画像データ に基づいて、各表示態様に応じた映像を生成する画像処理を行う。この座標変換部 245は、撮像素子 230の撮像面上の撮像画像を、各表示態様において表示される 映像になるように画像処理してモニタ 300に表示する際に、撮像面における撮像画 像の座標位置をモニタ 300における映像の座標位置に変換する機能を有する。メモ リ 246は、座標変換部 245を用いて画像処理を行う際のワークメモリとなっている。
[0040] モニタ 300は、回路装置 240から出力された画像信号に基づく映像を表示する。例 えば、液晶表示装置、 CRT表示装置、あるいはプラズマディスプレ装置等から構成さ れる。
[0041] 操作装置 400は、カメラ装置 100の電源スィッチやモニタ 300に表示される表示内 容を切り替える等のカメラ装置 100を操作するための操作スィッチ 410等（図 1参照） が備えられ、この操作スィッチ 410の操作内容に基づいて、制御部 243を介してカメ ラ装置 100が動作する。この操作スィッチ 410の指示は、制御部 243に送信され、所 定の動作が実行される。なお、この操作スィッチ 410は、後述する領域表示の位置の 指定等を行う際に使用する。
[0042] 操作スィッチ 410には、モニタ 300に表示される撮影レンズ 221による映像の表示 態様を切り替える主選択釦 411と副選択釦 412が備えられている。以下に、これらの 主選択釦 411と副選択釦 412の押下により切り替えられるモニタ 300の映像の表示 態様と表示される映像の内容について説明する。
[0043] カメラ装置 100の電源をオフの状態カゝらオンされた後、撮影レンズ 221の撮影映像 が表示されるときの最初の表示態様は、図 4 (A)に示す全体映像 310が表示される 全体表示態様である。この実施の形態では、カメラ部 200は、例えば、部屋の壁面に 設置されているものとし、図面に示されている全体映像 310において、紙面の上下方 向がそれぞれ被写体の上下方向に、また紙面の左右方向が、被写体の左右方向に 対応しているものとして、以下の、説明を行なう。また、以下に説明する映像の内容を 示す図において、映像となっている被写体の上下左右方向をそれぞれ、（上）（下） ( 左）（右)として示す。（中）は、上下左右の真ん中、すなわち光軸上の位置を示す。 [0044] この全体映像 310は、撮像素子 230の撮像面に結像した撮影レンズ 221の結像が そのままの形で表示されたものとなっている。上述したように、撮影レンズ 221の結像 の大きさは、撮像素子 230の撮像面内に収まるようになつている。そのため、撮像素 子 230の撮像面における撮影レンズ 221の結像の輪郭は円形になり、結像部分以外 の撮像面の部分は、光のあたる量が少ない暗い部分となる。この実施の形態では、 撮像面の撮影レンズ 221の結像部分以外の部分については、画素データを輝度 0の データとして扱うこととしている。そのため、全体映像 310は、撮像レンズ 221の結像 の映像が円形に表示され、それ以外の部分については黒色に表示されたものとなつ ている。なお、この全体映像 310は、撮影レンズ 221により 180度の画角で撮影した 映像となっているため、中心力も周囲に向力つていわゆる歪曲収差が強くなる映像に なっている。
[0045] モニタ 300の表示は、主選択釦 411を押下することにより、図 4 (A)に示す全体映 像 310を表示する全体表示態様から図 4 (B)に示す拡大映像 320を表示する拡大 表示態様および図 4 (C)に示す併せ映像 330を表示する併せ表示態様 Iに切り替え ることができる。表示態様の切り替えは、主選択釦 411を押下する度に順に、全体表 示態様 (図 4 (A) )→拡大表示態様 (図 4 (B) )→併せ表示態様 I (図 4 (C) )→全体表 示態様（図 4 (A) )…の順に切り替わる。すなわち、主選択釦 411を押下することによ り、全体表示態様 (図 4 (A) )、拡大表示態様 (図 4 (B) )および併せ表示態様 1 (図 4 ( C) )の 3つの表示態様を選択することができる。
[0046] 図 4 (B)に示す拡大表示態様における拡大映像 320は、図 4 (A)に示す全体映像 310の中央部に点線で示す略矩形の領域 320Aの映像について、撮影レンズ 221 による歪曲収差が補正処理されるとともに、モニタ 300の表示画面 、つぱいに表示さ れるように拡大処理された拡大映像となっている。領域 320Aは、撮影レンズ 221の 光軸を中心にして、例えば、上下方向の画角が 90度、左右方向の画角が 120度の 範囲にある被写体の映像を含むように設定されて!ヽる。
[0047] すなわち、拡大映像 320の映像は、撮影レンズ 221の光軸を中心にして、上下方 向に 90度の画角で、かつ、左右方向に 120度の画角の左右方向に広がるパノラマ 映像となっている。 [0048] この拡大映像 320は、領域 320Aの部分に対応する撮像画像の画像データに基づ いて生成される。すなわち、画像圧縮処理部 242から出力される撮像素子 230の画 像データのうち、領域 320Aに対応する部分の画像データに対して画素データの補 完処理等の画像処理を行い生成される。カゝかる画像処理により、拡大映像 320は、 領域 320Aに対応する部分の撮像画像について、歪曲収差の補正処理と拡大処理 が行われた映像として生成される。なお、拡大映像 320は、撮像素子 230の画像デ ータに基づいて生成されるので、全体映像 310の映像データ力も拡大映像 320を生 成するのに比べて、モニタ 300に表示される映像の劣化は少ないものとなっている。
[0049] 図 4 (C)に示す併せ表示態様 Iにおける併せ映像 330は、図 4 (B)に示す拡大映像 320に加えてモニタ 300の表示画面の左上に、全体映像 310の縮小映像 340を併 せて表示した映像となっている。縮小映像 340は、画像圧縮処理部 242から出力さ れる撮像素子 230の画像データに対して、画素データの間弓 Iき処理等を行 、生成 する。縮小映像 340は、画素データの間引き処理により生成されるので、画像データ の量は、全体映像 310のデータ量に比べて小さいものとなる。この結果、縮小映像 3 40の画像データの転送等、縮小映像 340につ 、て行う諸処理の処理速度が高速と なる。縮小映像 340の画像データを減らす手段は、上述の画素データの間引き処理 の他、色情報等の画像データを減らすことにより行ってもよい。また、縮小映像 340に ついて撮影を行う際、その撮影のフレームレートを下げることにより、画像データを減 らすようにしてもよい。
[0050] 拡大映像 320と縮小映像 340とを 1つの画面上に併せて表示することにより、縮小 映像 340により、撮影レンズ 221により撮影されている範囲の全体の様子を観ながら 、撮影範囲の中央部については、拡大された映像により詳細な様子を観ることができ る。また、縮小映像 340には、領域 320Aに対応する範囲を示す表示として領域表示 341が重ねて表示される。この領域表示 341が表示されることにより、拡大映像 320 の縮小映像 340における位置関係を知ることができる。
[0051] 全体表示態様 (図 4 (A) )、拡大表示態様 (図 4 (B) )ある ヽは併せ表示態様 I (図 4 ( C) )の各表示態様において、副選択釦 412を押下すると、以下に説明するように、各 表示態様毎に、さらに複数の表示態様を選択することができる。 [0052] モニタ 300の表示態様が全体表示態様（図 4 (A) )のときに、副選択釦 412を一度 押下すると、モニタ 300の表示態様を図 5 (A)に示す拡大映像 320を表示する拡大 表示態様に切り替えることができる。この図 5 (A)に示す拡大映像 320は、図 4 (B)に 示す拡大映像 320と同一の映像である。すなわち、全体表示態様 (図 4 (A) )のとき に、副選択釦 412を一度押下したときには、主操作釦 411を押下したときと同一の拡 大映像 320が表示される。
[0053] そして、もう一度、副選択釦 412を押下すると、モニタ 300の表示態様を、図 5 (B) に示すように、 2分割映像 350と 2分割映像 351の 2つの映像力 モニタ 300の表示 画面の上下に表示される 2分割表示態様に切り替えることができる。
[0054] 2分割映像 350, 351は、図 5 (D)に示す全体映像 310において、点線で示すァー チ状の略扇型を呈する領域 350A, 351 Aにそれぞれ対応する映像である。 2分割 映像 350は、領域 350Aの映像に対応し、 2分割映像 351は、領域 351Aの映像に 対応している。
[0055] 領域 350A, 351Aは、全体映像 310の中心に対して上下対称に設定される領域 であって、各領域は、例えば、撮影レンズ 221の周縁側力も光軸に向力つて 60度の 画角の範囲で、かつ、光軸の周りに 110度の画角の範囲にある被写体の映像を含む ように設定されている。すなわち、 2分割映像 350, 351の映像は、撮影レンズ 221の 光軸に対して上下の位置において、撮影レンズ 221の周縁から光軸側に 60度の画 角で、かつ、左右方向に 110度の画角の左右方向に広がるパノラマ映像となってい る。
[0056] 2分害映像 350, 351ίま、領域 350A, 351Aの映像【こつ!ヽて、撮景レンズ 221【こよ る歪曲収差が補正処理されるとともに、モニタ 300の上下のそれぞれの表示画面い つぱいに表示されるように拡大処理された拡大映像となっている。 2分割映像 350, 3 51も、上述した拡大映像 320と同様に、画像圧縮処理部 242から出力される撮像素 子 230の画像データに対して、画素データの補完処理等を行うことにより、領域 350 Α, 351 Αに対応する部分の撮像画像について、歪曲収差の補正処理と拡大処理が 行われた映像として生成される。そのため、全体映像 310の映像データから 2分割映 像 350, 351を生成するのに比べて、モニタ 300に表示される映像の劣化は少ない ものとなっている。
[0057] さらに、もう一度、副選択釦 412を押下すると、モニタ 300の表示態様を、図 5 (C) に示すように、 4分割映像 360、 4分割映像 361、 4分割映像 362および 4分割映像 3 63の 4つの映像が、モニタ 300の表示画面の上下左右に表示される 4分割表示態様 に切り替えることができる。 4分割映像 360, 361, 362, 363は、図 5 (E)に示す全体 映像 310において、点線で示すアーチ状の略扇型を呈する領域 360A, 361A, 36 2A, 363Aにそれぞれ対応する映像である。
[0058] 4分割映像 360は領域 360Aに、 4分割映像 361は領域 361 Aに、 4分割映像 362 は領域 362Aに、そして、 4分割映像 363は領域 363Aにそれぞれ対応している。領 域 360A, 361A, 362A, 363Αίま、全体映像 310の中 、【こ対称【こ左右の斜め 45 度上方と斜め 45度下方に設定される領域であって、各領域は、例えば、撮影レンズ 221の周縁側から光軸に向力つて 50度の画角の範囲で、かつ、光軸の周りに 90度 の画角の範囲にある被写体の映像を含むように設定されて!、る。
[0059] すなわち、 4分割映像 360, 361, 362, 363の映像は、撮景レンズ 221の左右の 斜め 45度上方と斜め 45度下方の位置において、撮影レンズ 221の周縁から光軸側 に 50度の画角で、かつ、左右方向に 60度の画角のパノラマ映像となっている。
[0060] 4分割映像 360, 361, 362, 363は、領域 360Α, 361A, 362Α, 363Αの映像に ついて、撮影レンズ 221の歪曲収差が補正処理されるとともに、モニタ 300の上下の それぞれの表示画面に 、つぱ 、に表示されるように拡大処理された拡大映像となつ ている。 4分割映像 360, 361, 362, 363も、上述した拡大映像 320あるいは 2分割 映像 350, 351と同様に、画像圧縮処理部 242から出力される撮像素子 230の画像 データに対して、画素データの補完処理等を行うことにより、領域 360Α, 361A, 36 2Α, 363Αに対応する部分の撮像画像について、歪曲収差の補正処理と拡大処理 が行われた映像として生成される。そのため、全体映像 310の映像データカゝら 4分割 映像 360, 361, 362, 363を生成するの【こ itベて、モニタ 300【こ表示される映像の 劣化は少な 、ものとなって 、る。
[0061] この 4分割表示態様の表示態様に続いて、副選択釦 412をさらにもう一度押下する と、モニタ 300の表示は、再び、拡大全体表示態様（図 5 (A) )となる。以上のように、 モニタ 300の表示態様が全体表示態様（図 4 (A) )のときに、副選択釦 412を押下す ると、押下する度に、拡大表示態様 (図 5 (A) )→2分割表示態様 (図 5 (B) )→4分割 表示態様 I (図 5 (C) )→拡大表示態様 (図 5 (A) ) · · ·の順にモニタ 300の表示態様が 切り替わる。
[0062] モニタ 300の表示態様が拡大表示態様（図 4 (B) )のときに、副選択釦 412を一度 押下すると、モニタ 300の表示態様を図 5 (B)に示す 2分割表示態様に切り替えるこ とができる。さらに、もう一度、副選択釦 412を押下すると、モニタ 300の表示態様を 図 5 (C)に示す 4分割表示態様に切り替えることができる。この表示態様に続いて、 副選択釦 412をさらにもう一度押下すると、モニタ 300の表示態様は、図 4 (B)に示 す拡大映像 320と同一の映像が表示される図 5 (A)に示す拡大表示態様となる。
[0063] すなわち、モニタ 300の表示態様が拡大表示態様（図 4 (B) )のときに、副選択釦 4 12を押下すると、押下する度に、 2分割表示態様 (図 5 (B) )→4分割表示態様 (図 5 ( C) )→拡大表示態様（図 5 (A) ) · · ·の順にモニタ 300の表示態様を切り替えることが できる。
[0064] モニタ 300の表示態様力 併せ映像 330が表示されている併せ表示態様 1 (図 4 (C ；) )のときに、副選択釦 412を一度押下すると、モニタ 300の表示態様を、図 6 (A)に 示す併せ映像 370が表示される併せ表示態様 IIに切り替えることができる。併せ映像 370は、縮小映像 340と拡大映像 371とが併せて表示される映像となっている。
[0065] 拡大映像 371は、縮小映像 340に重ねて表示されるアーチ状の略扇型を呈する領 域表示 342により指定する領域に対応する映像である。
[0066] 領域表示 342は、縮小映像 340において、例えば、撮影レンズ 221の周縁側から 光軸に向力つて 50度の画角の範囲で、かつ、光軸の周りに 90度の画角の範囲にあ る被写体の映像に含むように設定されている。すなわち、映像 371の映像は、撮影レ ンズ 221の周縁から光軸側に 50度の画角で、かつ、左右方向に 90度の画角のパノ ラマ映像となっている。
[0067] この領域表示 342は、ボール型スィッチ 413を回転操作することにより、縮小映像 3 40の周方向の任意の位置に移動できるようになつている。拡大映像 371は、ボール 型スィッチ 413を操作して所望の位置に移動させられた領域表示 342により指定さ れた領域の映像について、撮影レンズ 221の歪曲収差が補正処理されるとともに、モ ニタ 300の表示画面に 、つぱいに表示されるように拡大処理された拡大映像となつ ている。
[0068] 拡大映像 371は、拡大映像 320と同様に、画像圧縮処理部 242から出力される撮 像素子 230の画像データに対して、画素データの補完処理等を行うことにより、領域 表示 342に対応する部分の撮像画像について、歪曲収差の補正処理と拡大処理が 行われた映像として生成される。そのため、画素データが間引き処理されて生成され た縮小映像 340の映像データ力も拡大映像 371を生成するのに比べて、モニタ 300 に表示される映像の劣化は少な 、ものとなって 、る。
[0069] 縮小映像 340は、モニタ 300の表示画面の左上に表示されている。拡大映像 371 と縮小映像 340とを 1つの画面上に併せて表示することにより、縮小映像 340により、 撮影レンズ 221により撮影されている範囲の全体の様子を観ながら、領域表示 342 の撮影範囲については、拡大された映像により詳細な様子を観ることができる。また、 領域表示 342を表示することにより、拡大映像 371の縮小映像 340における位置関 係を知ることができる。
[0070] モニタ 300の表示態様力 上述の併せ表示態様 II (図 6 (A) )のときに、副選択釦 4 12を一度押下すると、モニタ 300の表示態様を図 6 (B)に示す併せ映像 380が表示 される併せ表示態様 IIIに切り替えることができる。この併せ映像 380は、縮小映像 34 0に併せて、 2分割映像 381Aと 2分割映像 381Bの 2つの映像が表示される映像とな つている。
[0071] 2分割映像 381A, 381Bは、縮小映像 340に重ねて表示されるアーチ状の略扇型 を呈する 2つの領域表示 343A, 343Bにより指定される領域に対応する映像である 。 2分割映像 381 Aは領域表示 343Aに対応し、 2分割映像 381Bは領域表示 343B に対応している。
[0072] 領域表示 343A, 343Bは、縮小映像 340において、撮影レンズ 221の光軸の両側 に対称に、例えば、撮影レンズ 221の周縁側力も光軸に向力つて 60度の画角の範 囲で、かつ、光軸の周りに 110度の画角の範囲にある被写体の映像を含むように設 定されている。すなわち、 2分割映像 381A, 381Bの映像は、撮影レンズ 221の光 軸に対して対称の位置において、撮影レンズ 221の周縁から光軸側に 60度の画角 で、かつ、左右方向に 110度の画角の左右方向に広がるパノラマ映像となっている。
[0073] この領域表示 343A, 343Bは、ボール型スィッチ 413を回転操作することにより、 縮小映像 340の周方向の任意の位置に移動できるようになつている。 2分割映像 38 1A, 381Bは、ボール型スィッチ 413を操作して所望の位置に移動させられた領域 表示 343A, 343Bにより指定された領域の映像について、撮影レンズ 221の歪曲収 差が補正処理されるとともに、モニタ 300の上下のそれぞれの表示画面に!/、つぱ!ヽ に表示されるように拡大処理された拡大映像となって 、る。
[0074] 2分割映像 381A, 381Bは、上述した 2分割映像 350, 351と同様〖こ、画像圧縮処 理部 242から出力される撮像素子 230の画像データに対して、画素データの補完処 理等を行うことにより、領域表示 343A, 343Bに対応する部分の撮像画像について 、歪曲収差の補正処理と拡大処理が行われた映像として生成される。そのため、画 素データが間引き処理されて生成された縮小映像 340の映像データから 2分割映像 381A, 381Bを生成するのに比べて、モニタ 300に表示される映像の劣化は少ない ものとなっている。
[0075] 縮小映像 340は、モニタ 300の表示画面の左上に表示されている。 2分割映像 38 1A, 381Bと縮小映像 340とを 1つの画面上に併せて表示することにより、縮小映像 340〖こより、撮影レンズ 221により撮影されている範囲の全体の様子を観ながら、領 域表示 343A, 343Bの撮影範囲については、拡大された映像により詳細な様子を 観ることができる。また、領域表示 343A, 343Bを表示することにより、 2分割映像 38 1A, 381Bの縮小映像 340における位置関係を知ることができる。
[0076] モニタ 300の表示態様力 上述の併せ表示態様 III (図 6 (B) )のときに、副選択釦 4 12を一度押下すると、モニタ 300の表示態様を図 6 (C)に示す併せ映像 390が表示 される併せ表示態様 IVに切り替えることができる。
[0077] この併せ映像 390は、縮小映像 340に併せて、 4分割映像 391A、 4分割映像 391 B、 4分割映像 391C、 4分割映像 391Dの 4つの映像が表示される映像となっている 。4分割映像 391A, 391B, 391C, 391Dは、縮小映像 340に重ねて表示されるァ ーチ状の略扇型を呈する 4つの領域表示 344A, 344B, 344C, 344Dにより指定さ れる領域に対応する映像である。
[0078] 4分割映像 391 Aは領域表示 344Aに対応し、 4分割映像 391Bは領域表示 344B に対応し、 4分割映像 391Cは領域表示 344Cに対応し、 4分割映像 391Dは領域表 示 344Dに対応している。領域表示 344A, 344B, 344C, 344Dは、縮/ J、映像 340 において、撮影レンズ 221の光軸の回りに対称に 45度の間隔で、例えば、撮影レン ズ 221の周縁側から光軸に向力つて 50度の画角の範囲で、かつ、光軸の周りに 90 度の画角の範囲にある被写体の映像を含むように設定されて 、る。
[0079] すなわち、 4分割映像 391A, 391B, 391C, 391Dの映像は、撮景レンズ 221の 光軸の周りに対称に、撮影レンズ 221の周縁から光軸側に 50度の画角で、かつ、左 右方向に 90度の画角のパノラマ映像となっている。この領域表示 344A, 344B, 34 4C, 344Dは、ボール型スィッチ 413を回転操作することにより、縮小映像 340の周 方向の任意の位置に移動できるようになつている。 4分割映像 391A, 391B, 391C , 391Dは、ボール型スィッチ 413を操作して所望の位置に移動させられた領域表示 344A, 344B, 344C, 344Dにより指定された領域の映像について、撮影レンズ 22 1の歪曲収差が補正処理されるとともに、モニタ 300の上下左右のそれぞれの表示 画面に 、つぱ ヽに表示されるように拡大処理された拡大映像となって!/、る。
[0080] 4分割映像 391 A, 391B, 391C, 391Dは、上述した 4分割映像 360, 361, 362 , 363と同様に、画像圧縮処理部 242から出力される撮像素子 230の画像データに 対して、画素データの補完処理等を行うことにより、領域表示 344A, 344B, 344C, 344Dに対応する部分の撮像画像について、歪曲収差の補正処理と拡大処理が行 われた映像として生成される。そのため、画素データが間引き処理されて生成された 縮小映像 340の映像データから 4分割映像 391 A, 391B, 391C, 391Dを生成す るのに比べて、モニタ 300に表示される映像の劣化は少ないものとなっている。
[0081] 縮小映像 340は、モニタ 300の表示画面の左上に表示されている。 4分割映像 39 1A, 391B, 391C, 391Dと縮小映像 340とを 1つの画面上に併せて表示すること により、縮小映像 340により、撮影レンズ 221により撮影されている範囲の全体の様 子を観ながら、領域表示 344A, 344B, 344C, 344Dの撮影範囲については、拡 大された映像により詳細な様子を観ることができる。また、領域表示 344A, 344B, 3 44C, 344Dを表示することにより、 2分割映像 381A, 381Bの縮小映像 340におけ る位置関係を知ることがでさる。
[0082] このように、モニタ 300の表示態様が併せ表示態様 I (図 4 (C) )が表示されて 、ると きに、副選択釦 412を押下すると、押下する度に、併せ表示態様 II (図 6 (A) )→併せ 表示態様 III (図 6 (B) )→併せ表示態様 IV (図 6 (C) )…の順にモニタ 300の表示態様 を切り替えることができる。
[0083] ところで、併せ映像 330 (図 4 (C) )、併せ映像 370 (図 6 (A) )、併せ映像 380 (図 6 ( B) )および併せ映像 390 (図 6 (C) )をモニタ 300に表示する際には、回路装置 240 力もモニタ 300への画像データの転送は、縮小映像 340の画像データと他の映像 ( 拡大映像 320、拡大映像 371、 2分割映像 381A, 381B、 4分割映像 391A, 391B , 391C, 391D。以下、これらの映像を総称して、他の映像と記載する。）の画像デ 一タとを異なるタイミングで転送する。このようにすることにより、縮小映像 340の画像 データと他の映像の画像データを同じタイミングで転送するのに比べて、画像データ の転送時間を短くすることができる。
[0084] 例えば、上記の他の映像は、撮影範囲の全体を表示して 、る縮小映像 340の一部 分の映像について注目しているものであるため、他の映像として撮影されている撮影 範囲の変化をリアルタイムまたは短 、時間間隔を空けて逐次的に観た 、場合がある 。このような場合には、他の映像の画像データをリアルタイムで全フレームを転送し、 縮小映像の画像データについては、一定の間隔を空けて、例えば、 10フレーム毎に 転送するようにする。
[0085] これに対し、撮影範囲の中の一部を映す他の映像に比べて、撮影範囲の全体の変 ィ匕について注目した場合には、縮小映像 340の画像データをリアルタイムで全フレ ームを転送し、他の映像の画像データについては、一定の間隔を空けて、例えば、 1 0フレーム毎に転送するようにしてもょ 、。
[0086] また、縮小映像 340の画像データと他の映像の画像データを、所定の比率、例え ば、縮小映像 340の画像データの転送時間 1に対して他の映像の画像データの転 送時間 4の比率で、交互に転送してもよい。
[0087] 操作装置 400は、パソコンを用いてもよ!、。この場合には、モニタ 300は、パソコン のモニタに相当し、また操作スィッチ 410は、パソコンのキーボードあるいはマウスに 相当することになる。この場合、主操作ボタン 411と副操作ボタン 412は、それぞれキ 一ボードの所定のキーとなる。また、領域表示 342、領域表示 343A, 343B、領域 表示 344A, 344B, 344C, 344Dのボール型スィッチ 413による移動は、マウスを 利用して行うことになる。
[0088] (第 2の実施の形態）
次に、本発明の第 2の実施の形態について説明する。この実施の形態は、図 7に示 すようにカメラ部 200を、 USBケーブル 202を介してサーバー 500と接続し、このサ 一バー 500に対して、複数の操作装置 400 (パソコン)を接続するものである。すなわ ち、この実施の形態におけるカメラ装置 100は、カメラ部 200に対して複数の操作装 置 400 (パソコン）が接続された構成となっている。このような構成とすることにより、複 数の操作装置 400 (パソコン）によりカメラ部 200からの映像を観ることができる。
[0089] なお、カメラ部 200側に USB接続部 203 (図 2参照）を複数設け、サーバー 500を 介すことなぐ直接、複数の操作装置 400 (パソコン)をカメラ部 200に接続する構成 としてもよい。また、カメラ部 200とサーバー 500との接続、あるいは、カメラ部 200と 操作装置 400との接続は、 USB接続に限らず、無線手段等、他の接続手段により接 続するようにしてちょい。
[0090] このように複数の操作装置 400 (パソコン）を 1つのカメラ部 200に接続する場合に は、回路装置 240の構成を図 8に示すように、カメラ部 200側の回路装置 240Aと操 作装置 400 (パソコン)側の回路装置 240Bに分割してもよい。つまり、カメラ部 200側 の回路装置 240Aの構成を、画像信号処理部 241、画像圧縮処理部 242、制御部 2 43Aおよびメモリ部 244Aとする。そして、操作装置 400 (パソコン)側の回路装置 24 0Bの構成を、制御部 243B、メモリ 244B、座標変換部 245およびメモリ 246を備える 構成とする。座標変換部 245およびメモリ 246については、上述の図 3において説明 したものと同様の機能を備える。また、制御部 243A、メモリ 244A、制御部 243Bおよ びメモリ 244Bは全体として、図 3において説明した制御部 243およびメモリ 244と同 様の機能を備える。しかしながら、各表示態様に応じた映像の生成処理については、 主として、操作装置 400 (パソコン）に備えられる制御部 243B、メモリ 244B、座標変 換部 245およびメモリ 246により行う。
[0091] このような構成とすることにより、操作装置 400 (パソコン）において、画像圧縮処理 部 242から出力される撮像素子 230の画像データから、拡大映像 320等 (拡大映像 320、 2分割映像 350, 351、 4分割映像 360, 361, 362, 363、 2分割映像 381 A, 381B、 4分割映像 391A, 391B, 391C, 391D。以下、これらの映像を総称して、 拡大映像 320等と記載する。 )の生成を行うことができる。
[0092] つまり、複数の操作装置 400 (パソコン)力もの指示に基づき、カメラ部 200が種々 の拡大映像 320等を生成することとした場合には、カメラ部 200が種々の拡大映像 3 20等を生成することになる。そのため、カメラ部 200において膨大な処理作業を実行 することになり、処理時間がかかり、操作装置 400 (パソコン）に映像が表示されるま でに要する時間が長くなる等の問題が生じる。これに対し、操作装置 400 (パソコン） 側に、制御部 243B、メモリ 244B、座標変換部 245およびメモリ 246を備える構成と する場合には、各操作装置 400 (パソコン）において独立して異なる拡大映像 320等 を迅速に表示することができる。
[0093] カメラ部 200から操作装置 400 (パソコン）に転送される画像データにつ!、ては、撮 像素子 230の画像データのうち、操作スィッチ 410によって指示された領域表示に 対応する部分だけの画像データとすることが好ましい。このようにすることにより、カメ ラ部 200から撮像素子 230の撮像画像についての画像データを全て操作装置 400 に転送するのに比べて、画像データの転送時間を短くすることができる。そのため、 各操作装置 400 (パソコン)のモニタ 300において、拡大映像の表示を行う際に円滑 に表示を行うことができる。なお、縮小映像 340と指定された領域表示の画像データ の転送を第 1の実施の形態と同様に、異なるタイミングで転送するようにしてもよい。
[0094] なお、領域表示の画像データにつ!、ては、領域表示に正確に対応した部分だけの 画像データとしてもよいが、拡大映像 320等を生成する際に、領域表示に対応した 部分の周囲の画素の画像データを必要とすることがある。このような場合には、適宜 、周囲の画素の画像データについても転送してもよい。
[0095] なお、第 1の実施の形態あるいは第 2の実施の形態に示したカメラ装置 100におい て、画像データの転送を、被写体が動いた場合に行うようにしてもよい。例えば、赤外 線センサーを備えて、人物が撮影範囲内に入ったときに、赤外線センサーの検出信 号を受けて、画像データの転送を行うようにしてもよい。この際のモニタ 300の表示内 容は、縮小映像 340と、動くもの（人物等）が含まれる他の映像 (拡大映像 320、拡大 映像 371、 2分割映像 381A, 381B、 4分割映像 391A, 391B, 391C, 391D。 )を 表示するようにするのが好ま 、。
[0096] また、第 1の実施の形態あるいは第 2の実施の形態においてはカメラ装置 100を例 にとつて説明したが、カメラ等の撮像手段により撮像した画像データをノヽードディスク や DVD (Digital Versatile Disc)等の記録手段に記録し、この画像データを画 像処理装置としての回路手段 240により画像処理して、モニタ 300に表示するように してもよい。この場合、画像処理装置（回路手段 240)と画像データが記録されている 記録手段とをネットワークを介して接続するようにしてもょ ヽ。
[0097] また、上記記録手段に記録された撮像手段により撮像した画像データについて、上 述の回路装置 240において説明した画像処理方法による画像処理を行い、モニタ 3 00への映像の表示を行うようにしてもよ!、。
[0098] すなわち、上記記録手段に記録された撮像手段により撮像した画像データに対し て、縮小映像 340を生成する縮小映像生成処理と、撮像画像の 1または複数の部分 について撮影レンズ 221による歪みを補正するとともに縮小映像 340に比べて拡大 された他の映像 (拡大映像 320、拡大映像 371、 2分割映像 381A, 381B、 4分割映 像 391A, 391B, 391C, 391D。）を生成する拡大映像生成処理とを行うととちに、 縮小映像 340および上記他の映像をモニタ 300に表示する処理を行なう画像処理を 行うようにしてもよい。

Claims

請求の範囲
[1] 広角の撮影レンズと、上記撮影レンズを透過した被写体光が結像する撮像手段と を有するカメラ部と、
上記撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御 手段と、
上記画像処理制御手段により画像処理された画像データの映像を表示する表示 画面を備える表示手段と、
上記表示画面を操作する操作手段と
を備えるカメラ装置にぉ 、て、
上記画像処理制御手段は、上記撮像画像の全体が上記表示画面の一部の領域 に表示される縮小映像を生成する縮小映像生成処理と、上記撮像画像の 1または複 数の部分について上記撮影レンズによる歪みを補正するとともに上記縮小映像に比 ベて拡大された拡大映像を生成する拡大映像生成処理と、上記縮小映像および上 記拡大映像を上記表示画面に表示する制御を行なうことを特徴とするカメラ装置。
[2] 前記縮小映像には、前記拡大映像に対応する範囲を示す表示が行われることを特 徴とする請求項 1に記載のカメラ装置。
[3] 前記縮小映像および前記拡大映像を同時に前記表示画面に表示する場合に、 前記画像処理制御手段力 前記表示手段への縮小映像に係る画像データの転送 のタイミングと、前記拡大映像に係る画像データの転送のタイミングとを互いに異なる ようにしたことを特徴とする請求項 1または 2に記載のカメラ装置。
[4] 前記縮小映像は、画像のデータ量が低減処理されていることを特徴とする請求項 1 から 3の 、ずれか 1項に記載するカメラ装置。
[5] 前記表示手段と前記操作手段は、前記カメラ部に対して複数備えられ、前記画像 処理制御手段は、前記操作装置側に備えられることを特徴とする請求項 1から 4の 、 ずれ力 1項に記載のカメラ装置。
[6] 前記カメラ部側から前記表示手段側に前記拡大映像を生成するために転送される 画像データは、前記撮像画像の画像データのうち、前記拡大映像に対応する部分 のみの画像データであることを特徴とする請求項 5に記載のカメラ装置。
[7] 広角の撮影レンズにより撮像手段に結像した被写体の撮像画像につ!ヽて画像処 理を行う画像処理装置にお 、て、
上記撮像画像の全体を表示画面の一部の領域に表示される縮小映像を生成する 縮小映像生成処理と、上記撮像画像の 1または複数の部分にっ 、て上記撮影レン ズによる歪みを補正するとともに上記縮小映像に比べて拡大された拡大映像を生成 する拡大映像生成処理と、上記縮小映像および上記拡大映像を上記表示画面に表 示する制御を行なうことを特徴とする画像処理装置。
[8] 広角の撮影レンズにより撮像手段に結像した被写体の撮像画像につ!ヽて画像処 理を行う画像処理方法にぉ ヽて、
上記撮像画像の全体を表示画面の一部の領域に表示される縮小映像を生成する 縮小映像生成処理と、上記撮像画像の 1または複数の部分にっ 、て上記撮影レン ズによる歪みを補正するとともに上記縮小映像に比べて拡大された拡大映像を生成 する拡大映像生成処理と、上記縮小映像および上記拡大映像を上記表示画面に表 示する処理を行なうことを特徴とする画像処理方法。
PCT/JP2007/057862 2006-04-13 2007-04-10 カメラ装置、画像処理装置および画像処理方法 WO2007119712A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07741298A EP2009907A4 (en) 2006-04-13 2007-04-10 CAMERA DEVICE AND PICTURE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US12/297,025 US20100020202A1 (en) 2006-04-13 2007-04-10 Camera apparatus, and image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006111189A JP2007288354A (ja) 2006-04-13 2006-04-13 カメラ装置、画像処理装置および画像処理方法
JP2006-111189 2006-04-13

Publications (1)

Publication Number Publication Date
WO2007119712A1 true WO2007119712A1 (ja) 2007-10-25

Family

ID=38609472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/057862 WO2007119712A1 (ja) 2006-04-13 2007-04-10 カメラ装置、画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20100020202A1 (ja)
EP (1) EP2009907A4 (ja)
JP (1) JP2007288354A (ja)
WO (1) WO2007119712A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2457329A (en) * 2007-11-26 2009-08-12 Optex Co Ltd Image-capturing device and image recording and processing system
CN104994281A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN105554403A (zh) * 2016-02-29 2016-05-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009533893A (ja) * 2006-04-03 2009-09-17 ファン・コ−チェン ビデオ装置及びその映像処理方法
KR100982331B1 (ko) * 2008-12-01 2010-09-15 삼성에스디아이 주식회사 플라즈마 디스플레이 장치
JP2011131023A (ja) * 2009-12-25 2011-07-07 Olympus Corp 内視鏡画像処理装置、内視鏡画像表示システムおよび内視鏡画像処理方法
KR101399101B1 (ko) * 2013-05-23 2014-05-27 에스케이네트웍스서비스 주식회사 단일의 카메라를 이용하여 확대 화면과 광각 화면을 동시에 감시할 수 있는 감시 카메라 제어 시스템 및 방법
US10958698B2 (en) * 2018-11-16 2021-03-23 Spotify Ab Responding to ambiguous play requests
JP7372513B2 (ja) * 2018-12-05 2023-11-01 ミツミ電機株式会社 撮像デバイス、撮像システム、および産業用ロボット

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115753A (ja) 1998-10-06 2000-04-21 Sony Corp 通信システムおよび方法、被制御撮影装置並びに端末装置
JP2000324386A (ja) 1999-05-07 2000-11-24 Sony Corp 魚眼レンズを用いた録画再生装置
JP2001331789A (ja) * 2000-05-23 2001-11-30 Sharp Corp 移動体の周囲監視システム
JP2002515984A (ja) * 1996-06-24 2002-05-28 ビイ ヒア・コーポレーション パノラマ・カメラ
JP2005176301A (ja) * 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
EP1950954A1 (en) 2005-11-11 2008-07-30 Sony Corporation Image processing device, image processing method, program thereof, recording medium containing the program, and imaging device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692797B2 (ja) * 1986-09-02 1997-12-17 キヤノン株式会社 画像処理装置
US6493032B1 (en) * 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6373642B1 (en) * 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
ATE491303T1 (de) * 1997-09-04 2010-12-15 Comcast Ip Holdings I Llc Vorrichtung für videozugang und kontrolle über ein rechnernetzwerk mit bildkorrektur
JP2003111041A (ja) * 2001-09-28 2003-04-11 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7558318B2 (en) * 2002-06-11 2009-07-07 Sanyo Electric Co., Ltd. Method and apparatus for processing images, method and apparatus for recording and reproducing images, and television receiver utilizing the same
CN1249984C (zh) * 2002-09-20 2006-04-05 佳能株式会社 图像摄取装置
JP4305904B2 (ja) * 2003-09-22 2009-07-29 Ｋｄｄｉ株式会社 部分画像符号化装置
KR20050037725A (ko) * 2003-10-20 2005-04-25 삼성테크윈 주식회사 휴대용 디지털 장치에서 영상을 디스플레이하는 방법, 및이 방법을 사용한 휴대용 디지털 장치
US7893985B1 (en) * 2004-03-15 2011-02-22 Grandeye Ltd. Wide angle electronic camera with improved peripheral vision
JP4629381B2 (ja) * 2004-08-04 2011-02-09 オプト株式会社 撮影装置
JP4805596B2 (ja) * 2005-03-31 2011-11-02 株式会社東芝 カメラ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515984A (ja) * 1996-06-24 2002-05-28 ビイ ヒア・コーポレーション パノラマ・カメラ
JP2000115753A (ja) 1998-10-06 2000-04-21 Sony Corp 通信システムおよび方法、被制御撮影装置並びに端末装置
JP2000324386A (ja) 1999-05-07 2000-11-24 Sony Corp 魚眼レンズを用いた録画再生装置
JP2001331789A (ja) * 2000-05-23 2001-11-30 Sharp Corp 移動体の周囲監視システム
JP2005176301A (ja) * 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
EP1950954A1 (en) 2005-11-11 2008-07-30 Sony Corporation Image processing device, image processing method, program thereof, recording medium containing the program, and imaging device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2009907A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2457329A (en) * 2007-11-26 2009-08-12 Optex Co Ltd Image-capturing device and image recording and processing system
GB2457329B (en) * 2007-11-26 2012-04-18 Optex Co Ltd Image-capturing device and image recording and processing system
CN104994281A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN104994281B (zh) * 2015-06-30 2017-09-19 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN105554403A (zh) * 2016-02-29 2016-05-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN105554403B (zh) * 2016-02-29 2018-12-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Also Published As

Publication number Publication date
EP2009907A4 (en) 2009-05-06
JP2007288354A (ja) 2007-11-01
EP2009907A1 (en) 2008-12-31
US20100020202A1 (en) 2010-01-28

Similar Documents

Publication Publication Date Title
KR100986228B1 (ko) 카메라 장치 및 화상 기록 재생 방법
WO2007119712A1 (ja) カメラ装置、画像処理装置および画像処理方法
US7071968B2 (en) System and method for a software steerable web camera with multiple image subset capture
KR101201107B1 (ko) 파노라마식 이미지에서의 데드 존의 최소화
US7593041B2 (en) System and method for a software steerable web camera with multiple image subset capture
WO2016048017A1 (en) Transmission of three-dimensional video
JP2004282162A (ja) カメラ、監視システム
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
CN104023169A (zh) 成像设备、控制该成像设备的方法和计算机程序
TW201734948A (zh) 用於在廣角圖像系統中生成相關的音頻和視覺信號的方法、系統及設備
KR100995949B1 (ko) 화상 처리 장치, 카메라 장치 및 화상 처리 방법
JP6312426B2 (ja) 撮像装置およびその制御方法
WO2017150238A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP2000341574A (ja) カメラ装置及びカメラ制御システム
TW201410015A (zh) 多攝影機的整合處理系統及其方法
JP2005073161A (ja) 処理装置及び画像記録方法
JP2004282163A (ja) カメラ、監視画像生成方法、プログラム、監視システム
JP2006345039A (ja) 撮影装置
JP2013012930A (ja) 全方位撮像装置、及びその制御方法
JP2009055094A (ja) 映像システム
EP3595287A1 (en) Capturing video content with at least two cameras of a multi-camera rig
JP6564295B2 (ja) 合成画像作成装置
JP6412222B2 (ja) 撮影機器、連携撮影方法及び連携撮影プログラム
JP2022182840A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741298

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007741298

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12297025

Country of ref document: US