WO2008012983A1 - Dispositif de prise d'image et systÚme de prise d'image - Google Patents

Dispositif de prise d'image et systÚme de prise d'image Download PDF

Info

Publication number
WO2008012983A1
WO2008012983A1 PCT/JP2007/060192 JP2007060192W WO2008012983A1 WO 2008012983 A1 WO2008012983 A1 WO 2008012983A1 JP 2007060192 W JP2007060192 W JP 2007060192W WO 2008012983 A1 WO2008012983 A1 WO 2008012983A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
rectangular
rectangular image
data
still image
Prior art date
Application number
PCT/JP2007/060192
Other languages
English (en)
French (fr)
Inventor
Masayuki Ito
Makoto Shinya
Original Assignee
Opt Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opt Corporation filed Critical Opt Corporation
Publication of WO2008012983A1 publication Critical patent/WO2008012983A1/ja

Links

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an imaging apparatus and an imaging system.
  • Patent Document 1 discloses a monitoring system.
  • This surveillance system includes an omnidirectional camera that is equipped with a fisheye lens and collects the entire surveillance area at the same angle, and designation means for selectively designating a monitoring area of interest in the omnidirectional image. And an image conversion means for displaying the image of the monitored area displayed in a plan view.
  • a rectangular image can be generated by cutting out a part of an image captured by a fisheye lens.
  • Patent Document 1 Japanese Patent Laid-Open No. 2005-286820 (summary, Fig. 1 etc.)
  • the gaze point (line of sight) of the image is set to be near the center of the rectangular image, similarly to an image captured by a general camera.
  • U want When the image gaze point (line of sight) is near the center of the rectangular image, the viewer of the image feels that the rectangular image is obtained with a natural field of view (line of sight).
  • the elevation angle of the line of sight cannot be lowered to 0 degrees in this way, when the line of sight is lowered most, the subject and the background in the rectangular image are tilted forward and appear as if they are There is.
  • the viewer looks like the force in which the subject or background in the rectangular image is tilted toward you. You may feel it.
  • the fisheye lens has a wide angle of view of 180 degrees or more, it may appear as if image collapse has occurred in the rectangular image generated by clipping. For this reason, the viewer may feel uncomfortable with the rectangular image.
  • the present invention provides an imaging apparatus and an imaging system that can generate a rectangular image that does not cause a sense of incongruity even when the elevation angle of the line of sight is large or small. With the goal.
  • An imaging apparatus includes a fish-eye lens, an imaging unit that forms a circular image by a fish-eye lens on a light-receiving surface, and generates captured image data having a circular image, and a gaze point of a generated rectangular image Depending on the elevation angle, the position of the gazing point in the rectangular image is near the center of the rectangular image when the elevation angle of the gazing point is 90 degrees, and the lower edge of the rectangular image when the elevation angle of the gazing point of the image is 0 degrees.
  • the rectangular image is projected onto the captured image generated by the imaging means on the basis of the position of the gazing point in the rectangular image determined by the gazing position determining means.
  • a rectangular image generating means for generating a rectangular image obtained by cutting out a part of a circular image in the captured image based on the relationship.
  • the rectangular image generating means can generate a rectangular image based on the circular image when the elevation angle of the gazing point (line of sight) of the image is at the lowest 0 degree. Ma Also, since the elevation angle of the gazing point (line of sight) of the image is 0 degree, the viewer of this rectangular image
  • an imaging device has the following features in addition to the configuration of the above-described invention.
  • the gazing point position determining means determines the height position of the gazing point of the image from the lower edge in the rectangular image, and the half angle of the elevation angle of the gazing point of the image from the lower edge to the upper edge of the rectangular image. And 90 degree force. The position is divided by the ratio of half the elevation angle and the value obtained by subtracting half of the elevation angle.
  • the height position in the rectangular image of the gazing point of the image changes according to the elevation angle.
  • the height position in the rectangular image of the gazing point does not change rapidly while the elevation angle changes from 0 degrees to 90 degrees. Therefore, it is possible to prevent the image viewer from being aware that the height position of the gazing point of the image is changed according to the elevation angle.
  • An imaging device has the following features in addition to the above-described components of the invention. That is, the rectangular image generating means calculates the projection coordinates on the light receiving surface of the captured image of each display pixel of the rectangular image, and uses the pixel value of the captured image pixel at each calculated coordinate as the pixel value of each display pixel. get.
  • An imaging device has the following features in addition to the components of the above-described invention. That is, the fisheye lens is of a three-dimensional projection system. Then, a memory that stores an incident angle image height table that shows the relationship between the incident angle and the image height of the fisheye lens of the three-dimensional projection method, and outer circle boundary data that shows a range used for generating a rectangular image in the captured image. And the position or size of the outer circle boundary data stored in the memory, and then the rectangular image based on the updated position and size of the outer circle boundary data and the incident angle image height table. And a user updating unit that stores a projection correction table used when the generation unit calculates the projection coordinates of each display pixel.
  • An imaging system includes an imaging device and a computer device that displays or stores a rectangular image generated by the imaging device.
  • the imaging device includes a fish-eye lens, an imaging unit that forms a circular image by the fish-eye lens on the light receiving surface, and generates captured image data having a circular image, and an elevation angle of a gazing point of the generated rectangular image.
  • the position of the gazing point in the rectangular image is close to the center of the rectangular image when the elevation angle of the gazing point is 90 degrees, and is the lower edge of the rectangular image when the elevation angle of the gazing point of the image is 0 degrees.
  • the gazing point position determining means to determine the position of the gazing point and the position of the gazing point in the rectangular image determined by the gazing point position determining means as a reference, and the correspondence relationship when the rectangular image is projected onto the captured image generated by the imaging means
  • a rectangular image generating means for generating a rectangular image obtained by cutting out a part of the circular image in the captured image.
  • FIG. 1 is a system configuration diagram showing an imaging system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an electric circuit of the imaging apparatus in FIG.
  • FIG. 3 is an explanatory view showing an optical arrangement of the fisheye lens and the image sensor in FIG. 2.
  • FIG. 4 is a diagram showing an example of a captured image generated by the color conversion processing unit in FIG. 2 based on the luminance distribution data of the image sensor.
  • FIG. 5 is an explanatory diagram in which a circular frame line indicating an outer circle boundary and a substantially fan-shaped frame line indicating a rectangular cut frame are superimposed on the captured image in the image pickup apparatus of FIG. .
  • FIG. 6 is an image height (field angle difference) characteristic diagram of the three-dimensional projection type fisheye lens in FIG. 2.
  • FIG. 7 is a diagram illustrating an example of a rectangular still image generated by the imaging apparatus of FIG.
  • FIG. 8 is a flowchart showing a detailed processing flow by the processing management unit in FIG. 2.
  • FIG. 9 is an explanatory diagram showing how the process management unit in FIG. 2 determines the rectangular cutout range.
  • FIG. 10 is a flowchart showing a flow of processing for generating rectangular still image data by the rectangular still image generating unit in FIG. 2.
  • FIG. 11 is an explanatory diagram showing a state in which a gazing point of a rectangular still image is in contact with the virtual view spherical surface in FIG. 9 on the X axis.
  • FIG. 12 is an explanatory diagram of how the mapping coefficient ir is calculated by the rectangular still image generation unit in FIG. 2.
  • FIG. 13 is an explanatory diagram of a calculation process for rotating a specific display pixel at an elevation angle of a gazing point by the rectangular still image generation unit in FIG.
  • FIG. 1 is a system configuration diagram showing an imaging system according to an embodiment of the present invention.
  • the imaging system includes an imaging device 1 and a PC (personal computer) 2 as a computer device.
  • the imaging device 1 and the PC 2 are connected by a USB (Universal Serial Bus) cable 3.
  • USB Universal Serial Bus
  • the PC 2 has a USB connector 11, a liquid crystal display device 12, a speaker 13, an input device 14, and the like.
  • the CPU (Central Processing Unit) power of PC2 is not shown.
  • the memory device power of PC2 is not shown.
  • PC2 has a communication processing unit 16, a playback processing unit 17, and a command.
  • the generation unit 18 and the like are realized.
  • the communication processing unit 16 controls data communication using the USB connector 11.
  • the reproduction processing unit 17 controls the content displayed on the liquid crystal display device 12 and causes the speaker 13 to output sound.
  • the command generation unit 18 generates a command based on input data to which the input device 14 is also input. Examples of the input device 14 include a keyboard and a pointing device.
  • the imaging device 1 includes a cubic housing 21.
  • the housing 21 is provided with a fisheye lens 22, a USB connector 23, a video output connector 24, an audio output connector 25, and the like.
  • the fisheye lens 22 is disposed on the upper surface of the housing 21.
  • a vent hole 26 for the microphone 33 is formed on the upper surface of the housing 21.
  • the USB connector 23, the video output connector 24 and the audio output connector 25 are arranged on the side surface of the housing 21.
  • FIG. 2 is a block diagram showing an electrical circuit of the imaging device 1 in FIG. Inside the housing 21 of the imaging device 1, an electric circuit for generating a rectangular image (rectangular still image) as well as a captured image captured by the fisheye lens 22 is incorporated.
  • the imaging device 1 includes a fisheye lens 22, a USB connector 23, a video output connector 24, an audio output connector 25, an image sensor 27 as part of an imaging means, an FPGA (Field Programmable Gate Array) 28, a DSP (Digital Signal Processor) 29, external memory 30, audio IC (Integrated Circuit) 31, video encoder 32, microphone 33, and the like.
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • FIG. 3 is an explanatory diagram showing an optical arrangement of the fisheye lens 22 and the image sensor 27 in FIG.
  • the image sensor 27 includes, for example, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor 27.
  • the image sensor 27 has a light receiving surface 34.
  • a plurality of light receiving elements (not shown) are arranged in a matrix at a ratio of, for example, 3: 4.
  • Each light receiving element outputs a value corresponding to the amount of received light.
  • the image sensor 27 generates luminance distribution data having a plurality of received light amount values output from a plurality of light receiving element forces.
  • the image sensor 27 generates luminance distribution data at a predetermined cycle.
  • the fish-eye lens 22 has a wide viewing angle of, for example, 180 degrees or more, and is a stereoscopic projection method.
  • the three-dimensional fisheye lens 22 has less distortion in the periphery of the image formed by the fisheye lens 22 of the regular equidistant projection method and the amount of information in the periphery is large.
  • a projection method of the fisheye lens 22 an equi-stereo projection method, an orthographic projection method, and the like can be adopted in addition to the stereoscopic projection method and the equidistant projection method.
  • the imaging device 1 when the imaging device 1 is placed on a table in a conference room with the fisheye lens 22 facing upward, the amount of information such as a person or a blackboard that appears in the periphery increases, so that the stereoscopic projection type Is the best.
  • the fisheye lens 22 is disposed above the light receiving surface 34 of the image sensor 27.
  • a circular image (hereinafter referred to as a circular image) is formed on the light receiving surface 34 of the image sensor 27 by the fisheye lens 22.
  • the image sensor 27 periodically generates luminance distribution data and outputs it to the FP GA28.
  • the FPGA 28 has a color conversion processing unit 41 as a part of the imaging means. Appear.
  • the color conversion processing unit 41 replaces the data of each pixel of the luminance distribution data using a color conversion table (not shown).
  • the color conversion processing unit 41 replaces, for example, pixel data in a circular image with predetermined color data using the pixel value and the peripheral pixel values in the luminance distribution data. Thereby, captured image data having appropriate color data is generated.
  • FIG. 4 is a diagram illustrating an example of a captured image generated by the color conversion processing unit 41 in FIG. 2 based on the luminance distribution data of the image sensor 27. As shown in FIG. 4, the captured image has a circular image in the center. An image of the subject is formed inside the circular image. The color conversion processing unit 41 outputs the generated captured image data to the DSP 29.
  • the microphone 33 generates a waveform signal corresponding to the sound.
  • the waveform signal is converted into an audio signal by the audio IC 31 and supplied to the audio output connector 25.
  • a speaker unit or headphones can be connected to the audio output connector 25. Audio can be heard through the speaker unit or headphones connected to the audio output connector 25.
  • the audio IC 31 implements an audio storage processing unit 42.
  • the audio storage processing unit 42 samples the waveform signal supplied from the microphone 33 and stores the audio data 62 generated by the sampling in the external memory 30.
  • the DSP 29 has an EEPROM (Electrically Erasable Programmable Read-Only Memory) 43 as a memory.
  • the EEPROM 43 stores line-of-sight direction data 44, an incident angle image height table 45, rectangular cutout frame data 46, a map ratio table 47 as a projection correction table, outer circle boundary data 48, and the like.
  • FIG. 5 shows a captured image of the imaging apparatus 1 in FIG. 2 in a circular frame 71 indicating the position and size of the outer circle boundary based on the outer circle boundary data 48 and a rectangular cut-out based on the rectangular cut-out frame data 46.
  • FIG. 6 is an explanatory diagram in which a substantially fan-shaped frame line 72 indicating the position and size of the frame is overlapped.
  • the outer circle boundary is a boundary that specifies an approximate range of an image used for a rectangular still image.
  • the circular border 71 on the outer circle boundary is set to substantially coincide with the contour of the circular image in the captured image or slightly smaller than the contour of the circular image.
  • the substantially fan-shaped frame line 72 of the rectangular cut frame is located inside the circular frame line 71 of the outer circle boundary. Image inside this roughly fan-shaped frame 72 Force Cut out as a rectangular still image.
  • FIG. 6 is an image height (field angle difference) characteristic diagram of the fisheye lens 22 of the three-dimensional projection method in FIG.
  • the horizontal axis is the relative field angle when the direction of the optical axis of the fisheye lens 22 is the field angle
  • the vertical axis is the image height (field angle difference).
  • the incident angle image height table 45 is a data of the image height (view angle difference) characteristics with respect to the angle of view of the fisheye lens 22.
  • an image of one subject generally distorts toward the periphery.
  • this three-dimensional projection type fisheye lens 22 is used, the subject is imaged more in the case of being imaged in the peripheral part than in the case of being imaged in the central part in terms of angle of view.
  • the subject imaged at the center is imaged smaller than the subject imaged at the periphery. This is because, as shown in FIG. 6, the four light receiving elements near the center of the image sensor 27 and the four light receiving elements near the periphery, the portion near the angle of view of the image sensor 27, that is, the zenith. This means that an image with a wider angle of view is formed on a nearby light receiving element than a light receiving element that receives an image of the image sensor 27 close to the angle of view of 90 degrees, that is, a lateral image.
  • the stereoscopic projection method has an image with less blind spots and less distortion than the conventional equidistant projection fisheye lens because there is more peripheral information. However, the distortion is reduced, but not zero.
  • the map ratio table 47 provides correction data for obtaining a developed image in which the subject appears as an original balance from the images within the outer circle boundary in the image formed on the image sensor 27 by the fisheye lens 22 of the three-dimensional projection method.
  • FIG. 7 is a diagram illustrating an example of a rectangular still image generated by the imaging device 1 of FIG. The rectangular still image in FIG.
  • the line-of-sight data 44 is data indicating the direction of the point of interest (for example, the elevation angle and direction) when the circular frame 71 (outer circle boundary) in FIG. 5 is the horizontal direction.
  • the elevation angle of the gazing point changes in the range of 0 to 90 degrees
  • the direction of the gazing point changes in the range of 0 to 360 degrees.
  • the DSP 29 has a CPU (not shown). As the CPU executes the program, the DSP 29 has a still image storage processing unit 51, a captured still image generation unit 52, a rectangular still image generation unit 53 as a rectangular image generation unit, streaming generation, as shown in FIG.
  • the unit 54, the process management unit 55, the communication processing unit 56, and the like as the gaze point position determination unit and the user update unit are realized.
  • External memory 30 is connected to the DSP 29.
  • External memory 30 is SRAM (Static RAM)
  • DSP29 CPU It consists of storage devices such as RAM) and DDR—SDRAM (Double Data Rate SDRAM), and is accessible to the DSP29 CPU.
  • RAM random access memory
  • DDR—SDRAM Double Data Rate SDRAM
  • the external memory 30 stores still image data 61, audio data 62, two display still image data 63, 64, and the like.
  • the external memory 30 includes a first VRAM (VideoRAM) area 65 and a second VRAM area 66.
  • One of the two display still image data 63 and 64 is stored in the first VRAM area 65, and the other is stored in the second VRAM area 66.
  • the nth display still image data 63 is stored in the first VRAM area 65
  • the nth display still image data 64 is stored in the second VRAM area 66.
  • the still image storage processing unit 51 implemented in the DSP 29 stores the captured image data in the external memory 30 as still image data 61. save.
  • the captured still image generation unit 52 generates display still image data 63 and 64 for displaying a captured image from the still image data 61 stored in the external memory 30.
  • Display still image data 63 and 64 for displaying captured images is displayed in a predetermined manner by thinning out the number of pixels of the captured images. This is the number of pixels.
  • the captured still image generation unit 52 alternately stores display still image data 63 and 64 for displaying the generated captured image in the first VRAM area 65 and the second VRAM area 66.
  • the rectangular still image generation unit 53 generates rectangular image data for display from the still image data 61 stored in the external memory 30.
  • the rectangular image data for display is still image data 61 generated by cutting out an image in a range specified by the rectangular cut frame data 46 from the captured image.
  • the rectangular still image generation unit 53 stores the generated rectangular image data alternately in the first VRAM area 65 and the second VRAM area 66.
  • the streaming generation unit 54 reads the display still image data 63 and 64 and the audio data 62 from the external memory 30, and generates streaming data including these content data.
  • a streaming format such as MPEG or div-X (divix) may be adopted.
  • the communication processing unit 56 controls data communication using the USB connector 23.
  • the process management unit 55 manages the execution of the still image storage processing unit 51, the captured still image generation unit 52, the rectangular still image generation unit 53, the streaming generation unit 54, the communication processing unit 56, and the like.
  • the process management unit 55 instructs the still image storage processing unit 51, the captured still image generation unit 52, the rectangular still image generation unit 53, the streaming generation unit 54, the communication processing unit 56, and the like to start or stop them.
  • the video encoder 32 reads the display still image data 63 and 64 from the external memory 30 and generates a video signal. Examples of video signals include NTSC (National TV Standards Committee) and PAL (Phase Alternating Line). The video encoder 32 outputs the generated video signal to the video output connector 24. A television receiver or the like can be connected to the video output connector 24. The video signal can be played back and viewed by a television receiver connected to the video output connector 24.
  • the process management unit 55 includes a still image storage processing unit 51, a captured still image generation unit 5
  • the image sensor 27 of the imaging device an image formed by the light collected by the fisheye lens 22 is formed.
  • the image sensor 27 generates luminance distribution data including the luminance distribution of the circular image.
  • the color conversion processing unit 41 generates captured image data having a circular image as illustrated in FIG. 4 from the luminance distribution data using a color conversion table (not shown).
  • the still image storage processing unit 51 stores the captured image data in the external memory 30 as still image data 61. Further, the image sensor 27 periodically generates luminance distribution data. Therefore, the still image data 61 in the external memory 30 is updated to new captured still image data every predetermined period.
  • FIG. 8 is a flowchart showing a detailed processing flow by the processing management unit 55 in FIG.
  • the process management unit 55 first instructs the captured still image generation unit 52 to generate a boundary display image (step ST1). Thereafter, the process management unit 55 enters a command waiting state. In FIG. 8, the process management unit 55 waits for a boundary change command, a line-of-sight change command, and a rectangular display command (steps ST2, ST).
  • the captured still image generation unit 52 When the boundary display is instructed, the captured still image generation unit 52 generates display still image data 63 and 64 for displaying the boundary display over the captured image from the updated still image data 61. To do. Specifically, for example, the captured still image generation unit 52 first reads the still image data 61 from the external memory 30, and also reads the outer circle boundary data 48 and the rectangular cut frame data 46 from the EEPROM 43, and the still image data. An image is generated by superimposing a circular frame 71 indicating the position and size of the outer circle boundary and a substantially fan-shaped frame 72 indicating the position and size of the rectangular cut frame on the image captured by 61. The captured still image generation unit 52 generates a captured still image as shown in FIG.
  • the captured still image generation unit 52 thins the number of pixels of the image on which the frame line is superimposed to the number of display pixels, and generates display still image data 63 and 64 having a predetermined number of display pixels.
  • the captured still image generation unit 52 stores the generated display still image data 63 and 64 in the first VRAM area 65 or the second VRAM area 66.
  • the streaming generation unit 54 displays the first VRAM area.
  • the display still image data 63 and 64 are sequentially read from the 65 and the second VRAM area 66, and the audio data 62 is read from the external memory 30, and streaming data having these content data is generated.
  • the streaming generating unit 54 supplies the generated streaming data to the communication processing unit 56.
  • the communication processing unit 56 of the imaging device 1 transmits streaming data to the communication processing unit 16 of the PC 2 via the USB connector 23, the USB cable 3, and the USB connector 11 of the PC 2.
  • the communication processing unit 16 of the PC 2 supplies the received streaming data to the reproduction processing unit 17.
  • the playback processing unit 17 of the PC 2 extracts display still image data 63 and 64 for displaying boundaries and the like from the streaming data, and supplies the extracted display still image data 63 and 64 to the liquid crystal display device 12 as display data. To do.
  • the liquid crystal display device 12 displays an image based on the display still image data 63 and 64 for displaying boundaries and the like.
  • the liquid crystal display device 12 of the PC 2 has an image as shown in FIG. 5, that is, an image captured by the imaging device 1, an outer circle boundary set in the imaging device 1, and an imaging device 1. The rectangular cutout frame and are displayed.
  • the playback processing unit 17 of the PC 2 also extracts the audio data 62 from the streaming data power and supplies it to the speech power 13.
  • the speaker 13 outputs sound based on the extracted audio data 62.
  • the user can grasp the position and size of the outer circle boundary in the captured image and the position and size of the rectangular cut frame.
  • the user operates the input device 14 of the PC 2 to change the position and size of the outer circle boundary, to change the field of view, or to display a rectangular image.
  • the user performs an operation of switching the display from the rectangular image shown in FIG. 5 to the rectangular image shown in FIG. Details will be described later.
  • the command generation unit 18 of the PC2 determines whether the input device 14 force is input based on the input data.
  • a boundary change command having data for changing the position and size of the outer circle boundary is generated.
  • the communication processor 16 of the PC 2 sends a boundary change command to the imaging device via the USB cable 3.
  • the data is transmitted to the communication processing unit 56 of device 1.
  • the communication processing unit 56 of the imaging apparatus 1 supplies the received boundary change command to the processing management unit 55.
  • the process management unit 55 that has been waiting for the command in the process of Fig. 8 determines Yes in step ST2, and the position of the outer circle boundary in the boundary change command is determined.
  • the outer circle boundary data 48 stored in the EEPROM 43 is updated with the change data of the size (step ST5).
  • the process management unit 55 updates the map ratio table 47 stored in the EEPROM 43 using the updated outer circle boundary data 48 and the incident angle image height table 45 of the fisheye lens 22 stored in the EEPROM 43 ( Step ST6) As a result, the map ratio table 47 is updated to data according to the number of pixels of the captured image included in the outer circle boundary. Thereafter, process controller 55 will again command wait state (step ST2, ST3, ST4) 0
  • the command generation unit 18 of the PC 2 obtains a new operated visual field based on the input data input from the input device 14.
  • a gaze direction command for example, a direction in a horizontal plane and an elevation angle of a horizontal plane force
  • the communication processing unit 16 of the PC 2 transmits a line-of-sight change command to the communication processing unit 56 of the imaging device 1.
  • the communication processing unit 56 of the imaging apparatus 1 supplies the received line-of-sight change command to the processing management unit 55.
  • step ST7 the process management unit 55 calculates the range of the rectangular cut frame with the updated line of sight, and updates the rectangular cut frame data 46 stored in the EEPROM 43 with the calculation result (step ST8). Thereafter, the process management unit 55 enters the command waiting state again (steps ST2, ST3, ST4).
  • FIG. 9 is an explanatory diagram showing how the rectangular area is determined by the process management unit 55 in FIG.
  • the upper part of FIG. 9 is a captured image generated by the image sensor 27 and the color conversion processing unit 41.
  • the circle in this captured image is a circular frame 71 at the outer circle boundary.
  • the lower part of FIG. 9 is a side view of the image sensor 27.
  • this hemispherical surface is referred to as a virtual viewing spherical surface 91.
  • the zenith direction of the virtual field spherical surface 91 is substantially coincident with the optical axis direction of the fisheye lens 22.
  • the direction of the line of sight is an angle with respect to the light receiving surface 34 of the image sensor 27.
  • the process management unit 55 sets the image plane 92 of the rectangular image as a plane perpendicular to the line of sight and in contact with the virtual visual field spherical surface 91.
  • the process management unit 55 maps the outline of the image plane 92 of the rectangular image at the position determined by the above calculation process to the light receiving plane 34, and generates outline data of the rectangular cut frame.
  • the process management unit 55 updates the rectangular cut frame data 46 in the EEPROM 43 with the outline data of the rectangular cut frame.
  • a rectangular cutout frame is shown by a one-dot chain line in the captured image in the upper part of FIG. Thereby, the rectangular cut frame data 46 is updated to data corresponding to the line-of-sight direction. Thereafter, the process management unit 55 again enters a command waiting state (steps ST2, ST3, ST4).
  • the captured still image generation unit 52 is not The still image data 61 is read as much as 30 forces, the outer circle boundary data 48 and the rectangular cutout frame data 46 are read from the EEPROM 43, and display still image data 63 and 64 based on them are generated.
  • the streaming generation unit 54 generates streaming data having the display still image data 63 and 64, and the communication processing unit 56 of the imaging device 1 transmits the streaming data to the PC 2. Therefore, the position and size of the updated outer circle boundary data 48 and rectangular cutout frame data 46 are displayed on the liquid crystal display device 12 of the PC 2 so as to overlap the captured image.
  • the command generation unit 18 of the PC 2 instructs the display of the rectangular image based on the input data input from the input device 14. Generate a rectangular display command.
  • the communication processor 16 of PC2 The command is transmitted to the communication processing unit 56 of the imaging device 1 via the USB cable 3.
  • the communication processing unit 56 of the imaging apparatus 1 supplies the received rectangular display command to the processing management unit 55.
  • the process management unit 55 that has been waiting for the command in the process of Fig. 8 determines Yes in step ST4 and starts the rectangular display process (step ST9). . Specifically, the process management unit 55 instructs the rectangular still image generation unit 53 to generate a rectangular image. Further, the process management unit 55 instructs the captured still image generation unit 52 to interrupt image generation. Thereafter, the process management unit 55 again enters a command waiting state (steps ST2, ST3, ST4). The rectangular still image generation unit 53 instructed to generate the rectangular image reads the still image data 61 from the external memory 30 and starts the rectangular still image data generation process.
  • FIG. 10 is a flowchart showing a flow of rectangular still image data generation processing by the rectangular still image generation unit 53 in FIG.
  • the rectangular still image generation unit 53 first identifies the upper left display pixel of the rectangular still image to be generated (step ST11). After identifying one display pixel, the rectangular still image generating unit 53 first assumes that the gaze point 93 of the generated rectangular still image is in contact with the virtual baseball surface 91 in FIG. 9 in a predetermined positional relationship. Thus, the position of the specific display pixel 96 in the virtual visual field space is calculated (step ST12).
  • FIG. 11 is an explanatory diagram showing a state in which the gazing point 93 of the rectangular still image is associated with the virtual field spherical surface 91 in FIG. 9 so as to be in contact with each other on the X axis.
  • the X axis, Y axis, and Z axis will be described with reference to FIG.
  • the coordinates of the specific display pixel (VX, VY) 96 in the rectangular still image are (R, VX-VCX, — (VY— VCY))
  • the origin of the virtual visual field space in FIG. 11 is the center of the virtual visual field spherical surface 91.
  • R is the radius of the virtual visual field space, that is, the radius of the outer circle boundary.
  • (VCX, VCY) are the coordinates of the gazing point 93 in the rectangular still image. In the virtual visual field space of FIG. 11, the coordinates of the gazing point 93 in the rectangular still image are (R, 0, 0).
  • the elevation angle ⁇ h of the hypothetical specific display pixel (VX, VY) 96 is the elevation angle of the line-of-sight direction data 44, and the horizontal plane of the hypothetical specific display pixel (VX, VY) 96
  • the inner direction ⁇ s is the direction of the gaze direction data 44.
  • the rectangular still image is scaled at that magnification.
  • the coordinates of the hypothetical specific display pixel (VX, VY) 96 are (VX-VCX) X Zoom,-(VY-VCY)) X Zoom) in the virtual visual field space of FIG.
  • “Zoom” is a magnification.
  • the rectangular still image generating unit 53 sets the hypothetical specific display pixel 96 to the virtual visual field spherical surface 91 according to Equation 1 below.
  • the mapping coefficient ir for projecting to is calculated (step ST13).
  • (xl, yl) is a distance of the specific display pixel 96 from the gazing point 93 in the rectangular still image, and is (VX-VCX, VY—VCY).
  • FIG. 12 is an explanatory diagram of how the mapping coefficient ir is calculated by the rectangular still image generation unit 53 in FIG.
  • the rectangular still image touches the virtual baseball surface 91 of radius R at the gazing point 93 on the X axis in FIG.
  • the rectangular still image generation unit 53 obtains the length of the line segment L1 connecting the specific display pixel 96 and the origin, and divides the radius R of the virtual visual field spherical surface 91 by the length L1. And find the mapping coefficient ir.
  • the coordinates of the specific display pixel 96 are multiplied by the mapping coefficient ir, the coordinates of the intersection point 101 between the line segment and the virtual field spherical surface 91 are obtained.
  • the rectangular still image generating unit 53 converts the rectangular still image into the original gazing point (the gazing point in the line-of-sight direction data 44 stored in the EEPROM 43, that is, the gazing point in FIG. 9).
  • the coordinates of the specific display pixel 96 when rotated by the elevation angle of 93) are calculated (step ST14).
  • FIG. 13 is an explanatory diagram of a calculation process for rotating the specific display pixel 111 at the elevation angle of the gazing point 93 by the rectangular still image generation unit 53 in FIG.
  • the specific display pixel 11 1 of mm (R, x2, y2) becomes the specific display pixel 112 of the coordinates (R X cos 0 h + y2 X sin ⁇ h, ⁇ 2, R X sin ⁇ h ⁇ y2 X cos ⁇ h).
  • the position of the specific display pixel 111 in FIG. 13 is different from the position of the specific display pixel 96 in FIG. Therefore, in the description of FIG.
  • MR [y2 X ir] is “correction data obtained when the map ratio table 47 is referred to by y2 X irj.
  • the X corresponding to the specific display pixel 96 is calculated by calculating the projection magnification mr of the specific display pixel 96.
  • the preparation for calculating the projection coordinates on the Y plane (horizontal plane), that is, the preparation for calculating the projection coordinates on the light receiving surface 34 is completed.
  • the rectangular still image generation unit 53 actually calculates the projection coordinates of the specific display pixel 96 onto the XY plane (horizontal plane). Specifically, the rectangular still image generating unit 53 first considers only the elevation angle ⁇ h of the original gazing point 93 and projects the projection coordinates (x3, y3, z3) is calculated by the following formula 3 (step ST16).
  • the rectangular still image generation unit 53 rotates the coordinates calculated by Equation 3 in the direction ⁇ s in the horizontal plane of the gazing point 93 according to Equation 4 below, and the X—Y plane (The projection coordinates on the (horizontal plane), that is, the projection coordinates (x4, y4, z4) on the light receiving surface 34 are calculated (step ST17).
  • (IOX, IOY) is the coordinates of the center of the image when the upper left corner of the captured still image is the origin, as shown in FIG.
  • the rectangular still image generating unit 53 identifies the pixel in the original image (captured image) at the projected coordinate. Then, the pixel value of the specified pixel is acquired. The rectangular still image generation unit 53 takes the acquired pixel value as the pixel value of the specific display pixel 96 into the rectangular still image data and stores it in the external memory 30 (step ST18).
  • the rectangular still image generation unit 53 calculates the projection coordinates of the identified display pixel 96 on the light receiving surface 34, acquires the pixel value of the pixel in the circular image corresponding to the projection coordinate, The acquired pixel value is stored in the external memory 30 as the pixel value of the specific display pixel.
  • the rectangular still image generating unit 53 generates a rectangular still image to be generated.
  • the pixel value is determined, and it is determined whether or not the display pixel remains. Until there are no display pixels for which the pixel value is not determined, the above display pixels are displayed. Repeat the pixel value determination process.
  • the rectangular still image generation unit 53 first determines whether or not the determination of the pixel value for the display pixels for one column of the generated rectangular still image has been completed (step ST19). If one column has not been completed (No in step ST19), the rectangular still image generation unit 53 identifies the display pixel of the next row in the same column (step ST20), and the specific display pixel. Are determined (steps 3 to 12 to 3 to 18).
  • the rectangular still image generation unit 53 When the determination of all pixel values for the display pixels for one column is completed (Yes in step ST19), the rectangular still image generation unit 53 further generates a rectangular still image to be generated. Judgment is made as to whether or not the pixel values have been determined for all the columns (step ST21). If the processing has not been completed for all columns (No in step ST21), the rectangular still image generation unit 53 identifies the display pixel at the upper end (uppermost row) of the next column (step ST22). Then, the pixel value of the specific display pixel is determined (steps 3 to 12 to 3 to 18).
  • the rectangular still image generating unit 53 When the pixel values have been determined for all columns of the rectangular still image to be generated (Yes in step ST21), the rectangular still image generating unit 53 generates the rectangular still image data shown in FIG. Finish the generation process. As a result, rectangular still image data based on the still image data 61 is stored in the first VRAM area 65 or the second VRAM area 66 of the external memory 30.
  • the streaming generation unit 54 receives the data from the first VRAM area 65 and the second VRAM area 66.
  • the rectangular still image data is read in order, and the audio data 62 is read from the external memory 30, and streaming data having these contents data is generated.
  • the streaming generation unit 54 supplies the generated streaming data to the communication processing unit 56.
  • the communication processing unit 56 of the imaging device 1 transmits streaming data to the communication processing unit 16 of the PC 2 via the USB connector 23, the USB cable 3, and the USB connector 11 of the PC 2.
  • the communication processing unit 16 of the PC 2 supplies the received streaming data to the reproduction processing unit 17.
  • the playback processor 17 of PC2 extracts rectangular still image data from the streaming data. Are decoded and supplied to the liquid crystal display device 12.
  • the liquid crystal display device 12 displays a rectangular still image. For example, a rectangular still image as shown in FIG. 7 is displayed on the liquid crystal display device 12.
  • the playback processing unit 17 of the PC 2 extracts the audio data 62 from the streaming data power and supplies it to the speaker 13.
  • the speaker 13 outputs sound based on the extracted audio data 62.
  • the image sensor 27 of the imaging device 1 generates luminance distribution data for each period.
  • the color conversion processing unit 41 generates captured image data from the luminance distribution data.
  • the still image storage processing unit 51 updates the still image data 61 in the external memory 30 with the captured image data generated every cycle.
  • the rectangular still image generation unit 53 reads still image data 61 from the external memory 30 and alternately writes rectangular still image data based on the read still image data 61 into the first VRAM area 65 and the second VRAM area 66.
  • the streaming generation unit 54 reads the rectangular still image data written in the first VRAM area 65 or the second VRAM area 66 and generates streaming data.
  • the streaming still image generating unit 53 A rectangular still image can be written in the VRAM area.
  • the streaming generation unit 54 can allocate a rectangular still image based on the luminance distribution data generated by the image sensor 27 for each period to the streaming data without causing image omission (frame omission).
  • the liquid crystal display device 12 of the PC 2 displays a moving image by a rectangular still image based on the luminance distribution data periodically generated by the image sensor 27.
  • the process management unit 55 updates the rectangular still image cutout range and the rectangular cutout frame data 46 according to the elevation angle ⁇ of the line-of-sight direction data 44.
  • a rectangular still image is cropped so that the ratio of the height HI of the rectangular image above the gazing point to the height H 2 of the rectangular image below the gazing point is “90 degrees 0 Z2: 0 Z2”.
  • Update range The processing management unit 55 looks at the gaze direction data 44 so that it is near the center of the rectangular image when the elevation angle ⁇ of 90 degrees is 90 degrees, and is the lower edge of the rectangular image when the elevation angle ⁇ power of the viewing direction data 44 is deg. To decide.
  • the rectangular still image generation unit 53 uses the virtual view spherical surface at the point of interest. A rectangular image in contact with 91 is generated.
  • the gazing point of the image is the lower edge of the rectangular image.
  • the rectangular still image generating unit 53 can generate a rectangular image based on the circular image when the elevation angle of the gazing point (line of sight) of the image is at the lowest 0 degree. Since the elevation angle of the point of interest (line of sight) of the image is 0 degrees, the viewer of this rectangular image does not appear as if the subject or background is tilted forward.
  • the process management unit 55 determines the height HI of the rectangular image above the gazing point and the height H2 of the rectangular image below the gazing point.
  • the position of the rectangular image is determined so that the specific force ⁇ ( ⁇ 1: ⁇ 2) is 90 degrees 0 ⁇ 2: 0 ⁇ 2.
  • the height position of the image gazing point from the lower edge in the rectangular image is from the lower edge to the upper edge of the rectangular image, half the elevation angle ⁇ of the image gazing point, 90 degrees force, and the elevation angle ⁇
  • the position is divided by the ratio of the value obtained by subtracting half.
  • the height position ⁇ 2 in the rectangular image of the gazing point of the image changes according to the elevation angle.
  • the force and elevation angle change to 0 degree and force to 90
  • the height position ⁇ 2 in the rectangular image of the gazing point does not change abruptly. It is possible to prevent the image viewer from being aware that the height position ⁇ 2 of the gazing point of the image is changed according to the elevation angle.
  • the rectangular still image generation unit 53 calculates the projection coordinates (x4, y4, z4) of the captured image of each display pixel of the rectangular image onto the light receiving surface 34, and calculates the calculated coordinates.
  • the pixel value of the pixel of the captured image at (x4, y4, ⁇ 4) is acquired as the pixel value of each display pixel.
  • the rectangular still image generation unit 53 calculates the mapping coordinates of each display image in the rectangular image to the light receiving surface 34 based on the mapping relationship based on the projection relationship onto the light receiving surface 34 of the space. Then, the pixel value of the pixel of the captured image at the calculated coordinates (x4, y4, z4) is acquired as the pixel value of each display pixel.
  • the fisheye lens 22 of the three-dimensional projection method is used.
  • the processing management unit 55 updates the map ratio table 47 using the updated position or size of the outer circle boundary data 48 and the incident angle image height table 45. . Therefore, the map ratio table 47 can be kept compatible with the outer circle boundary data 48.
  • the rectangular still image generation unit 53 can calculate the projection coordinates of each display pixel using this map ratio table 47.
  • the fisheye lens 22 of the three-dimensional projection method is used.
  • an equidistance projection type fish-eye lens, an isometric projection type fish-eye lens, an orthographic projection type fish-eye lens, or the like may be used.
  • the process management unit 55 determines that the ratio between the height HI of the rectangular image above the gazing point and the height H2 of the rectangular image below the gazing point is “(H1: H2 ) 90 degrees ⁇ / 2:
  • the position of the point of interest of the rectangular image is determined to be ⁇ / 2 ⁇ .
  • the logic unit 55 may select the position of the gazing point of a plurality of rectangular images determined in advance for each range of the elevation angle ⁇ according to the elevation angle ⁇ . If the elevation angle ⁇ is in the range of 40 to 90 degrees, for example, the position of the point of interest in the rectangular image should be fixed at the center of the image, for example.
  • the process management unit 55 updates the map ratio table 47 every time the outer circle boundary data 48 is updated.
  • the EEPROM 43 divides the settable range of the outer circle boundary into a plurality of sections, stores a plurality of mapping tables predetermined for each section, and the process management unit 55 updates the outside One of them may be selected according to the circle boundary data 48.
  • the rectangular still image generating unit 53 generates one rectangular still image from one still image data 61.
  • the rectangular still image generating unit 53 may generate two or more rectangular still images from one still image data 61.
  • the PC 2 displays a moving image of the rectangular still image extracted from the streaming data force on the liquid crystal display device 12.
  • the PC 2 saves the moving image of the rectangular still image extracted from the streaming data force in a storage device (not shown), and the moving image of the rectangular still image stored in the storage device is stored in the liquid crystal display device 12. You can display it!
  • the image pickup apparatus 1 is connected to the PC 2 via the USB cable 3.
  • the image pickup apparatus 1 may be connected to an input board for outputting a command by the USB cable 3 or the like.
  • the present invention can be widely used as an imaging device and an imaging system that capture a meeting as a rectangular image.

Description

明 现 曞
撮像装眮および撮像システム
技術分野
[0001] 本発明は、撮像装眮および撮像システムに関する。
背景技術
[0002] 特蚱文献 1は、監芖システムを開瀺する。この監芖システムは、魚県レンズを備えお 監芖察象領域の党䜓を䞀括しお等角床撮像する党方䜍カメラず、それによる党方䜍 画像䞭の泚目すべき監芖領域を遞択的に指定する指定手段ず、指定された監芖領 域の画像を平面芖展開しお画像衚瀺する画像倉換手段ず、を備える。特蚱文献 1の 監芖システムでは、魚県レンズによる撮像画像䞭の䞀郚を切り出しお、矩圢画像を生 成するこずができる。
[0003] 特蚱文献 1 :特開 2005— 286820号公報芁玄、図 1など
発明の開瀺
発明が解決しょうずする課題
[0004] ずころで、このような魚県レンズによる撮像画像に基づく矩圢画像においおも、䞀般 のカメラで撮像した画像ず同じように、画像の泚芖点 (芖線)が矩圢画像の䞭心付近ず なるようにするのが望た U、。画像の泚芖点 (芖線が矩圢画像の䞭心付近ずなるこず により、画像の閲芧者は、矩圢画像を自然な芖野目線により埗られたものず感じる ようになる。
[0005] しカゝしながら、魚県レンズによる撮像画像䞭の䞀郚を切り出しお矩圢画像を生成す る堎合、その矩圢画像の生成には、像が写っおいる画玠し力利甚するこずができない 。たずえば、撮像画像䞭に、魚県レンズによる円圢画像が結像しおいる堎合、その円 圢画像䞭の画玠し力利甚するこずができない。
[0006] そのため、画像の泚芖点 (芖線)を矩圢画像の䞭心付近ずした堎合、泚芖点 (芖線 よりも䞋偎の画像が必芁ずなる。そのため、芖線を䞋げおも、芖線の仰角を 0床ずする こずはできない。芖線の仰角の最小倀は、 0床より倧きい倀ずなっおしたう。仮に芖線 の仰角を 0床ずした堎合、矩圢画像の泚芖点より䞋偎の画像を生成するこずができな い。
[0007] このように芖線の仰角を 0床たで䞋げるこずができないため、芖線を最も䞋げたずき に、矩圢画像䞭の被写䜓や背景が手前ぞ傟 、お 、るかのように芋えおしたうこずがあ る。芖線の仰角を最も䞋げお埗られる画像を仰角 0床の方向を芋たものであるず思぀ お芋るず、閲芧者は、矩圢画像䞭の被写䜓や背景が手前ぞ傟いおいる力のように感 じおしたうこずがある。魚県レンズが 180床以䞊の広い画角を有するものであったずし おも、切り出しにより生成される矩圢画像においお、像倒れが生じおいるかのように芋 えおしたうこずがある。このため閲芧者は、矩圢画像に違和感を抱いおしたうこずがある
[0008] 本発明は、芖線の仰角が倧きい堎合であっおも、あるいは小さい堎合であっおも違 和感を生じるこずがない矩圢画像を生成するこずができる撮像装眮および撮像システ ムを埗るこずを目的ずする。
課題を解決するための手段
[0009] 本発明に係る撮像装眮は、魚県レンズず、受光面に魚県レンズによる円圢の像が 結像し、円圢画像を有する撮像画像のデヌタを生成する撮像手段ず、生成する矩圢 画像の泚芖点の仰角に応じお、矩圢画像䞭の泚芖点の䜍眮を、泚芖点の仰角が 90 床ずなるずき矩圢画像の䞭心付近ずなり、画像の泚芖点の仰角が 0床ずなるずき矩圢 画像の䞋端瞁ずなるように決定する泚芖点䜍眮決定手段ず、泚芖点䜍眮決定手段に より決定された矩圢画像䞭の泚芖点の䜍眮を基準ずしお、撮像手段が生成する撮像 画像ぞ矩圢画像を投圱したずきの察応関係に基づいお、撮像画像䞭の円圢画像の 䞀郚を切り出しおなる矩圢画像を生成する矩圢画像生成手段ず、を有するものである
[0010] この構成を採甚すれば、画像の泚芖点 (芖線)の仰角がたずえば 90床などの倧きな 仰角であるずき、画像の泚芖点は矩圢画像の䞭心付近ずなる。したがっお、矩圢画像 の閲芧者は、矩圢画像を自然な芖野目線)で芋たものず感じるこずができる。
[0011] たた、画像の泚芖点 (芖線)の仰角が 0床ずなるずき、画像の泚芖点は矩圢画像の䞋 端瞁ずなる。したがっお、矩圢画像生成手段は、画像の泚芖点 (芖線)の仰角が最も 䞋がった 0床にあるずきの矩圢画像を、円圢画像に基づいお生成するこずができる。た た、画像の泚芖点 (芖線)の仰角が 0床ずなっおいるので、この矩圢画像の閲芧者は
、被写䜓や背景が手前に傟 、お 、るかのように芋えおしたうこずはな 、。
[0012] したがっお、この構成を採甚すれば、画像の泚芖点 (芖線)の仰角が倧き、、堎合で あっおも、あるいは小さ!/、堎合であっおも違和感を生じるこずがな ボ矩圢画像を生成 するこずができる。
[0013] 本発明に係る撮像装眮は、䞊述した発明の構成に加えお以䞋の特城を有するもの である。すなわち、泚芖点䜍眮決定手段は、画像の泚芖点の、矩圢画像䞭のその䞋 端瞁からの高さ䜍眮を、矩圢画像の䞋瞁から䞊瞁たでを、画像の泚芖点の仰角の半 分ず、 90床力 その仰角の半分を枛算した倀ずの比により分割する䜍眮ずする。
[0014] この構成を採甚すれば、画像の泚芖点の、矩圢画像䞭の高さ䜍眮は、仰角の倧小 に応じお倉化する。し力も、仰角が 0床から 90たで倉化する間に、泚芖点の矩圢画像 䞭の高さ䜍眮が急激に倉化するこずはない。したがっお、画像の泚芖点の高さ䜍眮を 、その仰角に応じお倉化させおいるこずを、画像の閲芧者に意識させないようにするこ ずがでさる。
[0015] 本発明に係る撮像装眮は、䞊述した発明の各構成に加えお以䞋の特城を有するも のである。すなわち、矩圢画像生成手段は、矩圢画像の各衚瀺画玠の撮像画像の 受光面ぞの投圱座暙を挔算し、挔算した各座暙にある撮像画像の画玠の画玠倀を 、各衚瀺画玠の画玠倀ずしお取埗する。
[0016] この構成を採甚すれば、撮像画像䞭の円圢画像の画玠の画玠倀をそのたた甚いた 矩圢画像を生成するこずができる。各衚瀺画玠の画玠倀そのものを挔算により求める 必芁がない。挔算により各衚瀺画玠の画玠倀を埗る堎合のように、挔算による画質劣 化が発生するこずはなぐし力も、画像の生成時間を短瞮するこずができる。たた、 1぀ の矩圢画像を生成する時間が短くお枈むので、この矩圢画像の生成凊理を連続的 に繰り返すこずで、連続的な動きのある動画を埗るこずができる。
[0017] 本発明に係る撮像装眮は、䞊述した発明の各構成に加えお以䞋の特城を有するも のである。すなわち、魚県レンズは、立䜓射圱方匏のものである。そしお、立䜓射圱 方匏の魚県レンズの入射角ず像高ずの関係を瀺す入射角像高テヌブル、および撮 像画像䞭の矩圢画像の生成に利甚する範囲を瀺す倖円境界デヌタを蚘憶するメモ リず、メモリに蚘憶される倖円境界デヌタの䜍眮あるいはサむズを曎新した埌に、メモ リに、その曎新埌の倖円境界デヌタの䜍眮あるいはサむズず入射角像高テヌブルず に基づいお、矩圢画像生成手段が各衚瀺画玠の投圱座暙を挔算する際に䜿甚する 投圱補正テヌブルを蚘憶させるナヌザ曎新手段ず、を有するものである。
[0018] この構成を採甚すれば、撮像画像䞭の矩圢画像の生成に利甚する範囲を瀺す倖 円境界の䜍眮やサむズが倉曎されるず、その倖円境界の内偎の範囲の、耇数の画玠 による分割割合が倉化する。この構成を採甚すれば、投圱補正テヌブルを、撮像画 像䞭の矩圢画像の生成に利甚する範囲を瀺す倖円境界ず適合するものに維持する こずができる。矩圢画像生成手段は、この投圱補正テヌブルを甚いお、各衚瀺画玠 の投圱座暙を挔算するこずができる。
[0019] 本発明に係る撮像システムは、撮像装眮ず、撮像装眮が生成する矩圢画像を衚瀺 あるいは保存するコンピュヌタ装眮ず、を有するものである。そしお、撮像装眮は、魚 県レンズず、受光面に魚県レンズによる円圢の像が結像し、円圢画像を有する撮像 画像のデヌタを生成する撮像手段ず、生成する矩圢画像の泚芖点の仰角に応じお、 矩圢画像䞭の泚芖点の䜍眮を、泚芖点の仰角が 90床ずなるずき矩圢画像の䞭心付 近ずなり、画像の泚芖点の仰角が 0床ずなるずき矩圢画像の䞋端瞁ずなるように決定 する泚芖点䜍眮決定手段ず、泚芖点䜍眮決定手段により決定された矩圢画像䞭の 泚芖点の䜍眮を基準ずしお、撮像手段が生成する撮像画像ぞ矩圢画像を投圱したず きの察応関係に基づいお、撮像画像䞭の円圢画像の䞀郚を切り出しおなる矩圢画 像を生成する矩圢画像生成手段ず、を有する。
[0020] この構成を採甚すれば、画像の泚芖点の仰角が倧き、、堎合であっおも、ある 、は 小さい堎合であっおも違和感を生じるこずがない矩圢画像を衚瀺したり、蚘録したりす るこずがでさる。
発明の効果
[0021] 本発明では、芖線の仰角が倧きい堎合であっおも、あるいは小さい堎合であっおも 違和感を生じるこずがない矩圢画像を生成するこずができる。
図面の簡単な説明
[0022] [図 1]図 1は、本発明の実斜の圢態に係る撮像システムを瀺すシステム構成図である [図 2]図 2は、図 1䞭の撮像装眮の電気回路を瀺すブロック図である。
[図 3]図 3は、図 2䞭の魚県レンズず、むメヌゞセンサずの光孊的な配眮を瀺す説明図 である。
[図 4]図 4は、図 2䞭の色倉換凊理郚がむメヌゞセンサの茝床分垃デヌタに基づいお 生成する撮像画像の䞀䟋を瀺す図である。
[図 5]図 5は、図 2の撮像装眮における撮像画像に、倖円境界を瀺す円圢の枠線ず、 矩圢切出枠を瀺す略扇圢状の枠線ず、を重ねた説明図である。
[図 6]図 6は、図 2䞭の立䜓射圱方匏の魚県レンズの像高 (画角差)特性図である。
[図 7]図 7は、図 2の撮像装眮により生成される矩圢静止画の䞀䟋を瀺す図である。
[図 8]図 8は、図 2䞭の凊理管理郚による詳现な凊理の流れを瀺すフロヌチャヌトで ある。
[図 9]図 9は、図 2䞭の凊理管理郚による矩圢切出範囲の決定の仕方を瀺す説明図 である。
[図 10]図 10は、図 2䞭の矩圢静止画生成郚による矩圢静止画デヌタの生成凊理の 流れを瀺すフロヌチャヌトである。
[図 11]図 11は、矩圢静止画の泚芖点が図 9䞭の仮想芖野球面の X軞䞊においお接 する状態を瀺す説明図である。
[図 12]図 12は、図 2䞭の矩圢静止画生成郚によるマッピング係数 irの挔算の仕方の 説明図である。
[図 13]図 13は、図 2䞭の矩圢静止画生成郚による、特定衚瀺画玠を泚芖点の仰角 で回転させる挔算凊理の説明図である。
笊号の説明
1 撮像装眮
2 PC (パヌ゜ナルコンピュヌタ、コンピュヌタ装眮
22 魚県レンズ
27 むメヌゞセンサ (撮像手段の䞀郚
34 受光面 41 色倉換凊理郚 (撮像手段の䞀郚
43 EEPROM (メモリ
45 入射角像高テヌブル
47 マップレシオテヌブル投圱補正テヌブル
48 倖円境界デヌタ
53 矩圢静止画生成郚 (矩圢画像生成手段
55 凊理管理郚 (泚芖点䜍眮決定手段、ナヌザ曎新手段
発明を実斜するための最良の圢態
[0024] 以䞋、本発明の実斜の圢態に係る撮像装眮および撮像システムを、図面に基づい お説明する。
[0025] 図 1は、本発明の実斜の圢態に係る撮像システムを瀺すシステム構成図である。撮 像システムは、撮像装眮 1ず、コンピュヌタ装眮ずしおの PC (パヌ゜ナルコンピュヌタ 2ず、を有する。撮像装眮 1ず PC2ずは、 USB (Universal Serial Bus)ケヌブル 3 により接続されおいる。
[0026] PC2は、 USBコネクタ 11、液晶衚瀺デバむス 12、スピヌカ 13、入力デバむス 14な どを有する。たた、 PC2の図瀺倖の CPU (Central Processing Unit :䞭倮凊理 装眮力 PC2の図瀺倖の蚘憶デバむス力 プログラムを読み蟌んで実行するこずで 、 PC2には、通信凊理郚 16、再生凊理郚 17、コマンド生成郚 18などが実珟される。
[0027] 通信凊理郚 16は、 USBコネクタ 11を甚いたデヌタ通信を制埡する。再生凊理郚 1 7は、液晶衚瀺デバむス 12で衚瀺される内容などを制埡し、スピヌカ 13に音を出力さ せる。コマンド生成郚 18は、入力デバむス 14力も入力される入力デヌタに基づいお コマンドを生成する。入力デバむス 14には、たずえばキヌボヌド、ポむンティングデバ むスなどがある。
[0028] 撮像装眮 1は、立方䜓圢状のハりゞング 21を有する。ハりゞング 21には、魚県レン ズ 22、 USBコネクタ 23、ビデオ出力コネクタ 24、音声出力コネクタ 25などが配蚭さ れる。魚県レンズ 22は、ハりゞング 21の䞊面に配蚭される。ハりゞング 21の䞊面に は、マむクロフォン 33甚の通気孔 26が圢成される。 USBコネクタ 23、ビデオ出力コネ クタ 24および音声出力コネクタ 25は、ハりゞング 21の偎面に配蚭される。 [0029] 図 2は、図 1䞭の撮像装眮 1の電気回路を瀺すブロック図である。撮像装眮 1のハり ゞング 21の内郚には、魚県レンズ 22により撮像される撮像画像カゝら矩圢画像 (矩圢 静止画)を生成するための電気回路が組み蟌たれお 、る。
[0030] 撮像装眮 1は、魚県レンズ 22、 USBコネクタ 23、ビデオ出力コネクタ 24、音声出力 コネクタ 25の他に、撮像手段の䞀郚ずしおのむメヌゞセンサ 27、 FPGA (Field Pro gramable Gate Array) 28、 DSP (Digital Signal Processor) 29、倖郚メモリ 30、音声 IC (Integrated Circuit) 31、ビデオ゚ンコヌダ 32、マむクロフォン 33など を有する。
[0031] 図 3は、図 2䞭の魚県レンズ 22ず、むメヌゞセンサ 27ずの光孊的な配眮を瀺す説明 図である。
[0032] むメヌゞセンサ 27には、たずえば CMOS (Complementary Metal -Oxide Se miconductor )むメヌゞセンサ 27がある。むメヌゞセンサ 27は、受光面 34を有する 。受光面 34には、図瀺倖の耇数の受光玠子がたずえば瞊暪 3 :4の比率でマトリックス 状に配列される。各受光玠子は、受光光量に応じた倀を出力する。むメヌゞセンサ 2 7は、耇数の受光玠子力 出力される耇数の受光光量倀を有する茝床分垃デヌタを 生成する。むメヌゞセンサ 27は、所定の呚期で、茝床分垃デヌタを生成する。
[0033] 魚県レンズ 22は、たずえば 180床以䞊の広芖野角を有するものであり、立䜓射圱方 匏のものである。立䜓射圱方匏の魚県レンズ 22は、䞀般的な等距離射圱方匏の魚 県レンズ 22に比べお、それにより結像される画像䞭の呚蟺郚のゆがみが少なぐ䞔 ぀、呚蟺郚の情報量が倚くなる。魚県レンズ 22の射圱方匏ずしおは、立䜓射圱方匏 や等距離射圱方匏の他にも、等立䜓射圱方匏や正射圱方匏などを採甚するこずが 可胜である。䜆し、たずえば撮像装眮 1を䌚議宀のテヌブル䞊に魚県レンズ 22が䞊 向きずなる姿勢で眮いお撮像する堎合、呚蟺郚に写る人物や黒板などの情報量が倚 くなるため、立䜓射圱方匏のものが最適である。
[0034] この魚県レンズ 22は、むメヌゞセンサ 27の受光面 34の䞊方に配蚭される。これによ り、むメヌゞセンサ 27の受光面 34には、魚県レンズ 22による円圢の像 (以䞋、円圢画 像ずよぶが結像する。むメヌゞセンサ 27は、茝床分垃デヌタを呚期的に生成し、 FP GA28ぞ出力する。 FPGA28には、撮像手段の䞀郚ずしおの色倉換凊理郚 41が実 珟される。
[0035] 色倉換凊理郚 41は、図瀺倖の色倉換テヌブルを甚いお、茝床分垃デヌタの各画 玠のデヌタを眮き換える。色倉換凊理郚 41は、たずえば円圢画像䞭の画玠のデヌタ を、茝床分垃デヌタにおけるその画玠の倀および呚蟺画玠の倀を甚いお、所定の色 デヌタぞ眮き換える。これにより、適圓な色デヌタを有する撮像画像デヌタが生成さ れる。
[0036] 図 4は、図 2䞭の色倉換凊理郚 41がむメヌゞセンサ 27の茝床分垃デヌタに基づい お生成する撮像画像の䞀䟋を瀺す図である。図 4に瀺すように、撮像画像は、その䞭 倮郚に、円圢画像を有する。円圢画像の内郚には、被写䜓の像が結像する。色倉換 凊理郚 41は、生成した撮像画像デヌタを、 DSP29ぞ出力する。
[0037] マむクロフォン 33は、音声に応じた波圢信号を生成する。波圢信号は、音声 IC31 により、音声信号ぞ倉換され、音声出力コネクタ 25ぞ䟛絊される。音声出力コネクタ 25には、たずえばスピヌカナニット、ヘッドフォンなどが接続可胜である。音声出力コ ネクタ 25に接続されるスピヌカナニットやヘッドフォンなどにより、音声を聞くこずがで きる。たた、音声 IC31には、音声保存凊理郚 42が実珟される。音声保存凊理郚 42 は、マむクロフォン 33から䟛絊される波圢信号をサンプリングし、そのサンプリングに より生成した音声デヌタ 62を、倖郚メモリ 30に保存する。
[0038] DSP29は、メモリずしおの EEPROM (Electrically Erasable Programmable Read-Only Memory:䞍揮発性メモリの䞀皮 43を有する。 EEPROM43は、芖 線方向デヌタ 44、入射角像高テヌブル 45、矩圢切出枠デヌタ 46、投圱補正テヌ ブルずしおのマップレシオテヌブル 47、倖円境界デヌタ 48などを蚘憶する。
[0039] 図 5は、図 2の撮像装眮 1における撮像画像に、倖円境界デヌタ 48による倖円境界 の䜍眮およびサむズを瀺す円圢の枠線 71ず、矩圢切出枠デヌタ 46による矩圢切出 枠の䜍眮およびサむズを瀺す略扇圢状の枠線 72ず、を重ねた説明図である。倖円境 界は、矩圢静止画に利甚する画像のおおよその範囲を指定する境界である。倖円境 界の円圢の枠線 71は、撮像画像䞭の円圢画像の茪郭ず略䞀臎しお、あるいは円圢 画像の茪郭より若干小さく蚭定されおいる。矩圢切出枠の略扇圢状の枠線 72は、倖 円境界の円圢の枠線 71の内偎に䜍眮する。この略扇圢状の枠線 72の内偎の画像 力 矩圢静止画ずしお切り出される。
[0040] 図 6は、図 2䞭の立䜓射圱方匏の魚県レンズ 22の像高画角差)特性図である。暪 軞は、魚県レンズ 22の光軞方向を画角床ずしたずきの盞察画角であり、瞊軞は、像高 (画角差)である。図 6の特性の立䜓射圱方匏の魚県レンズ 22を甚いるず、たずえば 魚県レンズ 22の頂点の方向に存圚する被写䜓の像高画角差が玄 0. 1の像高画 角差)ずなるずき、仰角 0床付近方向に存圚する被写䜓の像高 (画角差は、玄 0. 2の 倧きさずなる。これは、魚県レンズ 22の呚蟺方向にある被写䜓は、䞭倮方向にある被 写䜓に比べお玄倍の倧きさで結像するこずを意味する。たた、被写䜓が呚蟺郚から䞭 倮郚にかけお写るずき、そのバランスが厩れるこずを意味する。入射角像高テヌブル 4 5は、この魚県レンズ 22の画角に察する像高画角差)の特性をデヌタ化したもので ある。
[0041] 魚県レンズ 22を䜿甚したずき、䞀般的に、 1぀の被写䜓の画像は、呚蟺ぞ行く皋ひ ずむ。このひずみ具合を軜枛し、呚蟺の情報量を倚くする方匏ずしお立䜓射圱方匏 が存圚する。この立䜓射圱方匏の魚県レンズ 22を䜿甚するず、被写䜓は、画角的に 䞭心郚に撮像される堎合に比べお、呚蟺郚に撮像される堎合の方が倧きく撮像され る。䞭心郚に撮像される被写䜓は、呚蟺郚に撮像される被写䜓より画角的に小さく結 像する。このこずは、図 6にむメヌゞセンサ 27の䞭心郚寄りの 4぀の受光玠子ず、呚蟺 郚寄りの 4぀の受光玠子ずを図瀺するように、むメヌゞセンサ 27の画角床 0床に近い 郚䜍、すなわち倩頂付近の受光玠子には、むメヌゞセンサ 27の画角床 90床に近い 郚䜍、すなわち真暪方向の画像を受けるの受光玠子に比べお、広い画角の像が結 像するこずを意味する。
[0042] このように立䜓射圱方匏は、埓来の等距離射圱方匏の魚県レンズず比べれば、呚 蟺の情報が倚いため、死角が少なくなり、ゆがみが少ない画像ずなる。しかし、ゆがみ は少なくなるが、零ずはならない。これに察しお、矩圢画像では、被写䜓は、本来の倧 きさのバランスで衚瀺されるこずが望たしい。マップレシオテヌブル 47は、立䜓射圱 方匏の魚県レンズ 22によりむメヌゞセンサ 27に結像する画像の䞭の、倖円境界内の 画像から、被写䜓が本来のバランスずしお写る展開画像を埗るための補正デヌタを feす。。 [0043] 図 7は、図 2の撮像装眮 1により生成される矩圢静止画の䞀䟋を瀺す図である。図 7 の矩圢静止画は、図 5䞭の略扇圢状の枠線 72の画像に基づいお埗られる矩圢静止 画である。たた、図 7䞭には、画面の䞋半分においお亀差する瞊点線ず暪点線ずが描 画されおいる。この瞊点線ず暪点線ずの亀点力 泚芖点ずなる。芖線方向デヌタ 44は 、図 5䞭の円圢の枠線 71 (倖円境界が氎平方向であるずした堎合の、この泚芖点の 方向たずえば仰角および方向を瀺すデヌタである。仰角ず方向ずの組合せの堎合 、泚芖点の仰角は、 0から 90床の範囲で倉化し、泚芖点の方向は、 0から 360床の範 囲で倉化するこずになる。
[0044] たた、 DSP29は、図瀺倖の CPUを有する。この CPUがプログラムを実行するこずで 、 DSP29には、図 2に瀺すように、静止画保存凊理郚 51、撮像静止画生成郚 52、 矩圢画像生成手段ずしおの矩圢静止画生成郚 53、ストリヌミング生成郚 54、泚芖点 䜍眮決定手段およびナヌザ曎新手段ずしおの凊理管理郚 55、通信凊理郚 56などが 実珟される。
[0045] たた、 DSP29には、倖郚メモリ 30が接続される。倖郚メモリ 30は、 SRAM (Static
RAM)や DDR— SDRAM (Double Data Rate SDRAM)などの蚘憶デバィ スにより構成され、 DSP29の CPUがアクセス可胜である。
[0046] 倖郚メモリ 30は、静止画デヌタ 61、音声デヌタ 62、 2぀の衚瀺静止画デヌタ 63, 64などを蚘憶する。たた、倖郚メモリ 30は、第䞀 VRAM (VideoRAM)゚リア 65ず、 第二 VRAM゚リア 66ず、を有する。 2぀の衚瀺静止画デヌタ 63, 64の䞭の䞀方は、 第䞀 VRAM゚リア 65に蚘憶され、他方は、第二 VRAM゚リア 66に蚘憶される。図 2 では、第䞀 VRAM゚リア 65に、第 n—l衚瀺静止画デヌタ 63が蚘憶され、第二 VR AM゚リア 66に、第 n衚瀺静止画デヌタ 64が蚘憶されおいる状態である。
[0047] DSP29に実珟される静止画保存凊理郚 51は、色倉換凊理郚 41から、新たな撮像 画像デヌタが䟛絊されるず、その撮像画像デヌタを、倖郚メモリ 30に静止画デヌタ 6 1ずしお保存する。
[0048] 撮像静止画生成郚 52は、倖郚メモリ 30に蚘憶される静止画デヌタ 61から、撮像画 像を衚瀺するための衚瀺静止画デヌタ 63, 64を生成する。撮像画像を衚瀺するた めの衚瀺静止画デヌタ 63, 64は、撮像画像の画玠数を間匕くなどしお所定の衚瀺 画玠数ずしたものである。撮像静止画生成郚 52は、生成した撮像画像を衚瀺するた めの衚瀺静止画デヌタ 63, 64を、第䞀 VRAM゚リア 65および第二 VRAM゚リア 6 6に亀互に保存する。
[0049] 矩圢静止画生成郚 53は、倖郚メモリ 30に蚘憶される静止画デヌタ 61から、衚瀺の ための矩圢画像デヌタを生成する。衚瀺のための矩圢画像デヌタは、撮像画像の 䞭の、矩圢切出枠デヌタ 46により指定される範囲の画像を切り出しお生成する静止 画デヌタ 61である。矩圢静止画生成郚 53は、生成した矩圢画像デヌタを、第䞀 VR AM゚リア 65および第二 VRAM゚リア 66に亀互に保存する。
[0050] ストリヌミング生成郚 54は、倖郚メモリ 30から、衚瀺静止画デヌタ 63, 64および音 声デヌタ 62を読み蟌み、これらのコンテンツデヌタを有するストリヌミングデヌタを生 成する。ストリヌミングデヌタずしおは、 MPEG方匏、 div— X(ディビックス方匏など のストリヌミングフォヌマットを採甚すればよい。
[0051] 通信凊理郚 56は、 USBコネクタ 23を甚いたデヌタ通信を制埡する。
[0052] 凊理管理郚 55は、静止画保存凊理郚 51、撮像静止画生成郚 52、矩圢静止画生 成郚 53、ストリヌミング生成郚 54、通信凊理郚 56などの実行を管理する。凊理管理 郚 55は、静止画保存凊理郚 51、撮像静止画生成郚 52、矩圢静止画生成郚 53、ス トリヌミング生成郚 54、通信凊理郚 56などぞ、それらの起動や停止などを指瀺する。
[0053] ビデオ゚ンコヌダ 32は、倖郚メモリ 30から、衚瀺静止画デヌタ 63, 64を読み蟌み 、ビデオ信号を生成する。ビデオ信号には、たずえば NTSC (National TV Stand ards Committee)方匏や PAL (Phase Alternating Line)方匏のものがある。 ビデオ゚ンコヌダ 32は、生成したビデオ信号を、ビデオ出力コネクタ 24ぞ出力する。 ビデオ出力コネクタ 24には、テレビゞョン受信機などが接続可胜である。ビデオ出力 コネクタ 24に接続されるテレビゞョン受信機などにより、ビデオ信号を再生し、その映 像を鑑賞するこずができる。
[0054] 次に、以䞊の構成を有する撮像システムの動䜜を説明する。
[0055] 撮像装眮 1にたずえば USBケヌブル 3から電力が䟛絊されるず、 DPSなどが動䜜し 、撮像装眮 1に、色倉換凊理郚 41、音声保存凊理郚 42、静止画保存凊理郚 51、撮 像静止画生成郚 52、矩圢静止画生成郚 53、ストリヌミング生成郚 54、凊理管理郚 5 5などが実珟される。凊理管理郚 55は、静止画保存凊理郚 51、撮像静止画生成郚 5
2、矩圢静止画生成郚 53、ストリヌミング生成郚 54、凊理管理郚 55などぞそれらの 起動を指瀺する。
[0056] 撮像装眮 1のむメヌゞセンサ 27には、魚県レンズ 22により集光される光による像が 結像する。むメヌゞセンサ 27は、円圢画像の茝床分垃を含む茝床分垃デヌタを生成 する。色倉換凊理郚 41は、図瀺倖の色倉換テヌブルを甚いお、茝床分垃デヌタか ら、図 4に䟋瀺するような、円圢画像を有する撮像画像デヌタを生成する。静止画保 存凊理郚 51は、撮像画像デヌタを、静止画デヌタ 61ずしお倖郚メモリ 30に保存する 。たた、むメヌゞセンサ 27は、呚期的に茝床分垃デヌタを生成する。そのため、倖郚 メモリ 30の静止画デヌタ 61は、所定の呚期毎に、新たな撮像静止画のデヌタぞ曎 新される。
[0057] 図 8は、図 2䞭の凊理管理郚 55による詳现な凊理の流れを瀺すフロヌチャヌトであ る。倖郚メモリ 30に静止画デヌタ 61が蚘憶され始めるず、凊理管理郚 55は、たず、 撮像静止画生成郚 52に境界衚瀺画像の生成を指瀺する (ステップ ST1)。その埌、 凊理管理郚 55は、コマンド埅ち状態になる。図 8では、凊理管理郚 55は、境界倉曎 コマンドず、芖線倉曎コマンドず、矩圢衚瀺コマンドずを埅っおいる (ステップ ST2、 ST
3、 ST4)。
[0058] 境界衚瀺が指瀺されるず、撮像静止画生成郚 52は、曎新された静止画デヌタ 61 から、撮像画像に重ねお境界衚瀺を衚瀺するための衚瀺静止画デヌタ 63, 64を生 成する。具䜓的にはたずえば、撮像静止画生成郚 52は、たず、倖郚メモリ 30から静 止画デヌタ 61を読み蟌むずずもに、 EEPROM43から倖円境界デヌタ 48および矩 圢切出枠デヌタ 46を読み蟌み、静止画デヌタ 61による撮像画像に、倖円境界の䜍 眮およびサむズを瀺す円圢の枠線 71ず、矩圢切出枠の䜍眮およびサむズを瀺す略 扇圢状の枠線 72ずを重ねた画像を生成する。撮像静止画生成郚 52は、たずえば図 5のような撮像静止画を生成する。次に、撮像静止画生成郚 52は、その枠線が重ね られおいる画像の画玠数を衚瀺画玠数に間匕き、所定の衚瀺画玠数の衚瀺静止画 デヌタ 63, 64を生成する。撮像静止画生成郚 52は、生成した衚瀺静止画デヌタ 63 , 64を、第䞀 VRAM゚リア 65あるいは第二 VRAM゚リア 66に保存する。 [0059] 倖郚メモリ 30の第䞀 VRAM゚リア 65あるいは第二 VRAM゚リア 66に、境界などを 衚瀺するための衚瀺静止画デヌタ 63, 64が保存されるず、ストリヌミング生成郚 54は 、第䞀 VRAM゚リア 65および第二 VRAM゚リア 66から、その衚瀺静止画デヌタ 63 , 64を順番に読蟌み、䞔぀、倖郚メモリ 30から音声デヌタ 62を読み蟌み、これらの コンテンツデヌタを有するストリヌミングデヌタを生成する。
[0060] ストリヌミング生成郚 54は、生成したストリヌミングデヌタを通信凊理郚 56ぞ䟛絊す る。撮像装眮 1の通信凊理郚 56は、 USBコネクタ 23、 USBケヌブル 3および PC2の USBコネクタ 11を介しお、 PC2の通信凊理郚 16ヘストリヌミングデヌタを送信する。
[0061] PC2の通信凊理郚 16は、受信したストリヌミングデヌタを再生凊理郚 17ぞ䟛絊す る。 PC2の再生凊理郚 17は、ストリヌミングデヌタから、境界などを衚瀺するための 衚瀺静止画デヌタ 63, 64を抜出し、抜出した衚瀺静止画デヌタ 63, 64を衚瀺デヌ タずしお液晶衚瀺デバむス 12ぞ䟛絊する。液晶衚瀺デバむス 12は、境界などを衚瀺 するための衚瀺静止画デヌタ 63, 64による画像を衚瀺する。 PC2の液晶衚瀺デバ むス 12には、図 5に瀺すような画像、すなわち撮像装眮 1が撮像しおいる画像ず、撮 像装眮 1に蚭定されおいる倖円境界ず、撮像装眮 1に蚭定されおいる矩圢切出枠ず、 が衚瀺される。
[0062] たた、 PC2の再生凊理郚 17は、ストリヌミングデヌタ力も音声デヌタ 62を抜出し、ス ピヌ力 13ぞ䟛絊する。スピヌカ 13は、抜出された音声デヌタ 62に基づく音を出力す る。
[0063] これにより、ナヌザは、撮像画像䞭の倖円境界の䜍眮およびサむズや、矩圢切出枠 の䜍眮およびサむズを把握するこずができる。ナヌザは、たずえば倖円境界の䜍眮や サむズを倉曎したいずき、芖野を倉曎したいずき、矩圢画像を衚瀺したいずき、 PC2の 入力デバむス 14を操䜜する。ナヌザは、たずえば図 5に瀺す矩圢画像から、図 7に瀺 す矩圢画像ぞ衚瀺を切り替える操䜜をする。詳现は埌述する。
[0064] PC2の入力デバむス 14に察しお倖円境界の䜍眮やサむズを倉曎する操䜜がなされ るず、 PC2のコマンド生成郚 18は、入力デバむス 14力も入力される入力デヌタに基 づ 、お、倖円境界の䜍眮やサむズの倉曎デヌタを有する境界倉曎コマンドを生成す る。 PC2の通信凊理郚 16は、境界倉曎コマンドを、 USBケヌブル 3を介しお撮像装 眮 1の通信凊理郚 56ぞ送信する。撮像装眮 1の通信凊理郚 56は、受信した境界倉 曎コマンドを凊理管理郚 55ぞ䟛絊する。
[0065] 境界倉曎コマンドが䟛絊されるず、図 8の凊理においおコマンド埅ちずなっおいた凊 理管理郚 55は、ステップ ST2においお Yesず刀断し、境界倉曎コマンド䞭の、倖円境 界の䜍眮やサむズの倉曎デヌタにより、 EEPROM43に蚘憶される倖円境界デヌタ 48を曎新する (ステップ ST5)。匕き続き、凊理管理郚 55は、曎新した倖円境界デヌ タ 48ず、 EEPROM43に蚘憶される魚県レンズ 22の入射角像高テヌブル 45ずを甚 いお、 EEPROM43に蚘憶されるマップレシオテヌブル 47を曎新するステップ ST6 ) oこれにより、マップレシオテヌブル 47は、倖円境界内に含たれる撮像画像の画玠 数に応じたデヌタぞ曎新される。その埌、凊理管理郚 55は、再びコマンド埅ち状態 になるステップ ST2、 ST3、 ST4) 0
[0066] PC2の入力デバむス 14に察しお芖野の倉曎操䜜がなされるず、 PC2のコマンド生 成郚 18は、入力デバむス 14から入力される入力デヌタに基づいお、操䜜された新た な芖野を埗るための芖線方向たずえば氎平面内の方角および氎平面力 の仰角 を蚈算し、芖線倉曎コマンドを生成する。 PC2の通信凊理郚 16は、芖線倉曎コマン ドを、撮像装眮 1の通信凊理郚 56ぞ送信する。撮像装眮 1の通信凊理郚 56は、受信 した芖線倉曎コマンドを凊理管理郚 55ぞ䟛絊する。
[0067] 芖線倉曎コマンドが䟛絊されるず、図 8の凊理においおコマンド埅ちずなっおいる凊 理管理郚 55は、ステップ ST3においお Yesず刀断し、芖線倉曎コマンド䞭の、芖線方 向の倉曎デヌタにより、 EEPROM43に蚘憶される芖線方向デヌタ 44を曎新する ステップ ST7)。匕き続き、凊理管理郚 55は、曎新した芖線での矩圢切出枠の範囲 を挔算し、 EEPROM43に蚘憶される矩圢切出枠デヌタ 46をその挔算結果で曎新 する (ステップ ST8)。その埌、凊理管理郚 55は、再びコマンド埅ち状態になる (ステ ップ ST2、 ST3、 ST4)。
[0068] 図 9は、図 2䞭の凊理管理郚 55による矩圢切出範囲の決定の仕方を瀺す説明図で ある。図 9の䞊段は、むメヌゞセンサ 27および色倉換凊理郚 41により生成される撮像 画像である。この撮像画像䞭の円は、倖円境界の円圢の枠線 71である。図 9の䞋段 は、むメヌゞセンサ 27の偎面図である。むメヌゞセンサ 27の受光面 34䞊には、倖円 境界ず同じ半埄の半球面が描画されおいる。以䞋、この半球面を仮想芖野球面 91ず よぶ。仮想芖野球面 91の倩頂方向は、魚県レンズ 22の光軞方向ず略䞀臎する。
[0069] そしお、図 9に瀺すように、芖線方向がむメヌゞセンサ 27の受光面 34に察しお角床
Θの方向であるずき、凊理管理郚 55は、矩圢画像の画像面 92を、その芖線ず垂盎で 䞔぀仮想芖野球面 91ず接する面ずしお蚭定する。
[0070] たた、凊理管理郚 55は、この矩圢画像の画像面 92ず仮想芖野球面 91ずの接点が 、泚芖点 93ずなるように、矩圢画像の画像面 92の䜍眮を決定する。具䜓的には、凊 理管理郚 55は、泚芖点 93より䞊偎の矩圢画像の高さ HIず、泚芖点 93より䞋偎の矩 圢画像の高さ H2ずの比が、「H1 :H2) = 90床 0 Z2: 0 Z2」ずなるように、矩圢 画像の䜍眮を決定する。
[0071] 凊理管理郚 55は、以䞊の挔算凊理により決定した䜍眮の矩圢画像の画像面 92の 茪郭を、受光面 34に写像し、矩圢切出枠の茪郭デヌタを生成する。凊理管理郚 55 は、 EEPROM43の矩圢切出枠デヌタ 46を、この矩圢切出枠の茪郭デヌタで曎新 する。図 9䞊段の撮像画像に、䞀点鎖線により矩圢切出枠を図瀺する。これにより、 矩圢切出枠デヌタ 46は、芖線方向に応じたデヌタぞ曎新される。その埌、凊理管理 郚 55は、再びコマンド埅ち状態になるステップ ST2、 ST3、 ST4)。
[0072] なお、このように EEPROM43に蚘憶される倖円境界デヌタ 48や矩圢切出枠デヌ タ 46などが曎新されおいる間およびその曎新埌においおも、撮像静止画生成郚 52 は、倖郚メモリ 30力も静止画デヌタ 61を読み蟌むずずもに、 EEPROM43から倖円 境界デヌタ 48および矩圢切出枠デヌタ 46を読み蟌み、それらに基づく衚瀺静止画 デヌタ 63, 64を生成する。ストリヌミング生成郚 54は、その衚瀺静止画デヌタ 63, 6 4を有するストリヌミングデヌタを生成し、撮像装眮 1の通信凊理郚 56は、ストリヌミン グデヌタを PC2ぞ送信する。したがっお、 PC2の液晶衚瀺デバむス 12には、曎新さ れた倖円境界デヌタ 48や矩圢切出枠デヌタ 46の䜍眮およびサむズが、撮像画像に 重ねお衚瀺される。
[0073] PC2の入力デバむス 14に察しお矩圢画像の衚瀺操䜜がなされるず、 PC2のコマン ド生成郚 18は、入力デバむス 14から入力される入力デヌタに基づいお、矩圢画像の 衚瀺を指瀺する矩圢衚瀺コマンドを生成する。 PC2の通信凊理郚 16は、矩圢衚瀺コ マンドを、 USBケヌブル 3を介しお撮像装眮 1の通信凊理郚 56ぞ送信する。撮像装 眮 1の通信凊理郚 56は、受信した矩圢衚瀺コマンドを凊理管理郚 55ぞ䟛絊する。
[0074] 矩圢衚瀺コマンドが䟛絊されるず、図 8の凊理においおコマンド埅ちずなっおいた凊 理管理郚 55は、ステップ ST4においお Yesず刀断し、矩圢衚瀺凊理を開始する (ステ ップ ST9)。具䜓的には、凊理管理郚 55は、矩圢静止画生成郚 53ぞ矩圢画像の生 成を指瀺する。たた、凊理管理郚 55は、撮像静止画生成郚 52に、画像の生成䞭断 を指瀺する。その埌、凊理管理郚 55は、再びコマンド埅ち状態になる (ステップ ST2 、 ST3、 ST4)。矩圢画像の生成が指瀺された矩圢静止画生成郚 53は、倖郚メモリ 3 0から静止画デヌタ 61を読み蟌み、矩圢静止画デヌタの生成凊理を開始する。
[0075] 図 10は、図 2䞭の矩圢静止画生成郚 53による矩圢静止画デヌタの生成凊理の流 れを瀺すフロヌチャヌトである。矩圢静止画生成郚 53は、たず、生成する矩圢静止 画の巊䞊の衚瀺画玠を特定する (ステップ ST11)。 1぀の衚瀺画玠を特定した埌、 矩圢静止画生成郚 53は、たず、生成する矩圢静止画の泚芖点 93が図 9䞭の仮想芖 野球面 91ず所定の䜍眮関係で接するものず仮定した䞊で、特定衚瀺画玠 96の仮想 芖野空間䞭の䜍眮を挔算する (ステップ ST12)。
[0076] 図 11は、矩圢静止画の泚芖点 93を、図 9䞭の仮想芖野球面 91の X軞䞊においお 接するように察応付けた状態を瀺す説明図である。以䞋の説明においお、 X軞、 Y軞 および Z軞は、この図 11を基準ずしお説明する。矩圢静止画の泚芖点 93が X軞䞊に あるず仮定するずき、矩圢静止画䞭の特定衚瀺画玠 (VX, VY) 96の座暙は、図 11 の仮想芖野空間においお (R, VX-VCX, — (VY— VCY) )ずなる。図 11の仮想芖 野空間の原点は、仮想芖野球面 91の䞭心である。たた、 Rは、仮想芖野空間の半埄 、すなわち倖円境界の半埄である。 (VCX, VCY)は、矩圢静止画䞭での泚芖点 93 の座暙である。図 11の仮想芖野空間においお、矩圢静止画䞭での泚芖点 93の座 暙は、 (R, 0, 0)ずなる。
[0077] なお、図 11においお、仮定䞊の特定衚瀺画玠VX, VY) 96の仰角 Θ hは、芖線 方向デヌタ 44の仰角であり、仮定䞊の特定衚瀺画玠VX, VY) 96の氎平面内の方 角 Θ sは、芖線方向デヌタ 44の方角である。
[0078] たた、図 11においお、矩圢静止画は、倍率 1 (Zoom= l)の堎合のものである。倍 率が 1以倖の堎合、図 11においお、矩圢静止画は、その倍率で拡瞮される。この堎 合、仮定䞊の特定衚瀺画玠 (VX, VY) 96の座暙は、図 11の仮想芖野空間におい お  (VX-VCX) X Zoom, - (VY— VCY) ) X Zoom)ずなる。この匏においお、 「Zoom」は、倍率である。
[0079] 図 11の仮定䞊の特定衚瀺画玠 96の仮想芖野空間䞭の䜍眮を挔算した埌、矩圢 静止画生成郚 53は、䞋蚘匏 1により、仮定䞊の特定衚瀺画玠 96を仮想芖野球面 91 ぞ投圱するためのマッピング係数 irを挔算するステップ ST13)。䞋蚘匏 1にお 、お 、 (xl , yl)は、特定衚瀺画玠 96の、矩圢静止画での泚芖点 93からの距離であり、 ( VX-VCX, VY— VCY)である。
[0080] ir = R÷ (R2+xl2+yl2) 1/2  匏 1
[0081] 図 12は、図 2䞭の矩圢静止画生成郚 53によるマッピング係数 irの挔算の仕方の説 明図である。矩圢静止画は、図 11の X軞䞊の泚芖点 93においお、半埄 Rの仮想芖 野球面 91に接する。図 12に瀺すように、矩圢静止画生成郚 53は、特定衚瀺画玠 9 6ず原点ずを結ぶ線分 L1の長さを求め、その長さ L1で仮想芖野球面 91の半埄 Rを 割るこずで、マッピング係数 irを求める。特定衚瀺画玠 96の座暙にマッピング係数 ir を乗算するず、䞊蚘線分ず仮想芖野球面 91ずの亀点 101の座暙が埗られる。
[0082] マッピング係数 irを挔算した埌、矩圢静止画生成郚 53は、矩圢静止画を、本来の 泚芖点EEPROM43に蚘憶される芖線方向デヌタ 44での泚芖点、すなわち図 9で の泚芖点 93)の仰角により回転したずきの特定衚瀺画玠 96の座暙を挔算する (ステツ プ ST14)。
[0083] 図 13は、図 2䞭の矩圢静止画生成郚 53による、特定衚瀺画玠 111を泚芖点 93の 仰角で回転させる挔算凊理の説明図である。図 13䞭の特定衚瀺画玠 111は、泚芖 点 93の仰角 Θ hにより回転されるず、座暙 112ぞ移動する。 mm(R, x2, y2)の特定 衚瀺画玠 11 1は、座暙R X cos 0 h+y2 X sin Θ h, χ2, R X sin Ξ h-y2 X cos Ξ h )の特定衚瀺画玠 112ずなる。なお、図瀺および説明の䟿宜䞊、図 13䞭の特定衚瀺 画玠 11 1の䜍眮は、図 9の特定衚瀺画玠 96の䜍眮ずは異なっおいる。そのため、図 1 3の説明では特定衚瀺画玠の笊号を替えお 、る。
[0084] 矩圢静止画を本来の泚芖点 93の仰角により回転したずきの特定衚瀺画玠 96の座 暙を挔算した埌、矩圢静止画生成郚 53は、䞋蚘匏 2により、その特定衚瀺画玠 96の 投圱倍率 mrを挔算するステップ ST15)。 MR[y2 X ir]は、「y2 X irjによりマップレ シォテヌブル 47を参照した堎合に埗られる補正デヌタである。
[0085] mr = ir X MR[y2 X ir] · · ·匏 2
[0086] 特定衚瀺画玠 96の投圱倍率 mrを挔算するこずで、特定衚瀺画玠 96に察応する X
Y面 (氎平面)䞊の投圱座暙を挔算するための前準備、すなわち受光面 34ぞの投 圱座暙を挔算するための前準備が終わる。矩圢静止画生成郚 53は、特定衚瀺画玠 96の X— Y面 (氎平面)ぞの投圱座暙を実際に挔算する。具䜓的には、矩圢静止画 生成郚 53は、たず、本来の泚芖点 93の仰角 Θ hのみを考慮しお、特定衚瀺画玠 96 の X—Y面 (氎平面の投圱座暙 (x3, y3, z3)を䞋蚘匏 3により挔算する (ステップ S T16)。
[0087] (x3, y3, z3) = (mr X x2, mr X xl, 0)  匏 3
[0088] 次に、矩圢静止画生成郚 53は、匏 3により挔算した座暙を、䞋蚘匏 4により泚芖点 93の氎平面内の方角 Θ sで回転し、特定衚瀺画玠 96の X— Y面 (氎平面)ぞの投圱 座暙、すなわち受光面 34ぞの投圱座暙 (x4, y4, z4)を挔算する (ステップ ST17)。 䞋蚘匏 4においお、IOX, IOY)は、図 9に瀺すように、撮像静止画の巊䞊角を原点 ずしたずきの、画像䞭心の座暙である。
[0089] (x4, y4, z4) = (IOX+X3 X COS Θ s+y3sin 0 s, IOY+x3 X cos Θ s— y3sin
0 s, 0)  匏 4
[0090] 特定衚瀺画玠 96の受光面 34ぞの投圱座暙 (x4, y4, z4)を挔算するず、矩圢静止 画生成郚 53は、その投圱座暙にある元画像 (撮像画像䞭の画玠を特定し、その特 定した画玠の画玠倀を取埗する。矩圢静止画生成郚 53は、取埗した画玠倀を、特 定衚瀺画玠 96の画玠倀ずしお、矩圢静止画のデヌタに取り蟌み、倖郚メモリ 30に保 存するステップ ST18)。
[0091] 以䞊のように矩圢静止画生成郚 53は、特定した衚瀺画玠 96の受光面 34ぞの投圱 座暙を挔算し、その投圱座暙に察応する円圢画像䞭の画玠の画玠倀を取埗し、そ の取埗した画玠倀を特定衚瀺画玠の画玠倀ずしお倖郚メモリ 30に保存する。 1぀の 衚瀺画玠に察する凊理を終えるず、矩圢静止画生成郚 53は、生成する矩圢静止画 䞭の耇数の衚瀺画玠の䞭に、画玠倀を決定しお 、な 、衚瀺画玠が残っお 、るか吊 かを刀断し、画玠倀を決定しおいない衚瀺画玠が無くなるたで、以䞊の衚瀺画玠の 画玠倀の決定凊理を繰り返す。
[0092] 具䜓的にはたずえば、矩圢静止画生成郚 53は、たず、生成する矩圢静止画の䞀列 分の衚瀺画玠に぀いお画玠倀の決定が終了したか吊かを刀断する (ステップ ST19) 。そしお、䞀列分が終了しおない堎合 (ステップ ST19で Noの堎合、矩圢静止画生 成郚 53は、同じ列の次の行の衚瀺画玠を特定し (ステップ ST20)、その特定衚瀺画 玠の画玠倀を決定するステップ3䞁12〜3䞁18)。
[0093] 䞀列分の衚瀺画玠に぀ 、おの画玠倀の決定が終了しお!/、る堎合 (ステップ ST19 で Yesの堎合、矩圢静止画生成郚 53は、さらに生成する矩圢静止画のすべおの列 に぀いお画玠倀の決定が終了した力吊かを刀断するステップ ST21)。そしお、すべ おの列に぀いお終了しおない堎合 (ステップ ST21で Noの堎合、矩圢静止画生成 郚 53は、次の列の䞊端 (最も䞊の行)の衚瀺画玠を特定し (ステップ ST22)、その特 定衚瀺画玠の画玠倀を決定する(ステップ3䞁12〜3䞁18)。
[0094] 生成する矩圢静止画のすべおの列にっ 、お画玠倀の決定が終了した堎合 (ステツ プ ST21で Yesの堎合、矩圢静止画生成郚 53は、図 10の矩圢静止画デヌタの生 成凊理を終了する。これにより、倖郚メモリ 30の第䞀 VRAM゚リア 65あるいは第二 V RAM゚リア 66には、静止画デヌタ 61に基づぐ矩圢静止画のデヌタが保存される。
[0095] 倖郚メモリ 30の第䞀 VRAM゚リア 65あるいは第二 VRAM゚リア 66に矩圢静止画 のデヌタが保存されるず、ストリヌミング生成郚 54は、第䞀 VRAM゚リア 65および第 二 VRAM゚リア 66から、その矩圢静止画のデヌタを順番に読蟌み、䞔぀、倖郚メモ リ 30から音声デヌタ 62を読み蟌み、これらのコンテンツデヌタを有するストリヌミング デヌタを生成する。
[0096] ストリヌミング生成郚 54は、生成したストリヌミングデヌタを通信凊理郚 56ぞ䟛絊す る。撮像装眮 1の通信凊理郚 56は、 USBコネクタ 23、 USBケヌブル 3および PC2の USBコネクタ 11を介しお、 PC2の通信凊理郚 16ヘストリヌミングデヌタを送信する。
[0097] PC2の通信凊理郚 16は、受信したストリヌミングデヌタを再生凊理郚 17ぞ䟛絊す る。 PC2の再生凊理郚 17は、ストリヌミングデヌタから、矩圢静止画デヌタを抜出し お埩号し、液晶衚瀺デバむス 12ぞ䟛絊する。液晶衚瀺デバむス 12は、矩圢静止画を 衚瀺する。液晶衚瀺デバむス 12には、たずえば図 7に瀺すような矩圢静止画が衚瀺さ れる。たた、 PC2の再生凊理郚 17は、ストリヌミングデヌタ力も音声デヌタ 62を抜出 し、スピヌカ 13ぞ䟛絊する。スピヌカ 13は、抜出された音声デヌタ 62に基づく音を 出力する。
[0098] なお、䞊述したように撮像装眮 1のむメヌゞセンサ 27は、呚期毎に茝床分垃デヌタ を生成する。色倉換凊理郚 41は、茝床分垃デヌタから撮像画像デヌタを生成する。 静止画保存凊理郚 51は、倖郚メモリ 30の静止画デヌタ 61をこの呚期毎に生成され る撮像画像デヌタで曎新する。矩圢静止画生成郚 53は、倖郚メモリ 30から静止画 デヌタ 61を読蟌み、読み蟌んだ静止画デヌタ 61に基づく矩圢静止画のデヌタを、 第䞀 VRAM゚リア 65および第二 VRAM゚リア 66に亀互に曞蟌む。ストリヌミング生 成郚 54は、この第䞀 VRAM゚リア 65あるいは第二 VRAM゚リア 66に曞蟌たれた矩 圢静止画のデヌタを読み蟌んで、ストリヌミングデヌタを生成する。
[0099] したがっお、ストリヌミング生成郚 54力 第䞀 VRAM゚リア 65および第二 VRAMェ リア 66の䞭の䞀方の VRAM゚リアから、矩圢静止画のデヌタを読み蟌む間に、矩圢 静止画生成郚 53は他方の VRAM゚リアに矩圢静止画を曞蟌むこずができる。ストリ 䞀ミング生成郚 54は、むメヌゞセンサ 27が呚期毎に生成する茝床分垃デヌタに基 づく矩圢静止画を、画像抜け (フレヌム抜けを生じるこずなくストリヌミングデヌタに 割り付けるこずができる。これにより、 PC2の液晶衚瀺デバむス 12には、むメヌゞセン サ 27により呚期的に生成される茝床分垃デヌタに基づく矩圢静止画による動画が衚 瀺される。
[0100] 以䞊のように、この実斜の圢態によれば、凊理管理郚 55は、芖線方向デヌタ 44の 仰角 Θに応じお矩圢静止画の切出し範囲および矩圢切出枠デヌタ 46を曎新する。 特に、泚芖点より䞊偎の矩圢画像の高さ HIず、泚芖点より䞋偎の矩圢画像の高さ H 2ずの比が「90床 0 Z2: 0 Z2」ずなるように矩圢静止画の切出し範囲を曎新する 。凊理管理郚 55は、芖線方向デヌタ 44の仰角 Θが 90床ずなるずき矩圢画像の䞭心 付近ずなり、芖線方向デヌタ 44の仰角 Θ力^床ずなるずき矩圢画像の䞋端瞁ずなるよ うに泚芖点を決定する。たた、矩圢静止画生成郚 53は、その泚芖点で仮想芖野球面 91ず接する矩圢画像を生成する。
[0101] したがっお、この構成を採甚すれば、芖線方向デヌタ 44 (画像の泚芖点の仰角が たずえば 90床などの倧きな仰角であるずき、画像の泚芖点は矩圢画像の䞭心付近ず なる。矩圢画像の閲芧者は、矩圢画像を自然な芖野目線)で芋たものず感じるこずが できる。
[0102] たた、芖線方向デヌタ 44 (画像の泚芖点の仰角力^床ずなるずき、画像の泚芖点 は矩圢画像の䞋端瞁ずなる。矩圢静止画生成郚 53は、画像の泚芖点 (芖線)の仰角 が最も䞋がった 0床にあるずきの矩圢画像を、円圢画像に基づいお生成するこずがで きる。画像の泚芖点 (芖線)の仰角が 0床ずなっおいるので、この矩圢画像の閲芧者 は、被写䜓や背景が手前に傟 ボお 、るかのように芋えおしたうこずはな 、。
[0103] その結果、この実斜の圢態によれば、芖線方向デヌタ 44 (画像の泚芖点の仰角 が倧き 、堎合であっおも、あるいは小さ 、堎合であっおも違和感を生じるこずがな ボ 矩圢画像を生成するこずができる。たた、 PC2は、画像の泚芖点の仰角が倧きい堎合 であっおも、あるいは小さ!/、堎合であっおも違和感を生じるこずがな 、矩圢画像を衚 瀺するこずができる。
[0104] たた、この実斜の圢態では、図 9に瀺すように、凊理管理郚 55は、泚芖点より䞊偎 の矩圢画像の高さ HIず、泚芖点より䞋偎の矩圢画像の高さ H2ずの比力 Γ (Η1 :Η2 ) 90床 0 Ζ2: 0 Ζ2」ずなるように、矩圢画像の䜍眮を決定する。画像の泚芖点の 、矩圢画像䞭のその䞋端瞁からの高さ䜍眮は、矩圢画像の䞋瞁から䞊瞁たでを、画 像の泚芖点の仰角 Θの半分ず、 90床力 その仰角 Θの半分を枛算した倀ずの比によ り分割する䜍眮ずなる。
[0105] したがっお、画像の泚芖点の、矩圢画像䞭の高さ䜍眮 Η2は、仰角の倧小に応じお 倉化する。し力も、仰角が 0床力も 90たで倉化するずき、泚芖点の矩圢画像䞭の高さ 䜍眮 Η2が急激に倉化するこずはない。画像の泚芖点の高さ䜍眮 Η2を、その仰角に 応じお倉化させお 、るこずを、画像の閲芧者に意識させな 、ようにするこずができる。
[0106] たた、この実斜の圢態では、矩圢静止画生成郚 53は、矩圢画像の各衚瀺画玠の 撮像画像の受光面 34ぞの投圱座暙 (x4, y4, z4)を挔算し、挔算した座暙 (x4, y4 , ζ4)にある撮像画像の画玠の画玠倀を、各衚瀺画玠の画玠倀ずしお取埗する。別 な蚀い方をすれば、矩圢静止画生成郚 53は、空間の受光面 34ぞの投圱関係に基 づく写像関係に基づいお矩圢画像䞭の各衚瀺画像の受光面 34ぞの写像座暙を挔 算し、挔算した座暙 (x4, y4, z4)にある撮像画像の画玠の画玠倀を、各衚瀺画玠の 画玠倀ずしお取埗する。したがっお、撮像画像䞭の円圢画像の画玠の画玠倀をその たた甚いた矩圢画像を生成するこずができる。各衚瀺画玠の画玠倀そのものを挔算 により求める必芁がない。挔算により各衚瀺画玠の画玠倀を埗る堎合のように、挔算 による画質劣化が発生するこずはなぐし力も、画像の生成時間を短瞮するこずができ る。たた、 1぀の矩圢画像を生成する時間が短くお枈むので、この矩圢画像の生成凊 理を連続的に繰り返すこずで、連続的な動きのある動画を埗るこずができる。 1秒間に 10フレヌム以䞊ずなる矩圢静止画を生成するこずができる。滑らかな動きの動画ずす るこずがでさる。
[0107] たた、この実斜の圢態では、立䜓射圱方匏の魚県レンズ 22を䜿甚しおいる。立䜓 射圱方匏の魚県レンズ 22による撮像画像では、倖円境界の䜍眮やサむズが倉曎さ れるず、その倖円境界の内偎の範囲の、耇数の画玠による分割割合が倉化する。し 力しながら、凊理管理郚 55は、倖円境界デヌタ 48を曎新するず、その曎新埌の倖円 境界デヌタ 48の䜍眮あるいはサむズず入射角像高テヌブル 45ずを甚いおマップレシ ォテヌブル 47を曎新する。したがっお、マップレシオテヌブル 47を倖円境界デヌタ 48ず適合するものに維持するこずができる。矩圢静止画生成郚 53は、このマップレシ ォテヌブル 47甚いお、各衚瀺画玠の投圱座暙を挔算するこずができる。
[0108] 以䞊の実斜の圢態は、本発明の奜適な実斜の圢態の䟋であるが、本発明は、これ に限定されるものではなぐ発明の芁旚を逞脱しない範囲においお皮々の倉圢や倉 曎が可胜である。
[0109] たずえば䞊蚘実斜の圢態では、立䜓射圱方匏の魚県レンズ 22を䜿甚しおいる。こ の他にもたずえば、等距離射圱方匏の魚県レンズ、等立䜓射圱方匏の魚県レンズ、 正射圱方匏の魚県レンズなどを䜿甚しおもよい。
[0110] 䞊蚘実斜の圢態では、凊理管理郚 55は、泚芖点より䞊偎の矩圢画像の高さ HIず 、泚芖点より䞋偎の矩圢画像の高さ H2ずの比が、「H1 :H2) 90床 Θ /2 : Θ /2\ ずなるように、矩圢画像の泚芖点の䜍眮を決定しおいる。この他にもたずえば、凊理管 理郹 55は、仰角 Θの範囲毎に予め定められた耇数の矩圢画像の泚芖点の䜍眮の 䞭から、仰角 Θにより遞択するようにしおもよい。たた、仰角 Θがたずえば 40床から 90 床たでの範囲では、矩圢画像の泚芖点の䜍眮をたずえば画像の䞭心䜍眮に固定す るようにしおちょい。
[0111] 䞊蚘実斜の圢態では、凊理管理郚 55は、倖円境界デヌタ 48を曎新する床に、マ ップレシオテヌブル 47を曎新しおいる。この他にもたずえば、 EEPROM43は、倖円 境界の蚭定可胜範囲を耇数の区間に分け、その区間毎に予め定められた耇数のマ ップレシオテヌブルを蚘憶し、凊理管理郚 55は、曎新する倖円境界デヌタ 48に応じ おその䞭の 1぀を遞択するようにしおもよい。
[0112] 䞊蚘実斜の圢態では、矩圢静止画生成郚 53は、 1぀の静止画デヌタ 61から 1぀の 矩圢静止画を生成しおいる。この他にもたずえば、矩圢静止画生成郚 53は、 1぀の 静止画デヌタ 61から 2぀以䞊の耇数の矩圢静止画を生成するようにしおもよい。
[0113] 䞊蚘実斜の圢態では、 PC2は、ストリヌミングデヌタ力 抜出した矩圢静止画による 動画を液晶衚瀺デバむス 12に衚瀺する。この他にもたずえば、 PC2は、ストリヌミング デヌタ力 抜出した矩圢静止画による動画を図瀺倖の蚘憶デバむスなどに保存し、 その蚘憶デバむスなどに保存されおいる矩圢静止画による動画を液晶衚瀺デバむス 12に衚瀺するようにしおもよ!、。
[0114] 䞊蚘実斜の圢態では、撮像装眮 1には、 USBケヌブル 3により PC2が接続されお いる。この他にもたずえば、撮像装眮 1には、 USBケヌブル 3などによりたずえばコマ ンドを出力する入力ボヌドなどが接続されお 、おもよ 、。
産業䞊の利甚可胜性
[0115] 本発明は、䌚議の様子などを矩圢画像ずしお撮像する撮像装眮および撮像システ ムなどずしお、広く利甚するこずができる。

Claims

請求の範囲
[1] 魚県レンズず、
受光面に䞊蚘魚県レンズによる円圢の像が結像し、円圢画像を有する撮像画像の デヌタを生成する撮像手段ず、
生成する矩圢画像の泚芖点の仰角に応じお、矩圢画像䞭の泚芖点の䜍眮を、泚 芖点の仰角が 90床ずなるずき矩圢画像の䞭心付近ずなり、画像の泚芖点の仰角が 0 床ずなるずき矩圢画像の䞋端瞁ずなるように決定する泚芖点䜍眮決定手段ず、 䞊蚘泚芖点䜍眮決定手段により決定された䞊蚘矩圢画像䞭の泚芖点の䜍眮を基 準ずしお、䞊蚘撮像手段が生成する䞊蚘撮像画像ぞ䞊蚘矩圢画像を投圱したずきの 察応関係に基づいお、䞊蚘撮像画像䞭の円圢画像の䞀郚を切り出しおなる矩圢画 像を生成する矩圢画像生成手段ず、
を有するこずを特城ずする撮像装眮。
[2] 前蚘泚芖点䜍眮決定手段は、前蚘画像の泚芖点の、前蚘矩圢画像䞭のその䞋端 瞁からの高さ䜍眮を、前蚘矩圢画像の䞋瞁から䞊瞁たでを、前蚘画像の泚芖点の仰 角の半分ず、 90床力もその仰角の半分を枛算した倀ずの比により分割する䜍眮ずする こずを特城ずする請求項 1蚘茉の撮像装眮。
[3] 前蚘矩圢画像生成手段は、前蚘矩圢画像の各衚瀺画玠の前蚘撮像画像の受光 面ぞの投圱座暙を挔算し、挔算した各座暙にある撮像画像の画玠の画玠倀を、各 衚瀺画玠の画玠倀ずしお取埗するこずを特城ずする請求項 1蚘茉の撮像装眮。
[4] 前蚘魚県レンズは、立䜓射圱方匏のものであり、
前蚘立䜓射圱方匏の魚県レンズの入射角ず像高ずの関係を瀺す入射角像高テヌ ブル、および前蚘撮像画像䞭の矩圢画像の生成に利甚する範囲を瀺す倖円境界デ ヌタを蚘憶するメモリず、
䞊蚘メモリに蚘憶される倖円境界デヌタの䜍眮あるいはサむズを曎新した埌に、䞊 蚘メモリに、その曎新埌の倖円境界デヌタの䜍眮あるいはサむズず䞊蚘入射角像高 テヌブルずに基づ!/ボお、前蚘矩圢画像生成手段が各衚瀺画玠の投圱座暙を挔算す る際に䜿甚する投圱補正テヌブルを蚘憶させるナヌザ曎新手段ず、
を有するこずを特城ずする請求項 3蚘茉の撮像装眮。 撮像装眮ず、䞊蚘撮像装眮が生成する矩圢画像を衚瀺ある!ボは保存するコンビュ ヌタ装眮ず、を有する撮像システムであっお、
䞊蚘撮像装眮は、
魚県レンズず、
受光面に䞊蚘魚県レンズによる円圢の像が結像し、円圢画像を有する撮像画像の デヌタを生成する撮像手段ず、
生成する矩圢画像の泚芖点の仰角に応じお、矩圢画像䞭の泚芖点の䜍眮を、泚 芖点の仰角が 90床ずなるずき矩圢画像の䞭心付近ずなり、画像の泚芖点の仰角が 0 床ずなるずき矩圢画像の䞋端瞁ずなるように決定する泚芖点䜍眮決定手段ず、 䞊蚘泚芖点䜍眮決定手段により決定された䞊蚘矩圢画像䞭の泚芖点の䜍眮を基 準ずしお、䞊蚘撮像手段が生成する䞊蚘撮像画像ぞ䞊蚘矩圢画像を投圱したずきの 察応関係に基づいお、䞊蚘撮像画像䞭の円圢画像の䞀郚を切り出しおなる矩圢画 像を生成する矩圢画像生成手段ず、
を有するこずを特城ずする撮像システム。
PCT/JP2007/060192 2006-07-28 2007-05-18 Dispositif de prise d'image et systÚme de prise d'image WO2008012983A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006205809A JP2008033607A (ja) 2006-07-28 2006-07-28 撮像装眮および撮像システム
JP2006-205809 2006-07-28

Publications (1)

Publication Number Publication Date
WO2008012983A1 true WO2008012983A1 (fr) 2008-01-31

Family

ID=38981298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/060192 WO2008012983A1 (fr) 2006-07-28 2007-05-18 Dispositif de prise d'image et systÚme de prise d'image

Country Status (2)

Country Link
JP (1) JP2008033607A (ja)
WO (1) WO2008012983A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5613041B2 (ja) 2010-12-24 2014-10-22 パナ゜ニック株匏䌚瀟 カメラ装眮、画像凊理システムおよび画像凊理方法
KR101694689B1 (ko) * 2011-03-25 2017-01-12 삌성전자죌식회사 동영상 데읎터 생성 방법 및 읎륌 적용한 영상 쎬영 장치
DE112013001869T5 (de) 2012-04-02 2014-12-24 Panasonic Corporation Bilderzeugungsvorrichtung, Kameravorrichtung, Bilddarstellungsvorrichtung und Bilderzeugungsverfahren
JP6543108B2 (ja) * 2015-06-29 2019-07-10 キダノン株匏䌚瀟 情報凊理装眮およびその制埡方法、䞊びにプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011166A (ja) * 1998-06-24 2000-01-14 Sony Corp 画像凊理装眮および方法、䞊びに提䟛媒䜓
JP2000132673A (ja) * 1998-10-28 2000-05-12 Sharp Corp 画像システム
JP2002140703A (ja) * 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 呚蟺状況衚瀺装眮
JP2005286820A (ja) * 2004-03-30 2005-10-13 Vistapoint Technology Inc 監芖システム
JP2006050185A (ja) * 2004-08-04 2006-02-16 Opt Kk 撮圱装眮

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011166A (ja) * 1998-06-24 2000-01-14 Sony Corp 画像凊理装眮および方法、䞊びに提䟛媒䜓
JP2000132673A (ja) * 1998-10-28 2000-05-12 Sharp Corp 画像システム
JP2002140703A (ja) * 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 呚蟺状況衚瀺装眮
JP2005286820A (ja) * 2004-03-30 2005-10-13 Vistapoint Technology Inc 監芖システム
JP2006050185A (ja) * 2004-08-04 2006-02-16 Opt Kk 撮圱装眮

Also Published As

Publication number Publication date
JP2008033607A (ja) 2008-02-14

Similar Documents

Publication Publication Date Title
JP6044328B2 (ja) 画像凊理システム、画像凊理方法およびプログラム
US7999843B2 (en) Image processor, image processing method, recording medium, computer program, and semiconductor device
JP5743016B2 (ja) 画像を生成する装眮および方法
KR20210130773A (ko) 읎믞지 처늬 방법 및 뚞늬 장착형 디슀플레읎 디바읎슀
JP2016062486A (ja) 画像生成装眮および画像生成方法
WO2019082794A1 (ja) 画像生成装眮、画像生成システム、画像生成方法、およびプログラム
WO2008010345A1 (fr) SystÚme de photographie d'image panoramique et procédé de photographie d'image panoramique
WO2015122052A1 (ja) 画像送信装眮、情報凊理端末、画像送信方法、情報凊理方法、プログラム及び情報蚘憶媒䜓
JP4875887B2 (ja) 画像合成システム及び画像合成方法
WO2008012983A1 (fr) Dispositif de prise d'image et systÚme de prise d'image
JP5598790B2 (ja) 映像衚瀺システム
JP4689548B2 (ja) 画像凊理装眮、画像凊理方法、蚘録媒䜓、コンピュヌタプログラム、半導䜓デバむス
JP7424076B2 (ja) 画像凊理装眮、画像凊理システム、撮像装眮、画像凊理方法およびプログラム
US20220230275A1 (en) Imaging system, image processing apparatus, imaging device, and recording medium
JP6394682B2 (ja) 方法および画像凊理装眮
JP6992829B2 (ja) 画像凊理システム、画像凊理方法およびプログラム
JP6965398B1 (ja) 遠隔制埡システム、遠隔䜜業装眮、映像凊理装眮およびプログラム
JP7187307B2 (ja) 電子機噚及びその制埡方法
JP7302647B2 (ja) 画像凊理システム、画像凊理方法およびプログラム
JP6705477B2 (ja) 画像凊理システム、画像凊理方法およびプログラム
JP7278773B2 (ja) 電子機噚及びその制埡方法
JP4767331B2 (ja) 画像凊理装眮、画像凊理方法、蚘録媒䜓、コンピュヌタプログラム、半導䜓デバむス
JP2023139983A (ja) 撮圱装眮、撮圱方法、及びプログラム
TW202134947A (zh) 根據臉郚特埵蚭定裝眮顯瀺方匏的方法與其電子裝眮

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07743627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 07743627

Country of ref document: EP

Kind code of ref document: A1