WO2006101112A1 - 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 - Google Patents

撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 Download PDF

Info

Publication number
WO2006101112A1
WO2006101112A1 PCT/JP2006/305675 JP2006305675W WO2006101112A1 WO 2006101112 A1 WO2006101112 A1 WO 2006101112A1 JP 2006305675 W JP2006305675 W JP 2006305675W WO 2006101112 A1 WO2006101112 A1 WO 2006101112A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parameter
reproduction parameter
playback
reproduction
Prior art date
Application number
PCT/JP2006/305675
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN2006800090425A priority Critical patent/CN101147391B/zh
Priority to EP06729642A priority patent/EP1865712A4/en
Priority to US11/909,587 priority patent/US8159572B2/en
Priority to KR1020077020886A priority patent/KR101249322B1/ko
Publication of WO2006101112A1 publication Critical patent/WO2006101112A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • Imaging apparatus information processing apparatus, information processing method, program, and program recording medium
  • the present invention relates to a photographing device, an information processing device, an information processing method, a program, and a program recording medium, and in particular, a photographing device, an information processing device, and an information processing device capable of providing an optimal image for a user.
  • the present invention relates to an information processing method, a program, and a program recording medium.
  • an image (image data) obtained by imaging is encoded by, for example, a DV (Digital Video) system or an MPEG (Moving Picture Experts Group) system, It is recorded on a recording medium such as a disc.
  • DV Digital Video
  • MPEG Motion Picture Experts Group
  • a video camera is generally provided with a zoom function.
  • the zoom function it is possible to change the angle of view of the image obtained by imaging (the angle of view of the range shown in the image) (magnification). That is, for example, if the user zooms in and captures an image, a close-up (enlarged) image of a narrow angle of view can be obtained, and if the user performs a zoom-out operation and captures a wide range of images. A wide-angle image can be obtained.
  • Patent Document 1 JP 2004-282296 A
  • the user confirms the image displayed on the finder or the like of the video camera, Shoot the desired subject. Therefore, other scenes that occur while shooting a certain subject, that is, scenes in a range other than the range shown in the image displayed on the finder etc. All incidents that happened in the range) have been missed.
  • the present invention has been made in view of such a situation, and is intended to provide an optimal image for a user.
  • the imaging device of the present invention includes a first imaging unit that outputs a first image, and an entire range that is a higher-angle and higher-resolution image than the first image and is reflected in the first image.
  • the first information processing method of the present invention is a second image that is a higher-angle and higher-resolution image than the first image, and an image that includes at least the entire range shown in the first image.
  • an output control step for outputting is a second image that is a higher-angle and higher-resolution image than the first image, and an image that includes at least the entire range shown in the first image.
  • the first program of the present invention is a second image that is an image having a wider angle and higher resolution than the first image, and an image in which at least the entire range shown in the first image is shown.
  • the program recorded on the first program recording medium of the present invention is an image having a wider angle and higher resolution than the first image, and at least the entire range shown in the first image is reflected.
  • the information processing apparatus of the present invention is a second image that is an image having a wider angle and higher resolution than the first image, and an image in which at least the entire range shown in the first image is shown.
  • the second image and the reproduction parameter are recorded from the data recording medium on which the reproduction parameter including at least information indicating the area in which the range shown in the first image is reflected is recorded.
  • the extraction means for extracting at least a part of the image from the second image and outputting it as an extracted image, and a new one in accordance with the user's operation.
  • a reproduction parameter generation means for generating a reproduction parameter and a recording control means for recording a new reproduction parameter are provided, and the extraction means is based on the new reproduction parameter when a new reproduction parameter is generated. It is characterized by extracting the extracted image.
  • the second information processing method of the present invention is a second image which is a higher-angle and higher-resolution image than the first image, and an image in which at least the entire range shown in the first image is shown. And the second image and the reproduction parameter from the data recording medium recorded with the reproduction parameter including at least information indicating the area in which the range shown in the first image is reflected in the second image.
  • the extraction step of extracting at least a part of the image from the second image based on the playback parameters, and outputting the extracted image as an extracted image. It includes a playback parameter generation step for generating new playback parameters and a recording control step for recording new playback parameters. In the extraction step, when a new playback parameter is generated, The extracted image is extracted based on the new reproduction parameter.
  • the second program of the present invention is a second image that is an image having a wider angle and higher resolution than the first image, and at least the entire range shown in the first image.
  • the second image is reproduced from the data recording medium in which the second image is recorded with a reproduction parameter including at least information indicating the region reflected in the first image and reflected in the first image.
  • the playback parameter generation step for generating a new playback parameter and the recording control step for recording the new playback parameter are performed. Based on this, the extracted image is extracted.
  • the program recorded on the second program recording medium of the present invention is an image having a wider angle and higher resolution than the first image, and at least the entire range shown in the first image is reflected.
  • a playback parameter generation step for generating new playback parameters and a recording control step for recording new playback parameters in response to the operation of When a raw parameter is generated, an extracted image is extracted based on a new reproduction parameter.
  • the photographing apparatus the first information processing method, the first program, and the program recorded on the first program recording medium of the present invention, a wider angle and higher resolution than the first image.
  • An area in which the range shown in the first image is detected is detected from the second image, which is an image of the first image and at least the entire range shown in the first image is shown.
  • a reproduction parameter including at least information representing the image is generated, and the second image and the reproduction parameter are output.
  • the second information processing method, the second program, and the program recorded on the second program recording medium of the present invention a wider angle and higher resolution than the first image.
  • the second image which is an image and an image in which at least the entire range shown in the first image is shown, and the range shown in the first image in the second image are shown.
  • the second image and the reproduction parameter are reproduced from the data recording medium on which the reproduction parameter including at least information indicating the connected area is recorded, and at least a part of the second image is reproduced based on the reproduction parameter.
  • An image of the area is extracted and output as an extracted image.
  • a new playback parameter is generated and a new playback parameter is recorded in response to a user operation.
  • an extracted image is extracted based on the new reproduction parameter.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an image processing system to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of the photographing apparatus 1;
  • FIG. 3 is a flowchart for explaining the operation of the photographing apparatus 1.
  • FIG. 4 is a block diagram illustrating a configuration example of the playback device 2.
  • FIG. 5 is a diagram for explaining processing of the image extraction unit 22.
  • FIG. 6 is a flowchart for explaining the operation of the playback apparatus 2.
  • FIG. 7 is a diagram for explaining an editing operation.
  • FIG. 8 is a block diagram showing a configuration example of an embodiment of a computer to which the present invention is applied.
  • Fig. 1 is an image processing system to which the present invention is applied (a system is a logical collection of a plurality of devices, whether or not each configuration device is in the same casing) Show the example of the configuration of the embodiment! / Speak.
  • the imaging device 1 is, for example, a so-called video camera, and is an image (image data) obtained as a result of imaging according to a user's operation, and parameters used when reproducing the image. Record the playback parameters on recording medium 4.
  • the reproduction device 2 reproduces the image and the reproduction parameter recorded on the recording medium 4, and extracts a predetermined area (image) from the image reproduced from the recording medium 4 based on the reproduction parameter.
  • the display device 3 is configured by, for example, a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays an image from the playback device 2.
  • CTR Cathode Ray Tube
  • LCD Liquid Crystal Display
  • the recording medium 4 is, for example, a magnetic tape, a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like, and is detachable from the photographing apparatus 1 and the reproducing apparatus 2.
  • the recording medium 4 can be built in the photographing apparatus 1, and in this case, the image recorded on the recording medium 4 can be reproduced and transmitted to the reproducing apparatus 2 in the photographing apparatus 1.
  • the recording medium 4 can be built in the playback device 2, and in this case, an image or the like obtained by the shooting device 1 is transmitted from the shooting device 1 to the playback device 2, and is stored in the recording medium 4 by the playback device 2. Can be recorded.
  • FIG. 2 shows a configuration example of the photographing apparatus 1 in FIG.
  • the normal camera unit 11 incorporates an optical system included in a general video camera, a photoelectric conversion element (eg, C, iXChaged Coupled Device; CMOS (and omplementary Metal Oxide bemicond uctor) imager). Under the control of the controller 17, the light incident thereon is photoelectrically converted and an image (data) is output.
  • a photoelectric conversion element eg, C, iXChaged Coupled Device; CMOS (and omplementary Metal Oxide bemicond uctor) imager.
  • the normal camera unit 11 has, for example, an optical zoom mechanism, and the controller 17 performs the zoom-in operation or zoom-out when the operation unit 15 performs a zoom-in operation or a zoom-out operation.
  • the zoom mechanism of the normal camera unit 11 is controlled according to the operation.
  • the camera unit 11 drives a built-in optical system according to the control from the controller 17, thereby imaging a narrow or wide range of view angles and outputting an image of the view angles.
  • a normal image the image that the normal camera unit 11 captures and outputs.
  • the normal image output from the normal camera unit 11 is supplied to the normal signal processing unit 12 and the controller 17.
  • the normal signal processing unit 12 performs signal processing according to the control from the controller 17 on the normal image from the normal camera unit 11 and supplies the processed image to the display unit 13.
  • signal processing performed by the signal processing unit 12 includes, for example, noise reduction and camera shake correction.
  • the signal processing performed in the signal processing unit 12 can be set, for example, by operating the operation unit 15, and the controller 17 controls the normal signal processing unit 12 according to the setting.
  • the display unit 13 is a monitor (or finder) for a user to check an image (normal image) captured by the normal camera unit 11, and a normal image (from the normal signal processing unit 12) ( The normal image signal-processed by the normal signal processing unit 12 is displayed.
  • the wide-angle camera unit 14 photoelectrically converts the force controlled by the controller 17 and the light incident thereon and outputs an image (data) to the controller 17 and the recording unit 18.
  • the wide-angle camera unit 14 is an image having a wider angle and higher resolution than the normal image captured by the normal camera unit 11, and an image in which at least the entire range shown in the normal image is reflected (hereinafter referred to as the normal image). (Hereinafter, referred to as a large-capacity image), and an optical system and a photoelectric conversion element that can capture such a large-capacity image are incorporated.
  • a method for obtaining an image having a wider angle than a normal image for example, a method using a wide-angle lens such as a fisheye lens as an optical system of the wide-angle camera unit 14, or an omnidirectional camera
  • a method of adopting a camera it is also normal to prepare multiple camera units similar to the normal camera unit 11, arrange each camera unit so that the imaging direction is slightly different, and connect the images obtained by each camera unit. A wide-angle image can be obtained.
  • a wide-angle camera unit 1 As the photoelectric conversion element 4, there is a method in which a photoelectric conversion element having a smaller number of pixels and a larger number of pixels than the photoelectric conversion element of the camera unit 11 is usually employed.
  • the normal camera unit 11 and the wide-angle camera unit 14 may be disposed in the photographing apparatus 1 so that the wide-angle camera unit 14 can at least capture the entire range.
  • the wide-angle large-capacity image is an annular image (round Therefore, the wide-angle camera unit 14 converts the annular image into a far-sighted image (panoramic image) and outputs it.
  • the wide-angle camera unit 14 obtains a wide-angle large-capacity image using a fisheye lens.
  • the large-capacity image is a wide-angle and high-resolution image as compared with a normal image.
  • the operation unit 15 for example, starts or stops recording an image on the recording medium 4, and moreover, the normal operation is performed by the user when commanding zoom-in or zoom-out in the camera unit 11, for example.
  • the controller 17 is operated and an operation signal corresponding to the operation is supplied to the controller 17.
  • the operation force of the operation unit 15 that commands zoom-in or zoom-out is a zoom-in operation or a zoom-out operation, respectively.
  • the zoom-in operation and the zoom-out operation are collectively referred to as a zoom operation as appropriate.
  • the sensor 16 is an acceleration sensor, for example, which senses movement information of the photographing apparatus 1 and supplies the sensing information to the controller 17.
  • the controller 17 includes a CPU (Central Processing Unit) 17A, a RAM (Random Access Unit) 17B, an EEPROM (Electrically Erasable Programmable Read Only Memory) 17C, and the like, and executes a program stored in the CPU 17A power EEPROM 17C. Thus, each part of the photographing apparatus 1 is controlled.
  • a CPU Central Processing Unit
  • RAM Random Access Unit
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • the CPU 17A loads the program stored in the EEPROM 17C into the RAM 17B and executes it, thereby performing various processes.
  • the RAM 17B temporarily stores programs executed by the CPU 17A and data necessary for the operation of the CPU 17A.
  • EEPROM17C is CPU1 Stores programs to be executed by 7A and data that must be retained even after the imaging device 1 is turned off.
  • the program to be executed by the CPU 17A is not only installed in the EEPROM 17C in advance, but also temporarily (permanently) stored (recorded) in the removable recording medium 111, which will be described later, and installed in the EEPROM 17C from the removable recording medium 111. be able to.
  • the program can be transferred from the download site wirelessly to the photographing device 1 via an artificial satellite for digital satellite broadcasting, or to the photographing device 1 via a network such as a LAN (Local Area Network) or the Internet.
  • the imaging apparatus 1 can transfer the program by wire and receive the program transferred in such a manner through a communication I / F (Interface) (not shown) and install it in the EEPROM 17C.
  • the controller 17 controls the normal camera unit 11, the wide-angle camera unit 14, the recording unit 18, and the like.
  • the controller 17 corresponds to an area in which a range shown in the normal image from the normal camera unit 11 is reflected from the large-capacity image from the wide-angle camera unit 14 (hereinafter appropriately corresponding to the normal image). Region) and generate playback parameters that include at least information representing that region.
  • the controller 17 performs matching between the normal image and the large-capacity image while changing the size of the normal image and changing the position on the large-capacity image that matches the normal image. Then, the controller 17 matches the size of the normal image and the position on the large-capacity image where the normal image and the large-capacity image most closely match, specifically, for example, each pixel of the normal image and the same position as the pixel.
  • the size of the normal image and the position on the large-capacity image that minimize the sum of the absolute value differences of the pixel values from the pixels of the large-capacity image are obtained, and the area of the large-capacity image specified by the size and position is It is detected as a region corresponding to a normal image.
  • the controller 17 obtains the approximate position of the region corresponding to the normal image in the large-capacity image from the positional relationship between the normal camera unit 11 and the wide-angle camera unit 14 and the zoom of the normal camera unit 11. Based on the state of the mechanism, obtain the approximate size of the area corresponding to the normal image in the large-capacity image, and based on the approximate position and size, Match normal image and large-capacity image while changing the position and size of normal image
  • the controller 17 recognizes that the photographing apparatus 1 has been panned or tilted based on the information from the sensor 16, and the reproduction parameter generated by the controller 17 is large.
  • the information that the photographing apparatus 1 is panned or tilted, and the information indicating the state of the zoom mechanism of the normal camera unit 11 are also included. Can be included.
  • the recording unit 18 outputs the force controlled by the controller 17, a large-capacity image of 14 wide-angle camera units, and the reproduction parameter from the controller 17 to the recording medium 4 for recording.
  • the normal camera unit 11 and the wide-angle camera unit 14 start imaging, whereby the normal camera unit 11 performs imaging.
  • the wide-angle camera unit 14 starts outputting a large-capacity image obtained by imaging.
  • the normal image output from the normal camera unit 11 is supplied to the normal signal processing unit 12 and the controller 17, and the large-capacity image output from the wide-angle camera unit 14 is supplied to the controller 17 and the recording unit 18. .
  • the normal signal processing unit 12 performs signal processing on the normal image from the normal camera unit 11 and supplies it to the display unit 13.
  • the display unit 13 displays the normal image as a so-called through image. For example, the user specifies a target to be photographed by looking at a normal image displayed on the display unit 13.
  • step S1 the controller 17 controls the recording unit 18 to start recording (output) the large-capacity image output from the wide-angle camera unit 14 to the recording medium 4, and step S 2 Proceed to
  • step S2 the controller 17 determines whether or not the operation unit 15 is operated by the user so as to start recording (recording) (recording operation). If it is determined in step S2 that the recording operation is not performed, the process proceeds to step S3, and the controller 17 is operated by the user so that the operation unit 15 is turned off (power-off operation). Determine whether or not.
  • step S3 If it is determined in step S3 that the power has been turned off, the process returns to step S2, and the same processing is repeated thereafter.
  • step S2 If it is determined in step S2 that the recording operation has been performed, that is, the normal image displayed on the user force display unit 13 is viewed, the scene shown in the normal image is recorded. If a recording operation is performed to start shooting (recording), the process proceeds to step S4, where the controller 17 is a normal image output by the normal camera unit 11 and a large-capacity image output by the wide-angle camera unit 14. The generation of playback parameters using the above is started.
  • the controller 17 detects a region corresponding to the normal image from the normal camera unit 11 from the large-capacity image having as many as 14 wide-angle camera units, and sends information indicating the region and the normal signal processing unit 12 to the region. Then, playback parameters including information indicating the contents of signal processing applied to normal images are generated.
  • step S5 the controller 17 starts recording the reproduction parameter started to be generated in step S4 onto the recording medium 4. That is, the controller 17 controls the recording unit 18 to start recording (output) the reproduction parameter generated by the controller 17 on the recording medium 4.
  • the normal image output from the normal camera unit 11 and the large-capacity image output from the wide-angle camera unit 14 have the same frame rate and the same frame rate. If the normal image and large-capacity image frames (image data) are output at the same timing (phase), playback parameters are generated for each frame, and the playback parameters for each frame are stored in the recording medium 4. To be recorded.
  • step S5 When recording of playback parameters is started in step S5, the process proceeds to step S6, and the controller 17 is operated (stop operation) by the user so that the operation unit 15 stops recording (recording). Judge whether force. If it is determined in step S6 that the stop operation has not been performed, the process proceeds to step S7, and the controller 17 determines whether the operation unit 15 has been turned off by the user.
  • step S7 If it is determined in step S7 that the power is turned off, the process returns to step S6, and the same processing is repeated thereafter. [0067] If it is determined in step S6 that the stop operation has been performed, the process proceeds to step S8, and the controller 17 generates the reproduction parameter started in step S4 and the reproduction parameter started in step S5. Stop recording with. Then, the process returns from step S8 to step S2, and the same processing is repeated thereafter.
  • step S9 the controller 17 controls the recording unit 18 to start the operation started in step S1.
  • the recording of the capacity image is stopped, and further, the imaging by the normal camera unit 11 and the wide-angle camera unit 14 is stopped, and the processing is ended.
  • a large-capacity image continues to be recorded on the recording medium 4 while the power is turned on.
  • the reproduction parameter is further recorded until the stop operation is performed.
  • the large-capacity image is a wide-angle image in which the entire range shown in the normal image is shown at least, and therefore, a range outside the range shown in the normal image is also shown. Furthermore, the large-capacity image is recorded even before the recording operation is performed, and is recorded even after the stop operation is performed.
  • the photographing apparatus not only the scene recognized by the user (recorded) (the scene that is normally shown in the image) but also a large amount of other scenes are shown.
  • An image is recorded on the recording medium 4 together with the reproduction parameters.
  • the normal image is subjected to signal processing such as camera shake correction and noise reduction in the normal signal processing unit 12, but such signal processing is performed on a large-capacity image. Not given. Therefore, a large-capacity image not subjected to such signal processing is recorded on the recording medium 4.
  • a large-capacity image and a playback parameter are recorded on the recording medium 4 until a recording operation and a power stop operation are performed.
  • a recording operation and a power stop operation are performed.
  • it may be multiplexed and recorded as one file, or may be recorded as separate files.
  • FIG. 4 shows a configuration example of the playback device 2 of FIG.
  • the recording / playback unit 21 plays back a large-capacity image and playback parameters from the recording medium 4 and supplies the large-capacity image to the image extraction unit 22, for example, in response to an operation of the operation unit 26 by the user.
  • the playback parameters are supplied to the playback parameter processing unit 24. Further, the recording / reproducing unit 21 records the reproduction parameter supplied from the reproduction parameter processing unit 24 on the recording medium 4.
  • the image extraction unit 22 Based on the playback parameter supplied from the playback parameter processing unit 24, the image extraction unit 22 extracts an image of at least a part of the area from the large-capacity image supplied from the recording / playback unit 21.
  • the extracted image (hereinafter referred to as “extracted image” where appropriate) is output to the signal processing unit 23.
  • the playback parameter is information representing a rectangular area on the large-capacity image, for example, the horizontal and vertical lengths of the rectangular area and the coordinates of the upper left point on the large-capacity image.
  • the image extraction unit 22 identifies a rectangular area (hereinafter, referred to as an extraction window as appropriate) represented by the information included therein based on the reproduction parameter. Then, the image extraction unit 22 extracts an image in the extraction window from the large-capacity image as an extracted image, and supplies the extracted image to the signal processing unit 23.
  • the reproduction parameter generated by the controller 17 and recorded on the recording medium 4 includes information indicating an area corresponding to a normal image in a large-capacity image. Included force For this playback parameter, the region represented by the information, that is, the region corresponding to the normal image in the large-capacity image is specified as the extraction window.
  • the signal processing unit 23 Based on the reproduction parameter supplied from the reproduction parameter processing unit 24, the signal processing unit 23 performs signal processing on the extracted image supplied from the image extraction unit 22 and supplies it to the display device 3. As a result, the display device 3 displays the extracted image that has been subjected to the signal processing by the signal processing unit 23.
  • the playback parameter processing unit 24 supplies the playback parameters supplied from the recording / playback unit 21 to the image extraction unit 22 and the signal processing unit 23. Also, the playback parameter processing unit 24 generates playback parameters according to the operation of the operation unit 26 by the user, and supplies the playback parameters to the image extraction unit 22 and the signal processing unit 23. Further, the playback parameter processing unit 24 supplies the playback parameter supplied with the recording / playback unit 21 or the playback parameter generated according to the operation of the operation unit 26 to the playback parameter storage unit 25 for storage. Also, the playback parameter processing unit 24 reads the playback parameters stored in the playback parameter storage unit 25, supplies the playback parameters to the recording / playback unit 21, and records them on the recording medium 4.
  • the reproduction parameter storage unit 25 temporarily stores the reproduction parameters supplied from the reproduction parameter processing unit 24.
  • the operation unit 26 is operated by the user when instructing playback or editing of an image (large-capacity image) recorded on the recording medium 4, and the operation signal corresponding to the operation is transmitted to the recording / playback unit 21 or the playback unit 26. This is supplied to the parameter processing unit 24.
  • the photographing apparatus 1 recognizes that the user has photographed (recorded), and includes a range of scenes (scenes shown in a normal image) as well as other ranges of scenes. A large-capacity image is recorded on the recording medium 4 together with the reproduction parameters.
  • the playback parameter recorded on the recording medium 4 in the imaging device 1 is referred to as a playback parameter during shooting
  • information indicating a region corresponding to a normal image in a large-capacity image is included in the playback parameter during shooting. Therefore, the region represented by the information is used as an extraction window, and the image in the extraction window is extracted and displayed as an extracted image from a large-capacity image as shown in FIG. An image showing the same scene as can be displayed.
  • the angle of view of the normal image obtained by the shooting is widened. Therefore, the area corresponding to the normal image in the large-capacity image is As shown by R in Fig. 5, the area becomes large and the extraction window
  • the dough is also large in size.
  • the size is also small.
  • the number of pixels of the extracted image extracted from the large-capacity image using such an extraction window is not necessarily constant.
  • the image extraction unit 22 displays an image with a predetermined number of pixels that can be displayed on the display device 3 using the extracted image extracted from the large-capacity image. It needs to be converted into an image.
  • each pixel of the second image is the target pixel.
  • the pixel of interest (pixel value thereof) is obtained.
  • a prediction tap to be used a pixel value (predicted value) of the target pixel is obtained by a predetermined prediction calculation using the prediction tap and a tap coefficient that is a coefficient obtained for each predetermined class by learning.
  • x represents the pixel value of the pixel of the nth first image that constitutes the prediction tap for the pixel (pixel value) y of the second image
  • w represents the nth tap coefficient multiplied by the pixel value of the pixel of the nth prediction tap. Equation (1) is assumed to be composed of N pixels (pixel values) X, X,..., X of the first image of the prediction tapka.
  • the pixel (its pixel value) y of the second image can be obtained by a higher-order expression of the second order or higher than the linear first-order expression shown in Expression (1). is there.
  • the prediction error e is expressed as k k k
  • Equation (3) X is a prediction tap n, k for the kth pixel of the second image.
  • the tap coefficient w where the prediction error e in equation (3) (or equation (2)) is 0 is the pixel of the second image k n
  • the power that is optimal for prediction It is generally difficult to find such a tap coefficient w for every pixel of the second image. [0103] Therefore, if the least square method is adopted as a standard representing that the tap coefficient w n is optimum, for example, the optimum tap coefficient w is the sum of square errors expressed by the following equation. This can be obtained by setting E to / J.
  • Equation (4) ! /, And K are the prediction y for the pixel y of the second image and the pixel y.
  • Eq. (7) is the normal equation shown in Eq. (8).
  • a pixel y of the second image and a pixel X, X ⁇ of the first image that constitutes a prediction tap for the pixel y are classified.
  • a large number of training samples are prepared as learning samples, and the normal equations in Eq. (8) are constructed and solved for each class using the learning samples.
  • the learning process to find the tap coefficient that minimizes the sum E) for each class is performed in advance, and the first image is obtained by performing the prediction calculation of equation (1) using the tap coefficient. Converted to a second image.
  • each pixel y of the second image is set as the target pixel, and the target pixel y is
  • the classification is performed based on, for example, the distribution of pixel values of several pixels of the first image that are spatially or temporally adjacent to the target pixel y.
  • the target pixel (pixel value) y belonging to the class Furthermore, in the learning process, for each class, the target pixel (pixel value) y belonging to the class and
  • the normal equation of equation (8) is established, and all of the learning samples are used.
  • the tap coefficient w for each class can be obtained by solving the normal equation for each class.
  • the class classification adaptive process ! find a pixel (pixel value) of the second image.
  • the pixel to which the pixel of interest belongs is obtained by classifying the pixel of interest as the pixel of interest and classifying the pixel of interest in the same manner as in the learning process. Furthermore, using the tap coefficient w of the class to which the pixel of interest belongs and the pixels X 1, X 2,.
  • the pixel value (predicted value) is obtained.
  • the image is converted into an image having a larger number of pixels than that image in the classification adaptation process.
  • the tap coefficient w to be obtained can be obtained.
  • the second image used in the learning process is an image obtained by thinning out the pixels of the first image, so that the tap for converting the image into an image having fewer pixels than that image in the class classification adaptive process.
  • the coefficient w can be obtained.
  • the noise is removed from the image in the classification adaptation process.
  • the tap coefficient w to be converted into the left image can be obtained.
  • the class classification adaptive processing it is possible to perform signal processing such as noise removal (noise reduction) in addition to conversion of the number of pixels of the image by the tap coefficient w obtained by the learning processing.
  • class classification adaptation process can also be used in the photographing apparatus 1 to convert the above-described annular image into a hyperopically projected image.
  • the image extraction unit 22 performs image conversion processing for converting an extracted image extracted from a large-capacity image into an extracted image having a predetermined number of pixels that can be displayed on the display device 3, for example, as described above for class classification adaptation.
  • the extracted image obtained as a result of the processing is supplied to the signal processing unit 23.
  • the playback parameter processing unit 24 determines whether or not the operation mode of the playback device 2 is the playback mode in step S21. judge.
  • the operation modes of the playback device 2 include, for example, a playback mode for playing back images recorded on the recording medium 4 and an editing mode for editing images.
  • the operation mode of the playback device 2 can be selected (set) by the user operating the operation unit 26, for example.
  • step S21 If it is determined in step S21 that the operation mode of the playback device 2 is the playback mode, the process proceeds to step S22, and the playback mode processing is performed thereafter.
  • step S22 the playback parameter processing unit 24 selects a parameter set used to play back an image recorded on the recording medium 4.
  • the parameter set is a set of a series of playback parameters.
  • a large-capacity image captured by the photographing apparatus 1 is recorded on the recording medium 4, the large-capacity image is captured.
  • At least a parameter set which is a set of a series of playback parameters (playback parameters at the time of shooting) generated by the shooting device 1 (of the controller 17 (FIG. 2)), is recorded on at least the recording medium 4.
  • One or more parameter sets can be recorded on the recording medium 4.
  • a parameter set used for image reproduction is selected from the one or more parameter sets.
  • the reproduction parameter processing unit 24 is recorded in the recording medium 4 by controlling the recording / reproducing unit 21. Recognizes the file name of the parameter set. Further, the playback parameter processing unit 24 controls the signal processing unit 23 to display a list of parameter set file names recorded on the recording medium 4 together with a message prompting the user to select one of them. Display on display device 3.
  • the reproduction parameter processing unit 24 selects a parameter set specified by the file name as a parameter set used for image reproduction (hereinafter referred to as a reproduction set as appropriate).
  • step S22 the playback parameter processing unit 24
  • playback of the large-capacity image recorded on the recording medium 4 and the playback set is started.
  • a large-capacity image and a reproduction set are reproduced (read) from the recording medium 4, and the large-capacity image is supplied to the image extraction unit 22, and the reproduction parameter force S, It is supplied to the reproduction parameter processing unit 24.
  • the playback parameter may exist for each frame. Unless otherwise specified, playback of large-capacity images starts from the earliest frame in time where playback parameters exist.
  • the playback parameter processing unit 24 starts playback of the playback parameters of the playback set in step S23, and when the playback parameter supply from the recording / playback unit 21 is started thereby, the playback parameter image Supply to the extraction unit 22 and the signal processing unit 23 is started, and the process proceeds to step S24.
  • step S 24 the image extraction unit 22 starts extracting an extracted image based on the reproduction parameter supplied from the reproduction parameter processing unit 24 from the large-capacity image supplied from the recording / reproduction unit 21.
  • a large-capacity image is supplied from the recording / playback unit 21 to the image extraction unit 22, for example, in units of frames, and the image extraction unit 22 receives the large-capacity image supplied from the recording / playback unit 21.
  • the extracted frames are extracted from the frames of interest as the frames of interest, and the frames of interest are extracted and supplied to the signal processing unit 23.
  • the image extraction unit 22 An image in the extraction window specified by the information included in the corresponding parameter is extracted as an extracted image from the frame of interest, and further, if necessary, image conversion processing is performed to convert the number of pixels as described above. Supply to processing unit 23.
  • the image extraction unit 22 selects a frame having a corresponding parameter before the target frame.
  • the extracted image is extracted from the frame of interest based on the corresponding parameter of the frame closest to the frame of interest.
  • step S24 the process proceeds to step S25, in which the signal processing unit 23 performs image extraction unit 22 processing. Signal processing based on the reproduction parameter (corresponding parameter) supplied from the reproduction parameter processing unit 24 is started for the extracted image (frame) to which force is also supplied.
  • the signal processing unit 23 performs signal processing on the extracted image supplied from the image extraction unit 22 with the content represented by the information included in the reproduction parameter supplied from the reproduction parameter processing unit 24. Supply to display device 3.
  • the extracted image is extracted from the large-capacity image based on the playback parameters of the playback set !, and further, based on the playback parameters of the playback set. Since the extracted image is subjected to signal processing, it is displayed on the image content (image stream) force display device 3 corresponding to the playback parameters of the playback set.
  • step S22 for example, when a parameter set of playback parameters at the time of shooting is selected as a playback set, an image similar to a normal image, that is, a user takes a picture (recording) with the photographing device 1.
  • the same scene image as the normal image (the same image that was displayed on the display unit 13 of the shooting device 1 during shooting) appears on the display device 3. Is displayed.
  • step S25 After the processing of step S25, the process proceeds to step S26, and the playback parameter processing unit 24 determines whether or not the operation unit 26 has been operated (stop operation) by the user to stop playback. If it is determined in step S26 that the stop operation has not been performed, the process returns to step S26, and the same processing is repeated thereafter.
  • step S25 If it is determined in step S25 that the stop operation has been performed, the process proceeds to step S27, where the playback parameter processing unit 24 includes the recording / playback unit 21, the image extraction unit 22, and the signal processing unit. 23, all the large-capacity images and playback parameters started in step S23, the extracted images started in step S24, and the signal processing for the extracted images started in step S25 are all performed. Stop. Then, the process returns to step S21, and the same processing is repeated thereafter.
  • step S21 when it is determined in step S21 that the operation mode of the playback device 2 is not the playback mode, the process proceeds to step S28, and the playback parameter processing unit 24 determines that the operation mode of the playback device 2 is the edit mode. Determine whether or not.
  • step S28 it is determined that the operation mode of the playback device 2 is not the edit mode. In this case, the process returns to step S21, and the same processing is repeated thereafter.
  • step S28 If it is determined in step S28 that the operation mode of the playback device 2 is the edit mode, the process proceeds to step S29, and the edit mode processing is performed thereafter.
  • step S29 the playback parameter processing unit 24
  • a parameter set (reproduction set) used for reproducing the image content as a reference for editing is selected in the same manner as in step S22, and the process proceeds to step S30.
  • step S30 the playback parameter processing unit 24 controls the recording / playback unit 21 to start playback of the large-capacity image recorded on the recording medium 4 and the playback set as in step S23. Let As a result, a large-capacity image and a playback set are played back (read out) from the recording medium 4, and the large-capacity image is supplied to the image extraction unit 22 and playback parameter power of the playback set is played back. It is supplied to the parameter processing unit 24.
  • the reproduction parameter processing unit 24 starts reproduction of the reproduction parameter of the reproduction set in step S30, and when supply of the reproduction parameter from the recording / reproduction unit 21 is thereby started, an image of the reproduction parameter is displayed. Supply to the extraction unit 22, the signal processing unit 23, and the reproduction parameter storage unit 25 is started, and the process proceeds to step S31.
  • step S31 the playback parameter storage unit 25 starts storing the playback parameters supplied from the playback parameter processing unit 24, and proceeds to step S32.
  • step S32 the image extraction unit 22 performs extraction based on the reproduction parameter supplied from the reproduction parameter processing unit 24 and the large-capacity image power supplied from the recording reproduction unit 21, as in step S24. Image extraction starts, and the process proceeds to step S33.
  • the image extraction unit 22 uses a large-capacity image frame supplied from the recording / playback unit 21 in an extraction window specified by information included in the playback parameter supplied from the playback parameter processing unit 24.
  • the image is extracted as an extracted image, and further, if necessary, the image conversion processing for converting the number of pixels is performed and supplied to the signal processing unit 23.
  • step S33 the signal processing unit 23 is based on the reproduction parameter supplied from the reproduction parameter processing unit 24 for the extracted image supplied from the image extraction unit 22 as in step S25. Start signal processing. That is, the signal processing unit 23 performs signal processing of the content represented by the information included in the reproduction parameter supplied from the reproduction parameter processing unit 24 on the extracted image supplied from the image extraction unit 22, Supply to display device 3.
  • the playback parameter is stored in the playback parameter storage unit 25 (step S31), except that the playback parameter is stored in the playback mode. Similar processing is performed, and thereby the image content corresponding to the playback set is displayed on the display device 3.
  • step S34 the playback parameter processing unit 24 determines whether or not the user has operated the operation unit 26 so as to command editing.
  • step S34 If it is determined in step S34 that no editing operation has been performed, that is, if it is determined that the operation unit 26 has not been operated so as to command user force editing, step S35 is performed. Skip to step S36.
  • step S34 If it is determined in step S34 that an editing operation has been performed, that is, if it is determined that the operation unit 26 has been operated so as to command user force editing, the process proceeds to step S35. Then, the playback parameter processing unit 24 sets a playback parameter (new playback parameter) (hereinafter referred to as the corresponding parameter) of the target frame of the large-capacity image that was the target frame when the editing operation was performed. (Also referred to as an editing parameter as appropriate) is generated and supplied to the image extraction unit 22, the signal processing unit 23, and the reproduction parameter storage unit 25 in place of the reproduction parameter supplied from the recording / reproducing unit 21.
  • a playback parameter new playback parameter
  • the image extraction unit 22 extracts an image in the extraction window specified by the information included in the editing parameter from the reproduction parameter processing unit 24 as an extraction image from the large-capacity image
  • the signal processing unit 23 the extracted image supplied from the image extraction unit 22 is subjected to signal processing of the contents represented by the information included in the editing parameters supplied from the reproduction parameter processing unit 24, and supplied to the display device 3.
  • the display device 3 displays an image edited according to the editing operation.
  • the playback parameter storage unit 25 stores the editing parameters supplied from the playback parameter processing unit 24.
  • the editing operation will be described with reference to FIG.
  • step S29 in Fig. 6 for example, when a playback parameter set for shooting is selected as the playback set, an extracted image is extracted from the large-capacity image based on the shooting playback parameter. Further, since the extracted image is subjected to signal processing based on the shooting reproduction parameter, the normal image (similar image) is displayed on the display device 3 as described above.
  • a large-capacity image is a wider-angle image than a normal image including a range of scenes reflected in the normal image, and therefore, a range other than the range reflected in the normal image.
  • the scene is also reflected.
  • the large-capacity image can be seen by actually viewing the scene reflected in the normal image as well as the scene reflected in the normal image. It will be the scenery, and it is usually reflected in the image, and the scenery is also reflected.
  • an editing operation for panning or tilting the photographing device 1 in a pseudo manner is a pseudo panning operation or a pseudo tilting operation, respectively
  • a pseudo panning operation is performed as an editing operation.
  • the playback parameter processing unit 24 moves the extraction window specified by the corresponding parameter to the extraction window moved in the horizontal direction in accordance with the pseudo pan operation, as shown in the top of FIG.
  • An editing parameter is generated as a playback parameter including information indicating.
  • the playback parameter processing unit 24 simulates the extraction window specified by the corresponding parameter as shown first from the top in FIG.
  • An edit parameter is generated as a playback parameter including information indicating the extraction window moved in the vertical direction according to the tilt operation.
  • the image extraction unit 22 extracts an image in the extraction window from the large-capacity image as an extracted image based on such editing parameters, and therefore the extracted image is a normal image. If the camera 1 is panned or tilted when it is in shadow, the scenery that would normally appear in the image is reflected.
  • an operation such as a zoom-out operation or a zoom-in operation of the photographing apparatus 1 can be performed in a pseudo manner.
  • an editing operation such as V zooming out or zooming in on the photographing apparatus 1
  • pseudo zooming out operation or pseudo zooming in operation respectively
  • the playback parameter processing unit 24 sets the size of the extraction window specified by the corresponding parameter according to the pseudo zoom-out operation, as shown in the second from the top in FIG.
  • An editing parameter is generated as a playback parameter including information indicating the expanded extraction window.
  • the playback parameter processing unit 24 extracts the extraction window specified by the corresponding parameter as shown in the third from the top (first from the bottom) in FIG.
  • An edit parameter is generated as a playback parameter including information representing an extraction window that is reduced in size according to a pseudo zoom-in operation.
  • the image extraction unit 22 extracts an image in the extraction window from the large-capacity image as an extraction image based on such editing parameters, the extracted image is obtained by capturing a normal image. If the camera 1 is zoomed out or zoomed in at the time of shooting, the scene that would normally appear in the image is reflected.
  • the image extraction unit 22 uses the extraction window to extract an image having a large capacity and a wide range as an extraction image. Then, a wide-angle image (extracted image) such as a photograph taken by zooming out the photographing device 1 is displayed on the display device 3. In addition, since the extraction window is reduced by the pseudo zoom-in operation, the image extraction unit 22 extracts an image in a narrow range from a large-capacity image as an extraction image by the extraction window, and as a result, the image is captured. An image with a narrow angle of view (extracted image), that is, an image of a close-up subject is displayed on the display device 3 as if the device 1 was zoomed in.
  • the extraction window can be When the dough is reduced, the resolution of the extracted image displayed on the display device 3 deteriorates.
  • the large-capacity image has a higher resolution than the normal image, and even if the extraction window is reduced to some extent, the resolution of the extracted image extracted by the extraction window by the extraction window is reduced to some extent (for example, it is an image having a resolution that can be maintained at a level equal to or higher than that of a normal image.
  • the display device 3 displays an image showing a scene in a range not shown in the normal image. Is done. Therefore, even if there is a scene that was missed during the shooting, the user who has shot with the shooting device 1 can see it if it appears in the large-capacity image.
  • the large-capacity image is recorded on the recording medium 4 without being subjected to signal processing that the normal signal processing unit 12 applies to the normal image.
  • the playback device 2 when the parameter set for shooting playback parameters is selected as a playback set, an extracted image is extracted from a large-capacity image based on the shooting playback parameters. Further, the extracted image is subjected to signal processing based on the reproduction parameter at the time of shooting. Accordingly, the extracted image is subjected to the same signal processing as the signal processing performed by the normal signal processing unit 12 on the normal image. As a result, an image similar to the normal image is displayed on the display device 3.
  • the playback parameter processing unit 24 reproduces information including information representing the content of the signal processing corresponding to the editing operation. Edit parameters as parameters are generated and supplied to the signal processing unit 23.
  • the signal processing unit 23 performs signal processing of the content represented by the information included in the editing parameter.
  • the signal processing performed on the normal image by the normal signal processing unit 12 for example, various types of signal processing (including encoding processing such as MPEG) such as noise reduction and camera shake correction are included.
  • various methods (algorithms) for signal processing for noise reduction for example, there are various methods (algorithms) for signal processing for noise reduction. Therefore, the type of signal processing performed by the normal signal processing unit 12 It is not necessarily appropriate (optimum) for the user, and even if the type of signal processing is appropriate, the method is not always appropriate.
  • the playback device 2 can perform signal processing by effectively using all the signal components of the large-capacity image captured by the wide-angle camera unit 1 of the imaging device 1.
  • step S36 the reproduction parameter processing unit 24 Determines whether the operation unit 26 has been operated (stop operation) by the user to stop the reproduction. If it is determined in step S36 that the stop operation has not been performed, the process returns to step S34, and thereafter the same processing is repeated.
  • step S36 If it is determined in step S36 that the stop operation has been performed, the process proceeds to step S37, where the playback parameter processing unit 24 includes the recording / playback unit 21, the image extraction unit 22, and the signal processing unit.
  • the playback parameter processing unit 24 includes the recording / playback unit 21, the image extraction unit 22, and the signal processing unit.
  • step S30 By controlling 23, playback of the large-capacity image and playback parameters started in step S30, extraction of the extracted image started in step S32, and signal processing for the extracted image started in step S33 are all stopped.
  • the playback parameter storage in the playback parameter storage unit 25 started in step S31 is also stopped.
  • the process proceeds from step S37 to S38, where the playback parameter processing unit 24 newly records (saves) a parameter set, which is a set of playback parameters stored in the playback parameter storage unit 25, in the recording medium 4. Determine if.
  • the playback parameter processing unit 24 controls the signal processing unit 23 to display an inquiry message asking whether to save a new parameter set on the display device 3, and in response to the inquiry message. Then, after waiting for the user to operate the operation unit 26, it is determined whether or not to record the new parameter set stored in the reproduction parameter storage unit 25 on the recording medium 4.
  • step S38 when it is determined that the new parameter set stored in the reproduction parameter storage unit 25 is to be recorded in the recording medium 4, that is, in response to the inquiry message, the user sets a new parameter set.
  • the operation unit 26 is operated so as to record, the process proceeds to step S39, where the playback parameter processing unit 24 reads out a new parameter set stored in the playback parameter storage unit 25, and further controls the recording / playback unit 21. By controlling, the new parameter set is recorded in the recording medium 4, and the process proceeds to step S40.
  • step S38 If it is determined in step S38 that the new parameter set stored in the playback parameter storage unit 25 is not to be recorded in the recording medium 4, that is, the user makes a new response to the inquiry message. If the operation unit 26 is operated so as not to record a new parameter set, step S39 is skipped and the process proceeds to step S40.
  • the playback parameter processing unit 24 stores the new parameter set recorded in the playback parameter storage unit 25. After deleting (erasing), the process returns to step S21, and the same processing is repeated thereafter.
  • the new parameter set recorded on the recording medium 4 in the edit mode processing can be selected as a playback set, and accordingly, the image content corresponding to the playback parameter of the new parameter set is selected. It is possible to display on the display device 3.
  • an editing parameter (new playback parameter) is generated according to the editing operation, and the extracted image and signal processing are performed based on the editing parameter. Done. Therefore, it is possible to provide an optimal image for the user. it can.
  • the recording medium 4 records a large-capacity image that has not been subjected to signal processing that is applied to a normal image, the user performs an editing operation on the playback device 2. It is possible to obtain optimal image content for the user himself / herself by trial and error.
  • a series of processing performed by the playback device 2 can be performed by dedicated hardware or can be performed by software.
  • a series of processing is performed by software, it is installed in a general-purpose computer or the like that has the program power that constitutes the software.
  • FIG. 8 shows a configuration example of an embodiment of a computer in which a program for executing the above-described series of processing is installed.
  • the program can be recorded in advance in a hard disk 105 or ROM 103 as a recording medium built in the computer.
  • the program is stored in a removable recording medium 111 such as a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) ice disk, DVD (Digital Versatile Disc), magnetic disk, or semiconductor memory. Can be stored (recorded) temporarily or permanently.
  • a removable recording medium 111 can be provided as so-called knocking software.
  • the program is installed in the computer from the removable recording medium 111 as described above, and is also transferred from the download site to the computer via a digital satellite broadcasting artificial satellite or via a LAN (Local (Area Network), transferred to the computer via a network such as the Internet, and the computer can receive the program transferred in this way by the communication unit 108 and install it in the built-in hard disk 105. it can.
  • a digital satellite broadcasting artificial satellite or via a LAN (Local (Area Network) transferred to the computer via a network such as the Internet, and the computer can receive the program transferred in this way by the communication unit 108 and install it in the built-in hard disk 105. it can.
  • the computer includes a CPU (Central Processing Unit) 102.
  • CPU102 Central Processing Unit
  • the input / output interface 110 is connected via the bus 101, and the CPU 102 operates the input unit 107 including a keyboard, a mouse, a microphone, and the like by the user via the input / output interface 110.
  • the program stored in the ROM (Read Only Memory) 103 is executed accordingly.
  • the CPU 102 is a program stored in the hard disk 105, a program transferred from a satellite or a network, received by the communication unit 108, installed in the hard disk 105, or a removable recording medium installed in the drive 109.
  • a program read from 111 and installed in the hard disk 105 is loaded into a RAM (Random Access Memory) 104 and executed.
  • RAM Random Access Memory
  • the CPU 102 performs processing according to the flowchart of FIG. 6 or processing performed by the configuration of the block diagram of FIG. Then, the CPU 102 outputs the processing result from the output unit 106 configured with an LCD (Liquid Crystal Display), a speaker, or the like, for example, via the input / output interface 110 or the communication unit as necessary. Sent from 108, recorded on hard disk 105, etc.
  • LCD Liquid Crystal Display
  • processing steps for describing a program for causing a computer to perform various processes do not necessarily have to be performed in time series in the order described in the flowchart. It includes processes that are executed individually (for example, parallel processing or object processing).
  • the program may be processed by one computer or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the force that is used to convert the wide-angle image captured by the wide-angle camera unit 14 into an image that is far-sighted projection This can be done by the playback device 2 in the photographing device 1.
  • the photographing apparatus 1 can be configured integrally with the reproduction apparatus 2.
  • the recording of a large-capacity image on the recording medium 4 is performed both before the recording operation and after the stop operation for the recording operation.
  • the image includes the scene at the time when the user recognizes that it was recorded and is obscene. Editing operations that capture such scenes are also possible.
  • the frame rate of the normal image and the large-capacity image are the same, but the frame rate of the large-capacity image can be higher than the frame rate of the normal image. is there.
  • the normal camera unit 11 and the wide-angle camera unit 14 are provided to capture both the normal image and the large-capacity image.
  • the camera unit 11 is not provided, and the wide-angle camera unit 14 can capture only a large-capacity image.
  • the image capture device 1 (controller 17) sets an extraction window according to the pan operation, tilt operation, and zoom operation of the image capture device 1 by the user.
  • the extracted image is subjected to signal processing by the normal signal processing unit 12 and supplied to the display unit 13, whereby the display unit 13 displays an image (extracted image) similar to the normal image. can do.
  • the imaging apparatus 1 has a force for recording a large-capacity image and a reproduction parameter on the recording medium 4.
  • the large-capacity image and the reproduction parameter are: It is also possible to broadcast from a broadcasting station as a television broadcast program, receive it by the playback device 2, and record it on the recording medium 4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本発明は、ユーザにとって最適な画像を提供することができる撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体に関する。記録媒体４には、ユーザが録画したと認識している通常画像よりも広角で高解像度の画像であり、かつ通常画像に映っている範囲全体が映っている画像である大容量画像と、大容量画像において、通常画像に映っている範囲が映っている領域を表す情報を含む再生パラメータとが記録されている。画像抽出部２２は、再生パラメータに基づいて、大容量画像から、一部の領域の画像を抽出し、抽出画像として、表示装置３に表示させる。一方、再生パラメータ処理部２４は、ユーザによる操作部２６の操作に応じて、新たな再生パラメータを生成し、この場合、画像抽出部２２は、新たな再生パラメータに基づいて、抽出画像を抽出する。本発明は、例えば、画像を記録、再生する装置に適用できる。

Description

明 細 書
撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム 記録媒体
技術分野
[0001] 本発明は、撮影装置、情報処理装置、情報処理方法、プログラム、およびプロダラ ム記録媒体に関し、特に、ユーザにとって最適な画像を提供することができるように する撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒 体に関する。
背景技術
[0002] 例えば、ビデオカメラにお ヽては、撮像によって得られた画像 (画像データ）が、例 えば、 DV(Digital Video)方式や MPEG(Moving Picture Experts Group)方式で符号化 され、テープやディスクなどの記録媒体に記録される。
[0003] また、ビデオカメラには、一般に、ズーム機能が設けられている。ズーム機能によれ ば、撮像によって得られる画像の画角（画像に映る範囲の画角）（倍率)を変更するこ とができる。即ち、例えば、ユーザがズームイン操作を行って撮影すれば、被写体を クローズアップ (拡大）した狭い画角の画像を得ることができ、ユーザがズームアウト操 作を行って撮影すれば、広 、範囲が映った広角の画像を得ることができる。
[0004] ところで、従来のビデオカメラにお ヽては、撮像を行って画像を出力する撮像手段 力 つしか設けられていないため、上述のようなズーム操作 (ズームイン操作、ズーム アウト操作）によって、画像の画角を変更することはできるが、異なる画角の画像を同 時に得ることはできな力つた。
[0005] そこで、 2つの撮像手段を有し、例えば、画角の狭い画像と、画角の広い画像とを 同時に得ることができるビデオカメラが提案されている（例えば、特許文献 1参照)。
[0006] 特許文献 1：特開 2004-282296号公報
発明の開示
発明が解決しょうとする課題
[0007] ところで、ユーザは、ビデオカメラのファインダ等に表示された画像を確認しながら、 所望の被写体を撮影する。従って、ある被写体を撮影している間に生じている他のシ ーン、つまり、ファインダ等に表示された画像に映っている範囲以外の範囲のシーン (例えば、撮像を行っている範囲以外の範囲で偶発的に起こった出来事など）は、す ベて見逃していることになる。
[0008] また、ユーザが、ビデオカメラによって撮像した画像を再生して見たとしても、その 画像に映って 、る範囲以外の範囲は、見ることができな!/、。
[0009] 以上のように、ユーザがビデオカメラによって撮影を行った場合には、そのユーザ は、その撮影によって得られた画像に映っている範囲のシーン以外は見ることができ ず、従って、その画像が、必ずしも、ユーザにとって最適なものであるとは限らない。
[0010] 本発明は、このような状況に鑑みてなされたものであり、ユーザにとって最適な画像 を提供することができるようにするものである。
課題を解決するための手段
[0011] 本発明の撮影装置は、第 1の画像を出力する第 1の撮像手段と、第 1の画像よりも 広角で高解像度の画像であり、かつ第 1の画像に映っている範囲全体が少なくとも映 つている画像である第 2の画像を出力する第 2の撮像手段と、第 2の画像から、第 1の 画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも 含む再生パラメータを生成する生成手段と、第 2の画像と、再生パラメータとを出力す る出力制御手段とを備えることを特徴とする。
[0012] 本発明の第 1の情報処理方法は、第 1の画像よりも広角で高解像度の画像であり、 かつ第 1の画像に映っている範囲全体が少なくとも映っている画像である第 2の画像 から、第 1の画像に映っている範囲が映っている領域を検出し、その領域を表す情報 を少なくとも含む再生パラメータを生成する生成ステップと、第 2の画像と、再生パラメ 一タとを出力する出力制御ステップとを含むことを特徴とする。
[0013] 本発明の第 1のプログラムは、第 1の画像よりも広角で高解像度の画像であり、かつ 第 1の画像に映っている範囲全体が少なくとも映っている画像である第 2の画像から 、第 1の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を 少なくとも含む再生パラメータを生成する生成ステップと、第 2の画像と、再生パラメ 一タとを出力する出力制御ステップとを含むことを特徴とする。 [0014] 本発明の第 1のプログラム記録媒体に記録されているプログラムは、第 1の画像より も広角で高解像度の画像であり、かつ第 1の画像に映っている範囲全体が少なくとも 映って 、る画像である第 2の画像から、第 1の画像に映って 、る範囲が映って 、る領 域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ス テツプと、第 2の画像と、再生パラメータとを出力する出力制御ステップとを含むことを 特徴とする。
[0015] 本発明の情報処理装置は、第 1の画像よりも広角で高解像度の画像であり、かつ第 1の画像に映っている範囲全体が少なくとも映っている画像である第 2の画像と、第 2 の画像において、第 1の画像に映っている範囲が映っている領域を表す情報を少な くとも含む再生パラメータとが記録されたデータ記録媒体から、第 2の画像と、再生パ ラメータとを再生する再生制御手段と、再生パラメータに基づいて、第 2の画像から、 少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出手段と、ユーザ の操作に応じて、新たな再生パラメータを生成する再生パラメータ生成手段と、新た な再生パラメータを記録する記録制御手段とを備え、抽出手段は、新たな再生パラメ ータが生成された場合には、新たな再生パラメータに基づいて、抽出画像を抽出す ることを特徴とする。
[0016] 本発明の第 2の情報処理方法は、第 1の画像よりも広角で高解像度の画像であり、 かつ第 1の画像に映っている範囲全体が少なくとも映っている画像である第 2の画像 と、第 2の画像において、第 1の画像に映っている範囲が映っている領域を表す情報 を少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第 2の画像と、 再生パラメータとを再生する再生制御ステップと、再生パラメータに基づいて、第 2の 画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステ ップと、ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生 成ステップと、新たな再生パラメータを記録する記録制御ステップとを含み、抽出ステ ップでは、新たな再生パラメータが生成された場合には、新たな再生パラメータに基 づいて、抽出画像を抽出することを特徴とする。
[0017] 本発明の第 2のプログラムは、第 1の画像よりも広角で高解像度の画像であり、かつ 第 1の画像に映っている範囲全体が少なくとも映っている画像である第 2の画像と、 第 2の画像にぉ 、て、第 1の画像に映って 、る範囲が映って 、る領域を表す情報を 少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第 2の画像と、再 生パラメータとを再生する再生制御ステップと、再生パラメータに基づいて、第 2の画 像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステツ プと、ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成 ステップと、新たな再生パラメータを記録する記録制御ステップとを含み、抽出ステツ プでは、新たな再生パラメータが生成された場合には、新たな再生パラメータに基づ いて、抽出画像を抽出することを特徴とする。
[0018] 本発明の第 2のプログラム記録媒体に記録されているプログラムは、第 1の画像より も広角で高解像度の画像であり、かつ第 1の画像に映っている範囲全体が少なくとも 映っている画像である第 2の画像と、第 2の画像において、第 1の画像に映っている 範囲が映っている領域を表す情報を少なくとも含む再生パラメータとが記録されたデ ータ記録媒体から、第 2の画像と、再生パラメータとを再生する再生制御ステップと、 再生パラメータに基づいて、第 2の画像から、少なくとも一部の領域の画像を抽出し、 抽出画像として出力する抽出ステップと、ユーザの操作に応じて、新たな再生パラメ ータを生成する再生パラメータ生成ステップと、新たな再生パラメータを記録する記 録制御ステップとを含み、抽出ステップでは、新たな再生パラメータが生成された場 合には、新たな再生パラメータに基づいて、抽出画像を抽出することを特徴とする。
[0019] 本発明の撮影装置、第 1の情報処理方法、第 1のプログラム、および第 1のプロダラ ム記録媒体に記録されているプログラムにおいては、第 1の画像よりも広角で高解像 度の画像であり、かつ第 1の画像に映っている範囲全体が少なくとも映っている画像 である第 2の画像から、第 1の画像に映っている範囲が映っている領域が検出され、 その領域を表す情報を少なくとも含む再生パラメータが生成され、第 2の画像と、再 生パラメータとが出力される。
[0020] 本発明の情報処理装置、第 2の情報処理方法、第 2のプログラム、および第 2のプ ログラム記録媒体に記録されているプログラムにおいては、第 1の画像よりも広角で 高解像度の画像であり、かつ第 1の画像に映っている範囲全体が少なくとも映ってい る画像である第 2の画像と、第 2の画像において、第 1の画像に映っている範囲が映 つている領域を表す情報を少なくとも含む再生パラメータとが記録されたデータ記録 媒体から、第 2の画像と、再生パラメータとが再生され、再生パラメータに基づいて、 第 2の画像から、少なくとも一部の領域の画像が抽出され、抽出画像として出力され る。一方、ユーザの操作に応じて、新たな再生パラメータが生成され、新たな再生パ ラメータが記録される。そして、新たな再生パラメータが生成された場合には、新たな 再生パラメータに基づいて、抽出画像が抽出される。
発明の効果
[0021] 本発明によれば、ユーザにとって最適な画像を提供することができる。
図面の簡単な説明
[0022] [図 1]本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック 図である。
[図 2]撮影装置 1の構成例を示すブロック図である。
[図 3]撮影装置 1の動作を説明するフローチャートである。
[図 4]再生装置 2の構成例を示すブロック図である。
[図 5]画像抽出部 22の処理を説明するための図である。
[図 6]再生装置 2の動作を説明するフローチャートである。
[図 7]編集操作を説明するための図である。
[図 8]本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図であ る。
符号の説明
[0023] 1 撮影装置， 2 再生装置， 3 表示装置， 4 記録媒体， 11 通常カメラ部 , 12 通常信号処理部， 13 表示部， 14 広角カメラ部， 15 操作部， 16 センサ， 17 コントローラ， 17A CPU, 17B RAM, 17C EEPROM, 18 記 録部， 21 記録再生部， 22 画像抽出部， 23 信号処理部， 24 再生パラメ ータ処理部， 25 再生パラメータ記憶部， 26 操作部， 101 バス， 102 CPU , 103 ROM, 104 RAM, 105 ハードディスク， 106 出力部， 107 入力 部， 108 通信部， 109 ドライブ， 110 入出力インタフェース， 111 リムーバ ブル記録媒体 発明を実施するための最良の形態
[0024] 以下、図面を参照して、本発明の実施の形態について説明する。
[0025] 図 1は、本発明を適用した画像処理システム (システムとは、複数の装置が論理的 に集合した物を 、 、、各構成の装置が同一筐体中にある力否かは問わな 、）の一実 施の形態の構成例を示して！/ヽる。
[0026] 撮影装置 1は、例えば、いわゆるビデオカメラであり、ユーザの操作に応じて撮像を 行って、その結果得られる画像 (画像データ）と、画像を再生するときに用いられるパ ラメータである再生パラメータを、記録媒体 4に記録する。
[0027] 再生装置 2は、記録媒体 4に記録された画像と再生パラメータとを再生し、再生パラ メータに基づいて、記録媒体 4から再生した画像から、所定の領域 (の画像)を抽出し
、表示装置 3に供給する。
[0028] 表示装置 3は、例えば、 CRT(Cathode Ray Tube)や LCD(Liquid Crystal Display)な どで構成され、再生装置 2からの画像を表示する。
[0029] 記録媒体 4は、例えば、磁気テープや、磁気ディスク、光ディスク、光磁気ディスク、 半導体メモリなどで、撮影装置 1および再生装置 2に対して着脱可能になっている。 なお、記録媒体 4は、撮影装置 1に内蔵させることができ、この場合、撮影装置 1にお いて、記録媒体 4に記録された画像等を再生して、再生装置 2に伝送することができ る。また、記録媒体 4は、再生装置 2に内蔵させることができ、この場合、撮影装置 1で 得られた画像等は、撮影装置 1から再生装置 2に伝送し、再生装置 2において記録 媒体 4に記録することができる。
[0030] 次に、図 2は、図 1の撮影装置 1の構成例を示している。
[0031] 通常カメラ部 11は、一般的なビデオカメラが有する光学系や、光電変換素子 (例え 【 、 Cし iXChaged Coupled Device;や CMOS (し omplementary Metal Oxide bemicond uctor)イメージャなど）などを内蔵し、コントローラ 17からの制御にしたがい、そこに入 射する光を光電変換して、画像 (データ)を出力する。
[0032] なお、通常カメラ部 11は、例えば、光学的なズーム機構を有しており、コントローラ 1 7は、操作部 15がズームイン操作またはズームアウト操作されると、そのズームイン操 作またはズームアウト操作に応じて、通常カメラ部 11のズーム機構を制御する。通常 カメラ部 11は、コントローラ 17からの制御にしたがって、内蔵する光学系を駆動し、こ れにより、狭いまたは広い画角の範囲を撮像し、その画角の画像を出力する。
[0033] ここで、通常カメラ部 11が撮像を行って出力する画像を、以下、適宜、通常画像と いう。
[0034] 通常カメラ部 11が出力する通常画像は、通常信号処理部 12とコントローラ 17に供 給されるようになっている。通常信号処理部 12は、通常カメラ部 11からの通常画像 に対し、コントローラ 17からの制御にしたがった信号処理を施し、表示部 13に供給す る。
[0035] ここで、信号処理部 12で行われる信号処理としては、例えば、ノイズリダクションや、 手ぶれ補正などがある。信号処理部 12で行われる信号処理は、例えば、操作部 15 を操作することによって設定することができ、コントローラ 17は、その設定に応じて、 通常信号処理部 12を制御する。
[0036] 表示部 13は、通常カメラ部 11で撮像されている画像 (通常画像)を、ユーザが確認 するためのモニタ (あるいは、ファインダ)で、通常信号処理部 12から供給される通常 画像 (通常信号処理部 12で信号処理された通常画像)を表示する。
[0037] 広角カメラ部 14は、コントローラ 17からの制御にした力^、、そこに入射する光を光 電変換して、画像 (データ）を、コントローラ 17と記録部 18に出力する。
[0038] なお、広角カメラ部 14は、通常カメラ部 11が撮像する通常画像よりも広角で高解像 度の画像であり、かつ通常画像に映っている範囲全体が少なくとも映っている画像（ 以下、適宜、大容量画像という）を出力するようになっており、そのような大容量画像 を撮像することができる光学系や光電変換素子などを内蔵している。
[0039] ここで、通常画像よりも広角の画像を得る方法としては、例えば、広角カメラ部 14の 光学系として、魚眼レンズなどの広角レンズを採用する方法や、広角カメラ部 14とし て、全方位カメラを採用する方法がある。その他、通常カメラ部 11と同様のカメラ部を 複数用意して、各カメラ部を、撮像方向が少しずつ異なるように配置し、各カメラ部で 得られる画像をつなぎ合わせることによつても、通常画像よりも広角の画像を得ること ができる。
[0040] また、通常画像よりも高解像度の画像を得る方法としては、例えば、広角カメラ部 1 4の光電変換素子として、通常カメラ部 11の光電変換素子よりも画素が小さぐ画素 数が多い光電変換素子を採用する方法がある。
[0041] さらに、大容量画像を、通常画像に映っている範囲全体が少なくとも映っている画 像とするには、通常カメラ部 11において最も広角の画像を撮像したときに、その画像 に映っている範囲全体を、広角カメラ部 14でも、少なくとも撮像することができるよう に、通常カメラ部 11と広角カメラ部 14を、撮影装置 1に配置するようにすれば良い。
[0042] なお、例えば、広角カメラ部 14として、全方位カメラを採用し、その全方位カメラによ つて広角の大容量画像を撮像した場合、その広角の大容量画像は、環状の画像 (丸 画像）になっているので、広角カメラ部 14は、その環状の画像を、遠視投影した画像 (パノラマ画像）に変換して出力する。広角カメラ部 14において、魚眼レンズを用いて 広角の大容量画像を得た場合も同様である。
[0043] また、大容量画像は、通常画像に比較して、できるだけ広角で高解像度の画像で あることが望ましい。
[0044] 操作部 15は、例えば、記録媒体 4への画像の記録の開始や、その停止、さら〖こは、 通常カメラ部 11におけるズームインやズームアウトなどを指令するときに、ユーザによ つて操作され、その操作に対応した操作信号を、コントローラ 17に供給する。ここで、 ズームインまたはズームアウトを指令する操作部 15の操作力 それぞれ、ズームイン 操作またはズームアウト操作である。また、以下、適宜、ズームイン操作とズームアウト 操作を、まとめて、ズーム操作という。
[0045] センサ 16は、例えば、加速度センサで、撮影装置 1の動きの情報をセンシングし、 コントローラ 17に供給する。
[0046] コントローラ 17は、 CPU(Central Processing Unit)17A, RAM(Random Access Unit) 17B, EEPROM(Electrically Erasable Programmable Read Only Memory) 17Cなどで 構成され、 CPU17A力 EEPROM17Cに記憶されたプログラムを実行することにより、 撮影装置 1の各部を制御する。
[0047] 即ち、 CPU17Aは、 EEPROM17Cに記憶されたプログラムを、 RAM17Bにロードし て実行し、これにより、各種の処理を行う。 RAM17Bは、 CPU17Aが実行するプログ ラムや、 CPU17Aの動作上必要なデータを一時記憶する。 EEPROM17Cは、 CPU1 7Aが実行するプログラムや、撮像装置 1の電源がオフされた後も保持しておく必要 があるデータなどを記憶する。
[0048] なお、 CPU17Aに実行させるプログラムは、 EEPROM17Cにあらかじめインストール しておく他、後述するリムーバブル記録媒体 111に、一時的あるいは永続的に格納（ 記録）し、リムーバブル記録媒体 111から EEPROM17Cにインストールすることができ る。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を 介して、撮影装置 1に無線で転送したり、 LAN(Local Area Network),インターネットと いったネットワークを介して、撮影装置 1に有線で転送し、撮影装置 1では、そのよう にして転送されてくるプログラムを、図示せぬ通信 I/F(Interface)で受信し、 EEPROM 17Cにインストールすることができる。
[0049] ここで、以上のように、 CPU17Aがプログラムを実行することにより、コントローラ 17 は、通常カメラ部 11や、広角カメラ部 14、記録部 18などを制御する。
[0050] また、コントローラ 17は、広角カメラ部 14からの大容量画像から、通常カメラ部 11か らの通常画像に映っている範囲が映っている領域 (以下、適宜、通常画像に対応す る領域という）を検出して、その領域を表す情報を少なくとも含む再生パラメータを生 成し
、記録部 81に出力する。
[0051] 即ち、コントローラ 17は、通常画像と大容量画像とのマッチングを、通常画像のサイ ズを変えるとともに、通常画像とマッチングする大容量画像上の位置を変えながら行 う。そして、コントローラ 17は、通常画像と大容量画像とが最もマッチングする、通常 画像のサイズと大容量画像上の位置、具体的には、例えば、通常画像の各画素と、 その画素と同一位置の大容量画像の画素との画素値の絶対値差分の総和等が最 小になる通常画像のサイズと大容量画像上の位置を求め、そのサイズと位置で特定 される大容量画像の領域を、通常画像に対応する領域として検出する。
[0052] なお、コントローラ 17は、通常カメラ部 11と広角カメラ部 14との位置関係等から、大 容量画像における通常画像に対応する領域のおおよその位置を求めるとともに、通 常カメラ部 11のズーム機構の状態に基づいて、大容量画像における通常画像に対 応する領域のおおよそのサイズを求め、そのおおよその位置とサイズを基準として、 通常画像の位置とサイズを変えながら、通常画像と大容量画像とのマッチングを行う
[0053] また、コントローラ 17では、センサ 16からの情報に基づいて、撮影装置 1がパン (pan )、あるいはチルト (tilt)されたことを認識し、コントローラ 17が生成する再生パラメータ には、大容量画像における通常画像に対応する領域の情報の他、撮影装置 1がパン 、あるいはチルトされたといった情報、さらには、通常カメラ部 11のズーム機構の状態 を表す情報 (例えば、倍率など)なども含めることができる。
[0054] 記録部 18は、コントローラ 17の制御にした力^、、広角カメラ部 14力もの大容量画像 と、コントローラ 17からの再生パラメータを、記録媒体 4に出力して記録する。
[0055] 次に、図 3のフローチャートを参照して、図 2の撮影装置 1の動作について説明する
[0056] ユーザが、撮影装置 1の操作部 15を操作して、電源をオンにすると、通常カメラ部 1 1と広角カメラ部 14が撮像を開始し、これにより、通常カメラ部 11は、撮像によって得 られた通常画像の出力を開始し、広角カメラ部 14は、撮像によって得られた大容量 画像の出力を開始する。
[0057] 通常カメラ部 11が出力する通常画像は、通常信号処理部 12とコントローラ 17に供 給され、広角カメラ部 14が出力する大容量画像は、コントローラ 17と記録部 18に供 給される。通常信号処理部 12は、通常カメラ部 11からの通常画像に信号処理を施し 、表示部 13に供給する。これにより、表示部 13では、通常画像が、いわゆるスルー画 として表示される。ユーザは、例えば、表示部 13に表示された通常画像を見て、撮影 しょうとする対象を特定する。
[0058] その後、ステップ S1において、コントローラ 17は、記録部 18を制御することにより、 広角カメラ部 14が出力する大容量画像の、記録媒体 4への記録（出力）を開始させ、 ステップ S 2に進む。
[0059] ステップ S2では、コントローラ 17は、操作部 15が、ユーザによって、録画 (記録）を 開始するように操作 (録画操作)された力どうかを判定する。ステップ S2において、録 画操作が行われていないと判定された場合、ステップ S3に進み、コントローラ 17は、 操作部 15が、ユーザによって、電源をオフにするように操作 (電源オフ操作)された かどうかを判定する。
[0060] ステップ S3にお 、て、電源オフ操作がされて 、な 、と判定された場合、ステップ S2 に戻り、以下、同様の処理が繰り返される。
[0061] また、ステップ S2にお 、て、録画操作が行われたと判定された場合、即ち、ユーザ 力 表示部 13に表示された通常画像を見て、その通常画像に映っているシーンを録 画するために録画操作を行って撮影 (録画)を開始した場合、ステップ S4に進み、コ ントローラ 17は、通常カメラ部 11が出力する通常画像、および広角カメラ部 14が出 力する大容量画像などを用いた再生パラメータの生成を開始する。
[0062] 即ち、コントローラ 17は、広角カメラ部 14力もの大容量画像から、通常カメラ部 11 からの通常画像に対応する領域を検出し、その領域を表す情報と、通常信号処理部 12にお 、て通常画像に施されて!/、る信号処理の内容を表す情報等を含む再生パラ メータを生成する。
[0063] その後、ステップ S5に進み、コントローラ 17は、ステップ S4で生成を開始した再生 ノ ラメータの、記録媒体 4への記録を開始させる。即ち、コントローラ 17は、記録部 18 を制御することにより、 自身が生成する再生パラメータの、記録媒体 4への記録（出力 )を開始させる。
[0064] なお、ここでは、説明を簡単にするために、通常カメラ部 11が出力する通常画像と 、広角カメラ部 14が出力する大容量画像とのフレームレートが同一であり、かつ、同 一のタイミング (位相）で、通常画像と大容量画像のフレーム（の画像データ）が出力 されるものとすると、再生パラメータは、フレームごとに生成され、そのフレームごとの 再生パラメータが、記録媒体 4に記録される。
[0065] ステップ S5において再生パラメータの記録が開始されると、ステップ S6に進み、コ ントローラ 17は、操作部 15が、ユーザによって、録画 (記録)を停止するように操作（ 停止操作)された力どうかを判定する。ステップ S6において、停止操作が行われてい ないと判定された場合、ステップ S7に進み、コントローラ 17は、操作部 15が、ユーザ によって電源オフ操作されたカゝどうかを判定する。
[0066] ステップ S7にお 、て、電源オフ操作がされて 、な 、と判定された場合、ステップ S6 に戻り、以下、同様の処理が繰り返される。 [0067] また、ステップ S6にお 、て、停止操作が行われたと判定された場合、ステップ S8に 進み、コントローラ 17は、ステップ S4で開始した再生パラメータの生成と、ステップ S5 で開始した再生パラメータの記録とを停止する。そして、ステップ S8からステップ S2 に戻り、以下、同様の処理が繰り返される。
[0068] 一方、ステップ S3または S7にお 、て、電源オフ操作がされたと判定された場合、ス テツプ S9に進み、コントローラ 17は、記録部 18を制御することにより、ステップ S1で 開始した大容量画像の記録を停止させ、さらに、通常カメラ部 11と広角カメラ部 14に よる撮像を停止させて、処理を終了する。
[0069] 以上のように、撮影装置 1では、電源がオンにされている間、大容量画像が記録媒 体 4に記録され続ける。そして、録画操作が行われると、停止操作が行われるまで、さ らに、再生パラメータの記録が行われる。
[0070] 上述したように、大容量画像は、通常画像に映っている範囲全体が少なくとも映つ ている広角の画像であるから、通常画像に映っている範囲外の範囲も映っている。さ らに、大容量画像は、録画操作がされる前であっても記録され、また、停止操作がさ れた後であっても記録される。
[0071] 従って、撮影装置 1によれば、ユーザが撮影 (録画)したと認識しているシーン (通 常画像に映っているシーン）は勿論、それ以外の多数のシーンが映っている大容量 画像が、再生パラメータとともに、記録媒体 4に記録される。
[0072] なお、撮影装置 1では、通常画像には、通常信号処理部 12において、手ぶれ補正 やノイズリダクション等の信号処理が施されるが、大容量画像には、そのような信号処 理が施されない。従って、記録媒体 4には、そのような信号処理が施されていない大 容量画像が記録される。
[0073] また、撮影装置 1では、録画操作がされ力も停止操作がされるまでの間は、記録媒 体 4に、大容量画像と再生パラメータとが記録されるが、大容量画像と再生パラメータ とは、例えば、多重化して 1つのファイル等として記録しても良いし、別々のファイル 等として記録しても良い。
[0074] さらに、図 3では、撮影装置 1の電源がオンにされて力 オフにされるまでの間、記 録媒体 4に大容量画像を記録するようにしたため、記録媒体 4の容量が問題となりうる 力 今後は、記録媒体 4の超大容量ィ匕が見込まれるので、記録媒体 4の容量は、そ れほど問題にはならないと考えられる。但し、それでも、記録媒体 4の容量には限界 があるので、例えば、撮影装置 1の電源がオンにされて力 オフにされるまでの間のう ちの、録画操作がされた時刻の所定時間だけ前の時刻から、停止操作がされた時刻 の所定時間だけ後の時刻までの大容量画像を、記録媒体 4に記録するよう〖こすること が可能である。これは、電源がオンされた後に記録された大容量画像のうちの、録画 操作がされた時刻の所定時間だけ前の時刻より前に記録された部分を削除するとと もに、停止操作がされてカゝら所定時間だけ経過した後に記録された大容量画像 (次 の録画操作がされた時刻から所定時間だけ前の時刻以後に記録された大容量画像 を除く）を削除することによって行うことができる。
[0075] 次に、図 4は、図 1の再生装置 2の構成例を示している。
[0076] 記録再生部 21は、例えば、ユーザによる操作部 26の操作に応じて、記録媒体 4か ら大容量画像および再生パラメータを再生して、大容量画像を画像抽出部 22に供 給し、再生パラメータを再生パラメータ処理部 24に供給する。さらに、記録再生部 21 は、再生パラメータ処理部 24から供給される再生パラメータを、記録媒体 4に記録す る。
[0077] 画像抽出部 22は、再生パラメータ処理部 24から供給される再生パラメータに基づ いて、記録再生部 21から供給される大容量画像から、少なくとも一部の領域の画像 を抽出し、その抽出した画像 (以下、適宜、抽出画像という）を、信号処理部 23に出 力する。
[0078] 即ち、再生パラメータは、大容量画像上の長方形状の領域を表す情報としての、例 えば、その長方形状の領域の横および縦の長さと、大容量画像上における左上の点 の座標とを含んでおり、画像抽出部 22は、再生パラメータに基づいて、そこに含まれ る情報が表す長方形状の領域 (以下、適宜、抽出ウィンドウという）を特定する。そし て、画像抽出部 22は、大容量画像から、抽出ウィンドウ内の画像を、抽出画像として 抽出し、信号処理部 23に供給する。
[0079] なお、図 2の撮影装置 1において、コントローラ 17が生成し、記録媒体 4に記録され た再生パラメータには、大容量画像における通常画像に対応する領域を表す情報が 含まれている力 この再生パラメータについては、その情報が表す領域、つまり、大 容量画像における通常画像に対応する領域が、抽出ウィンドウとして特定される。
[0080] 信号処理部 23は、再生パラメータ処理部 24から供給される再生パラメータに基づ いて、画像抽出部 22から供給される抽出画像に信号処理を施し、表示装置 3に供給 する。これにより、表示装置 3では、信号処理部 23で信号処理が施された抽出画像 が表示される。
[0081] 再生パラメータ処理部 24は、記録再生部 21から供給される再生パラメータを、画像 抽出部 22および信号処理部 23に供給する。また、再生パラメータ処理部 24は、ュ 一ザによる操作部 26の操作に応じて、再生パラメータを生成し、画像抽出部 22およ び信号処理部 23に供給する。さらに、再生パラメータ処理部 24は、記録再生部 21 力も供給される再生パラメータ、または操作部 26の操作に応じて生成した再生パラメ ータを、再生パラメータ記憶部 25に供給して記憶させる。また、再生パラメータ処理 部 24は、再生パラメータ記憶部 25に記憶された再生パラメータを読み出し、記録再 生部 21に供給して、記録媒体 4に記録させる。
[0082] 再生パラメータ記憶部 25は、再生パラメータ処理部 24から供給される再生パラメ一 タを一時記憶する。操作部 26は、記録媒体 4に記録された画像 (大容量画像)の再 生や編集などを指令するときに、ユーザによって操作され、その操作に対応した操作 信号を、記録再生部 21または再生パラメータ処理部 24に供給する。
[0083] 次に、図 5を参照して、図 4の画像抽出部 22の処理について説明する。
[0084] 上述したように、撮影装置 1では、ユーザが撮影 (録画)したと認識して 、る範囲の シーン (通常画像に映っているシーン）は勿論、それ以外の範囲のシーンが映ってい る大容量画像が、再生パラメータとともに、記録媒体 4に記録される。
[0085] 撮影装置 1において、記録媒体 4に記録される再生パラメータを、撮影時再生パラ メータということとすると、撮影時再生パラメータには、大容量画像における通常画像 に対応する領域を表す情報が含まれており、従って、その情報が表す領域を抽出ゥ インドウとして、図 5に示すように、大容量画像から、抽出ウィンドウ内の画像を抽出画 像として抽出して表示することにより、通常画像と同一のシーンが映っている画像を 表示することができる。 [0086] なお、ユーザが、撮影装置 1をズームアウト操作して撮影を行った場合、その撮影 によって得られる通常画像の画角は広くなるから、大容量画像における通常画像に 対応する領域は、図 5において Rで示すようにサイズの大きな領域になり、抽出ウィン
1
ドウも、そのサイズが大きいものとなる。
[0087] また、ユーザが、撮影装置 1をズームイン操作して撮影を行った場合、その撮影に よって得られる通常画像の画角は狭くなるから、大容量画像における通常画像に対 応する領域は、図 5において Rで示すようにサイズの小さな領域になり、抽出ウィンド
2
ゥも、そのサイズが小さいものとなる。
[0088] 以上のように、抽出ウィンドウのサイズは一定であるとは限らないため、画像抽出部
22において、そのような抽出ウィンドウを用いて、大容量画像から抽出される抽出画 像の画素数は一定であるとは限らない。
[0089] 一方、表示装置 3は、所定の画素数の画像を表示するので、画像抽出部 22では、 大容量画像から抽出した抽出画像を、表示装置 3で表示可能な所定の画素数の画 像に変換する必要がある。
[0090] ここで、ある画素数の抽出画像を、他の画素数の抽出画像に変換する画像変換処 理としては、単純に、画素数を間引き、あるいは補間する処理がある力 その他、本 件出願人が先に提案しているクラス分類適応処理がある。
[0091] クラス分類適応処理では、画像変換処理によって変換する前の画像を第 1の画像と するとともに、その変換後の画像を第 2の画像とすると、第 2の画像の各画素を注目 画素として、その注目画素のクラスごとに適切なタップ係数と、第 1の画像とを用いて
、注目画素（の画素値）が求められる。
[0092] 即ち、クラス分類適応処理では、例えば、注目画素に対して空間的または時間的 に近傍の位置にある第 1の画像の画素の画素値を、注目画素の画素値を予測する のに用いる予測タップとして、その予測タップと、学習によって所定のクラスごとに求 められる係数であるタップ係数とを用いた所定の予測演算によって、注目画素の画 素値 (の予測値）が求められる。
[0093] いま、所定の予測演算として、例えば、線形 1次予測演算を採用することとすると、 第 2の画像の画素値 yは、次の線形 1次式によって求められることになる。 [0094] [数 1]
n
y= ∑wnxn
n=，
•••(1)
[0095] 但し、式（1)において、 xは、第 2の画像の画素（の画素値) yについての予測タップ を構成する、 n番目の第 1の画像の画素の画素値を表し、 wは、 n番目の予測タップ の画素の画素値と乗算される n番目のタップ係数を表す。なお、式（1)では、予測タツ プカ 第 1の画像の N個の画素（の画素値） X , X , · · · , Xで構成されるものとしてあ
1 2 N
る。
[0096] ここで、第 2の画像の画素（の画素値) yは、式（1)に示した線形 1次式ではなぐ 2 次以上の高次の式によって求めるようにすることも可能である。
[0097] いま、第 2の画像の第 k番目の画素の画素値の真値^ yと表すとともに、式（1)によ k
つて得られるその真値 yの予測値を y 'と表すと、その予測誤差 eは、次式で表される k k k
[0098] [数 2]
ek=yk— yk,
•••(2)
[0099] いま、式（2)の予測値 y 'は、式（1)にしたがって求められるため、式（2)の y 'を、式 k k
(1)にしたがって置き換えると、次式が得られる。
[0100] [数 3]
N \
\ π= 1 'ノ
•••(3)
[0101] 但し、式（3)において、 X は、第 2の画像の第 k番目の画素についての予測タップ n,k
を構成する n番目の画素（の画素値)を表す。
[0102] 式 (3) (または式 (2) )の予測誤差 eを 0とするタップ係数 wが、第 2の画像の画素を k n
予測するのに最適なものとなる力 第 2の画像のすべての画素について、そのような タップ係数 wを求めることは、一般には困難である。 [0103] そこで、タップ係数 wnが最適なものであることを表す規範として、例えば、最小自乗 法を採用することとすると、最適なタップ係数 wは、次式で表される自乗誤差の総和 Eを最 /J、にすることで求めることができる。
[0104] [数 4]
•••(4)
[0105] 但し、式（4)にお!/、て、 Kは、第 2の画像の画素 yと、その画素 yにつ 、ての予測タ
k k
ップを構成する第 1の画像の画素 x , X ， · · ·， χ とのセットのサンプル数（タップ
l，k 2,k N，k
係数 Wを求める学習に用いる学習用サンプルの数)を表す。
[0106] 式 (4)の自乗誤差の総和 Eの最小値 (極小値）は、式（5)に示すように、総和 Eをタ ップ係数 wで偏微分したものを 0とする wによって与えられる。
[0107] [数 5]
^=^ ^ + -+ek^=0 (η=1, 2, ·.,Ν)
•••(5)
[0108] そこで、上述の式（3)をタップ係数 wで偏微分すると、次式が得られる。
[0109] 園
3ek __ aek —― aek —― /k-1 ク ... κ)
Xl k， X2-k' * W XN，k ' —1 ' )
•••(6)
[0110] 式（5)と（6)から、次式が得られる。
[0111] [数 7]
Κ Κ
∑ekxi,k=0， ∑ekX2,k=0,■■■ ∑ekXN,k=0
k=1 k=l k=1
•••(7)
[0112] 式（7)の eに、式（3)を代入することにより、式（7)は、式 (8)に示す正規方程式で
k
表すことができる。 [0113] [数 8]
Figure imgf000020_0001
•••(8)
[0114] 式（8)の正規方程式は、例えば、掃き出し法 (Gauss-Jordanの消去法)などを用い ることにより、タップ係数 wについて解くことができる。
[0115] クラス分類適応処理では、第 1および第 2の画像から、第 2の画像の画素 yと、その 画素 yについての予測タップを構成する第 1の画像の画素 X , X χ とのセ ットを、学習用サンプルとして多数用意し、その学習用サンプルを用いて、式 (8)の 正規方程式をクラスごとにたてて解くことにより、最適なタップ係数 (ここでは、自乗誤 差の総和 Eを最小にするタップ係数) wを、クラスごとに求める学習処理を、あらかじ め行っておき、そのタップ係数を用いた式（1)の予測演算を行うことによって、第 1の 画像が第 2の画像に変換される。
[0116] 即ち、学習処理では、第 2の画像の各画素 yを注目画素として、その注目画素 yが
、複数のクラスのうちのいずれかのクラスにクラス分類される。ここで、クラス分類は、 例えば、注目画素 yに対して空間的または時間的に近傍の位置にある第 1の画像の 幾つかの画素の画素値の分布等に基づ 、て行われる。
[0117] さらに、学習処理では、クラスごとに、そのクラスに属する注目画素（の画素値) yと
、その注目画素 yについての予測タップを構成する第 1の画像の画素 X , X · · · χ とを用いて、式（8)の正規方程式がたてられ、学習用サンプルのすべてを用いた 式 (8)の正規方程式カ^ラスごとに得られると、そのクラスごとの正規方程式を解くこと により、クラスごとのタップ係数 wが求められる。
[0118] そして、クラス分類適応処理にお!、て、第 2の画像のある画素（の画素値）を求める ときには、その画素を注目画素として、その注目画素を、学習処理における場合と同 様にクラス分類することにより、注目画素が属するクラスが求められる。さらに、注目画 素が属するクラスのタップ係数 wと、注目画素についての予測タップを構成する第 1 の画像の画素 X , X , · · · , X とを用いて、式（1)の予測演算が行われ、注目画素 l，k 2,k N，k
の画素値（の予測値）が求められる。
[0119] なお、学習処理において用いる第 1の画像を、第 2の画像の画素を間引いた画像と することにより、クラス分類適応処理において、画像を、その画像よりも画素数の多い 画像に変換するタップ係数 wを求めることができる。また、学習処理において用いる 第 2の画像を、第 1の画像の画素を間引いた画像とすることにより、クラス分類適応処 理において、画像を、その画像よりも画素数が少ない画像に変換するタップ係数 w を求めることができる。
[0120] その他、学習処理において用いる第 1の画像を、第 2の画像にノイズを付カ卩した画 像とすることにより、クラス分類適応処理において、画像を、その画像カゝらノイズを除 去した画像に変換するタップ係数 wを求めることができる。
[0121] 従って、クラス分類適応処理によれば、学習処理によって求めておくタップ係数 w によって、画像の画素数の変換する他、ノイズ除去 (ノイズリダクション)等の信号処理 を行うことができる。
[0122] また、クラス分類適応処理は、撮影装置 1において、上述した環状の画像を、遠視 投影した画像に変換するのにも用いることができる。
[0123] 画像抽出部 22は、大容量画像から抽出した抽出画像を、表示装置 3で表示可能な 所定の画素数の抽出画像に変換する画像変換処理を、例えば、上述のようなクラス 分類適応処理を利用して行い、その結果得られる抽出画像を、信号処理部 23に供 給する。
[0124] 次に、図 6のフローチャートを参照して、図 4の再生装置 2の動作について説明する
[0125] ユーザが操作部 26を操作して、再生装置 2の電源をオンにすると、ステップ S21に おいて、再生パラメータ処理部 24は、再生装置 2の動作モードが再生モードである かどうかを判定する。 [0126] ここで、再生装置 2の動作モードとしては、例えば、記録媒体 4に記録された画像を 再生する再生モードと、画像を編集する編集モードとがある。再生装置 2の動作モー ドは、例えば、ユーザが操作部 26を操作することによって選択 (設定)することができ る。
[0127] ステップ S21において、再生装置 2の動作モードが再生モードであると判定された 場合、ステップ S22に進み、以下、再生モードの処理が行われる。
[0128] 即ち、再生モードの処理では、ステップ S22において、再生パラメータ処理部 24は 、記録媒体 4に記録された画像を再生するのに用いるパラメータセットを選択する。
[0129] ここで、パラメータセットは、ある一連の再生パラメータのセットであり、撮影装置 1で 撮影された大容量画像が、記録媒体 4に記録されている場合には、その大容量画像 の撮影時に撮影装置 1 (のコントローラ 17 (図 2) )で生成された一連の再生パラメータ (撮影時再生パラメータ）のセットであるパラメータセットが、少なくとも、記録媒体 4に 記録されている。
[0130] 記録媒体 4には、 1以上のパラメータセットを記録することができ、ステップ S22では 、その 1以上のパラメータセットから、画像の再生に用いるパラメータセットが選択され る。
[0131] 即ち、例えば、記録媒体 4において、パラメータセットが、ファイルとして記録されて いるとすると、再生パラメータ処理部 24は、記録再生部 21を制御することにより、記 録媒体 4に記録されているパラメータセットのファイル名を認識する。さらに、再生パラ メータ処理部 24は、信号処理部 23を制御することにより、記録媒体 4に記録されてい るパラメータセットのファイル名の一覧を、そのうちのいずれ力 1つの選択を促すメッ セージとともに、表示装置 3に表示させる。
[0132] ユーザが、表示装置 3に表示されたファイル名の一覧を見て、操作部 26を操作す ることにより、ファイル名の一覧から、 1つのファイル名を選択すると、ステップ S22に おいて、再生パラメータ処理部 24は、そのファイル名によって特定されるパラメータ セットを、画像の再生に用いるパラメータセット（以下、適宜、再生用セットという）とし て選択する。
[0133] その後、ステップ S22からステップ S23に進み、再生パラメータ処理部 24は、記録 再生部 21を制御することにより、記録媒体 4に記録された大容量画像と再生用セット の再生を開始させる。これにより、記録媒体 4からは、大容量画像と再生用セットが再 生され (読み出され)、大容量画像が、画像抽出部 22に供給されるとともに、再生用 セットの再生パラメータ力 S、再生パラメータ処理部 24に供給される。
[0134] ここで、撮影時再生パラメータについて説明したように、再生パラメータは、フレーム ごとに存在しうる。大容量画像の再生は、特に指定されない限り、再生パラメータが存 在する時間的に最も前のフレームから開始される。
[0135] 再生パラメータ処理部 24は、ステップ S23において再生用セットの再生パラメータ の再生が開始され、これにより、記録再生部 21からの再生パラメータの供給が開始さ れると、その再生パラメータの、画像抽出部 22および信号処理部 23への供給を開始 し、ステップ S 24に進む。
[0136] ステップ S24では、画像抽出部 22は、記録再生部 21から供給される大容量画像か らの、再生パラメータ処理部 24から供給される再生パラメータに基づく抽出画像の抽 出を開始する。
[0137] 即ち、記録再生部 21から画像抽出部 22に対しては、大容量画像が、例えばフレー ム単位で供給され、画像抽出部 22は、記録再生部 21から供給される大容量画像の フレームを、順次、注目フレームとして、その注目フレーム力も抽出画像を抽出し、信 号処理部 23に供給する。
[0138] 具体的には、画像抽出部 22は、再生パラメータ処理部 24から供給される再生パラ メータの中に、注目フレームに対する再生パラメータ（以下、適宜、対応パラメータと いう）が存在する場合、注目フレームから、対応パラメータに含まれる情報によって特 定される抽出ウィンドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、上 述した画素数を変換する画像変換処理を行って、信号処理部 23に供給する。
[0139] また、画像抽出部 22は、再生パラメータ処理部 24から供給される再生パラメータの 中に、注目フレームの対応パラメータが存在しない場合、注目フレームより前の、対 応パラメータが存在するフレームのうちの、注目フレームに最も近 、フレームの対応 ノ ラメータに基づ 、て、注目フレームから抽出画像を抽出する。
[0140] ステップ S24の処理後は、ステップ S25に進み、信号処理部 23は、画像抽出部 22 力も供給される抽出画像 (のフレーム）に対する、再生パラメータ処理部 24から供給 される再生パラメータ (対応パラメータ）に基づく信号処理を開始する。
[0141] 即ち、信号処理部 23は、画像抽出部 22から供給される抽出画像に対して、再生パ ラメータ処理部 24から供給される再生パラメータに含まれる情報が表す内容の信号 処理を施し、表示装置 3に供給する。
[0142] 以上のように、再生モードの処理では、再生用セットの再生パラメータに基づ!/ヽて、 大容量画像から抽出画像が抽出され、さらに、再生用セットの再生パラメータに基づ いて、抽出画像に信号処理が施されるので、いわば、その再生用セットの再生パラメ ータに対応した画像コンテンツ (画像のストリーム）力 表示装置 3に表示される。
[0143] 従って、ステップ S22において、再生用セットとして、例えば、撮影時再生パラメータ のパラメータセットが選択された場合には、通常画像と同様の画像、即ち、ユーザが 撮影装置 1によって撮影 (録画)したと認識している範囲のシーンが映っており、通常 画像の画質と同様の画像 (撮影時に、撮影装置 1の表示部 13に表示されていたのと 同一の画像）が、表示装置 3に表示される。
[0144] ステップ S25の処理後は、ステップ S26に進み、再生パラメータ処理部 24は、操作 部 26が、ユーザによって、再生を停止するように操作 (停止操作)されたかどうかを判 定する。ステップ S26において、停止操作が行われていないと判定された場合、ステ ップ S26に戻り、以下、同様の処理が繰り返される。
[0145] また、ステップ S25にお 、て、停止操作が行われたと判定された場合、ステップ S2 7に進み、再生パラメータ処理部 24は、記録再生部 21、画像抽出部 22、および信号 処理部 23を制御することにより、ステップ S23で開始した大容量画像と再生パラメ一 タの再生、ステップ S 24で開始した抽出画像の抽出、およびステップ S 25で開始した 抽出画像に対する信号処理をすベて停止させる。そして、ステップ S21に戻り、以下 、同様の処理が繰り返される。
[0146] 一方、ステップ S21において、再生装置 2の動作モードが再生モードでないと判定 された場合、ステップ S28に進み、再生パラメータ処理部 24は、再生装置 2の動作モ ードが編集モードであるかどうかを判定する。
[0147] ステップ S28において、再生装置 2の動作モードが編集モードでないと判定された 場合、ステップ S21に戻り、以下、同様の処理が繰り返される。
[0148] また、ステップ S28において、再生装置 2の動作モードが編集モードであると判定さ れた場合、ステップ S29に進み、以下、編集モードの処理が行われる。
[0149] 即ち、編集モードの処理では、ステップ S29において、再生パラメータ処理部 24は
、編集の、いわば基準とする画像コンテンツを再生するのに用いるパラメータセット（ 再生用セット）を、例えば、ステップ S22における場合と同様に選択し、ステップ S30 に進む。
[0150] ステップ S30では、再生パラメータ処理部 24は、ステップ S23における場合と同様 に、記録再生部 21を制御することにより、記録媒体 4に記録された大容量画像と再生 用セットの再生を開始させる。これにより、記録媒体 4からは、大容量画像と再生用セ ットが再生され (読み出され)、大容量画像が、画像抽出部 22に供給されるとともに、 再生用セットの再生パラメータ力 再生パラメータ処理部 24に供給される。
[0151] 再生パラメータ処理部 24は、ステップ S30において再生用セットの再生パラメータ の再生が開始され、これにより、記録再生部 21からの再生パラメータの供給が開始さ れると、その再生パラメータの、画像抽出部 22、信号処理部 23、および再生パラメ一 タ記憶部 25への供給を開始し、ステップ S31に進む。
[0152] ステップ S31では、再生パラメータ記憶部 25は、再生パラメータ処理部 24から供給 される再生パラメータの記憶を開始し、ステップ S32に進む。
[0153] ステップ S32では、画像抽出部 22は、ステップ S24における場合と同様に、記録再 生部 21から供給される大容量画像力もの、再生パラメータ処理部 24から供給される 再生パラメータに基づく抽出画像の抽出を開始して、ステップ S33に進む。
[0154] 即ち、画像抽出部 22は、記録再生部 21から供給される大容量画像のフレームから 、再生パラメータ処理部 24から供給される再生パラメータに含まれる情報によって特 定される抽出ウィンドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、上 述した画素数を変換する画像変換処理を行って、信号処理部 23に供給する。
[0155] ステップ S33では、信号処理部 23は、ステップ S25〖こおける場合と同様〖こ、画像抽 出部 22から供給される抽出画像に対する、再生パラメータ処理部 24から供給される 再生パラメータに基づく信号処理を開始する。 [0156] 即ち、信号処理部 23は、画像抽出部 22から供給される抽出画像に対して、再生パ ラメータ処理部 24から供給される再生パラメータに含まれる情報が表す内容の信号 処理を施し、表示装置 3に供給する。
[0157] 以上のように、編集モードにお 、ては、再生パラメータを、再生パラメータ記憶部 25 に記憶させる処理 (ステップ S31の処理）が行われることを除けば、再生モードにおけ る場合と同様の処理が行われ、これにより、表示装置 3において、再生用セットに対 応する画像コンテンツが表示される。
[0158] 編集モードでは、その後、ステップ S33からステップ S34に進み、再生パラメータ処 理部 24は、ユーザが、編集を指令するように、操作部 26を操作したかどうかを判定 する。
[0159] ステップ S34において、編集操作が行われていないと判定された場合、即ち、ユー ザ力 編集を指令するように、操作部 26を操作していないと判定された場合、ステツ プ S35をスキップして、ステップ S36に進む。
[0160] また、ステップ S34にお 、て、編集操作が行われたと判定された場合、即ち、ユー ザ力 編集を指令するように、操作部 26を操作したと判定された場合、ステップ S35 に進み、再生パラメータ処理部 24は、その編集操作が行われたときに注目フレーム であった大容量画像の注目フレームの対応パラメータとして、その編集操作に応じた 再生パラメータ (新たな再生パラメータ）（以下、適宜、編集パラメータともいう）を生成 し、記録再生部 21から供給される再生パラメータに代えて、画像抽出部 22、信号処 理部 23、および再生パラメータ記憶部 25に供給する。
[0161] 従って、この場合、画像抽出部 22では、大容量画像から、再生パラメータ処理部 2 4からの編集パラメータに含まれる情報によって特定される抽出ウィンドウ内の画像が 、抽出画像として抽出され、信号処理部 23では、画像抽出部 22から供給される抽出 画像に対して、再生パラメータ処理部 24から供給される編集パラメータに含まれる情 報が表す内容の信号処理を施し、表示装置 3に供給する。その結果、表示装置 3で は、編集操作にしたがって編集された画像が表示される。
[0162] さらに、再生パラメータ記憶部 25では、再生パラメータ処理部 24から供給される編 集パラメータが記憶される。 [0163] ここで、図 7を参照して、編集操作について説明する。
[0164] 図 6のステップ S29において、再生用セットとして、例えば、撮影時再生パラメータ のパラメータセットが選択された場合には、撮影時再生パラメータに基づいて、大容 量画像から抽出画像が抽出され、さらに、その撮影時再生パラメータに基づいて、抽 出画像に信号処理が施されるから、上述したように、通常画像 (と同様の画像)が、表 示装置 3に表示される。
[0165] ところで、上述したように、大容量画像は、通常画像に映って 、る範囲のシーンを含 む、通常画像よりも広角の画像であるから、通常画像に映っている範囲以外の範囲 のシーンも映っている。
[0166] 即ち、通常画像に、ある景色が映っているとすれば、大容量画像には、通常画像に 映っている景色は勿論、通常画像に映っている景色を実際に見たならば見えるであ ろう景色であって、通常画像には映って 、な 、景色も映って 、る。
[0167] 従って、通常画像を撮影しているときに撮影装置 1をパンまたはチルトしたならば、 通常画像に映ったであろう景色力 大容量画像には映っており、編集操作としては、 このような、いわば疑似的に、撮影装置 1をパンまたはチルトするような操作が可能と なっている。
[0168] 例えば、いま、疑似的に、撮影装置 1をパンまたはチルトするような編集操作を、そ れぞれ、疑似パン操作または疑似チルト操作ということとすると、編集操作として、疑 似パン操作が行われた場合には、再生パラメータ処理部 24は、図 7の上から 1番目 に示すように、対応パラメータによって特定される抽出ウィンドウを、疑似パン操作に 応じて水平方向に移動した抽出ウィンドウを表す情報を含めた再生パラメータとして の編集パラメータを生成する。また、編集操作として、疑似チルト操作が行われた場 合には、再生パラメータ処理部 24は、図 7の上から 1番目に示すように、対応パラメ一 タによって特定される抽出ウィンドウを、疑似チルト操作に応じて垂直方向に移動し た抽出ウィンドウを表す情報を含めた再生パラメータとしての編集パラメータを生成 する。
[0169] 画像抽出部 22では、このような編集パラメータに基づいて、大容量画像から抽出ゥ インド内の画像が抽出画像として抽出されるので、その抽出画像は、通常画像を撮 影しているときに撮影装置 1をパンまたはチルトしたならば通常画像に映ったであろう 景色が映って ヽるものとなる。
[0170] また、編集操作としては、その他、疑似的に、撮影装置 1をズームアウト操作または ズームイン操作するような操作が可能となっている。
[0171] 例えば、 V、ま、疑似的に、撮影装置 1をズームアウト操作またはズームイン操作する ような編集操作を、それぞれ、疑似ズームアウト操作または疑似ズームイン操作という こととすると、編集操作として、疑似ズームアウト操作が行われた場合には、再生パラ メータ処理部 24は、図 7の上から 2番目に示すように、対応パラメータによって特定さ れる抽出ウィンドウのサイズを、疑似ズームアウト操作に応じて拡大した抽出ウィンド ゥを表す情報を含めた再生パラメータとしての編集パラメータを生成する。また、編集 操作として、疑似ズームイン操作が行われた場合には、再生パラメータ処理部 24は、 図 7の上から 3番目（下から 1番目）に示すように、対応パラメータによって特定される 抽出ウィンドウのサイズを、疑似ズームイン操作に応じて縮小した抽出ウィンドウを表 す情報を含めた再生パラメータとしての編集パラメータを生成する。
[0172] 画像抽出部 22では、このような編集パラメータに基づいて、大容量画像から抽出ゥ インド内の画像が抽出画像として抽出されるので、その抽出画像は、通常画像を撮 影して ヽるときに撮影装置 1をズームアウト操作またはズームイン操作したならば通常 画像に映ったであろう景色が映っているものとなる。
[0173] 即ち、疑似ズームアウト操作によれば、抽出ウィンドウが拡大されるので、画像抽出 部 22では、その抽出ウィンドウによって、大容量画像力も広い範囲の画像が抽出画 像として抽出され、その結果、撮影装置 1をズームアウト操作して撮影したカゝのような 広角の画像 (抽出画像)が、表示装置 3に表示される。また、疑似ズームイン操作によ れば、抽出ウィンドウが縮小されるので、画像抽出部 22では、その抽出ウィンドウに よって、大容量画像から狭い範囲の画像が抽出画像として抽出され、その結果、撮 影装置 1をズームイン操作して撮影したかのような画角の狭い画像 (抽出画像)、つま り、被写体をクローズアップした画像が、表示装置 3に表示される。
[0174] なお、抽出画像の画素数は、抽出ウィンドウのサイズに応じて変化し、抽出ウィンド ゥのサイズが小さいほど少なくなる。従って、疑似ズームイン操作によって抽出ウィン ドウが縮小されると、表示装置 3に表示される抽出画像の解像度が劣化することにな る。但し、上述したように、大容量画像は、通常画像よりも高解像度であり、抽出ウイ ンドウがある程度縮小されても、その抽出ウィンドウによって大容量画像力 抽出され る抽出画像の解像度を、ある程度 (例えば、通常画像と同程度)以上に維持すること ができる解像度の画像になって 、る。
[0175] 編集操作として、疑似パン操作や、疑似チルト操作、疑似ズームアウト操作が行わ れた場合には、表示装置 3には、通常画像に映っていない範囲のシーンが映ってい る画像が表示される。従って、撮影装置 1で撮影を行ったユーザは、その撮影中に見 逃したシーンがあつたとしても、大容量画像に映っていれば、見ることができる。
[0176] 編集操作としては、上述したような抽出ウィンドウを変更する操作の他、抽出画像に 対して施す信号処理を指定する操作を行うことが可能となっている。
[0177] 即ち、撮影装置 1 (図 2)においては、大容量画像は、通常信号処理部 12が通常画 像に施す信号処理が施されずに、記録媒体 4に記録される。
[0178] そして、再生装置 2にお 、て、再生用セットとして、撮影時再生パラメータのパラメ一 タセットが選択された場合には、撮影時再生パラメータに基づいて、大容量画像から 抽出画像が抽出され、さらに、その撮影時再生パラメータに基づいて、抽出画像に 信号処理が施される。従って、抽出画像には、通常信号処理部 12が通常画像に施 す信号処理と同一の信号処理が施され、その結果、通常画像と同様の画像が、表示 装置 3に表示される。
[0179] 一方、ユーザが、抽出画像に対して施す信号処理を指定する編集操作を行うと、再 生パラメータ処理部 24は、その編集操作に応じた信号処理の内容を表す情報を含 む再生パラメータとしての編集パラメータを生成し、信号処理部 23に供給する。信号 処理部 23は、再生パラメータ処理部 24から編集パラメータが供給されると、その編集 パラメータに含まれる情報によって表される内容の信号処理を施す。
[0180] ここで、通常信号処理部 12で通常画像に施される信号処理としては、例えば、ノィ ズリダクションや手ぶれ補正などの様々な種類の信号処理 (MPEG等の符号化処理も 含む）があり、さらに、例えば、ノイズリダクションを行う信号処理にしても、様々な方法 (アルゴリズム）のものがある。従って、通常信号処理部 12で行われる信号処理の種 類力 ユーザにとって適切（最適)なものであるとは限らず、さらに、仮に、信号処理の 種類が適切であったとしても、その方法が適切であるとは限らない。
[0181] そして、画像に対して、例えば、ノイズリダクションなどの信号処理が施された場合、 そのノイズリダクションによって、画像に含まれるノイズ成分が除去される他、多少の 信号成分が失われることがある。従って、撮影装置 1において、広角カメラ部 14で撮 像した大容量画像に信号処理を施して、記録媒体 4に記録してしまうと、再生装置 2 では、記録媒体 4に記録された大容量画像を対象としてしか信号処理を行うことがで きないため、撮影装置 1で行われた信号処理によって多少の信号成分が失われた大 容量画像を対象として信号処理をせざるを得ないことになる。
[0182] しカゝしながら、多少であっても、信号成分が失われた大容量画像を対象に信号処 理を行うと、その信号処理結果には、その失われた信号成分に応じた影響が生じる。
[0183] そこで、撮影装置 1では、再生装置 2で行われる信号処理に、そのような影響が生じ るのを防止するため、通常信号処理部 12が通常画像に施すような信号処理を施さ ずに、大容量画像を、記録媒体 4に記録するようになっている。
[0184] 従って、再生装置 2では、撮影装置 1の広角カメラ部 1で撮像された大容量画像の 信号成分のすべてを有効に利用して信号処理を行うことが可能となる。
[0185] 図 6に戻り、ステップ S35において、編集パラメータが、画像抽出部 22、信号処理 部 23、および再生パラメータ記憶部 25に供給された後は、ステップ S36に進み、再 生パラメータ処理部 24は、操作部 26が、ユーザによって、再生を停止するように操 作 (停止操作)されたかどうかを判定する。ステップ S36において、停止操作が行わ れていないと判定された場合、ステップ S34に戻り、以下、同様の処理が繰り返され る。
[0186] また、ステップ S36にお 、て、停止操作が行われたと判定された場合、ステップ S3 7に進み、再生パラメータ処理部 24は、記録再生部 21、画像抽出部 22、および信号 処理部 23を制御することにより、ステップ S30で開始した大容量画像と再生パラメ一 タの再生、ステップ S32で開始した抽出画像の抽出、およびステップ S33で開始した 抽出画像に対する信号処理をすベて停止させるとともに、ステップ S31で開始した再 生パラメータ記憶部 25における再生パラメータの記憶も停止させる。 [0187] そして、ステップ S37から S38に進み、再生パラメータ処理部 24は、再生パラメータ 記憶部 25に記憶された再生パラメータの集合であるパラメータセットを、記録媒体 4 に新たに記録 (保存)するかどうかを判定する。
[0188] 即ち、再生パラメータ処理部 24は、信号処理部 23を制御することにより、新たなパ ラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置 3に表示させ、その問い合わせメッセージに対して、ユーザが操作部 26を操作する のを待って、再生パラメータ記憶部 25に記憶された新たなパラメータセットを、記録 媒体 4に記録するかどうかを判定する。
[0189] ステップ S38において、再生パラメータ記憶部 25に記憶された新たなパラメータセ ットを、記録媒体 4に記録すると判定された場合、即ち、問い合わせメッセージに対し て、ユーザが、新たなパラメータセットを記録するように、操作部 26を操作した場合、 ステップ S39に進み、再生パラメータ処理部 24は、再生パラメータ記憶部 25に記憶 されている新たなパラメータセットを読み出し、さらに、記録再生部 21を制御すること により、その新たなパラメータセットを、記録媒体 4に記録させ、ステップ S40に進む。
[0190] また、ステップ S38において、再生パラメータ記憶部 25に記憶された新たなパラメ ータセットを、記録媒体 4に記録しないと判定された場合、即ち、問い合わせメッセ一 ジに対して、ユーザが、新たなパラメータセットを記録しないように、操作部 26を操作 した場合、ステップ S39をスキップして、ステップ S40に進み、再生パラメータ処理部 24は、再生パラメータ記憶部 25に記録された新たなパラメータセットを削除 (消去)し て、ステップ S21に戻り、以下、同様の処理が繰り返される。
[0191] なお、編集モードの処理において記録媒体 4に記録された新たなパラメータセット は、再生用セットとして選択することができ、従って、その新たなパラメータセットの再 生パラメータに対応した画像コンテンツを、表示装置 3に表示することが可能となる。
[0192] また、図 6のフローチャートにしたがった処理は、操作部 26が、ユーザによって電源 をオフにするように操作されると終了する。
[0193] 以上のように、ユーザが編集操作を行うことにより、その編集操作に応じて、編集パ ラメータ (新たな再生パラメータ）が生成され、その編集パラメータに基づいて、抽出 画像や信号処理が行われる。従って、ユーザにとって最適な画像を提供することが できる。
[0194] さらに、記録媒体 4に記録された大容量画像に対しては、複数のパラメータセットが 存在しても良ぐ従って、ユーザは、様々な編集操作を行って、様々なパラメータセッ トを生成することにより、その様々なパラメータセットそれぞれに対応した、様々な画 像コンテンツを制作することができる。
[0195] また、記録媒体 4には、通常画像に施されるような信号処理が施されていない大容 量画像が記録されているので、ユーザは、再生装置 2において、編集操作を、いわゆ る試行錯誤で行 ヽ、ユーザ自身にとって最適な画像コンテンツを得ることができる。
[0196] 次に、再生装置 2で行われる一連の処理は、専用のハードウェアにより行うこともで きるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合 には、そのソフトウェアを構成するプログラム力 汎用のコンピュータ等にインストール される。
[0197] そこで、図 8は、上述した一連の処理を実行するプログラムがインストールされるコン ピュータの一実施の形態の構成例を示して 、る。
[0198] プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク 105 や ROM103に予め記録しておくことができる。
[0199] あるいはまた、プログラムは、フレキシブルディスク、 CD- ROM(Compact Disc Read Only Memory), MO(Magneto Optical)アイスク， DVD(Digital Versatile Disc)、磁気デ イスク、半導体メモリなどのリムーバブル記録媒体 111に、一時的あるいは永続的に 格納（記録）しておくことができる。このようなリムーバブル記録媒体 111は、いわゆる ノ ッケージソフトウェアとして提供することができる。
[0200] なお、プログラムは、上述したようなリムーバブル記録媒体 111からコンピュータにィ ンストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介し て、コンピュータに無線で転送したり、 LAN(Local Area Network),インターネットとい つたネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのよう にして転送されてくるプログラムを、通信部 108で受信し、内蔵するハードディスク 10 5にインストールすることができる。
[0201] コンピュータは、 CPU(Central Processing Unit)102を内蔵している。 CPU102には 、バス 101を介して、入出力インタフェース 110が接続されており、 CPU102は、入出 力インタフェース 110を介して、ユーザによって、キーボードや、マウス、マイク等で構 成される入力部 107が操作等されることにより指令が入力されると、それにしたがって 、 ROM(Read Only Memory) 103に格納されているプログラムを実行する。あるいは、 また、 CPU102は、ハードディスク 105に格納されているプログラム、衛星若しくはネッ トワークから転送され、通信部 108で受信されてハードディスク 105にインストールさ れたプログラム、またはドライブ 109に装着されたリムーバブル記録媒体 111から読 み出されてハードディスク 105にインストールされたプログラムを、 RAM(Random Acce ss Memory)104にロードして実行する。これにより、 CPU102は、図 6のフローチャート にしたがった処理、あるいは図 4のブロック図の構成により行われる処理を行う。そし て、 CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース 11 0を介して、 LCD(Liquid Crystal Display)やスピーカ等で構成される出力部 106から 出力、あるいは、通信部 108から送信、さらには、ハードディスク 105に記録等させる
[0202] ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラム を記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時 系列に処理する必要はなぐ並列的あるいは個別に実行される処理 (例えば、並列 処理あるいはオブジェクトによる処理)も含むものである。
[0203] また、プログラムは、 1のコンピュータにより処理されるものであっても良いし、複数の コンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方 のコンピュータに転送されて実行されるものであっても良い。
[0204] なお、本実施の形態では、撮影装置 1の広角カメラ部 14において、その広角カメラ 部 14で撮像した広角の画像を、遠視投影した画像に変換するようにした力 この変 換は、撮影装置 1ではなぐ再生装置 2で行うようにすることができる。
[0205] また、撮影装置 1は、再生装置 2と一体的に構成することが可能である。
[0206] さらに、本実施の形態では、記録媒体 4への大容量画像の記録は、録画操作がさ れる前も、録画操作に対する停止操作がされた後も行われるので、即ち、大容量画 像は、ユーザが録画がされて ヽな 、と認識して 、る時刻のシーンも含んで 、るので、 そのようなシーンを取り込むような編集操作も可能である。
[0207] また、本実施の形態では、通常画像と大容量画像のフレームレートを同一としたが 、大容量画像のフレームレートは、通常画像のフレームレートよりも高フレームレートと することが可能である。
[0208] さらに、本実施の形態では、撮影装置 1において、通常カメラ部 11と広角カメラ部 1 4とを設け、通常画像と大容量画像との両方を撮像するようにしたが、撮影装置 1は、 通常カメラ部 11を設けずに構成し、広角カメラ部 14において、大容量画像だけを撮 像するようにすることができる。この場合、撮影装置 1 (のコントローラ 17)では、ユー ザによる撮影装置 1のパン操作や、チルト操作、ズーム操作に応じて、抽出ウィンドウ を設定し、その抽出ウィンドウによって、大容量画像力も抽出画像を抽出して、その 抽出画像に対して、通常信号処理部 12で信号処理を施して、表示部 13に供給する ことにより、表示部 13において、通常画像と同様の画像 (抽出画像)を表示することが できる。
[0209] また、本実施の形態では、撮影装置 1にお 、て、大容量画像と再生パラメータを記 録媒体 4に記録するようにした力 その他、例えば、大容量画像と再生パラメータとは 、テレビジョン放送番組として、放送局から放送し、再生装置 2で受信して記録媒体 4 に記録するようにすること等も可能である。

Claims

請求の範囲
[1] 第 1の画像を出力する第 1の撮像手段と、
前記第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映って いる範囲全体が少なくとも映っている画像である第 2の画像を出力する第 2の撮像手 段と、
前記第 1の画像を表示する表示手段と、
前記第 2の画像から、前記第 1の画像に映っている範囲が映っている領域を検出し 、その領域を表す情報を少なくとも含む再生パラメータを生成する生成手段と、 前記第 2の画像と、前記再生パラメータとを出力する出力制御手段と
を備えることを特徴とする撮影装置。
[2] 前記第 1の画像に信号処理を施す信号処理手段をさらに備え、
前記表示手段は、前記信号処理手段において信号処理された前記第 1の画像を 表示し、
前記生成手段は、前記信号処理手段が前記第 1の画像に施した信号処理の内容 を表す情報をさらに含む再生パラメータを生成する
ことを特徴とする請求項 1に記載の撮影装置。
[3] 第 1の画像を出力する第 1の撮像手段と、
前記第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映って いる範囲全体が少なくとも映っている画像である第 2の画像を出力する第 2の撮像手 段と、
前記第 1の画像を表示する表示手段と
を備える撮影装置の情報処理方法にお!ヽて、
前記第 2の画像から、前記第 1の画像に映っている範囲が映っている領域を検出し 、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、 前記第 2の画像と、前記再生パラメータとを出力する出力制御ステップと を含むことを特徴とする情報処理方法。
[4] 第 1の画像を出力する第 1の撮像手段と、
前記第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映って いる範囲全体が少なくとも映っている画像である第 2の画像を出力する第 2の撮像手 段と、
前記第 1の画像を表示する表示手段と
を備える撮影装置を制御するコンピュータに実行させるプログラムにおいて、 前記第 2の画像から、前記第 1の画像に映っている範囲が映っている領域を検出し
、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、 前記第 2の画像と、前記再生パラメータとを出力する出力制御ステップと を含むことを特徴とする処理を、コンピュータに実行させるプログラム。
[5] 第 1の画像を出力する第 1の撮像手段と、
前記第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映って いる範囲全体が少なくとも映っている画像である第 2の画像を出力する第 2の撮像手 段と、
前記第 1の画像を表示する表示手段と
を備える撮影装置を制御するコンピュータに実行させるプログラムが記録されてい るプログラム記録媒体にぉ 、て、
前記第 2の画像から、前記第 1の画像に映っている範囲が映っている領域を検出し 、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、 前記第 2の画像と、前記再生パラメータとを出力する出力制御ステップと を含むことを特徴とする処理を、コンピュータに実行させるプログラムが記録されて いるプログラム記録媒体。
[6] 第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映ってい る範囲全体が少なくとも映っている画像である第 2の画像と、
前記第 2の画像にぉ 、て、前記第 1の画像に映って 、る範囲が映って 、る領域を 表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第 2の画像と、前記再生パラメータとを再 生する再生制御手段と、
前記再生パラメータに基づいて、前記第 2の画像から、少なくとも一部の領域の画 像を抽出し、抽出画像として出力する抽出手段と、 ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成手段 と、
前記新たな再生パラメータを記録する記録制御手段と
を備え、
前記抽出手段は、前記新たな再生パラメータが生成された場合には、前記新たな 再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする情報処理装置。
[7] 前記再生パラメータは、前記抽出画像に施す信号処理の内容を表す情報をさらに 含み、
前記再生パラメータに基づいて、前記抽出画像に信号処理を施す信号処理手段 をさらに備え、
前記信号処理手段は、前記新たなパラメータが生成された場合には、前記新たな 再生パラメータに基づいて、前記抽出画像に信号処理を施す
ことを特徴とする請求項 6に記載の情報処理装置。
[8] 第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映ってい る範囲全体が少なくとも映っている画像である第 2の画像と、
前記第 2の画像にぉ 、て、前記第 1の画像に映って 、る範囲が映って 、る領域を 表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第 2の画像と、前記再生パラメータとを再 生する再生制御ステップと、
前記再生パラメータに基づいて、前記第 2の画像から、少なくとも一部の領域の画 像を抽出し、抽出画像として出力する抽出ステップと、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステ ップと、
前記新たな再生パラメータを記録する記録制御ステップと
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新 たな再生パラメータに基づいて、前記抽出画像を抽出する ことを特徴とする情報処理方法。
[9] コンピュータに実行させるプログラムにおいて、
第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映ってい る範囲全体が少なくとも映っている画像である第 2の画像と、
前記第 2の画像にぉ 、て、前記第 1の画像に映って 、る範囲が映って 、る領域を 表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第 2の画像と、前記再生パラメータとを再 生する再生制御ステップと、
前記再生パラメータに基づいて、前記第 2の画像から、少なくとも一部の領域の画 像を抽出し、抽出画像として出力する抽出ステップと、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステ ップと、
前記新たな再生パラメータを記録する記録制御ステップと
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新 たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする処理を、コンピュータに実行させるプログラム。
[10] コンピュータに実行させるプログラムが記録されているプログラム記録媒体において 第 1の画像よりも広角で高解像度の画像であり、かつ前記第 1の画像に映ってい る範囲全体が少なくとも映っている画像である第 2の画像と、
前記第 2の画像にぉ 、て、前記第 1の画像に映って 、る範囲が映って 、る領域を 表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第 2の画像と、前記再生パラメータとを再 生する再生制御ステップと、
前記再生パラメータに基づいて、前記第 2の画像から、少なくとも一部の領域の画 像を抽出し、抽出画像として出力する抽出ステップと、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステ ップと、
前記新たな再生パラメータを記録する記録制御ステップと
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新 たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする処理を、コンピュータに実行させるプログラムが記録されているプロ グラム記録媒体。
PCT/JP2006/305675 2005-03-22 2006-03-22 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 WO2006101112A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2006800090425A CN101147391B (zh) 2005-03-22 2006-03-22 成像设备、信息处理设备、信息处理方法
EP06729642A EP1865712A4 (en) 2005-03-22 2006-03-22 IMAGING DEVICE, INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM, AND PROGRAM RECORDING MEDIUM
US11/909,587 US8159572B2 (en) 2005-03-22 2006-03-22 Image pickup apparatus, apparatus and method for processing information, program, and program recording medium
KR1020077020886A KR101249322B1 (ko) 2005-03-22 2006-03-22 촬영 장치, 정보 처리 장치, 정보 처리 방법 및 프로그램 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-081648 2005-03-22
JP2005081648A JP3968665B2 (ja) 2005-03-22 2005-03-22 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2006101112A1 true WO2006101112A1 (ja) 2006-09-28

Family

ID=37023772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305675 WO2006101112A1 (ja) 2005-03-22 2006-03-22 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体

Country Status (6)

Country Link
US (1) US8159572B2 (ja)
EP (1) EP1865712A4 (ja)
JP (1) JP3968665B2 (ja)
KR (1) KR101249322B1 (ja)
CN (1) CN101147391B (ja)
WO (1) WO2006101112A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008021660A1 (en) * 2006-08-15 2008-02-21 3M Innovative Properties Company Display simulator
CN100440930C (zh) * 2006-12-30 2008-12-03 北京中星微电子有限公司 一种摄像头系统和在摄像头视频流中获取静态图像的方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957960B2 (ja) 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5217250B2 (ja) 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
JP4973935B2 (ja) 2007-06-13 2012-07-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および記録媒体
JP4930297B2 (ja) * 2007-09-10 2012-05-16 株式会社ニコン 撮像装置
JPWO2011039947A1 (ja) * 2009-10-01 2013-02-21 日本電気株式会社 撮像装置、その制御方法、撮像システム、及びプログラム
JP2014007653A (ja) * 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
CN107851425B (zh) * 2015-08-05 2022-01-18 索尼公司 信息处理设备、信息处理方法和程序
US10194078B2 (en) * 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US11653047B2 (en) * 2021-07-29 2023-05-16 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369066A (ja) * 2001-06-11 2002-12-20 Ricoh Co Ltd 映像記録表示装置及び映像記録表示方法
JP2004007284A (ja) * 2002-05-31 2004-01-08 Ricoh Co Ltd 映像記録システム、プログラム及び記録媒体
JP2005012423A (ja) * 2003-06-18 2005-01-13 Fuji Photo Film Co Ltd 撮像装置及び信号処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066669A (ja) 1992-06-22 1994-01-14 Hitachi Ltd カメラ一体型記録再生装置
JPH06189176A (ja) 1992-12-22 1994-07-08 Fuji Photo Film Co Ltd 手ぶれ補正システムおよび方式
JP3054002B2 (ja) * 1993-09-01 2000-06-19 キヤノン株式会社 複眼撮像装置
US6639626B1 (en) * 1998-06-18 2003-10-28 Minolta Co., Ltd. Photographing apparatus with two image sensors of different size
JP2000270297A (ja) 1999-03-12 2000-09-29 Toshiba Video Products Japan Kk デジタル映像記録再生機能を有する監視カメラシステム
ES2286875T3 (es) * 1999-04-22 2007-12-01 Leo Vision Procedimiento y dispositivo de tratamiento y de restitucion de imagenes, con nuevo muestreo.
JP3698397B2 (ja) 1999-06-07 2005-09-21 株式会社日立国際電気 テレビジョンカメラ
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2002094862A (ja) 2000-09-12 2002-03-29 Chinon Ind Inc 撮像装置
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
JP2003179785A (ja) 2001-12-11 2003-06-27 Pentax Corp 画像撮影装置
JP4068869B2 (ja) * 2002-03-29 2008-03-26 富士フイルム株式会社 デジタルカメラ
JP3870124B2 (ja) * 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2004282296A (ja) 2003-03-14 2004-10-07 Sony Corp 撮像装置
JP3950085B2 (ja) 2003-06-10 2007-07-25 株式会社つくばマルチメディア 地図誘導全方位映像システム
JP2005039777A (ja) 2003-06-30 2005-02-10 Casio Comput Co Ltd 画像撮影装置及び画像撮影システム
US20060187322A1 (en) * 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
JP2007180730A (ja) * 2005-12-27 2007-07-12 Eastman Kodak Co デジタルカメラおよびデータ管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369066A (ja) * 2001-06-11 2002-12-20 Ricoh Co Ltd 映像記録表示装置及び映像記録表示方法
JP2004007284A (ja) * 2002-05-31 2004-01-08 Ricoh Co Ltd 映像記録システム、プログラム及び記録媒体
JP2005012423A (ja) * 2003-06-18 2005-01-13 Fuji Photo Film Co Ltd 撮像装置及び信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1865712A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008021660A1 (en) * 2006-08-15 2008-02-21 3M Innovative Properties Company Display simulator
US7593017B2 (en) 2006-08-15 2009-09-22 3M Innovative Properties Company Display simulator
CN100440930C (zh) * 2006-12-30 2008-12-03 北京中星微电子有限公司 一种摄像头系统和在摄像头视频流中获取静态图像的方法

Also Published As

Publication number Publication date
EP1865712A1 (en) 2007-12-12
JP2006270187A (ja) 2006-10-05
KR101249322B1 (ko) 2013-04-01
US20090201378A1 (en) 2009-08-13
CN101147391B (zh) 2011-06-01
KR20070120951A (ko) 2007-12-26
CN101147391A (zh) 2008-03-19
EP1865712A4 (en) 2009-12-23
US8159572B2 (en) 2012-04-17
JP3968665B2 (ja) 2007-08-29

Similar Documents

Publication Publication Date Title
JP3968665B2 (ja) 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
US8264573B2 (en) Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation
US8000558B2 (en) Thumbnail generating apparatus and image shooting apparatus
US20070110321A1 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method
JP2002101329A (ja) デジタルカメラ、画像再生装置及び方法
JP2009033450A (ja) 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
US20080317291A1 (en) Image processing apparatus, image processing method and program
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP2007266659A (ja) 撮像再生装置
JP2006203334A (ja) 画像記録装置及びその制御方法、並びにプログラム
JP2007281966A (ja) 再生装置、再生画像の選択方法、プログラム、記録媒体
JP2008005427A (ja) 撮像装置および撮像方法、並びにプログラム
JP4893364B2 (ja) 情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP4758240B2 (ja) カメラ
JP4547877B2 (ja) 撮像装置
JP2007228119A (ja) 撮像装置、画像処理方法、およびプログラム
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
JP3543978B2 (ja) デジタル画像信号の伝送装置、受信装置およびデジタル画像信号の記録装置、再生装置
JP2004241834A (ja) 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体
JP2006238041A (ja) ビデオカメラ
JP2010193106A (ja) 撮像装置
JPH10276359A (ja) 追尾装置および追尾方法
JPH0746533A (ja) デジタル画像信号の記録装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680009042.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006729642

Country of ref document: EP

Ref document number: 1020077020886

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729642

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11909587

Country of ref document: US