WO2017022367A1 - 信号処理装置および信号処理方法 - Google Patents

信号処理装置および信号処理方法 Download PDF

Info

Publication number
WO2017022367A1
WO2017022367A1 PCT/JP2016/069163 JP2016069163W WO2017022367A1 WO 2017022367 A1 WO2017022367 A1 WO 2017022367A1 JP 2016069163 W JP2016069163 W JP 2016069163W WO 2017022367 A1 WO2017022367 A1 WO 2017022367A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image
imaging
signal processing
display
Prior art date
Application number
PCT/JP2016/069163
Other languages
English (en)
French (fr)
Inventor
伊東　隆史
大資 田原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017022367A1 publication Critical patent/WO2017022367A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • the present disclosure relates to a signal processing device and a signal processing method.
  • shake correction technique In recent years, research and development have been conducted on techniques for suppressing the influence of shake of the imaging apparatus during imaging. Such a technique is generally called a shake correction technique and is roughly divided into an optical system and an electronic system.
  • the optical system is a system that suppresses the influence of shake in imaging by moving an optical system such as a lens or an imaging system such as an imaging surface (image sensor) in accordance with the shake of the imaging apparatus.
  • the electronic method captures an image at a wider angle than the display target range, and performs image processing so as to cut out the display target range from an image (hereinafter, also referred to as a video) obtained by the image capturing. This is a method to suppress the influence.
  • the amount of shake that can be corrected by the above-described shake correction technique.
  • the magnitude of shake of the imaging device exceeds the magnitude of shake corresponding to the movable range of the optical system or the imaging system, an image affected by the shake is generated.
  • the electronic method when the display target range does not fit in the wide-angle imaging range due to shake, an image is not generated for the range that does not fit in the imaging range, and thus a partially missing image is displayed. .
  • Patent Document 1 when a shake that is difficult to be corrected by the shake correction technique occurs, a surveillance camera system that switches an image (hereinafter also referred to as a display image or a display image) displayed from a moving image to a still image.
  • a surveillance camera system that switches an image (hereinafter also referred to as a display image or a display image) displayed from a moving image to a still image.
  • the invention which concerns is disclosed. As a result, an image affected by the shake is not displayed, and the viewer can be prevented from feeling tired.
  • Patent Document 2 discloses an invention relating to an image processing apparatus that uses an electronic image shake correction technique to compensate for a lacking part by shake correction processing with an image obtained by past imaging. As a result, it is possible to prevent an image with a part missing from being displayed.
  • Patent Documents 1 and 2 it may be difficult for the user to appropriately grasp the situation from the image.
  • Patent Document 1 since the image is not updated in a situation where the shake is large, it is difficult for the user to observe the image obtained by imaging in the situation.
  • the present disclosure proposes a new and improved signal processing apparatus and signal processing method that allow the user to appropriately grasp the situation from the image while suppressing deterioration in the visibility of the image due to shake. .
  • a portion corresponding to at least a part of a display target region in a retained image obtained by imaging at a time before the imaging time of the raw image is extracted from a raw image obtained by imaging.
  • Image extraction unit and image generation for generating a processed image in which a first region is the raw image extracted by the image extraction unit, and a second region different from the first region is the retained image
  • a signal processing device comprising: a unit.
  • the present disclosure it is possible to provide a signal processing device and a signal processing method that allow the user to appropriately grasp the situation from the image while suppressing deterioration in the visibility of the image due to shake. .
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 1 is a system configuration diagram illustrating an example of a schematic physical configuration of a signal processing system according to a first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating an example of a schematic functional configuration of a signal processing system according to the embodiment. It is a figure for demonstrating the production
  • 3 is a flowchart conceptually showing an entire process of the imaging apparatus according to the embodiment.
  • 4 is a flowchart conceptually showing a calculation process of a display target area of the imaging apparatus according to the embodiment.
  • 4 is a flowchart conceptually showing video processing related to object tracking of the imaging apparatus according to the embodiment.
  • 12 is a flowchart conceptually showing a video switching process based on information relating to shake in the first modification of the embodiment.
  • 7 is a flowchart conceptually showing a video switching process based on an operation state of an imaging apparatus according to a first modification of the embodiment. It is a figure showing an example of change of a vector integrated value by operation of an imaging device concerning the 1st modification of the embodiment. It is a figure showing an example of change of a vector integrated value by shake of an imaging device concerning the 1st modification of the embodiment.
  • FIG. 2 is a block diagram illustrating an example of a schematic functional configuration of a signal processing system according to the embodiment.
  • 5 is a flowchart conceptually showing a video switching process based on a user operation in the recording apparatus according to the embodiment.
  • 5 is a flowchart conceptually showing a video switching process based on shake in imaging in the recording apparatus according to the embodiment.
  • 6 is a flowchart conceptually showing a video switching process based on a video update status in the recording apparatus according to the embodiment.
  • 5 is a flowchart conceptually showing a video switching process based on occurrence of abnormality in the video in the recording apparatus according to the embodiment.
  • It is a figure which shows the example of a schematic function structure of the signal processing system which concerns on the modification of the embodiment. It is explanatory drawing which showed the hardware constitutions of the signal processing apparatus which concerns on one Embodiment of this indication.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different numbers after the same reference numerals.
  • a plurality of configurations having substantially the same function are distinguished as necessary, such as the imaging range 10A and the imaging range 10B.
  • the imaging range 10A and the imaging range 10B are simply referred to as the imaging range 10.
  • FIG. 1 is a diagram for explaining a problem of a conventional shake correction technique.
  • shake correction techniques are generally roughly classified into two types: an optical method and an electronic method.
  • the optical system when the magnitude of shake of the imaging apparatus exceeds the magnitude of shake corresponding to the optical system or the movable range of the imaging system, it is difficult to suppress the influence of the shake.
  • the electronic method if the imaging range changes according to the shake, the display target range is fixed, and if the display target range does not fit in the imaging range, a partially missing video is generated or a video is generated It may not be. Further, when the display target range is not fixed, the display target range moves according to the shake. The latter problem in the electronic system will be described in detail with reference to FIG.
  • the imaging range 10A is located at the center in the horizontal direction, and the display target range (hereinafter also referred to as a display target region) 20A is imaged. It is located at the center of the range 10A.
  • an image 30A obtained by extracting the range of the display target region 20A in the imaging range 10A becomes a display image.
  • the imaging range 10 ⁇ / b> A changes within a range in which the display target area 20 ⁇ / b> A can be accommodated by shake
  • the influence of shake on the display image is suppressed by applying the electronic shake correction technique as described above.
  • the imaging range moves to the imaging range 10B
  • the display target area is within the imaging range 10B
  • the original display target area 20A The display area 20B is moved closer to the area.
  • 30B obtained by extracting the range of the display target region 20B in the imaging range 10B is a display image.
  • the imaging range further moves to the imaging range 10C, and the display target area is within the imaging range 10C and the original display target area 20A or 20B.
  • the display target region 20C closer to the other region.
  • 30C obtained by extracting the range of the display target area 20C in the imaging range 10C is the display image.
  • the conventional shake correction technology cannot completely suppress the influence of the shake on the display video, and the display video is disturbed and the visibility deteriorates. . Furthermore, since the disturbance of the display image increases as the magnitude of the shake increases, the burden on the user who observes the display image increases.
  • the situation can be grasped while maintaining the visibility of the signal processing device or the video that allows the user to appropriately grasp the situation from the video.
  • a signal processing device capable of providing an image suitable for the above.
  • FIG. 2 is a system configuration diagram illustrating an example of a schematic physical configuration of the signal processing system according to the first embodiment of the present disclosure.
  • the signal processing system includes an imaging device 100A, a recording device 200-1A, and a display device 300 as shown in FIG.
  • the signal processing system may be a monitoring system
  • the imaging device 100A may be a monitoring camera.
  • an image obtained by imaging by the imaging device 100A is transmitted to the recording device 200-1A via communication.
  • video to be transmitted There are two types of video to be transmitted, one is a video obtained by imaging and is an unprocessed video, and the other is a processed image generated by a stabilized video generator 107 described later. (Hereinafter also referred to as a stabilized image or a stabilized image).
  • a solid line as shown in FIG. 2 indicates transmission of raw video
  • a broken line indicates transmission of stabilized video.
  • the transmitted video is recorded in the recording device 200-1A.
  • both the raw video Data1 and the stabilized video Data2 are recorded on the recording device 200-1A.
  • the display device 300 displays the video recorded in the recording device 200-1A.
  • the stabilized image is provided to the display device 300 and displayed.
  • the video transmitted to the recording device 200-1A may be displayed on the display device as it is through the recording device 200-1A without being recorded.
  • FIG. 3 is a block diagram illustrating an example of a schematic functional configuration of the signal processing system according to the present embodiment.
  • the imaging apparatus 100A includes a control unit 101, a lens driving unit 102, an optical system 103, an imager 104, a video signal processing unit 105, a raw video memory 106, a stabilized video generation unit 107, and a retained video.
  • a memory 108, a retained video generation unit 109, a gyroscope 110, and a communication unit 111 are provided.
  • the control unit 101 generally controls the operation of the imaging apparatus 100A. Specifically, the control unit 101 controls operations of the lens driving unit 102, the imager 104, the video signal processing unit 105, the stabilized video generation unit 107, the retained video generation unit 109, and the communication unit 111. In particular, the control unit 101 controls the operation of the stabilized video generation unit 107 based on information obtained from the gyroscope 110.
  • the lens driving unit 102 drives a lens included in the optical system 103.
  • the lens driving unit 102 can move the position of the lens using a motor or the like.
  • the optical system 103 includes a lens, and forms an external image on the imager 104 using the lens.
  • the optical system 103 can include lenses such as a photographing lens and a zoom lens that collect external light.
  • the imager 104 generates a video signal based on external light.
  • the imager 104 may be a signal conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the video signal processing unit 105 performs a correction process on the video signal generated by the imager 104.
  • the video signal processing unit 105 may be an ISP (Image Signal Processor).
  • the raw video memory 106 stores the raw video. Specifically, the raw video memory 106 stores information about the video signal obtained from the video signal processing unit 105 (hereinafter, also referred to as video information or data) in units of pixels. For example, in the raw video memory 106, an address corresponding to a pixel is provided, and video information in units of pixels is stored at the address.
  • the stabilized video generation unit 107 generates a stabilized video based on the raw video and a video obtained by past imaging (hereinafter also referred to as a holding image or a holding video). Specifically, the stabilized video generation unit 107 updates the retained video using the raw video, and cuts out a region to be displayed from the video obtained by the update (hereinafter also referred to as a mixed image or a mixed video). To generate a stabilized video. Then, the stabilized video generation unit 107 provides the communication unit 111 with video information related to the generated stabilized video.
  • the retained video memory 108 stores the retained video. Specifically, the retained video memory 108 provides the retained video to the stabilized video generation unit 107, and stores the retained video that is generated or updated by the retained video generation unit 109.
  • the retained video generation unit 109 generates and updates the retained video. Specifically, the holding video generation unit 109 performs holding video processing on the mixed video updated by the stabilized video generation unit 107 using the raw video, and stores the video obtained by the holding video processing. It is stored in the memory 108.
  • the gyroscope 110 detects the attitude or angular velocity of the imaging device 100A as an inertial sensor. Note that instead of the gyroscope 110, an acceleration sensor may be provided in the imaging apparatus 100A.
  • the communication unit 111 communicates with the recording device 200-1A. Specifically, the communication unit 111 transmits, as an image providing unit, at least one of the video information related to the stabilized video and the raw video to the recording device 200-1A via communication. For example, the communication unit 111 performs wired communication or wireless communication.
  • the recording apparatus 200-1A includes a control unit 201, a communication unit 202, a storage unit 203, and a video switching unit 204.
  • the control unit 201 generally controls the operation of the recording apparatus 200-1A. Specifically, the control unit 201 controls operations of the communication unit 202, the storage unit 203, and the video switching unit 204.
  • the communication unit 202 communicates with the imaging device 100A. Specifically, the communication unit 202 receives a stabilized video and a raw video from the imaging device 100A. Note that the imaging apparatus 100A and the recording apparatus 200-1A may be bi-directional.
  • the storage unit 203 stores video. Specifically, the storage unit 203 stores both the stabilized video and the raw video received by the communication unit 202.
  • the video switching unit 204 provides video to the display device 300 as an image providing unit. Specifically, the video switching unit 204 acquires a stabilized video or a raw video received by the communication unit 202 as an image acquisition unit, and provides the acquired video to the display device 300. The video switching unit 204 switches the video provided to the display device 300 based on an instruction from the control unit 201.
  • the display device 300 displays a video based on the video information provided from the recording device 200-1A.
  • the display device 300 includes a display unit that displays a stabilized video or a raw video provided from the recording device 200-1A.
  • the imaging device 100A generates a stabilized video based on the raw video and the retained video.
  • the stabilized video generation unit 107 as an image extraction unit, at least a part of the display target region in the retained video obtained by imaging from the raw video before the raw video is captured. Extract the part corresponding to.
  • the stabilized video generation unit 107 generates a stabilized video that is a raw video from which the first area has been extracted, and a second area that is different from the first area is a retained video.
  • FIG. 4 is a diagram for explaining a stabilized video generation process according to the present embodiment.
  • the stabilized video generation unit 107 acquires a raw video, and updates the retained video using the acquired raw video. For example, when there is no shake, the stabilized video generation unit 107 generates a raw video obtained by imaging in the imaging range 10D out of the holding video 40D as illustrated in the left diagram of FIG. The part that matches the subject is updated to the raw video.
  • the stabilized video generation unit 107 detects the raw video subject obtained by imaging in the imaging range 10E out of the retained video 40E as shown in the middle diagram of FIG. The matching part is updated to the raw video.
  • the stabilized video generation unit 107 when the shake is further increased, the stabilized video generation unit 107 generates a raw video obtained by imaging in the imaging range 10F out of the retained video 40F as illustrated in the middle diagram of FIG. The part that matches the subject is updated to the raw video.
  • the stabilized video generation unit 107 extracts a portion corresponding to the display target area from the mixed video. For example, when there is no shake, the stabilized video generation unit 107 extracts a portion corresponding to the display target region 20D as shown in the left diagram of FIG. 4 from the mixed video. In this case, since all of the display target area 20D is within the imaging range 10D, the video 50D, which is all unprocessed video, is extracted.
  • the stabilized video generation unit 107 extracts a portion corresponding to the display target area 20E as shown in the middle diagram of FIG. 4 from the mixed video.
  • the video 50E including the area 51E that is an unprocessed video and the area 52E that is a retained video is extracted.
  • the stabilized video generation unit 107 extracts a portion corresponding to the display target area 20F as shown in the middle part of the right diagram of FIG. 4 from the mixed video. In this case, since the display target area 20F is out of the imaging range 10F, the video 50F, which is all retained video, is extracted.
  • the stabilized video generation unit 107 outputs the extracted video as a stabilized video.
  • the stabilized video generation unit 107 outputs the extracted videos 50D, 50E, and 50F as shown in the lower part of each diagram of FIG. 4 as the stabilized video and displays them as the display video by the display device 300.
  • the stabilized video is a mode in which a raw video region and a retained video region are distinguished.
  • the retained video is processed by the retained video generation unit 109 so as to have a specific visual aspect.
  • the specific visual aspect includes coloring.
  • the retained image 40E is lightly whitened.
  • the specific visual aspect may be a change in brightness or luminance, patterning, emphasis on the outer edge of the retained image, or the like.
  • an object indicating that it is a retained video for example, a character, a symbol, a figure, or the like may be superimposed on the retained video.
  • the shake correction process is performed, and the process when the shake is not generated as a subsequent process is performed. It may be done.
  • the imaging apparatus 100A performs a tracking process for a specific subject appearing in the video.
  • the stabilized video generation unit 107 captures a specific subject in the raw video as an image analysis unit.
  • the stabilized video generation unit 107 determines the presence / absence and position of the subject in the raw video based on the feature points of the subject to be identified.
  • FIG. 5 is a diagram for explaining the problem of the object tracking process using the shake correction technique.
  • the position of the tracking target object is captured, and an object indicating the position of the tracking target object is superimposed.
  • an object indicating the position of the tracking target object is superimposed.
  • the person who is the tracking target is within the imaging range 10G
  • the person is captured by the video analysis process, and the position of the tracking target object is indicated for the human.
  • the object 60G is superimposed.
  • a range corresponding to the display target region 20G is extracted from the imaging range 10G, and the extracted video 30G is displayed as a display video.
  • the tracking target object may be out of the imaging range.
  • the person who is the tracking target does not fit in the imaging range 10H, the person is not captured.
  • the person who is the tracking target object is not captured in the display image 30H. As a result, the observer loses sight of the person who is the tracking target object.
  • the stabilized video generation unit 107 estimates when the specific subject to be captured is not included in the unprocessed video area (first area) in the stabilized video. An object indicating the position of a specific subject is superimposed on the stabilized video. This configuration will be described in detail with reference to FIG. FIG. 6 is a diagram for explaining the tracking target object estimated position display processing in the present embodiment.
  • an object indicating the position of the tracking target object is superimposed. For example, as shown in the upper part of the left diagram of FIG. 6, since the person who is the tracking target is within the imaging range 10I, the person is captured by the video analysis process, and the position of the tracking target object is indicated for the human. An object 60I is superimposed. Then, a range corresponding to the display target area 20I is extracted from the imaging range 10I, and the extracted video 50I is displayed as a display video.
  • the stabilized video generation unit 107 determines whether a tracking target object exists in the raw video region of the stabilized video. For example, the stabilized video generation unit 107 determines whether or not a person who is a tracking target object exists in the unprocessed video region 51J in the video 50J that is a stabilized video as illustrated in FIG.
  • the stabilized video generation unit 107 estimates the position of the tracking target object based on the position of the past tracking target object. For example, the stabilized video generation unit 107 estimates the position of the tracking target object from the past change in the position of the tracking target object.
  • the stabilized video generation unit 107 determines whether the estimated position of the tracking target object (hereinafter also referred to as the tracking estimated position) is within the display target area. For example, the stabilized video generation unit 107 determines whether the estimated tracking position is within the display target area 20J, that is, the retained video area 52J.
  • the stabilized video generation unit 107 If it is determined that the estimated tracking position is within the display target area, the stabilized video generation unit 107 superimposes an object indicating the position of the tracking target object on the estimated position. For example, the stabilized video generation unit 107 superimposes the object 60J indicating the position of the tracking target object on the tracking estimation position in the region 52 of the retained video. Then, the stabilized video 50J is displayed as a display video.
  • the object indicating the position of the tracking target object is stable. It may be superimposed on the digitized video.
  • the stabilized video generation unit 107 can superimpose an object such as an arrow indicating the estimated tracking position.
  • the imaging apparatus 100A changes the display target area based on the size of the raw video area in the stabilized video. Specifically, when the size of the raw video area is equal to or smaller than the threshold value, the stabilized video generation unit 107 determines the display target area so that the raw video area becomes large. For example, the stabilized video generation unit 107 determines that the ratio of the size of the raw video area in the display target area is a threshold in a range corresponding to the display target area in the video obtained by updating the retained video using the raw video. In the following cases, the region of the raw video is enlarged by shifting the display target region.
  • the comparison with the threshold value of the size of the unprocessed video has been described as the ratio in the display target area, it may be performed by the total value of the area or the side. In addition, the size of the display target area may be changed.
  • FIG. 7 is a flowchart conceptually showing the entire processing of the imaging apparatus 100A according to the present embodiment.
  • the imaging apparatus 100A detects shake (step S401). Specifically, the control unit 101 detects the presence / absence of shake and the magnitude of shake based on information such as angular velocity obtained from the gyroscope 110.
  • the imaging apparatus 100A calculates a region of the retained video corresponding to the raw video (Step S402). Specifically, the stabilized video generation unit 107 calculates a region of a retained video in which a subject corresponding to a raw video subject obtained by imaging is captured.
  • the imaging apparatus 100A converts the address of the raw video into the address of the retained video (Step S403).
  • the stabilized video generation unit 107 converts the address of the raw video into the address of the retained video corresponding to the raw video.
  • the image capturing apparatus 100A updates the address data related to the conversion on the retained video memory 108 to the raw video data (step S404). Specifically, the stabilized video generation unit 107 updates the data stored in the address of the retained video corresponding to the converted raw video address to the raw video data.
  • the imaging apparatus 100A calculates the address of the display target area (step S405). Details will be described later.
  • the imaging apparatus 100A reads the data of the calculated address on the retained video memory 108 (step S406). Specifically, the stabilized video generation unit 107 reads out data stored at the address of the retained video corresponding to the calculated display target area address.
  • the imaging apparatus 100A determines the presence / absence of an object tracking process (step S407). Specifically, the stabilized video generation unit 107 determines whether the object tracking process is continuing or started.
  • step S408 the imaging apparatus 100A performs a video process related to the object tracking. Details will be described later. If it is determined not to perform the object tracking process, the process proceeds to step S409.
  • the imaging apparatus 100A outputs a stabilized video (step S409).
  • the stabilized video generation unit 107 outputs the data read from the holding video memory 108 or the data related to the video obtained by performing the video processing related to the object tracking on the video related to the read data.
  • the communication unit 111 transmits the provided data to the recording device 200-1A.
  • the imaging device 100A updates the raw video on the held video memory 108 to the held video (step S410).
  • the retained video generation unit 109 performs a coloring process on the raw video on the retained video memory 108.
  • FIG. 8 is a flowchart conceptually showing a calculation process of the display target area of the imaging apparatus 100A according to the present embodiment.
  • the imaging apparatus 100A determines whether or not the display target area is controlled based on the display ratio (step S421). Specifically, the stabilized video generation unit 107 determines whether or not to change the display target area based on the ratio of the unprocessed video in the display target area, that is, the stabilized video. Of course, the ratio of the retained video may be used instead of the ratio of the raw video.
  • the imaging apparatus 100A calculates the ratio of the unprocessed video in the display target area (step S422). Specifically, the stabilized video generation unit 107 specifies a display target area that has already been set in the mixed video. Then, the stabilized video generation unit 107 calculates the ratio of the raw video area in the display target area.
  • the imaging apparatus 100A determines whether or not the ratio of the unprocessed video is equal to or greater than a threshold (step S423). Specifically, the stabilized video generation unit 107 determines whether the calculated ratio of raw video in the display target area is equal to or greater than a threshold value.
  • the threshold value may be set in advance or may be changed afterwards.
  • the imaging device 100A recalculates the position of the display target area (step S424). Specifically, the stabilized video generation unit 107 shifts the display target area so that the ratio of raw video increases.
  • the imaging apparatus 100A calculates an address on the retained video memory 108 corresponding to the display target area (step S425). Specifically, the stabilized video generation unit 107 calculates the address of the mixed video area specified by the display target area.
  • FIG. 9 is a flowchart conceptually showing video processing relating to object tracking of the imaging apparatus 100A according to the present embodiment.
  • the imaging apparatus 100A determines whether or not the tracking target object exists in the unprocessed video area (step S431). Specifically, the stabilized video generation unit 107 determines whether a tracking target object exists in an unprocessed video area in the video related to the read data. Of course, the stabilized video generation unit 107 may determine whether the tracking target object exists in the raw video using only the raw video.
  • the imaging apparatus 100A calculates a tracking estimation position (step S432). Specifically, the stabilized video generation unit 107 estimates the position of the tracking target object based on the past change in the position of the tracking target object.
  • the imaging apparatus 100A determines whether the tracking target object exists in the display target area (step S433). Specifically, the stabilized video generation unit 107 determines whether the tracking estimated position is within the display target area.
  • the imaging device 100A superimposes an object indicating the estimated tracking position (step S434).
  • the stabilized video generation unit 107 superimposes an object indicating the estimated tracking position on the video related to the read data.
  • the imaging device 100A is obtained as a signal processing device from an unprocessed image obtained by imaging by imaging at a time before the imaging time of the unprocessed image. A portion corresponding to at least a part of the display target region in the held image is extracted.
  • the imaging apparatus 100A generates a processed image in which the first region is a raw image extracted by the image extraction unit, and a second region different from the first region is a retained image.
  • the display target area does not fit in the imaging range due to shake
  • the area where no unprocessed video exists is supplemented with the retained video, thereby suppressing deterioration in the visibility of the video due to shake. It becomes possible and the burden on the user can be reduced.
  • the unprocessed video that is not processed from the video obtained by imaging is used as the display video, the user can appropriately grasp the situation from the video.
  • the processed image includes an image in which at least one of the first region and the second region is discriminated. For this reason, the stabilized video is generated so that the raw video and the retained video are discriminated, so that the user can grasp the situation at the time when the image was captured by observing the region of the raw video. . As a result, it is possible to observe the situation at the time of imaging of the display target area while maintaining at least the visibility.
  • the second region of the processed image is a specific visual aspect. For this reason, it becomes possible for a user to improve a user's convenience by distinguishing each area
  • the specific visual aspect includes a specific coloring. For this reason, the area of the retained video is displayed in such a manner that a human can easily recognize the difference, so that the user can quickly grasp the area of the retained video.
  • images obtained by imaging are communicated via a network. For this reason, it is possible to generate a stabilized video even for a video obtained by remote imaging.
  • the raw image includes an image obtained by imaging in a situation where the display target area does not fit in the imaging range. For this reason, it is possible to provide a display image in which the disturbance is suppressed even when an image obtained by imaging in a situation where shake correction is difficult is acquired.
  • the imaging apparatus 100A captures a specific subject in the unprocessed image, and when the captured specific subject is not included in the first region, an object indicating the estimated position of the specific subject is used as the processed image. Superimpose. For this reason, even if the tracking target object is not shown in the raw video region of the stabilized video, the tracking estimated position is indicated, so that the user can hardly lose track of the tracking target object.
  • the imaging apparatus 100A determines the display target area so that the first area becomes larger. For this reason, it becomes possible to easily grasp the situation at the time of imaging by increasing the area of the raw video in the stabilized video.
  • both processed images and unprocessed images are recorded.
  • the video evidence ability is important. Since the stabilized video includes the retained video, only the raw video area has evidence capability. However, since the stabilized video is a processed video, there is a possibility that the evidence ability is suspected. Therefore, by recording not only the stabilized video but also the raw video as in the present configuration, the stabilized video can be used for monitoring and the raw video can be used as evidence.
  • the imaging device 100A may switch the provided video.
  • the imaging device when the imaging device is installed far away from the location to be photographed, there are cases where a subject such as a volcano, the sea or a river that is difficult for humans to approach is subject to photography, or a disaster site is subject to photography.
  • a subject such as a volcano, the sea or a river that is difficult for humans to approach is subject to photography, or a disaster site is subject to photography.
  • the imaging device is not fixed, for example, when it is temporarily installed in a police investigation or investigation, or when the installation location is not stable, for example, when it is affected by traffic or wind.
  • the control unit 101 switches the video transmitted by the communication unit 111 based on information related to the state of the device that performs imaging. For example, the control unit 101 switches between a mode in which a stabilized video is transmitted (stabilization mode ON) and a mode in which an unprocessed video is transmitted (stabilization mode OFF).
  • a mode in which a stabilized video is transmitted stabilization mode ON
  • a mode in which an unprocessed video is transmitted stabilization mode OFF.
  • a method for switching video there are video switching based on information relating to shake of the imaging device 100A and video switching based on the operating state of the imaging device 100A.
  • the control unit 101 switches the video to be transmitted to the communication unit 111 based on the degree of shake in imaging.
  • the degree of shake in imaging is estimated based on the movement of the imaging device 100A.
  • the movement of the imaging apparatus 100A is estimated based on information obtained from an inertial sensor (hereinafter also referred to as sensor information).
  • the control unit 101 calculates a motion vector based on information such as angular velocity obtained from the gyroscope 110. Then, the control unit 101 switches the stabilization mode ON and OFF based on the calculated magnitude of the motion vector.
  • the movement of the imaging apparatus 100A may be estimated based on a video obtained by imaging.
  • the control unit 101 calculates a motion vector based on a time-series change of the raw video.
  • the stored image may be used for estimating the motion of the imaging apparatus 100A.
  • control unit 101 may switch the video to be transmitted to the communication unit 111 based on the possibility of the occurrence of shake in imaging. Specifically, the possibility of occurrence of shake in imaging is estimated based on whether or not the subject is enlarged in the video obtained by imaging. For example, the control unit 101 determines the presence or absence of a zoom-in operation in imaging based on the magnitude of the focal length. When the focal length is larger than the threshold value, the control unit 101 sets the stabilization mode to ON because the zoom-in operation is being performed. Note that the threshold for the focal length may be determined in advance or may be changed afterwards.
  • FIG. 10 is a flowchart conceptually showing a video switching process based on information relating to shake in the first modification of the present embodiment.
  • the imaging apparatus 100A determines whether the focal length can be acquired (step S441). Specifically, the control unit 101 determines whether the focal length of the lens included in the optical system 103 can be acquired.
  • the imaging apparatus 100A determines whether the focal length exceeds the threshold L (step S442). Specifically, the control unit 101 acquires the focal length of the lens and determines whether the acquired focal length exceeds a threshold value L.
  • the imaging apparatus 100A sets the stabilization mode to ON (step S443).
  • step S441 If it is determined in step S441 that the focal length cannot be acquired, or if it is determined in step S442 that the focal length does not exceed the threshold L, the imaging device 100A calculates a motion vector (step S444). Specifically, the control unit 101 calculates a motion vector of the imaging apparatus 100A based on information obtained from the gyroscope 110 or video analysis.
  • the imaging device 100A determines whether the stabilization mode is OFF (step S445).
  • the imaging device 100A determines whether the magnitude of the motion is greater than or equal to the threshold value a (step S446). Specifically, the control unit 101 determines whether the magnitude of the calculated motion vector is greater than or equal to the threshold value a.
  • step S443 If it is determined that the magnitude of the motion is greater than or equal to the threshold value a, the process proceeds to step S443, and the stabilization mode is set to ON. Otherwise, the stabilization mode is not changed and remains OFF.
  • step S445 If it is determined in step S445 that the stabilization mode is ON, the imaging device 100A observes the movement during the predetermined period T1 (step S447). Specifically, the control unit 101 continues to calculate motion vectors periodically during a predetermined period T1.
  • the imaging apparatus 100A determines whether or not the magnitude of movement in the predetermined period T1 is equal to or less than the threshold value b (step S448). Specifically, the control unit 101 determines whether all the motion vectors calculated during the predetermined period T1 are equal to or less than the threshold value b.
  • the imaging device 100A sets the stabilization mode to OFF (step S449). Otherwise, the control unit 101 does not change the stabilization mode and keeps it ON. Note that the control unit 101 may switch the stabilization mode based on the length of the period that is equal to or less than the threshold value b.
  • the control unit 101 switches the video to be provided according to the operation state for imaging.
  • the operation state for imaging includes the presence or absence of an operation related to the movement of the imaging range.
  • operations related to the movement of the imaging range include a horizontal rotation operation in the imaging direction, a so-called pan operation, and a vertical rotation operation in the imaging direction, a so-called tilt operation.
  • the operation state for imaging includes the presence or absence of an operation related to a change in the size of the subject.
  • an operation related to a change in the size of the subject For example, there are zoom-in and zoom-out operations related to the change in the size of the subject.
  • the zoom may be either optical or digital.
  • the operation related to the movement of the imaging range and the operation related to the change in the size of the subject are determined based on the operation information of the imaging apparatus 100A. Note that, instead of the operation information of the imaging apparatus 100A, an operation related to movement of the imaging range and an operation related to a change in the size of the subject may be determined based on the video analysis result.
  • FIG. 11 is a flowchart conceptually showing a video switching process based on the operation state of the imaging apparatus in the first modification of the present embodiment. Note that description of processing that is substantially the same as the processing described above is omitted.
  • the imaging apparatus 100A determines whether the operation information of the imaging apparatus 100A can be acquired (step S451). Specifically, the control unit 101 determines whether operation information related to zoom, pan, and tilt of the imaging apparatus 100A can be acquired.
  • the image capturing apparatus 100A determines whether the zoom operation is being performed (step S452). Specifically, the control unit 101 determines whether the operation information related to zooming indicates that zooming in or zooming out is being performed.
  • the imaging apparatus 100A sets the stabilization mode to OFF (step S453).
  • step S452 determines whether the zoom operation is not being performed.
  • the imaging device 100A determines whether the panning or tilting operation is being performed (step S454). Specifically, the control unit 101 determines whether operation information related to panning and tilting indicates that a panning or tilting operation is being performed.
  • the imaging apparatus 100A sets the stabilization mode to OFF (step S453), and if not, sets the stabilization mode to ON (step S455).
  • step S451 If it is determined in step S451 that the operation information of the imaging apparatus 100A cannot be acquired, the imaging apparatus 100A calculates a motion vector (step S456).
  • the imaging apparatus 100A determines whether the size of the subject has changed (step S457). Specifically, the control unit 101 determines whether the size of the subject is increased or decreased by analyzing time-series video.
  • the imaging apparatus 100A sets the stabilization mode to OFF (step S458).
  • step S457 If it is determined in step S457 that the size of the subject has not changed, the imaging device 100A observes the movement during the predetermined period T2 (step S459).
  • the imaging apparatus 100A determines whether or not the integrated value of the magnitude of movement in the predetermined period T2 is equal to or less than a threshold value (step S460). Specifically, the control unit 101 integrates motion vectors calculated during a predetermined period T2, and determines whether a value obtained by the integration is equal to or less than a threshold value. Further, the motion vector integrated value will be described in detail with reference to FIGS. 12A and 12B.
  • FIG. 12A is a diagram illustrating an example of a change in the vector integrated value due to the operation of the imaging apparatus 100A according to the present modification
  • FIG. 12B is an example of a change in the vector integrated value due to the shake of the imaging apparatus 100A according to the present modification.
  • FIG. 12A is a diagram illustrating an example of a change in the vector integrated value due to the operation of the imaging apparatus 100A according to the present modification
  • FIG. 12B is an example of a change in the vector integrated value due to the shake of the imaging apparatus 100A according to the present modification.
  • the vector integrated value by the operation generally increases linearly as shown in FIG. 12A.
  • the shake direction of the imaging apparatus 100A alternately changes in the direction in which it occurred and in the direction opposite to the direction in which it occurred, so that the integrated values of the vectors due to shake generally cancel each other as shown in FIG. And eventually converge toward 0.
  • the threshold used for the determination in step S460 may be 0 or a value regarded as 0.
  • the apparatus 100A sets the stabilization mode to ON (step S461), and otherwise sets the stabilization mode to OFF (step S458).
  • the stabilization mode is turned off when the zoom operation or the panning or tilting operation is being performed.
  • the association between the operation information and the stabilization mode is another association. Also good. For example, the association shown in Table 1 below is assumed.
  • the imaging device 100A switches the image to be provided to the external device based on the information related to the state of the device that performs imaging. For this reason, by providing an image suitable for the state of the imaging device 100A to the external device, both the visibility of the image and the user's needs for the image can be achieved.
  • the imaging apparatus 100A switches images to be provided based on the degree of shake in imaging. For this reason, when the stabilization mode is turned on when a shake of a predetermined magnitude occurs, the processing load can be reduced as compared with the case where the stabilization video generation process is always performed.
  • the degree of shake in imaging is estimated based on the movement of the device that performs imaging. For this reason, it is possible to improve the accuracy and accuracy of estimation by estimating the degree of shake based on the movement of the imaging apparatus 100A in which shake has occurred.
  • the movement of the device that performs imaging is estimated based on information obtained from the inertial sensor. For this reason, it is possible to suppress an increase in processing load as compared to a case where video analysis for estimating the motion of the imaging apparatus 100A is performed.
  • the movement of the apparatus that performs imaging is estimated based on the image obtained by imaging. For this reason, it becomes possible to reduce cost compared with the case where the estimation process based on the information obtained from an inertial sensor is performed.
  • the imaging apparatus 100A switches the provided image based on the possibility of occurrence of shake in imaging. For this reason, the stabilization mode is turned ON in advance when the possibility of shake is high, so that it is possible to suppress image disturbance compared to the case where the stabilization mode is switched after the occurrence of shake. It becomes.
  • the possibility of shake during imaging is estimated based on whether or not the subject is enlarged in the image obtained by imaging.
  • the image is more susceptible to shake than when the zoom-in operation is not performed. Therefore, during the zoom-in operation, the stabilization of the stabilization mode can be suppressed to reduce the visibility of the video.
  • the imaging apparatus 100A switches the provided image according to the operation state for imaging. For this reason, when the state of the stabilized video estimated from the operation state of the imaging device 100A is not suitable for visual recognition, switching to an unprocessed video can suppress degradation in visibility due to the operation of the imaging device 100A. It becomes possible.
  • the operation state for imaging includes the presence / absence of an operation related to movement of the imaging range.
  • the imaging range moves, there may be a region that has not yet been imaged. In this case, since there is no area of the retained video corresponding to the raw video, a part of the stabilized video may be lost.
  • the stabilization mode is turned off during the panning or tilting operation, that is, the displayed video is switched to the raw video, thereby providing the user with a complete video. It becomes possible.
  • the operation state for imaging includes the presence or absence of an operation related to a change in the size of the subject.
  • the subject that appears in the unprocessed video is enlarged or reduced, so that the held video is also enlarged or reduced accordingly. Thereby, the retained image may be deteriorated.
  • the stabilization mode is turned off, that is, the displayed video is switched to the raw video, thereby preventing the video from being deteriorated.
  • FIG. 13 is a diagram illustrating an example of a schematic physical configuration of a signal processing system according to a second modification of the present embodiment.
  • the signal processing system includes an imaging device 100B, a recording device 200-1B, and a display device 300.
  • the recording device 200-1B receives the raw video from the imaging device 100B and generates a stabilized video based on the received raw video and the retained video.
  • the recording device 200-1B provides the display device 300 with video information regarding the generated stabilized video.
  • the recording apparatus 200-1B records the raw image Data1 and the stabilized video Data2 as shown in FIG.
  • the display device 300 displays a stabilized video related to the provided video information.
  • FIG. 14 is a diagram illustrating an example of a schematic functional configuration of a signal processing system according to a second modification of the present embodiment. Here, only the recording apparatus 200-1B will be described.
  • the recording device 200-1B includes a raw video memory 205, a stabilized video generation unit 206, a retained video.
  • a memory 207, a retained video generation unit 208, and a motion detection unit 209 are provided.
  • the functions of the communication unit 202 and the storage unit 203 are substantially the same as the functions described above, and a description thereof will be omitted.
  • the functions of the control unit 201, raw video memory 205, stabilized video generation unit 206, retained video memory 207, and retained video generation unit 208 are the same as the control unit 101, raw video memory 106, and stabilized video generation unit described above.
  • 107, the function of the retained video memory 108 and the retained video generation unit 109 are substantially the same, and the description thereof will be omitted.
  • the motion detection unit 209 detects the motion of the imaging device 100B based on the raw video. Specifically, the motion detection unit 209 estimates the motion of the imaging device 100B based on the video obtained by imaging, similarly to the processing of the control unit 101 described in the first embodiment. When sensor information of the imaging device 100B at the time of imaging is obtained from the imaging device 100B via the communication unit 202, the motion detection unit 209 may detect the motion of the imaging device 100B based on the sensor information. .
  • the motion detection unit 209 may estimate the possibility of occurrence of shake during imaging. For example, the motion detection unit 209 estimates the possibility of occurrence of shake in imaging based on the presence / absence of enlargement of the subject in the video, similar to the processing of the control unit 101 described in the first embodiment.
  • FIG. 15 is a diagram illustrating another example of the schematic physical configuration of the signal processing system according to the second modification of the present embodiment.
  • the signal processing system includes a recording device 200-1C and a display device 300.
  • the recording device 200-1C generates a stabilized video based on the recorded raw video Data1 and a retained video generated in the process.
  • the recording device 200-1C provides the display device 300 with video information regarding the generated stabilized video.
  • the display device 300 displays a stabilized video related to the provided video information.
  • FIG. 16 is a diagram illustrating another example of the schematic functional configuration of the signal processing system according to the second modification of the present embodiment. Here, only the recording apparatus 200-1C will be described.
  • the recording apparatus 200-1C includes a control unit 201, a storage unit 203, a video switching unit 204, a raw video memory 205, a stabilized video generation unit 206, a retained video memory 207, and a retained video generation unit.
  • a playback processor 210 is provided.
  • the functions of the control unit 201, the raw video memory 205, the stabilized video generation unit 206, the retained video memory 207, the retained video generation unit 208, and the motion detection unit 209 are substantially the same as those described above. Is omitted.
  • the playback processing unit 210 controls video playback based on instructions from the control unit 201. Specifically, when the control unit 201 instructs the reproduction processing unit 210 to start reproduction, the reproduction processing unit 210 acquires the video information of the raw video from the storage unit 203 and provides the video information to the raw video memory. In addition, when the control unit 201 instructs the playback processing unit 210 to stop or end playback, the playback processing unit 210 ends or stops the acquisition of video information from the storage unit 203.
  • the recording apparatus 200 operates as a signal processing apparatus.
  • a general imaging device can be employed in the signal processing system. Further, it is possible to display the stabilized video on the display device 300 even when not connected to the imaging device.
  • Second Embodiment of the Present Disclosure (Switching Display between Raw Video and Stabilized Video)> The signal processing system according to the first embodiment of the present disclosure has been described above. Next, a signal processing system according to the second embodiment of the present disclosure will be described. In the present embodiment, an example in which the signal processing apparatus is a recording apparatus will be described.
  • FIG. 17 is a system configuration diagram illustrating an example of a schematic physical configuration of a signal processing system according to the second embodiment of the present disclosure. Note that a description of a physical configuration that is substantially the same as the signal processing system described above will be omitted.
  • the signal processing system includes a recording device 200-2A and a display device 300 as shown in FIG.
  • video information is recorded in advance in the recording device 200-2A.
  • both the raw video Data1 and the stabilized video Data2 are recorded in the recording device 200-2A.
  • the display device 300 displays the video provided from the recording device 200-2A.
  • a stabilized video or a raw video is provided to the display device 300, and the display device 300 displays the provided video.
  • FIG. 18 is a block diagram illustrating an example of a schematic functional configuration of the signal processing system according to the present embodiment.
  • the recording device 200-2A includes a control unit 201, a storage unit 203, a video switching unit 204, a reproduction processing unit 210, and a video buffer 211.
  • description is abbreviate
  • the video buffer 211 temporarily holds video. Specifically, the video buffer 211 holds an image from the display time point of the displayed video until the time point before the display time point in a reproducible state. More specifically, the video buffer 211 temporarily buffers the raw video provided from the playback processing unit 210 and is more time-sequential than the raw video provided from the playback processing unit 210 to the video switching unit 204.
  • the raw video delayed to the video switching unit 204 is provided.
  • the video buffer 211 provides the video switching unit 204 with a raw video of a predetermined number of frames before the raw video frame provided from the reproduction processing unit 210 to the video switching unit 204 in time series.
  • the time-series delay may be designated from the control unit 201 or the video switching unit 204, or may be a fixed value.
  • the recording device 200-2A switches the video to be displayed on the display device 300.
  • the control unit 201 determines, as a display control unit, at least one of a raw video and a stabilized video as a display video.
  • the video switching is performed based on various information as described below.
  • the control unit 201 determines a display video based on a user operation. Specifically, the control unit 201 determines the display video according to the user's video switching operation on the recording device 200-2A. For example, when a user who feels an abnormality in the video performs a video switching operation on the recording device 200-2A while the stabilized video is being displayed on the display device 300, the control unit 201 causes the video switching unit 204 to The video provided to the display device 300 is switched from the stabilized video to the raw video.
  • the control unit 201 determines a display image based on information related to shake in imaging. Specifically, the information related to shake in imaging includes information related to the degree of shake in imaging. More specifically, the control unit 201 estimates the degree of shake in imaging based on at least one of the raw video and the stabilized video. For example, the control unit 201 calculates a motion vector based on a time-series change of the raw video. Next, the control unit 201 selects a raw image or a stabilized image based on a comparison between the calculated motion vector and a threshold value. Then, the control unit 101 causes the video switching unit 204 to switch the video provided to the display device 300 to the selected video.
  • the information related to shake in imaging includes information related to the degree of shake in imaging. More specifically, the control unit 201 estimates the degree of shake in imaging based on at least one of the raw video and the stabilized video. For example, the control unit 201 calculates a motion vector based on a time-series change of the raw video. Next, the control unit 201
  • the control unit 201 estimates the degree of shake in imaging based on the sensor information. May be.
  • control unit 201 may estimate the possibility of shake during imaging. For example, the control unit 201 estimates the possibility of occurrence of shake in imaging based on the presence / absence of enlargement of the subject in the video, similarly to the processing of the control unit 101 described in the first embodiment.
  • the control unit 201 determines the display video based on the display video display update interval. Specifically, the control unit 201 determines a display video based on a comparison between the update interval and a threshold value. For example, the control unit 201 is provided to the display device 300 in the video switching unit 204 when the displayed stabilized video has not been updated for a predetermined period, for example, when the stabilized video includes only the retained video area. To switch to a raw video.
  • control unit 201 may cause the video switching unit 204 to switch the display video to the raw video even when the stabilized video includes a raw video region. Specifically, the control unit 201 determines the display video based on the size of the raw video area. More specifically, the control unit 201 determines the display video based on the ratio of the raw video region in the stabilized video. For example, the control unit 201 causes the video switching unit 204 to switch the video provided to the display device 300 to the raw video when the ratio of the raw video region in the displayed stabilized video is equal to or less than the threshold.
  • control unit 201 may determine the display video based on the display time of the raw video area. Specifically, the control unit 201 determines the display video based on the ratio of the display time of the raw video area to the display time of the stabilized video. For example, the control unit 201 provides the video switching unit 204 to the display device 300 when the time during which the stabilized video includes an unprocessed video area falls below a predetermined ratio with respect to the display time of the stabilized video. Switch video to raw video.
  • the control unit 201 determines a display video based on information related to the content of at least one of the raw video and the stabilized video. Specifically, the information related to the content of the video includes information related to whether or not a characteristic object is included in the video. More specifically, whether or not a characteristic object is included in the video is determined based on the analysis of the video. For example, while the stabilized video is displayed, the control unit 201 determines whether an object that is determined to be abnormal is included in the stabilized video by video analysis.
  • the control unit 201 causes the video switching unit 204 to switch the video provided to the display device 300 from the stabilized video to the raw video.
  • the characteristic object may be a liquid such as water or oil, or a gas such as cloud or smoke.
  • the presence / absence of inclusion of a characteristic object in the video may be determined based on meta information of the video.
  • the meta information of the video includes information indicating the display time point (or frame) of the stabilized video where the abnormality is recognized, and is stored in the storage unit 203 in association with the stabilized video.
  • the control unit 201 causes the reproduction processing unit 210 to start reproduction of the stabilized video and obtains meta information from the storage unit 203. Then, when the display time (or frame) of the stabilized video reaches the time (or frame) indicated by the meta information, the control unit 201 does not change the video provided to the display device 300 to the video switching unit 204 from the stabilized video. Switch to processed video.
  • the meta information may be associated with a raw video.
  • the recording device 200-2A prepares for display in advance before switching the video. Specifically, the control unit 201 makes a state where both the raw video and the stabilized video can be displayed. For example, the control unit 201 causes the playback processing unit 210 to start playback of both the stabilized video and the raw video, and both videos are provided to the video switching unit 204.
  • the recording device 200-2A controls the display time point of the video after switching. Specifically, when the display video is switched, the control unit 201 reproduces the video after switching from a time point before the display time point before switching. For example, when the display video is switched from the stabilized video to the raw video, the control unit 201 provides the video provided to the display device 300 to the video switching unit 204 from the stabilized video from the video buffer 211. Switch to raw video.
  • control unit 201 may reproduce the video after switching from the same time as the display time before switching. For example, when the display video is switched from the stabilized video to the raw video, the control unit 201 converts the video provided to the display device 300 to the video switching unit 204 from the stabilized video, from the reproduction processing unit 210. Switch to the raw video provided.
  • control unit 201 may select the display time of the video after switching. Specifically, the control unit 201 selects a display video based on setting information from a video delayed in time series from the display time point and a video coinciding with the display time point. For example, the control unit 201 selects a video to be provided to the display device 300 by the video switching unit 204 from the video provided from the video buffer 211 and the video provided from the reproduction processing unit 210 based on the setting information.
  • the setting information may be determined and changed by the user.
  • FIG. 19 is a flowchart conceptually showing a video switching process based on a user operation in the recording apparatus 200-2A according to the present embodiment.
  • the recording device 200-2A outputs a stabilized video (step S501). Specifically, the control unit 201 causes the reproduction processing unit 210 to reproduce at least the stabilized video, and causes the video switching unit 204 to provide the stabilized video to the display device 300. The raw video may be reproduced together with the stabilized video.
  • the recording apparatus 200-2A determines whether or not there is a video switching operation (step S502). Specifically, the control unit 201 determines whether a video switching operation by the user has been performed on the recording apparatus 200-2A.
  • the recording device 200-2A determines whether or not the display time point is traced back (step S503). Specifically, when a video switching operation is performed, the control unit 201 sets whether to switch the display video to a video whose display time is delayed in time series or a video that matches the display time. Determine based on information.
  • the recording device 200-2A When it is determined that the display time point is to be traced back, the recording device 200-2A outputs the raw video to be buffered (step S504). Specifically, when it is determined that the display video is switched to a video with the display time point delayed in time series, the control unit 201 provides the video provided from the video buffer 211 to the video switching unit 204 to the display device 300.
  • the recording device 200-2A outputs the raw video as it is (step S505). Specifically, when it is determined that the display video is switched to a video having the same display time point, the control unit 201 causes the video switching unit 204 to provide the video provided from the reproduction processing unit 210 to the display device 300.
  • FIG. 20 is a flowchart conceptually showing a video switching process based on shake in imaging in the recording apparatus 200-2A according to the present embodiment. Note that description of processing that is substantially the same as the processing described above is omitted.
  • the recording device 200-2A outputs the unprocessed video (step S511). Specifically, the control unit 201 causes the playback processing unit 210 to play the raw video, and causes the video switching unit 204 to provide the raw video to be played to the display device 300. Note that the stabilized video may be reproduced together with the raw video.
  • the recording apparatus 200-2A determines whether or not the magnitude of shake in imaging is greater than or equal to a threshold value (step S512). Specifically, the control unit 201 calculates a motion vector of the imaging device by analyzing the raw video, and determines whether the calculated motion vector is greater than or equal to a threshold value.
  • the recording device 200-2A outputs a stabilized video (step S513). Specifically, when it is determined that the magnitude of the motion vector is a threshold value, the control unit 201 causes the reproduction processing unit 210 to reproduce the stabilized video and the video switching unit 204 to reproduce the stabilized video.
  • the display device 300 is provided. As described above, when the stabilized video is buffered in the video buffer 211, the control unit 201 may switch to the stabilized video provided from the video buffer 211.
  • FIG. 21 is a flowchart conceptually showing a video switching process based on the video update status in the recording apparatus 200-2A according to the present embodiment. Note that description of processing that is substantially the same as the processing described above is omitted.
  • the recording device 200-2A outputs a stabilized video (step S521).
  • the recording device 200-2A determines whether or not the display video has not been updated for a predetermined period (step S522). Specifically, the control unit 201 determines whether or not a predetermined period has elapsed since the stabilized video has become only the retained video region.
  • the recording device 200-2A determines whether or not the display time point is traced back (step S523).
  • the recording device 200-2A When it is determined that the display time point is to be retroactive, the recording device 200-2A outputs the buffered raw video (step S524), and when it is determined that the display time point is not retroactive, The processed image is output as it is (step S525).
  • FIG. 22 is a flowchart conceptually showing a video switching process based on the occurrence of an abnormality in the video in the recording apparatus 200-2A according to the present embodiment. Note that description of processing that is substantially the same as the processing described above is omitted.
  • the recording device 200-2A outputs a stabilized video (step S531).
  • the recording apparatus 200-2A determines whether or not an abnormality is detected in the video (step S532). Specifically, the control unit 201 determines whether the display time of the stabilized video has reached the display time indicated by the meta information associated with the stabilized video or the raw video, that is, the time when an abnormality has occurred in the video. To do.
  • the recording device 200-2A determines whether or not the display time point is traced back (step S533).
  • the recording device 200-2A When it is determined that the display time point is to be retroactive, the recording device 200-2A outputs the buffered raw video (step S534), and when it is determined that the display time point is not retroactive, The processed image is output as it is (step S535).
  • the recording apparatus 200-2A determines at least one of the unprocessed image and the processed image as a display image. For this reason, it is possible to provide an image suitable for grasping the situation while maintaining the visibility of the video by displaying a video suitable for display of the raw video and the stabilized video.
  • the recording apparatus 200-2A determines a display image based on information related to shake in imaging. For this reason, it is possible to effectively suppress a decrease in the visibility of the video by determining the display video according to the disturbance of the video.
  • the information related to shake in imaging includes information related to the degree of shake in imaging. For this reason, by determining the display image according to the degree of the disturbance of the image, it is possible to suppress frequent switching of the image and maintain the visibility of the user.
  • the degree of shake in imaging is estimated based on at least one of the unprocessed image and the processed image. Therefore, since no additional information is used in the shake estimation process, the configuration for acquiring the additional information is omitted, and the configuration of the recording apparatus 200-2A can be simplified. .
  • the recording device 200-2A determines the display image based on the display image display update interval. For this reason, it becomes possible to suppress the situation where the amount of information does not increase for the user. In particular, when the configuration of the present embodiment is applied to a monitoring system, monitoring may not be sufficient if the video is not updated. On the other hand, according to this configuration, the reliability of the monitoring system can be improved.
  • the recording apparatus 200-2A determines the display image based on the comparison between the update interval and the threshold value. For this reason, by determining the lower limit of the update interval in advance, it is possible to prevent the duration of the situation where the amount of information does not increase from being prolonged.
  • the recording device 200-2A determines the display image based on the size of the first area or the display time.
  • the recording device 200-2A determines the display image based on the size of the first area or the display time.
  • the recording apparatus 200-2A determines a display image based on information related to the content of at least one of the unprocessed image and the processed image. For this reason, by switching the display video according to the content of the video, it is possible to provide the video according to the user's intention.
  • the information related to the content of the image includes information related to whether or not a characteristic object is included in the image. For this reason, when the user desires to observe, the display image is switched to an image that can be observed, so that convenience for the user can be improved.
  • the presence / absence of inclusion of characteristic objects in the image is determined based on the meta information of the image. For this reason, it becomes possible to suppress a processing load compared with the case where image analysis processing is used.
  • the recording device 200-2A determines a display image based on a user operation. For this reason, it becomes possible to improve a user's convenience by switching a display image according to a user's intention.
  • the recording device 200-2A displays the image after switching from a time before the display time of the image before switching. For this reason, the user can observe the video from the time before the switching time, and can easily grasp the status of the video at the switching time.
  • the recording apparatus 200-2A enables display of both the unprocessed image and the processed image. For this reason, it is possible to suppress the occurrence of the user's waiting time and suppress dissatisfaction by switching the video seamlessly without interruption.
  • the stabilized image may be generated based on a raw image. Specifically, only the raw image is recorded in the recording device 200-2B, and the recording device 200-2B generates a stabilized image from the recorded raw image.
  • FIG. 23 is a diagram illustrating an example of a schematic functional configuration of a signal processing system according to a modification of the present embodiment.
  • the recording device 200-2B includes a raw video memory 205, a stabilized video generation Unit 206, retained image memory 207, retained image generation unit 208, and motion detection unit 209.
  • the stabilized video generation unit 206 is played back. A stabilized image is generated based on the raw video. Then, the video switching unit 204 displays any one of the raw video to be reproduced, the raw video provided from the video buffer 211, and the stabilized video generated by the stabilized video generating unit 206 as a display video. 300. Note that the stabilized video generation function is substantially the same as the function described in the first embodiment, and a description thereof will be omitted.
  • the stabilized image is generated based on the unprocessed image. Therefore, even when the stabilized video is not stored in advance, a suitable video of the raw video and the stabilized video is provided to the display device 300, so that the user generates the stabilized video. It is not necessary to prepare a separate device, and convenience can be improved.
  • FIG. 24 is an explanatory diagram illustrating a hardware configuration of the signal processing devices 100 and 200 (hereinafter also referred to as the signal processing device 100 or the like) according to an embodiment of the present disclosure.
  • the signal processing apparatus 100 and the like include a CPU (Central Processing Unit) 132, a ROM (Read Only Memory) 134, a RAM (Random Access Memory) 136, a bridge 138, a bus 140, An interface 142, an input device 144, an output device 146, a storage device 148, a drive 150, a connection port 152, and a communication device 154 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 132 functions as an arithmetic processing unit and cooperates with various programs to control the control unit 101, the stabilized video generation unit 107, the retained video generation unit 109, the control unit 201, the video switching unit 204, and the like in the signal processing device 100 and the like.
  • the operations of the stabilized video generation unit 206, the retained video generation unit 208, the motion detection unit 209, and the reproduction processing unit 210 are realized.
  • the CPU 132 may be a microprocessor.
  • the ROM 134 stores programs or calculation parameters used by the CPU 132.
  • the RAM 136 temporarily stores programs used in the execution of the CPU 132 or parameters that change as appropriate during the execution.
  • the raw video memory 106 and the retained video memory 108 and the raw video memory 205, the retained video memory 207 and the video buffer 211 in the signal processing apparatus 100 and the like are realized by the ROM 134 and the RAM 136.
  • the CPU 132, the ROM 134, and the RAM 136 are connected to each other by an internal bus including a CPU bus.
  • the input device 144 generates an input signal based on an input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, and input by the user, and outputs the input signal to the CPU 132. It consists of a control circuit.
  • a user of the signal processing device 100 or the like can input various data or instruct a processing operation to the signal processing device 100 or the like by operating the input device 144.
  • the output device 146 performs output to a device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a lamp. Further, the output device 146 may output sound such as a speaker and headphones.
  • a device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a lamp. Further, the output device 146 may output sound such as a speaker and headphones.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 148 is a device for storing data as an example of the storage unit 203 such as the signal processing device 100.
  • the storage device 148 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 148 stores programs executed by the CPU 132 and various data.
  • the drive 150 is a reader / writer for a storage medium, and is built in or externally attached to the signal processing apparatus 100 or the like.
  • the drive 150 reads information recorded on a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 136.
  • the drive 150 can also write information to a removable storage medium.
  • connection port 152 is a bus for connecting to an external information processing apparatus such as the signal processing apparatus 100 or a peripheral device, for example.
  • the connection port 152 may be a USB (Universal Serial Bus).
  • the communication device 154 is a communication interface composed of a communication device for connecting to a network, for example. Whether the communication device 154 is an infrared communication compatible device, a wireless LAN (Local Area Network) compatible communication device, or an LTE (Long Term Evolution) compatible communication device, wire communication that performs wired communication It may be a device.
  • a wireless LAN Local Area Network
  • LTE Long Term Evolution
  • the second embodiment of the present disclosure is suitable for grasping the situation while maintaining the visibility of the video by displaying the video suitable for display among the raw video and the stabilized video. Images can be provided.
  • both the raw video and the stabilized video may be provided to the display device 300, and the display device 300 may display both provided videos in parallel.
  • the video buffer 211 has been described as an example of buffering raw video, but the video buffer 211 may buffer stabilized video.
  • the control unit 201 converts the video provided to the display device 300 to the video switching unit 204 from the raw video to the stable provided from the video buffer 211. Switch to the video.
  • the control unit 201 causes the playback processing unit 210 to play back video of a predetermined number of frames before the frame at the time of video switching from the storage unit 203.
  • a video with audio may be an application target.
  • An image extraction unit that extracts a portion corresponding to at least a part of a display target region in a holding image obtained by imaging at a time point before imaging of the raw image from a raw image obtained by imaging;
  • An image generation unit for generating a processed image, wherein the first region is the raw image extracted by the image extraction unit, and the second region different from the first region is the retained image;
  • a signal processing apparatus comprising: (2) The signal processing device according to (1), wherein the processed image includes an image in which at least one of the first region and the second region is determined.
  • the signal processing device according to (2), wherein the second region of the processed image has a specific visual aspect.
  • the image generation unit determines the display target area so that the first area becomes larger when the size of the first area is equal to or smaller than a threshold value. Any one of (1) to (7) 2.
  • the signal processing device according to item 1. (9) The signal processing device according to any one of (1) to (8), wherein both the processed image and the unprocessed image are recorded.
  • An image providing unit that provides at least one of the processed image and the unprocessed image to an external device; A control unit that switches an image provided by the image providing unit based on information relating to a state of the apparatus that performs the imaging;
  • the signal processing device according to any one of (1) to (9), further including: (11) The signal processing apparatus according to (10), wherein the control unit switches an image to be provided based on a degree of shake in the imaging. (12) The signal processing device according to (11), wherein a degree of shake in the imaging is estimated based on a motion of the device that performs the imaging. (13) The signal processing apparatus according to (12), wherein the movement of the apparatus that performs the imaging is estimated based on information obtained from an inertial sensor.
  • An image extraction unit that extracts a portion corresponding to at least a part of a display target region in a holding image obtained by imaging at a time point before imaging of the raw image from a raw image obtained by imaging;
  • An image generation unit for generating a processed image, wherein the first region is the raw image extracted by the image extraction unit, and the second region different from the first region is the retained image;
  • An image providing unit that provides the raw image or the processed image to be generated;
  • a storage unit for storing an image provided from the imaging device;
  • An image providing unit that provides the stored image as a display image;
  • a display device comprising a display unit for displaying a provided display image;
  • a signal processing system comprising:
  • the following configurations also belong to the technical scope of the present disclosure.
  • the first area is the raw image corresponding to at least a part of the display target area in the retained image obtained by imaging at a time before the imaging time of the raw image, and is different from the first area
  • An image acquisition unit for obtaining a processed image, wherein the second region is the retained image
  • a display control unit for determining at least one of the raw image and the processed image as a display image
  • a signal processing apparatus comprising: (2) The signal processing apparatus according to (1), wherein the display control unit determines the display image based on information related to shake in the imaging.
  • the display control unit determines the display image based on information relating to a content of at least one of the unprocessed image and the processed image.
  • the signal processing apparatus as described.
  • the signal processing apparatus wherein the information related to the content of the image includes information related to whether or not a characteristic object is included in the image.
  • the signal processing apparatus according to (9), wherein whether or not a characteristic object is included in the image is determined based on an analysis of the image.
  • (11) The signal processing device according to (9) or (10), wherein whether or not a characteristic object is included in the image is determined based on meta information of the image.
  • the first area is the raw image corresponding to at least a part of the display target area in the retained image obtained by imaging at a time before the imaging time of the raw image, and is different from the first area
  • An image acquisition unit for obtaining a processed image, wherein the second region is the retained image
  • a display control unit for determining at least one of the raw image and the processed image as a display image
  • An image providing unit that provides the display device with the determined display image
  • a display device comprising a display unit for displaying a provided display image;
  • a signal processing system comprising:
  • Imaging device 101 Control part 102 Lens drive part 103 Optical system 104 Imager 105 Image signal processing part 106 Raw image memory 107 Stabilized image generation part 108 Holding image memory 109 Holding image generation part 110 Gyroscope 111 Communication part 200 Recording apparatus 201 Control unit 202 Communication unit 203 Storage unit 204 Video switching unit 205 Raw video memory 206 Stabilized video generation unit 207 Holding video memory 208 Holding video generation unit 209 Motion detection unit 210 Playback processing unit 211 Video buffer 300 Display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】振れによる画像の視認性の悪化を抑制しながら、ユーザが当該画像から状況を適切に把握することが可能な信号処理装置および信号処理方法を提供する。 【解決手段】撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、を備える、信号処理装置。

Description

信号処理装置および信号処理方法
　本開示は、信号処理装置および信号処理方法に関する。
　近年、撮像時における撮像装置の振れの影響を抑制する技術について研究開発が行われている。このような技術は概して、振れ補正技術と呼ばれ、光学方式および電子方式に大別される。
　光学方式は、撮像装置の振れに応じてレンズ等の光学系または撮像面（イメージセンサ）等の撮像系を動かすことにより、撮像における振れの影響を抑制する方式である。
　また、電子方式は、表示対象範囲よりも広角に撮像し、当該撮像により得られた画像（以下、映像とも称する。）から表示対象範囲を切り取るように画像処理を行うことにより、撮像における振れの影響を抑制する方式である。
　ここで、概して上記の振れ補正技術によって補正することが可能な振れの大きさには上限がある。例えば、光学方式においては、撮像装置の振れの大きさが光学系または撮像系の可動範囲に対応する振れの大きさを超えた場合、振れの影響を受けた画像が生成されてしまう。また、電子方式においては、振れによって広角の撮像範囲に表示対象範囲が収まらない場合には、当該撮像範囲に収まらない範囲については画像が生成されないため、一部が欠けた画像が表示されてしまう。
　これに対し、特許文献１では、振れ補正技術による補正が困難な振れが発生した際に、動画から静止画に表示される画像（以下、表示画像または表示映像とも称する。）を切り替える監視カメラシステムに係る発明が開示されている。これにより、振れの影響を受けた画像が表示されることがなく、視聴者に疲労感を与えることが防止され得る。
　また、特許文献２では、電子方式の振れ補正技術を用いた画像処理装置において、振れ補正処理によって欠ける部分を過去の撮像により得られた画像で補う画像処理装置に係る発明が開示されている。これにより、一部が欠けた画像が表示されることが防止され得る。
特開２００６－０３７６６２号公報 特開２００５－０２７０４６号公報
　しかし、特許文献１および２で開示される発明では、ユーザが画像から状況を適切に把握することが困難であり得る。
　例えば、特許文献１で開示される発明では、振れの大きな状況においては、画像が更新されないため、ユーザは当該状況における撮像により得られる画像を観察することが困難である。
　また、特許文献２で開示される発明では、振れ補正処理において、過去の画像でなく撮像により得られた加工されていない画像（以下、未加工画像または未加工映像とも称する。）にも補間処理が行われることになっている。そのため、ユーザは、未加工画像を観察することが困難である。
　そこで、本開示では、振れによる画像の視認性の悪化を抑制しながら、ユーザが当該画像から状況を適切に把握することが可能な、新規かつ改良された信号処理装置および信号処理方法を提案する。
　本開示によれば、撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、を備える、信号処理装置が提供される。
　また、本開示によれば、撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出することと、第１の領域が抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成することと、を含む、信号処理方法が提供される。
　以上説明したように本開示によれば、振れによる画像の視認性の悪化を抑制しながら、ユーザが当該画像から状況を適切に把握することが可能な信号処理装置および信号処理方法が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
従来の振れ補正技術の課題を説明するための図である。 本開示の第１の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。 同実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。 同実施形態に係る安定化映像の生成処理を説明するための図である。 振れ補正技術を用いた物体追尾処理の課題を説明するための図である。 同実施形態における追尾対象物体の推定位置表示処理を説明するための図である。 同実施形態に係る撮像装置の処理の全体を概念的に示すフローチャートである。 同実施形態に係る撮像装置の表示対象領域の算出処理を概念的に示すフローチャートである。 同実施形態に係る撮像装置の物体追尾に係る映像処理を概念的に示すフローチャートである。 同実施形態の第１の変形例における振れに係る情報に基づく映像切り替え処理を概念的に示すフローチャートである。 同実施形態の第１の変形例に係る撮像装置の動作状態に基づく映像切り替え処理を概念的に示すフローチャートである。 同実施形態の第１の変形例に係る撮像装置の動作によるベクトル積算値の変化の例を示す図である。 同実施形態の第１の変形例に係る撮像装置の振れによるベクトル積算値の変化の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の他の例を示す図である。 同実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の他の例を示す図である。 本開示の第２の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。 同実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。 同実施形態に係る記録装置におけるユーザ操作に基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態に係る記録装置における撮像における振れに基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態に係る記録装置における映像の更新状況に基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態に係る記録装置における映像内の異常の発生に基づく映像の切り替え処理を概念的に示すフローチャートである。 同実施形態の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。 本開示の一実施形態に係る信号処理装置のハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて撮像範囲１０Ａおよび撮像範囲１０Ｂなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、撮像範囲１０Ａおよび撮像範囲１０Ｂを特に区別する必要がない場合には、単に撮像範囲１０と称する。
　なお、説明は以下の順序で行うものとする。
　１．従来技術の課題
　２．本開示の第１の実施形態（安定化映像の生成）
　　２－１．装置の構成
　　２－２．技術的特徴
　　２－３．装置の処理
　　２－４．第１の実施形態のまとめ
　　２－５．変形例
　３．本開示の第２の実施形態（未加工映像と安定化映像との表示の切り替え）
　　３－１．装置の構成
　　３－２．技術的特徴
　　３－３．装置の処理
　　３－４．第１の実施形態のまとめ
　　３－５．変形例
　４．本開示の一実施形態に係る信号処理装置のハードウェア構成
　５．むすび
　＜１．従来技術の課題＞
　まず、図１を参照して、従来技術の課題について説明する。図１は、従来の振れ補正技術の課題を説明するための図である。
　上述したように、振れ補正技術は概して、光学方式および電子方式の２種類に大別される。光学方式では、撮像装置の振れの大きさが光学系または撮像系の可動範囲に対応する振れの大きさを超えた場合、振れの影響の抑制が困難となる。電子方式では、撮像範囲が振れに応じて変化し、表示対象範囲が固定であり、撮像範囲に表示対象範囲が収まらない場合には、一部が欠けた映像が生成されるかまたは映像が生成されない可能性がある。また、表示対象範囲が固定でない場合には、振れに応じて表示対象範囲が移動する。電子方式における後者の課題について、図１を参照して詳細に説明する。
　まず、振れが発生する前の状態について説明する。例えば、振れが発生していない状態では、図１の左図に示したように、撮像範囲１０Ａが水平方向の中央に位置し、表示対象範囲（以下、表示対象領域とも称する。）２０Ａが撮像範囲１０Ａの中央に位置している。この場合、撮像範囲１０Ａのうちの表示対象領域２０Ａの範囲を抽出して得られる画像３０Ａが表示映像になる。
　ここで、振れにより撮像範囲１０Ａが表示対象領域２０Ａの収まる範囲で変化する場合には、上述したような電子方式の振れ補正技術が適用されることにより、表示映像についての振れの影響が抑制される。
　次に、振れ補正の上限を超えた振れが発生した場合の状態について説明する。例えば、振れが発生すると、図１の中図に示したように、撮像範囲は撮像範囲１０Ｂに移動し、表示対象領域は撮像範囲１０Ｂの範囲内であって元の表示対象領域２０Ａに他の領域よりも近い表示対象領域２０Ｂに移動する。この場合、撮像範囲１０Ｂのうちの表示対象領域２０Ｂの範囲を抽出して得られる３０Ｂが表示映像となる。
　次に、振れがさらに大きくなった場合の状態について説明する。例えば、振れが継続すると、図１の右図に示したように、撮像範囲は撮像範囲１０Ｃにさらに移動し、表示対象領域は撮像範囲１０Ｃの範囲内であって元の表示対象領域２０Ａまたは２０Ｂに他の領域よりも近い表示対象領域２０Ｃに移動する。この場合、撮像範囲１０Ｃのうちの表示対象領域２０Ｃの範囲を抽出して得られる３０Ｃが表示映像となる。
　このように、撮像範囲に表示対象領域が収まらない大きさの振れが発生すると、従来の振れ補正技術では、表示映像についての振れの影響を抑制しきれず、表示映像が乱れ、視認性が悪化する。さらに、振れの大きさが大きくなるほど、表示映像の乱れは大きくなるため、表示映像を観察するユーザの負担が大きくなる。
　他方で、上述したように、当該表示映像の乱れを防止し、または抑制するための技術が開示されている。しかし、既に説明したように、これらの技術における表示映像では、ユーザは状況を適切に把握することが困難である。
　そこで、本開示では、振れによる映像の視認性の悪化を抑制しながら、ユーザが当該映像から状況を適切に把握することが可能な信号処理装置または映像の視認性を維持しながら、状況の把握に適した画像を提供することが可能な信号処理装置を提供する。以下に、本開示の各実施形態に係る信号処理装置について詳細に説明する。
　＜２．本開示の第１の実施形態（安定化映像の生成）＞
　以上、従来技術の課題について説明した。次に、本開示の第１の実施形態に係る信号処理システムについて説明する。本実施形態では、信号処理装置が撮像装置である例について説明する。なお、説明の便宜上、第１および第２の実施形態による記録装置２００を、記録装置２００－１および記録装置２００－２のように、末尾に実施形態に対応する番号を付することにより区別する。
　　＜２－１．装置の構成＞
　図２を参照して、本開示の第１の実施形態に係る信号処理システムの構成について説明する。図２は、本開示の第１の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。
　本実施形態に係る信号処理システムは、図２に示したように、撮像装置１００Ａ、記録装置２００－１Ａおよび表示装置３００を備える。例えば、信号処理システムは監視システムであり、撮像装置１００Ａは監視カメラであり得る。
　本実施形態に係る信号処理システムでは、撮像装置１００Ａの撮像により得られる映像が通信を介して記録装置２００－１Ａに伝送される。伝送される映像は２種類あり、１つは撮像により得られた映像であって加工されていない未加工映像であり、もう１つは後述する安定化映像生成部１０７によって生成される、加工画像（以下、安定化画像または安定化映像とも称する。）である。例えば、図２に示したような実線は未加工映像の伝送を示し、破線は安定化映像の伝送を示す。
　次に、伝送される映像は、記録装置２００－１Ａに記録される。例えば、図２に示したように、記録装置２００－１Ａに未加工映像Ｄａｔａ１および安定化映像Ｄａｔａ２の両方が記録される。
　そして、記録装置２００－１Ａに記録される映像を表示装置３００が表示する。例えば、図２に示したように、安定化映像が表示装置３００に提供され、表示される。なお、記録装置２００－１Ａに伝送された映像が記録されずに、当該記録装置２００－１Ａを通じてそのまま表示装置に表示されてもよい。
　続いて、図３を参照して、本実施形態に係る信号処理システムの機能構成について説明する。図３は、本実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。
　　　（撮像装置）
　撮像装置１００Ａは、図３に示したように、制御部１０１、レンズ駆動部１０２、光学系１０３、イメージャ１０４、映像信号処理部１０５、未加工映像メモリ１０６、安定化映像生成部１０７、保持映像メモリ１０８、保持映像生成部１０９、ジャイロスコープ１１０および通信部１１１を備える。
　制御部１０１は、撮像装置１００Ａの動作を全体的に制御する。具体的には、制御部１０１は、レンズ駆動部１０２、イメージャ１０４、映像信号処理部１０５、安定化映像生成部１０７、保持映像生成部１０９および通信部１１１の動作を制御する。特に、制御部１０１は、ジャイロスコープ１１０から得られる情報に基づいて安定化映像生成部１０７の動作を制御する。
　レンズ駆動部１０２は、光学系１０３に含まれるレンズを駆動させる。例えば、レンズ駆動部１０２は、モータ等を用いてレンズの位置を移動させ得る。
　光学系１０３は、レンズを含み、レンズを用いてイメージャ１０４上に外界像を結像させる。例えば、光学系１０３は、外光を集光する撮影レンズおよびズームレンズ等のレンズを含み得る。
　イメージャ１０４は、外光に基づいて映像信号を生成する。例えば、イメージャ１０４は、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の信号変換素子であり得る。
　映像信号処理部１０５は、イメージャ１０４によって生成される映像信号についての補正処理を行う。例えば、映像信号処理部１０５は、ＩＳＰ（Image　Signal　Processor）であり得る。
　未加工映像メモリ１０６は、未加工映像を記憶する。具体的には、未加工映像メモリ１０６は、映像信号処理部１０５から得られる映像信号についての情報（以下、映像情報またはデータとも称する。）を画素単位で記憶する。例えば、未加工映像メモリ１０６では、画素に対応するアドレスが設けられ、当該アドレスに画素単位の映像情報が記憶される。
　安定化映像生成部１０７は、未加工映像および過去の撮像により得られた映像（以下、保持画像または保持映像とも称する。）に基づいて、安定化映像を生成する。具体的には、安定化映像生成部１０７は、未加工映像を用いて保持映像を更新し、更新により得られる映像（以下、混合画像または混合映像とも称する。）から表示される領域を切り出すことにより安定化映像を生成する。そして、安定化映像生成部１０７は、生成される安定化映像に係る映像情報を通信部１１１に提供する。
　保持映像メモリ１０８は、保持映像を記憶する。具体的には、保持映像メモリ１０８は、安定化映像生成部１０７に保持映像を提供し、保持映像生成部１０９により生成され、または更新される保持映像を記憶する。
　保持映像生成部１０９は、保持映像の生成および更新を行う。具体的には、保持映像生成部１０９は、安定化映像生成部１０７によって未加工映像を用いて更新された混合映像について保持映像化処理を行い、当該保持映像化処理により得られる映像を保持映像メモリ１０８に記憶させる。
　ジャイロスコープ１１０は、慣性センサとして、撮像装置１００Ａの姿勢または角速度を検出する。なお、ジャイロスコープ１１０の代わりに、加速度センサが撮像装置１００Ａに備えられてもよい。
　通信部１１１は、記録装置２００－１Ａとの通信を行う。具体的には、通信部１１１は、画像提供部として、通信を介して安定化映像および未加工映像に係る映像情報の少なくとも一方を記録装置２００－１Ａに送信する。例えば、通信部１１１は、有線通信または無線通信を行う。
　　　（記録装置）
　記録装置２００－１Ａは、図３に示したように、制御部２０１、通信部２０２、記憶部２０３および映像切替部２０４を備える。
　制御部２０１は、記録装置２００－１Ａの動作を全体的に制御する。具体的には、制御部２０１は、通信部２０２、記憶部２０３および映像切替部２０４の動作を制御する。
　通信部２０２は、撮像装置１００Ａとの通信を行う。具体的には、通信部２０２は、撮像装置１００Ａから安定化映像および未加工映像を受信する。なお、撮像装置１００Ａと記録装置２００－１Ａとは双方向通信であってもよい。
　記憶部２０３は、映像を記憶する。具体的には、記憶部２０３は、通信部２０２によって受信された安定化映像および未加工映像の両方を記憶する。
　映像切替部２０４は、画像提供部として、表示装置３００に映像を提供する。具体的には、映像切替部２０４は、画像取得部として、通信部２０２によって受信された安定化映像または未加工映像を取得し、取得される映像を表示装置３００に提供する。また、映像切替部２０４は、制御部２０１の指示に基づいて表示装置３００に提供される映像を切り替える。
　　　（表示装置）
　表示装置３００は、記録装置２００－１Ａから提供される映像情報に基づいて映像を表示する。具体的には、表示装置３００は、記録装置２００－１Ａから提供される安定化映像または未加工映像を表示する表示部を備える。
　　＜２－２．技術的特徴＞
　次に、本実施形態に係る撮像装置１００Ａの技術的特徴について説明する。
　　　（安定化映像の生成）
　撮像装置１００Ａは、未加工映像および保持映像に基づいて安定化映像を生成する。具体的には、安定化映像生成部１０７は、画像抽出部として、未加工映像から当該未加工映像の撮像時点より前の時点での撮像により得られた保持映像における表示対象領域の少なくとも一部に対応する部分を抽出する。そして、安定化映像生成部１０７は、第１の領域が抽出された未加工映像であり、当該第１の領域と異なる第２の領域が保持映像である、安定化映像を生成する。さらに、図４を参照して、本実施形態に係る安定化映像の生成処理について詳細に説明する。図４は、本実施形態に係る安定化映像の生成処理を説明するための図である。
　まず、安定化映像生成部１０７は、撮像により映像が生成されると、未加工映像を取得し、取得される未加工映像を用いて保持映像を更新する。例えば、振れが発生していない場合においては、安定化映像生成部１０７は、図４の左図に示したような保持映像４０Ｄのうちの、撮像範囲１０Ｄでの撮像により得られる未加工映像の被写体と一致する部分を当該未加工映像に更新する。
　また、振れが発生した場合においては、安定化映像生成部１０７は、図４の中図に示したような保持映像４０Ｅのうちの、撮像範囲１０Ｅでの撮像により得られる未加工映像の被写体と一致する部分を当該未加工映像に更新する。
　また、振れがさらに大きくなった場合においては、安定化映像生成部１０７は、図４の中図に示したような保持映像４０Ｆのうちの、撮像範囲１０Ｆでの撮像により得られる未加工映像の被写体と一致する部分を当該未加工映像に更新する。
　次に、安定化映像生成部１０７は、混合映像から表示対象領域に相当する部分を抽出する。例えば、安定化映像生成部１０７は、振れが発生していない場合においては、混合映像から、図４の左図に示したような表示対象領域２０Ｄに相当する部分を抽出する。この場合、撮像範囲１０Ｄに表示対象領域２０Ｄの全てが収まっているため、全てが未加工映像である映像５０Ｄが抽出される。
　また、振れが発生した場合においては、安定化映像生成部１０７は、混合映像から、図４の中図に示したような表示対象領域２０Ｅに相当する部分を抽出する。この場合、撮像範囲１０Ｅから一部の表示対象領域２０Ｅが収まっていないため、未加工映像である領域５１Ｅと保持映像である領域５２Ｅとを含む映像５０Ｅが抽出される。
　また、振れがさらに大きくなった場合においては、安定化映像生成部１０７は、混合映像から、図４の右図の中段に示したような表示対象領域２０Ｆに相当する部分を抽出する。この場合、撮像範囲１０Ｆから表示対象領域２０Ｆが外れてしまっているため、全てが保持映像である映像５０Ｆが抽出される。
　次に、安定化映像生成部１０７は、抽出された映像を安定化映像として出力する。例えば、安定化映像生成部１０７は、図４の各図の下段に示したような抽出された映像５０Ｄ、５０Ｅおよび５０Ｆが安定化映像として出力され、表示映像として表示装置３００によって表示される。
　ここで、安定化映像は、未加工映像の領域と保持映像の領域とが判別される態様である。具体的には、保持映像は、保持映像生成部１０９によって特定の視覚的態様となるように処理される。当該特定の視覚的態様としては、彩色がある。例えば、保持映像４０Ｅは、薄く白色化される。なお、特定の視覚的態様は、彩色の他に、明度もしくは輝度の変化、模様付けまたは保持映像の外縁の強調等であってもよい。また、保持映像内に保持映像である旨を示すオブジェクト、例えば文字、記号または図形等が重畳されてもよい。
　なお、振れが発生した場合であっても、振れが振れ補正可能な程度の大きさである場合には、振れ補正処理が行われ、後続処理として上述の振れが発生していない場合の処理が行われてもよい。
　　　（追尾対象物体の推定位置表示）
　撮像装置１００Ａは、映像に写る特定の被写体についての追尾処理を行う。具体的には、安定化映像生成部１０７は、画像解析部として、未加工映像における特定の被写体を捕捉する。例えば、安定化映像生成部１０７は、特定対象の被写体の特徴点等に基づいて未加工映像における当該被写体の存在有無および位置を判定する。
　ここで、振れ補正技術を用いた物体追尾処理においては、観察者が追尾対象物体を見失う場合がある。この振れ補正技術を用いた物体追尾処理における課題について、図５を参照して詳細に説明する。図５は、振れ補正技術を用いた物体追尾処理の課題を説明するための図である。
　まず、振れが発生していない場合においては、撮像範囲に追尾対象物体が収まるため、追尾対象物体の位置が捕捉され、当該追尾対象物体の位置を示すオブジェクトが重畳される。例えば、図５の左図の上段に示したように、撮像範囲１０Ｇに追尾対象である人間が収まっているため、映像解析処理によって当該人間が捕捉され、当該人間について追尾対象物体の位置を示すオブジェクト６０Ｇが重畳される。そして、撮像範囲１０Ｇから表示対象領域２０Ｇに相当する範囲が抽出され、抽出された映像３０Ｇが表示映像として表示される。
　これに対し、振れが発生した場合においては、撮像範囲から追尾対象物体が外れる場合がある。例えば、図５の右図の上段に示したように、撮像範囲１０Ｈに追尾対象である人間が収まっていないため、当該人間が捕捉されない。また、当然ながら、表示映像３０Ｈには追尾対象物体である人間が写らない。その結果、観察者は追尾対象物体である人間を見失うことになる。
　そこで、本実施形態に係る撮像装置１００Ａでは、安定化映像生成部１０７は、安定化映像において、捕捉される特定の被写体が未加工映像の領域（第１の領域）に含まれない場合、推定される特定の被写体の位置を示すオブジェクトを安定化映像に重畳する。本構成について、図６を参照して詳細に説明する。図６は、本実施形態における追尾対象物体の推定位置表示処理を説明するための図である。
　まず、撮像範囲に追尾対象物体が収まり、追尾対象物体の位置が捕捉される場合、当該追尾対象物体の位置を示すオブジェクトが重畳される。例えば、図６の左図の上段に示したように、撮像範囲１０Ｉに追尾対象である人間が収まっているため、映像解析処理によって当該人間が捕捉され、当該人間について追尾対象物体の位置を示すオブジェクト６０Ｉが重畳される。そして、撮像範囲１０Ｉから表示対象領域２０Ｉに相当する範囲が抽出され、抽出された映像５０Ｉが表示映像として表示される。
　これに対し、撮像範囲から追尾対象物体が外れる場合には、当該追尾対象物体の推定される位置を示すオブジェクトが重畳される。
　具体的には、まず、安定化映像生成部１０７は、安定化映像の未加工映像の領域に追尾対象物体が存在するかを判定する。例えば、安定化映像生成部１０７は、図６に示したような安定化映像である映像５０Ｊにおける未加工映像の領域５１Ｊに追尾対象物体である人間が存在するかを判定する。
　未加工映像の領域に追尾対象物体が存在しないと判定される場合、安定化映像生成部１０７は、過去の追尾対象物体の位置に基づいて追尾対象物体の位置を推定する。例えば、安定化映像生成部１０７は、過去の追尾対象物体の位置の変化から追尾対象物体の位置を推定する。
　次に、安定化映像生成部１０７は、推定される追尾対象物体の位置（以下、追尾推定位置とも称する。）が表示対象領域内であるかを判定する。例えば、安定化映像生成部１０７は、追尾推定位置が表示対象領域２０Ｊ内すなわち保持映像の領域５２Ｊ内であるかを判定する。
　追尾推定位置が表示対象領域内であると判定される場合、安定化映像生成部１０７は、推定される位置に追尾対象物体の位置を示すオブジェクトを重畳させる。例えば、安定化映像生成部１０７は、保持映像の領域５２における、追尾推定位置に追尾対象物体の位置を示すオブジェクト６０Ｊを重畳させる。そして、安定化映像５０Ｊが表示映像として表示される。
　なお、上記では、追尾推定位置が表示対象領域内すなわち保持映像の領域内である例を説明したが、追尾推定位置が表示対象領域外である場合に、追尾対象物体の位置を示すオブジェクトが安定化映像に重畳されてもよい。例えば、追尾推定位置が表示対象領域外である場合、安定化映像生成部１０７は、追尾推定位置を示す矢印等のオブジェクトを重畳し得る。
　　　（表示対象領域の変更）
　撮像装置１００Ａは、安定化映像における未加工映像の領域の大きさに基づいて表示対象領域を変更する。具体的には、安定化映像生成部１０７は、未加工映像の領域の大きさが閾値以下である場合、未加工映像の領域が大きくなるように表示対象領域を決定する。例えば、安定化映像生成部１０７は、未加工映像を用いた保持映像の更新により得られる映像における表示対象領域に相当する範囲において、未加工映像の領域の大きさの表示対象領域における割合が閾値以下である場合、表示対象領域をシフトさせることにより、未加工映像の領域を拡大させる。
　なお、未加工映像の大きさの閾値との比較は、表示対象領域における割合で行われる例を説明したが、面積または辺の合計値等で行われてもよい。また、表示対象領域の大きさが変更されてもよい。
　　＜２－３．装置の処理＞
　次に、本実施形態に係る撮像装置１００Ａの処理について説明する。
　　　（処理全体のフロー）
　まず、図７を参照して、撮像装置１００Ａの処理の全体について説明する。図７は、本実施形態に係る撮像装置１００Ａの処理の全体を概念的に示すフローチャートである。
　撮像装置１００Ａは、振れを検出する（ステップＳ４０１）。具体的には、制御部１０１は、ジャイロスコープ１１０から得られる角速度等の情報に基づいて振れの有無および振れの大きさを検出する。
　次に、撮像装置１００Ａは、未加工映像と対応する保持映像の領域を算出する（ステップＳ４０２）。具体的には、安定化映像生成部１０７は、撮像により得られる未加工映像の被写体と対応する被写体の写る保持映像の領域を算出する。
　次に、撮像装置１００Ａは、未加工映像のアドレスを保持映像のアドレスに変換する（ステップＳ４０３）。具体的には、安定化映像生成部１０７は、未加工映像と対応する保持映像の領域のアドレスに当該未加工映像のアドレスを変換する。
　次に、撮像装置１００Ａは、保持映像メモリ１０８上の変換に係るアドレスのデータを未加工映像のデータに更新する（ステップＳ４０４）。具体的には、安定化映像生成部１０７は、変換後の未加工映像のアドレスと対応する保持映像のアドレスに格納されるデータを未加工映像のデータに更新する。
　次に、撮像装置１００Ａは、表示対象領域のアドレスを算出する（ステップＳ４０５）。詳細については後述する。
　次に、撮像装置１００Ａは、保持映像メモリ１０８上の算出されたアドレスのデータを読み出す（ステップＳ４０６）。具体的には、安定化映像生成部１０７は、算出された表示対象領域のアドレスに対応する保持映像のアドレスに格納されるデータを読み出す。
　次に、撮像装置１００Ａは、物体追尾処理の有無を判定する（ステップＳ４０７）。具体的には、安定化映像生成部１０７は、物体追尾処理が継続中であるか、または開始されるかを判定する。
　物体追尾処理中であると判定されると、撮像装置１００Ａは、物体追尾に係る映像処理を行う（ステップＳ４０８）。詳細については後述する。なお、物体追尾処理を行わないと判定される場合、処理がステップＳ４０９に進められる。
　次に、撮像装置１００Ａは、安定化映像を出力する（ステップＳ４０９）。具体的には、安定化映像生成部１０７は、保持映像メモリ１０８から読み出されたデータ、または当該読み出されたデータに係る映像に物体追尾に係る映像処理が施された映像に係るデータを通信部１１１に提供する。そして、通信部１１１は、提供されるデータを記録装置２００－１Ａに送信する。
　次に、撮像装置１００Ａは、保持映像メモリ１０８上の未加工映像を保持映像に更新する（ステップＳ４１０）。具体的には、保持映像生成部１０９は、保持映像メモリ１０８上の未加工映像について彩色処理を行う。
　　　（表示対象領域の算出処理のフロー）
　続いて、図８を参照して、撮像装置１００Ａの表示対象領域の算出処理について説明する。図８は、本実施形態に係る撮像装置１００Ａの表示対象領域の算出処理を概念的に示すフローチャートである。
　撮像装置１００Ａは、表示割合による表示対象領域の制御の有無を判定する（ステップＳ４２１）。具体的には、安定化映像生成部１０７は、表示対象領域すなわち安定化映像における未加工映像の割合に基づく表示対象領域の変更有無を判定する。なお、当然ながら、未加工映像の割合の代わりに、保持映像の割合が用いられてもよい。
　表示割合による表示対象領域の制御を行うと判定されると、撮像装置１００Ａは、表示対象領域における未加工映像の割合を算出する（ステップＳ４２２）。具体的には、安定化映像生成部１０７は、混合映像における、既に設定されている表示対象領域を特定する。そして、安定化映像生成部１０７は、当該表示対象領域における未加工映像の領域の割合を算出する。
　なお、表示割合による表示対象領域の制御を行わないと判定される場合には、ステップＳ４２５に処理が進められる。
　次に、撮像装置１００Ａは、未加工映像の割合が閾値以上であるかを判定する（ステップＳ４２３）。具体的には、安定化映像生成部１０７は、算出された表示対象領域における未加工映像の割合が閾値以上であるかを判定する。なお、当該閾値は、予め設定されてもよく、事後的に変更されてもよい。
　なお、未加工映像の割合が閾値以上であると判定される場合には、ステップＳ４２５に処理が進められる。
　未加工映像の割合が閾値未満であると判定されると、撮像装置１００Ａは、表示対象領域の位置を再計算する（ステップＳ４２４）。具体的には、安定化映像生成部１０７は、未加工映像の割合が増加するように表示対象領域をシフトする。
　次に、撮像装置１００Ａは、表示対象領域に相当する保持映像メモリ１０８上のアドレスを算出する（ステップＳ４２５）。具体的には、安定化映像生成部１０７は、表示対象領域で特定される混合映像の領域のアドレスを算出する。
　　　（物体追尾処理のフロー）
　続いて、図９を参照して、撮像装置１００Ａの物体追尾に係る映像処理について説明する。図９は、本実施形態に係る撮像装置１００Ａの物体追尾に係る映像処理を概念的に示すフローチャートである。
　撮像装置１００Ａは、未加工映像の領域における追尾対象物体の存在有無を判定する（ステップＳ４３１）。具体的には、安定化映像生成部１０７は、読み出されたデータに係る映像における未加工映像の領域に追尾対象物体が存在するかを判定する。なお、当然ながら、安定化映像生成部１０７は、未加工映像のみを用いて未加工映像に追尾対象物体が存在するかを判定してもよい。
　未加工映像の領域に追尾対象物体が存在しないと判定されると、撮像装置１００Ａは、追尾推定位置を算出する（ステップＳ４３２）。具体的には、安定化映像生成部１０７は、過去の追尾対象物体の位置の変化に基づいて追尾対象物体の位置を推定する。
　次に、撮像装置１００Ａは、追尾対象物体が表示対象領域に存在するかを判定する（ステップＳ４３３）。具体的には、安定化映像生成部１０７は、追尾推定位置が表示対象領域内であるかを判定する。
　追尾対象物体が表示対象領域に存在すると判定されると、撮像装置１００Ａは、追尾推定位置を示すオブジェクトを重畳させる（ステップＳ４３４）。具体的には、安定化映像生成部１０７は、読み出されたデータに係る映像に追尾推定位置を示すオブジェクトを重畳させる。
　　＜２－４．第１の実施形態のまとめ＞
　このように、本開示の第１の実施形態によれば、撮像装置１００Ａは、信号処理装置として、撮像により得られる未加工画像から、未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する。また、撮像装置１００Ａは、第１の領域が画像抽出部により抽出された未加工画像であり、第１の領域と異なる第２の領域が保持画像である、加工画像を生成する。このため、振れにより撮像範囲に表示対象領域が収まらない場合であっても、未加工映像の存在しない領域が保持映像で補完されることにより、振れによる映像の視認性の悪化を抑制することが可能となり、ユーザの負担が軽減され得る。また、撮像により得られる映像が加工されない未加工映像が表示映像に用いられることにより、ユーザが当該映像から状況を適切に把握することが可能となる。
　また、加工画像は、第１の領域および第２の領域のうちの少なくとも一方が判別される画像を含む。このため、未加工映像と保持映像とが判別されるように安定化映像が生成されることにより、ユーザは撮像された時点の状況を未加工映像の領域を観察することで把握することができる。その結果、視認性が少なくとも維持されたまま、表示対象領域の撮像時点の状況を観察することが可能となる。
　また、加工画像の第２の領域は、特定の視覚的態様である。このため、ユーザによって一目で各領域が区別されることにより、ユーザの利便性を向上させることが可能となる。
　また、特定の視覚的態様は、特定の彩色を含む。このため、人間が違いを認識しやすい態様で保持映像の領域が表示されることにより、ユーザによる保持映像の領域の迅速な把握が可能となる。
　また、撮像により得られる画像は、ネットワークを介して通信される。このため、遠隔での撮像により得られる映像であっても安定化映像を生成することが可能となる。
　また、未加工画像は、撮像範囲に表示対象領域が収まらない状況における撮像により得られる画像を含む。このため、振れ補正が困難な状況での撮像により得られる映像が取得される場合であっても乱れが抑制された表示映像を提供することが可能となる。
　また、撮像装置１００Ａは、未加工画像における特定の被写体を捕捉し、捕捉される特定の被写体が第１の領域に含まれない場合、推定される特定の被写体の位置を示すオブジェクトを加工画像に重畳する。このため、安定化映像の未加工映像の領域に追尾対象物体が写らない場合であっても追尾推定位置が示されることにより、ユーザが追尾対象物体を見失いにくくすることが可能となる。
　また、撮像装置１００Ａは、第１の領域の大きさが閾値以下である場合、第１の領域が大きくなるように表示対象領域を決定する。このため、安定化映像における未加工映像の領域が大きくなることにより、撮像時点の状況を把握し易くすることが可能となる。
　また、加工画像および未加工画像の両方が記録される。ここで、例えば監視システムにおいては映像の証拠能力が重要となる。安定化映像は保持映像を含むため、未加工映像の領域のみが証拠能力を有することになる。しかし、安定化映像は加工が施された映像であるため、証拠能力が疑われる可能性がある。そこで、本構成のように、安定化映像のみならず未加工映像も記録されることにより、監視については安定化映像を利用し、証拠としては未加工映像を利用することが可能となる。
　　＜２－５．変形例＞
　以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。
　　　（第１の変形例）
　本実施形態の第１の変形例として、撮像装置１００Ａは、提供する映像を切り替えてもよい。ここで、安定化映像が提供されることが望ましい状況がいくつか存在する。具体的には、撮像装置が撮影対象となる場所から遠くに設置される場合、または撮像装置が固定されない場合等がある。
　例えば、撮像装置が撮影対象となる場所から遠くに設置される場合としては、人間が近づきにくい火山、海上もしくは河川等が撮影対象となる場合、または災害現場が撮影対象となる場合等がある。また、撮像装置が固定的されない場合としては、警察の張り込み捜査もしくは調査において仮に設置される場合、または設置場所が安定していない、例えば交通もしくは風の影響を受ける場合等がある。
　そこで、本実施形態の第１の変形例では、制御部１０１は、撮像を行う装置の状態に係る情報に基づいて、通信部１１１により送信される映像を切り替える。例えば、制御部１０１は、安定化映像が送信されるモード（安定化モードＯＮ）と未加工映像が送信されるモード（安定化モードＯＦＦ）とを切り替える。映像を切り替える方法としては、撮像装置１００Ａの振れに係る情報に基づく映像切り替え、および撮像装置１００Ａの動作状態に基づく映像切り替えがある。
　　　　（振れに係る情報に基づく映像切り替え）
　制御部１０１は、撮像における振れの程度に基づいて通信部１１１に送信させる映像を切り替える。具体的には、撮像における振れの程度は、撮像装置１００Ａの動きに基づいて推定される。詳細には、撮像装置１００Ａの動きは、慣性センサから得られる情報（以下、センサ情報とも称する。）に基づいて推定される。例えば、制御部１０１は、ジャイロスコープ１１０から得られる角速度等の情報に基づいて動きベクトルを算出する。そして、制御部１０１は、算出される動きベクトルの大きさに基づいて安定化モードのＯＮとＯＦＦとを切り替える。
　なお、撮像装置１００Ａの動きは、撮像により得られる映像に基づいて推定されてもよい。例えば、制御部１０１は、未加工映像の時系列の変化に基づいて動きベクトルを算出する。当然ながら、当該撮像装置１００Ａの動きの推定に保持映像が利用されてもよい。
　また、制御部１０１は、撮像における振れ発生の可能性に基づいて通信部１１１に送信させる映像を切り替えてもよい。具体的には、撮像における振れ発生の可能性は、撮像により得られる映像における被写体の拡大の有無に基づいて推定される。例えば、制御部１０１は、焦点距離の大きさに基づいて撮像におけるズームイン動作の有無を判定する。焦点距離が閾値よりも大きい場合、制御部１０１は、ズームイン動作中であるとして安定化モードをＯＮに設定する。なお、焦点距離の閾値は、予め決定されてもよく、事後的に変更されてもよい。
　さらに、図１０を参照して、本変形例の振れに係る情報に基づく映像切り替え処理について説明する。図１０は、本実施形態の第１の変形例における振れに係る情報に基づく映像切り替え処理を概念的に示すフローチャートである。
　撮像装置１００Ａは、焦点距離が取得可能であるかを判定する（ステップＳ４４１）。具体的には、制御部１０１は、光学系１０３の有するレンズの焦点距離が取得可能かを判定する。
　焦点距離が取得可能であると判定されると、撮像装置１００Ａは、焦点距離が閾値Ｌを超過しているかを判定する（ステップＳ４４２）。具体的には、制御部１０１は、レンズの焦点距離を取得し、取得される焦点距離が閾値Ｌを超過しているかを判定する。
　焦点距離が閾値Ｌを超過していると判定されると、撮像装置１００Ａは、安定化モードをＯＮに設定する（ステップＳ４４３）。
　ステップＳ４４１にて焦点距離が取得可能でないと判定された場合、またはステップＳ４４２にて焦点距離が閾値Ｌを超過していないと判定された場合、撮像装置１００Ａは、動きベクトルを算出する（ステップＳ４４４）。具体的には、制御部１０１は、ジャイロスコープ１１０から得られる情報または映像解析に基づいて撮像装置１００Ａの動きベクトルを算出する。
　次に、撮像装置１００Ａは、安定化モードがＯＦＦであるかを判定する（ステップＳ４４５）。
　安定化モードがＯＦＦであると判定されると、撮像装置１００Ａは、動きの大きさが閾値ａ以上であるかを判定する（ステップＳ４４６）。具体的には、制御部１０１は、算出された動きベクトルの大きさが閾値ａ以上であるかを判定する。
　動きの大きさが閾値ａ以上であると判定されると、ステップＳ４４３に処理が進められ、安定化モードがＯＮに設定される。そうでなければ、安定化モードは変更されず、ＯＦＦのまま維持される。
　ステップＳ４４５にて安定化モードがＯＮであると判定されると、撮像装置１００Ａは、所定の期間Ｔ１の動きを観測する（ステップＳ４４７）。具体的には、制御部１０１は、所定の期間Ｔ１の間、定期的に動きベクトルを算出し続ける。
　次に、撮像装置１００Ａは、所定の期間Ｔ１における動きの大きさが閾値ｂ以下であるかを判定する（ステップＳ４４８）。具体的には、制御部１０１は、所定の期間Ｔ１の間に算出された動きベクトルの全てについて閾値ｂ以下であるかを判定する。
　所定の期間Ｔ１における動きの大きさが閾値ｂ以下であると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定する（ステップＳ４４９）。また、そうでなければ、制御部１０１は、安定化モードを変更せず、ＯＮのまま維持する。なお、制御部１０１は、閾値ｂ以下である期間の長さに基づいて安定化モードの切り替えを行ってもよい。
　　　　（撮像装置の動作状態に基づく映像切り替え）
　制御部１０１は、撮像についての動作状態に応じて提供する映像を切り替える。具体的には、撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む。例えば、撮像範囲の移動に係る動作としては、撮像方向の水平方向の回転動作いわゆるパン動作および撮像方向の垂直方向の回転動作いわゆるチルト動作がある。
　また、撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む。例えば、被写体のサイズの変化に係る動作としては、ズームインおよびズームアウトがある。なお、ズームは、光学式またはデジタル式のいずれであってもよい。
　撮像範囲の移動に係る動作および被写体のサイズの変化に係る動作は、撮像装置１００Ａの動作情報に基づいて判定される。なお、撮像装置１００Ａの動作情報の代わりに、映像解析結果に基づいて、撮像範囲の移動に係る動作および被写体のサイズの変化に係る動作が判定されてもよい。
　さらに、図１１を参照して、本変形例の撮像装置の動作状態に基づく映像切り替え処理について説明する。図１１は、本実施形態の第１の変形例における撮像装置の動作状態に基づく映像切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。
　撮像装置１００Ａは、撮像装置１００Ａの動作情報が取得可能かを判定する（ステップＳ４５１）。具体的には、制御部１０１は、撮像装置１００Ａのズーム、パンおよびチルトに係る動作情報が取得可能かを判定する。
　撮像装置１００Ａの動作情報が取得可能と判定されると、撮像装置１００Ａは、ズーム動作中であるかを判定する（ステップＳ４５２）。具体的には、制御部１０１は、ズームに係る動作情報がズームインまたはズームアウトの実行中を示すかを判定する。
　ズーム動作中であると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定する（ステップＳ４５３）。
　ステップＳ４５２にてズーム動作中でないと判定されると、撮像装置１００Ａは、パンまたはチルト動作中であるかを判定する（ステップＳ４５４）。具体的には、制御部１０１は、パンおよびチルトに係る動作情報がパンまたはチルト動作の実行中を示すかを判定する。
　パンまたはチルト動作中であると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定し（ステップＳ４５３）、そうでなければ、安定化モードをＯＮに設定する（ステップＳ４５５）。
　ステップＳ４５１にて撮像装置１００Ａの動作情報が取得可能でないと判定されると、撮像装置１００Ａは、動きベクトルを算出する（ステップＳ４５６）。
　次に、撮像装置１００Ａは、被写体のサイズが変化しているかを判定する（ステップＳ４５７）。具体的には、制御部１０１は、時系列の映像の解析により被写体のサイズが拡大し、または縮小しているかを判定する。
　被写体のサイズが変化していると判定されると、撮像装置１００Ａは、安定化モードをＯＦＦに設定する（ステップＳ４５８）。
　ステップＳ４５７にて被写体のサイズが変化していないと判定されると、撮像装置１００Ａは、所定の期間Ｔ２の動きを観測する（ステップＳ４５９）。
　次に、撮像装置１００Ａは、所定の期間Ｔ２における動きの大きさの積算値が閾値以下であるかを判定する（ステップＳ４６０）。具体的には、制御部１０１は、所定の期間Ｔ２の間に算出された動きベクトルを積算し、積算により得られる値が閾値以下であるかを判定する。さらに、図１２Ａおよび図１２Ｂを参照して動きベクトルの積算値について詳細に説明する。図１２Ａは、本変形例に係る撮像装置１００Ａの動作によるベクトル積算値の変化の例を示す図であり、図１２Ｂは、本変形例に係る撮像装置１００Ａの振れによるベクトル積算値の変化の例を示す図である。
　撮像装置１００Ａの動作、例えばパンまたはチルトは一定の方向に行われるため、当該動作によるベクトルの積算値は概して、図１２Ａに示したように線形に増加する。これに対し、撮像装置１００Ａの振れの方向は、発生した方向および当該発生した方向と反対方向に交互に変化するため、振れによるベクトルの積算値は概して、図１２Ｂに示したように互いに打ち消し合うように変化し、やがて０に向かって収束する。なお、ステップＳ４６０の判定に用いられる閾値は、０または０としてみなされる値であり得る。
　図１１を参照して、撮像装置の動作状態に基づく映像切り替え処理のフローチャートについての説明に戻ると、所定の期間Ｔ２における動きの大きさの積算値が閾値以下であると判定されると、撮像装置１００Ａは、安定化モードをＯＮに設定し（ステップＳ４６１）、そうでなければ安定化モードをＯＦＦに設定する（ステップＳ４５８）。
　なお、上記では、ズーム動作中またはパンもしくはチルト動作中である場合に安定化モードがＯＦＦにされる例を説明したが、動作情報と安定化モードとの対応付けはその他の対応付けであってもよい。例えば、下記の表１のような対応付けが想定される。
Figure JPOXMLDOC01-appb-T000001
　このように、本実施形態の第１の変形例によれば、撮像装置１００Ａは、撮像を行う装置の状態に係る情報に基づいて、外部装置に提供する画像を切り替える。このため、撮像装置１００Ａの状態に適した映像が外部装置に提供されることにより、映像の視認性および映像に対するユーザのニーズの両立が可能となる。
　また、撮像装置１００Ａは、撮像における振れの程度に基づいて提供する画像を切り替える。このため、所定の大きさの振れが発生した際に安定化モードがＯＮにされることにより、常に安定化映像の生成処理が行われる場合と比べて処理負荷を低減することが可能となる。
　また、撮像における振れの程度は、撮像を行う装置の動きに基づいて推定される。このため、振れが発生している撮像装置１００Ａの動きに基づいて振れの程度が推定されることにより、推定の正確性および精度を向上させることが可能となる。
　また、撮像を行う装置の動きは、慣性センサから得られる情報に基づいて推定される。このため、撮像装置１００Ａの動きの推定のための映像解析が行われる場合と比べて処理負荷の増加を抑制することが可能となる。
　また、撮像を行う装置の動きは、撮像により得られる画像に基づいて推定される。このため、慣性センサから得られる情報に基づく推定処理が行われる場合と比べてコストを低減させることが可能となる。
　また、撮像装置１００Ａは、撮像における振れ発生の可能性に基づいて提供される画像を切り替える。このため、振れ発生の可能性が高い場合に事前に安定化モードがＯＮにされることにより、振れの発生後に安定化モードの切り替えが行われる場合と比べて映像の乱れを抑制することが可能となる。
　また、撮像における振れ発生の可能性は、撮像により得られる画像における被写体の拡大の有無に基づいて推定される。ここで、ズームイン動作中は、ズームイン動作が行われていない場合と比べて映像が振れの影響を受けやすい。そこで、ズームイン動作中においては、安定化モードがＯＮに切り替えられることにより、映像の視認性が低下することを抑制することが可能となる。
　また、撮像装置１００Ａは、撮像についての動作状態に応じて提供される画像を切り替える。このため、撮像装置１００Ａの動作状態から推定される安定化映像の状態が視認に適していない場合に未加工映像に切り替えられることにより、撮像装置１００Ａの動作による視認性の低下を抑制することが可能となる。
　また、撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む。ここで、パンまたはチルト動作中においては、撮像範囲が移動するため、まだ撮像されていない領域が存在し得る。この場合、未加工映像に対応する保持映像の領域が存在しないため、安定化映像の一部が欠けることになり得る。しかし、本構成によれば、パンまたはチルト動作中においては安定化モードがＯＦＦにされる、すなわち表示される映像が未加工映像に切り替えられることにより、欠けのない映像をユーザに提供することが可能となる。
　また、撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む。ここで、ズーム動作中においては、未加工映像に写る被写体が拡大され、または縮小されるため、それに応じて保持映像も拡大され、または縮小されることになる。それにより、保持映像が劣化し得る。しかし、本構成によれば、ズーム動作中においては安定化モードがＯＦＦにされる、すなわち表示される映像が未加工映像に切り替えられることにより、映像の劣化を防止することが可能となる。
　　　（第２の変形例）
　本実施形態の第２の変形例として、撮像装置と異なる他の装置が信号処理装置として動作してもよい。具体的には、記録装置２００－１Ｂが信号処理装置として動作する。図１３を参照して、本実施形態の第２の変形例に係る信号処理システムの構成について説明する。図１３は、本実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の例を示す図である。
　　　　（撮像装置から得られる映像情報から安定化映像を生成する記録装置）
　図１３に示したように、信号処理システムは、撮像装置１００Ｂ、記録装置２００－１Ｂおよび表示装置３００を備える。例えば、記録装置２００－１Ｂは、撮像装置１００Ｂから未加工映像を受信し、受信される未加工映像と保持映像とに基づいて安定化映像を生成する。次に、記録装置２００－１Ｂは、生成される安定化映像に係る映像情報を表示装置３００に提供する。なお、記録装置２００－１Ｂは、図１３に示したように、未加工画像Ｄａｔａ１および安定化映像Ｄａｔａ２を記録する。そして、表示装置３００は、提供される映像情報に係る安定化映像を表示する。さらに、図１４を参照して、本変形例に係る信号処理システムの機能構成について説明する。図１４は、本実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。なお、ここでは、記録装置２００－１Ｂについてのみ説明する。
　図１４に示したように、記録装置２００－１Ｂは、制御部２０１、通信部２０２、記憶部２０３および映像切替部２０４に加えて、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９を備える。なお、通信部２０２および記憶部２０３の機能については、上述した機能と実質的に同一であるため説明を省略する。また、制御部２０１、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７および保持映像生成部２０８の機能は、上述した制御部１０１、未加工映像メモリ１０６、安定化映像生成部１０７、保持映像メモリ１０８および保持映像生成部１０９の機能とそれぞれ実質的に同一であるため説明を省略する。
　動き検出部２０９は、未加工映像に基づいて撮像装置１００Ｂの動きを検出する。具体的には、動き検出部２０９は、第１の実施形態にて説明した制御部１０１の処理と同様に、撮像により得られる映像に基づいて撮像装置１００Ｂの動きを推定する。なお、通信部２０２を介して撮像装置１００Ｂから撮像時点の撮像装置１００Ｂのセンサ情報が得られる場合は、動き検出部２０９は、当該センサ情報に基づいて撮像装置１００Ｂの動きを検出してもよい。
　また、動き検出部２０９は、撮像における振れの発生の可能性を推定してもよい。例えば、動き検出部２０９は、第１の実施形態にて説明した制御部１０１の処理と同様に、映像における被写体の拡大の有無に基づいて撮像における振れの発生の可能性を推定する。
　　　　（記録された映像情報から安定化映像を生成する記録装置）
　信号処理装置として動作する別の記録装置２００－１Ｃは、記録される未加工映像と処理の過程で生成される保持映像とに基づいて安定化映像を生成する。まず、図１５を参照して、本変形例に係る信号処理システムの他の構成について説明する。図１５は、本実施形態の第２の変形例に係る信号処理システムの概略的な物理構成の他の例を示す図である。
　図１５に示したように、信号処理システムは、記録装置２００－１Ｃおよび表示装置３００を備える。例えば、記録装置２００－１Ｃは、記録されている未加工映像Ｄａｔａ１と処理の過程で生成される保持映像とに基づいて安定化映像を生成する。次に、記録装置２００－１Ｃは、生成される安定化映像に係る映像情報を表示装置３００に提供する。そして、表示装置３００は、提供される映像情報に係る安定化映像を表示する。さらに、図１６を参照して、信号処理システムの機能構成について説明する。図１６は、本実施形態の第２の変形例に係る信号処理システムの概略的な機能構成の他の例を示す図である。なお、ここでは、記録装置２００－１Ｃについてのみ説明する。
　図１６に示したように、記録装置２００－１Ｃは、制御部２０１、記憶部２０３、映像切替部２０４、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９に加えて、再生処理部２１０を備える。なお、制御部２０１、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９の機能は、上述した機能と実質的に同一であるため説明を省略する。
　再生処理部２１０は、制御部２０１の指示に基づいて映像の再生を制御する。具体的には、再生処理部２１０は、制御部２０１により再生開始が指示されると、記憶部２０３から未加工映像の映像情報を取得し、未加工映像メモリに映像情報を提供する。また、再生処理部２１０は、制御部２０１により再生停止または終了が指示されると、記憶部２０３からの映像情報の取得を終了し、または停止する。
　このように、本実施形態の第２の変形例によれば、記録装置２００が信号処理装置として動作する。このため、一般的な撮像装置を信号処理システムに採用することが可能となる。また、撮像装置と接続されていない場合であっても安定化映像を表示装置３００に表示させることが可能となる。
　＜３．本開示の第２の実施形態（未加工映像と安定化映像との表示の切り替え）＞
　以上、本開示の第１の実施形態に係る信号処理システムについて説明した。次に、本開示の第２の実施形態に係る信号処理システムについて説明する。本実施形態では、信号処理装置が記録装置である例について説明する。
　　＜３－１．装置の構成＞
　図１７を参照して、本実施形態に係る信号処理システムの構成について説明する。図１７は、本開示の第２の実施形態に係る信号処理システムの概略的な物理構成の例を示すシステム構成図である。なお、上述した信号処理システムと実質的に同一である物理構成については説明を省略する。
　本実施形態に係る信号処理システムは、図１７に示したように、記録装置２００－２Ａおよび表示装置３００を備える。
　本実施形態に係る信号処理システムでは、記録装置２００－２Ａに映像情報が予め記録されている。例えば、図１７に示したように、記録装置２００－２Ａには未加工映像Ｄａｔａ１および安定化映像Ｄａｔａ２の両方が記録されている。
　そして、記録装置２００－２Ａから提供される映像を表示装置３００が表示する。例えば、図１７に示したように、安定化映像または未加工映像が表示装置３００に提供され、表示装置３００は提供される映像を表示する。
　続いて、図１８を参照して、本実施形態に係る信号処理システムの機能構成について説明する。図１８は、本実施形態に係る信号処理システムの概略的な機能構成の例を示すブロック図である。
　記録装置２００－２Ａは、図１８に示したように、制御部２０１、記憶部２０３、映像切替部２０４、再生処理部２１０および映像バッファ２１１を備える。なお、上述した機能と実質的に同一の機能については説明を省略する。
　映像バッファ２１１は、映像を一時的に保持する。具体的には、映像バッファ２１１は、表示されている映像の表示時点から当該表示時点よりも前の時点までの画像を再生可能な状態で保持する。より具体的には、映像バッファ２１１は、再生処理部２１０から提供される未加工映像を一時的にバッファし、再生処理部２１０から映像切替部２０４に提供される未加工映像よりも時系列的に遅れた未加工映像を映像切替部２０４に提供する。例えば、映像バッファ２１１は、再生処理部２１０から映像切替部２０４に提供される未加工映像のフレームよりも時系列的に所定数前のフレームの未加工映像を映像切替部２０４に提供する。なお、時系列的な遅れは、制御部２０１または映像切替部２０４から指定されてもよく、固定値であってもよい。
　　＜３－２．技術的特徴＞
　次に、本実施形態に係る記録装置２００－２Ａの技術的特徴について説明する。
　　　（Ａ．映像の切り替え）
　記録装置２００－２Ａは、表示装置３００に表示させる映像を切り替える。具体的には、制御部２０１は、表示制御部として、未加工映像および安定化映像の少なくとも一方の映像を表示映像として決定する。ここで、映像の切り替えは、以下に説明するように、様々な情報に基づいて行われる。
　　　　（Ａ－１．ユーザ操作に基づく映像の切り替え）
　制御部２０１は、ユーザの操作に基づいて表示映像を決定する。具体的には、制御部２０１は、記録装置２００－２Ａに対するユーザの映像切り替え操作に応じて表示映像を決定する。例えば、制御部２０１は、安定化映像が表示装置３００により表示されている状態において、映像に異常を感じたユーザが記録装置２００－２Ａに対して映像切り替え操作を行うと、映像切替部２０４に表示装置３００に提供される映像を安定化映像から未加工映像に切り替えさせる。
　　　　（Ａ－２．撮像における振れに基づく映像の切り替え）
　制御部２０１は、撮像における振れに係る情報に基づいて表示映像を決定する。具体的には、撮像における振れに係る情報は、撮像における振れの程度に係る情報を含む。より具体的には、制御部２０１は、未加工映像および安定化映像の少なくとも一方の映像に基づいて、撮像における振れの程度を推定する。例えば、制御部２０１は、未加工映像の時系列の変化に基づいて動きベクトルを算出する。次に、制御部２０１は、算出される動きベクトルと閾値との比較に基づいて未加工映像または安定化映像を選択する。そして、制御部１０１は、映像切替部２０４に表示装置３００に提供される映像を選択される映像に切り替えさせる。
　なお、未加工映像および安定化映像と共に撮像時点の撮像装置のセンサ情報が記録装置２００－２Ａに予め記録される場合は、制御部２０１は、当該センサ情報に基づいて撮像における振れの程度を推定してもよい。
　また、制御部２０１は、撮像における振れの発生の可能性を推定してもよい。例えば、制御部２０１は、第１の実施形態にて説明した制御部１０１の処理と同様に、映像における被写体の拡大の有無に基づいて撮像における振れの発生の可能性を推定する。
　　　　（Ａ－３．映像の更新状況に基づく映像の切り替え）
　制御部２０１は、表示映像の表示の更新間隔に基づいて表示映像を決定する。具体的には、制御部２０１は、当該更新間隔と閾値との比較に基づいて表示映像を決定する。例えば、制御部２０１は、表示されている安定化映像が所定の期間にわたって更新されていない場合、例えば安定化映像が保持映像の領域のみを含む場合、映像切替部２０４に表示装置３００に提供される映像を未加工映像に切り替えさせる。
　なお、制御部２０１は、安定化映像が未加工映像の領域を含む場合であっても、映像切替部２０４に表示映像を未加工映像に切り替えさせてもよい。具体的には、制御部２０１は、未加工映像の領域の大きさに基づいて表示映像を決定する。より具体的には、制御部２０１は、安定化映像における未加工映像の領域の割合に基づいて表示映像を決定する。例えば、制御部２０１は、表示されている安定化映像における未加工映像の領域の割合が閾値以下である場合、映像切替部２０４に表示装置３００に提供される映像を未加工映像に切り替えさせる。
　また、制御部２０１は、未加工映像の領域の表示時間に基づいて表示映像を決定してもよい。具体的には、制御部２０１は、安定化映像の表示時間における未加工映像の領域の表示時間の割合に基づいて表示映像を決定する。例えば、制御部２０１は、安定化映像の表示時間に対して、安定化映像に未加工映像の領域が含まれる時間が所定の割合を下回る場合、映像切替部２０４に表示装置３００に提供される映像を未加工映像に切り替えさせる。
　　　　（Ａ－４．映像内の異常の発生に基づく映像の切り替え）
　制御部２０１は、未加工映像および安定化映像の少なくとも一方の映像の内容に係る情報に基づいて表示映像を決定する。具体的には、当該映像の内容に係る情報は、当該映像における特徴的なオブジェクトの包含有無に係る情報を含む。より具体的には、当該映像における特徴的なオブジェクトの包含有無は、当該映像の解析に基づいて判定される。例えば、制御部２０１は、安定化映像が表示されている間、映像解析により当該安定化映像に異常と判断される物体が含まれるかを判定する。そして、制御部２０１は、当該物体が安定化映像に含まれると判定される場合、映像切替部２０４に表示装置３００に提供される映像を安定化映像から未加工映像に切り替えさせる。なお、特徴的なオブジェクトの形態は、上述したような固体である物体のほか、水もしくは油等の液体または雲または煙等の気体であってもよい。
　なお、上述した映像における特徴的なオブジェクトの包含有無は、当該映像のメタ情報に基づいて判定されてもよい。例えば、映像のメタ情報は、異常が認識される安定化映像の表示時点（またはフレーム）を示す情報を含み、安定化映像と紐付けられて記憶部２０３に記憶される。制御部２０１は、再生処理部２１０に安定化映像の再生を開始させると共に、メタ情報を記憶部２０３から取得する。そして、制御部２０１は、安定化映像の表示時点（またはフレーム）がメタ情報の示す時点（またはフレーム）に到達すると、映像切替部２０４に表示装置３００に提供される映像を安定化映像から未加工映像に切り替えさせる。なお、メタ情報は未加工映像にも紐付けられてよい。
　　　（Ｂ．切り替えに備えた事前処理）
　記録装置２００－２Ａは、映像の切り替え前に予め表示のための準備を行う。具体的には、制御部２０１は、未加工映像および安定化映像の両方を表示可能な状態にする。例えば、制御部２０１は、再生処理部２１０に安定化映像および未加工映像の両方の映像について再生を開始させ、当該両方の映像が映像切替部２０４に提供される。
　　　（Ｃ．切り替え後の表示方法）
　記録装置２００－２Ａは、切り替え後の映像の表示時点を制御する。具体的には、制御部２０１は、表示映像が切り替わる場合、切り替え前の表示時点よりも前の時点から切り替え後の映像を再生させる。例えば、制御部２０１は、安定化映像から未加工映像への表示映像の切り替えが発生した場合、映像切替部２０４に表示装置３００に提供される映像を安定化映像から、映像バッファ２１１から提供される未加工映像に、切り替えさせる。
　なお、制御部２０１は、表示映像が切り替わる場合に、切り替え前の表示時点と同じ時点から切り替え後の映像を再生させてもよい。例えば、制御部２０１は、安定化映像から未加工映像への表示映像の切り替えが発生した場合に、映像切替部２０４に表示装置３００に提供される映像を安定化映像から、再生処理部２１０から提供される未加工映像に、切り替えさせる。
　さらに、制御部２０１は、切り替え後の映像の表示時点を選択してもよい。具体的には、制御部２０１は、表示時点よりも時系列的に遅れた映像および表示時点と一致する映像から設定情報に基づいて表示映像を選択する。例えば、制御部２０１は、設定情報に基づいて、映像バッファ２１１から提供される映像および再生処理部２１０から提供される映像のうちから映像切替部２０４に表示装置３００に提供させる映像を選択する。なお、設定情報は、ユーザにより決定され、また変更されてもよい。
　　＜３－３．装置の処理＞
　次に、本実施形態に係る記録装置２００－２Ａの処理について、上述した映像の切り替え方法毎に説明する。
　　　（Ａ－１．ユーザ操作に基づく映像の切り替え処理のフロー）
　まず、図１９を参照して、ユーザ操作に基づく映像の切り替え処理について説明する。図１９は、本実施形態に係る記録装置２００－２Ａにおけるユーザ操作に基づく映像の切り替え処理を概念的に示すフローチャートである。
　記録装置２００－２Ａは、安定化映像を出力する（ステップＳ５０１）。具体的には、制御部２０１は、再生処理部２１０に少なくとも安定化映像を再生させ、映像切替部２０４に再生される安定化映像を表示装置３００に提供させる。なお、安定化映像と共に未加工映像が再生されてもよい。
　次に、記録装置２００－２Ａは、映像切り替え操作の有無を判定する（ステップＳ５０２）。具体的には、制御部２０１は、記録装置２００－２Ａに対してユーザによる映像切り替え操作が行われたかを判定する。
　映像切り替え操作が行われたと判定されると、記録装置２００－２Ａは、表示時点の遡りの有無を判定する（ステップＳ５０３）。具体的には、制御部２０１は、映像切り替え操作が行われた場合、表示時点が時系列的に遅れた映像および表示時点と一致する映像のうちのいずれの映像に表示映像を切り替えるかを設定情報に基づいて判定する。
　表示時点の遡りを行う旨が判定されると、記録装置２００－２Ａは、バッファリングされる未加工映像を出力する（ステップＳ５０４）。具体的には、制御部２０１は、表示時点が時系列的に遅れた映像に表示映像を切り替えると判定されると、映像切替部２０４に映像バッファ２１１から提供される映像を表示装置３００に提供させる。
　また、表示時点の遡りを行わない旨が判定されると、記録装置２００－２Ａは、未加工映像をそのまま出力する（ステップＳ５０５）。具体的には、制御部２０１は、表示時点が一致する映像に表示映像を切り替えると判定されると、映像切替部２０４に再生処理部２１０から提供される映像を表示装置３００に提供させる。
　　　（Ａ－２．撮像における振れに基づく映像の切り替え処理のフロー）
　続いて、図２０を参照して、撮像における振れに基づく映像の切り替え処理について説明する。図２０は、本実施形態に係る記録装置２００－２Ａにおける撮像における振れに基づく映像の切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。
　記録装置２００－２Ａは、未加工映像を出力する（ステップＳ５１１）。具体的には、制御部２０１は、再生処理部２１０に未加工映像を再生させ、映像切替部２０４に再生される未加工映像を表示装置３００に提供させる。なお、未加工映像と共に安定化映像が再生されてもよい。
　次に、記録装置２００－２Ａは、撮像における振れの大きさが閾値以上であるかを判定する（ステップＳ５１２）。具体的には、制御部２０１は、未加工映像の解析により撮像装置の動きベクトルを算出し、算出される動きベクトルの大きさが閾値以上であるかを判定する。
　撮像における振れの大きさが閾値以上であると判定されると、記録装置２００－２Ａは、安定化映像を出力する（ステップＳ５１３）。具体的には、制御部２０１は、動きベクトルの大きさが閾値状であると判定されると、再生処理部２１０に安定化映像を再生させ、映像切替部２０４に再生される安定化映像を表示装置３００に提供させる。なお、上述したように、制御部２０１は、安定化映像が映像バッファ２１１にバッファリングされている場合、映像バッファ２１１から提供される安定化映像に切り替えさせてもよい。
　なお、撮像における振れの大きさが閾値未満であると判定されると、映像は切り替えられずに処理が終了する。
　　　（Ａ－３．映像の更新状況に基づく映像の切り替え処理のフロー）
　続いて、図２１を参照して、映像の更新状況に基づく映像の切り替え処理について説明する。図２１は、本実施形態に係る記録装置２００－２Ａにおける映像の更新状況に基づく映像の切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。
　記録装置２００－２Ａは、安定化映像を出力する（ステップＳ５２１）。
　次に、記録装置２００－２Ａは、所定の期間にわたって表示映像が未更新であるかを判定する（ステップＳ５２２）。具体的には、制御部２０１は、安定化映像が保持映像の領域のみとなってから所定の期間が経過したかを判定する。
　所定の期間にわたって表示映像が未更新であると判定されると、記録装置２００－２Ａは、表示時点の遡りの有無を判定する（ステップＳ５２３）。
　表示時点の遡りを行う旨が判定されると、記録装置２００－２Ａは、バッファリングされる未加工映像を出力し（ステップＳ５２４）、表示時点の遡りを行わない旨が判定されると、未加工映像をそのまま出力する（ステップＳ５２５）。
　　　（Ａ－４．映像内の異常の発生に基づく映像の切り替え処理のフロー）
　続いて、図２２を参照して、映像内の異常の発生に基づく映像の切り替え処理について説明する。図２２は、本実施形態に係る記録装置２００－２Ａにおける映像内の異常の発生に基づく映像の切り替え処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。
　記録装置２００－２Ａは、安定化映像を出力する（ステップＳ５３１）。
　次に、記録装置２００－２Ａは、映像中の異常検知の有無を判定する（ステップＳ５３２）。具体的には、制御部２０１は、安定化映像の表示時点が安定化映像または未加工映像に紐付けられたメタ情報の示す表示時点すなわち映像中に異常が発生した時点に到達したかを判定する。
　映像中の異常が検知されたと判定されると、記録装置２００－２Ａは、表示時点の遡りの有無を判定する（ステップＳ５３３）。
　表示時点の遡りを行う旨が判定されると、記録装置２００－２Ａは、バッファリングされる未加工映像を出力し（ステップＳ５３４）、表示時点の遡りを行わない旨が判定されると、未加工映像をそのまま出力する（ステップＳ５３５）。
　　＜３－４．第２の実施形態のまとめ＞
　このように、本開示の第２の実施形態によれば、記録装置２００－２Ａは、未加工画像および加工画像の少なくとも一方の画像を表示画像として決定する。このため、未加工映像および安定化映像のうちの表示に適した映像が表示されることにより、映像の視認性を維持しながら、状況の把握に適した画像を提供することが可能となる。
　また、記録装置２００－２Ａは、撮像における振れに係る情報に基づいて表示画像を決定する。このため、映像の乱れに応じて表示映像が決定されることにより、映像の視認性の低下を効果的に抑制することが可能となる。
　また、撮像における振れに係る情報は、撮像における振れの程度に係る情報を含む。このため、映像の乱れの程度に応じて表示映像が決定されることにより、頻繁に映像が切り替えられることが抑制され、ユーザの視認性を維持することが可能となる。
　また、撮像における振れの程度は、未加工画像および加工画像のうちの少なくとも一方の画像に基づいて推定される。このため、振れの推定処理において追加的な情報が用いられないことにより、当該追加的な情報の取得のための構成が省略され、記録装置２００－２Ａの構成を簡素化することが可能となる。
　また、記録装置２００－２Ａは、表示画像の表示の更新間隔に基づいて表示画像を決定する。このため、ユーザにとって情報量が増えない状況が継続することを抑制することが可能となる。特に、本実施形態の構成が監視システムに適用される場合においては、映像が更新されない場合には、監視が十分でない可能性がある。これに対し、本構成によれば、監視システムの信頼性を向上させることが可能となる。
　また、記録装置２００－２Ａは、更新間隔と閾値との比較に基づいて表示画像を決定する。このため、更新間隔の下限を予め決定しておくことにより、上記の情報量が増えない状況の継続時間が長期化することを抑制することが可能となる。
　また、記録装置２００－２Ａは、第１の領域の大きさまたは表示時間に基づいて表示画像を決定する。ここで、映像が更新されていても更新される範囲または時間が小さい場合には、ユーザの所望する情報量が得られない可能性がある。これに対し、本構成によれば、ユーザの所望する情報量が不足する可能性を低下させることが可能となる。
　また、記録装置２００－２Ａは、未加工画像および加工画像のうちの少なくとも一方の画像の内容に係る情報に基づいて表示画像を決定する。このため、映像の内容に応じて表示映像が切り替えられることにより、ユーザの意図に即した映像の提供が可能となる。
　また、画像の内容に係る情報は、画像における特徴的なオブジェクトの包含有無に係る情報を含む。このため、ユーザが観察を所望する場合に観察可能な映像に表示映像が切り替えられることにより、ユーザの利便性を向上させることが可能となる。
　また、画像における特徴的なオブジェクトの包含有無は、画像の解析に基づいて判定される。このため、当該特徴的なオブジェクトの包含の判定処理に追加的な情報が要件とされないことにより、記録装置２００－２Ａの構成を簡素化することが可能となる。
　また、画像における特徴的なオブジェクトの包含有無は、画像のメタ情報に基づいて判定される。このため、画像解析処理が用いられる場合と比べて、処理負荷を抑制することが可能となる。
　また、記録装置２００－２Ａは、ユーザの操作に基づいて表示画像を決定する。このため、ユーザの意図に即して表示映像が切り替えられることにより、ユーザの利便性を向上させることが可能となる。
　また、記録装置２００－２Ａは、表示画像が切り替わる場合、切り替え前の画像の表示時点よりも前の時点から切り替え後の画像を表示させる。このため、ユーザは切り替え時点よりも前の時点から映像を観察することができ、切り替え時点の映像の状況を把握しやすくすることが可能となる。
　また、記録装置２００－２Ａは、未加工画像および加工画像の両方の画像を表示可能な状態にする。このため、映像が途切れることなくシームレスに切り替えられることにより、ユーザの待ち時間の発生を抑制し、不満を抑制することが可能となる。
　また、表示時点から当該表示時点よりも前の時点までの画像が再生可能な状態で保持される。このため、切り替え時点よりも前の時点から映像が表示される場合にも、映像の遡った再生のために映像が途切れることがなくシームレスに切り替えられる。これにより、ユーザの待ち時間の発生を抑制しながら、切り替え時点の状況の把握のしやすさを向上させることが可能となる。
　　＜３－５．変形例＞
　以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
　本実施形態の変形例として、安定化画像は、未加工画像に基づいて生成されてもよい。具体的には、記録装置２００－２Ｂには、未加工画像のみが記録され、記録装置２００－２Ｂは、記録される未加工画像から安定化画像を生成する。図２３を参照して、本変形例に係る信号処理システムの機能構成について説明する。図２３は、本実施形態の変形例に係る信号処理システムの概略的な機能構成の例を示す図である。
　図２３に示したように、記録装置２００－２Ｂは、制御部２０１、記憶部２０３、映像切替部２０４、再生処理部２１０および映像バッファ２１１に加えて、未加工映像メモリ２０５、安定化映像生成部２０６、保持映像メモリ２０７、保持映像生成部２０８および動き検出部２０９を備える。
　記録装置２００－２Ｂでは、記憶部２０３に未加工映像のみが記録されているため、制御部２０１が再生処理部２１０に未加工映像の再生を指示すると、安定化映像生成部２０６が再生される未加工映像に基づいて安定化画像を生成する。そして、映像切替部２０４は、再生される未加工映像、映像バッファ２１１から提供される未加工映像および安定化映像生成部２０６により生成される安定化映像のうちのいずれかを表示映像として表示装置３００に提供する。なお、安定化映像の生成機能については、第１の実施形態にて説明した機能と実質的に同一であるため説明を省略する。
　このように、本実施形態の変形例によれば、安定化画像は、未加工画像に基づいて生成される。このため、安定化映像が予め記憶されていない場合であっても未加工映像および安定化映像のうちの適した映像が表示装置３００に提供されることにより、ユーザは安定化映像を生成するための装置を別途に用意せずに済み、利便性を向上させることが可能となる。
　＜４．本開示の一実施形態に係る信号処理装置のハードウェア構成＞
　以上、本開示の各実施形態に係る信号処理装置について説明した。上述した信号処理装置の処理は、ソフトウェアと、以下に説明する信号処理装置のハードウェアとの協働により実現される。
　図２４は、本開示の一実施形態に係る信号処理装置１００、２００（以下、信号処理装置１００等とも称する。）のハードウェア構成を示した説明図である。図２４に示したように、信号処理装置１００等は、ＣＰＵ（Central　Processing　Unit）１３２と、ＲＯＭ（Read　Only　Memory）１３４と、ＲＡＭ（Random　Access　Memory）１３６と、ブリッジ１３８と、バス１４０と、インターフェース１４２と、入力装置１４４と、出力装置１４６と、ストレージ装置１４８と、ドライブ１５０と、接続ポート１５２と、通信装置１５４とを備える。
　ＣＰＵ１３２は、演算処理装置として機能し、各種プログラムと協働して信号処理装置１００等内の制御部１０１、安定化映像生成部１０７および保持映像生成部１０９ならびに制御部２０１、映像切替部２０４、安定化映像生成部２０６、保持映像生成部２０８、動き検出部２０９および再生処理部２１０の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、信号処理装置１００等内の未加工映像メモリ１０６および保持映像メモリ１０８ならびに未加工映像メモリ２０５、保持映像メモリ２０７および映像バッファ２１１の一部が実現される。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
　入力装置１４４は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。信号処理装置１００等のユーザは、入力装置１４４を操作することにより、信号処理装置１００等に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１４６は、例えば、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１４６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
　ストレージ装置１４８は、例えば信号処理装置１００等の記憶部２０３の一例として、データ格納用の装置である。ストレージ装置１４８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１４８は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。
　ドライブ１５０は、記憶媒体用リーダライタであり、信号処理装置１００等に内蔵、あるいは外付けされる。ドライブ１５０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１３６に出力する。また、ドライブ１５０は、リムーバブル記憶媒体に情報を書込むこともできる。
　接続ポート１５２は、例えば、信号処理装置１００等の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１５２は、ＵＳＢ（Universal　Serial　Bus）であってもよい。
　通信装置１５４は、例えば、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。通信装置１５４は、赤外線通信対応装置であっても、無線ＬＡＮ（Local　Area　Network）対応通信装置であっても、ＬＴＥ（Long　Term　Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　＜５．むすび＞
　以上、本開示の第１の実施形態によれば、振れにより撮像範囲に表示対象領域が収まらない場合であっても、未加工映像の存在しない領域が保持映像で補完されることにより、振れによる映像の視認性の悪化を抑制することが可能となり、ユーザの負担が軽減され得る。また、撮像により得られる映像が加工されない未加工映像が表示映像に用いられることにより、ユーザが当該映像から状況を適切に把握することが可能となる。
　また、本開示の第２の実施形態によれば、未加工映像および安定化映像のうちの表示に適した映像が表示されることにより、映像の視認性を維持しながら、状況の把握に適した画像を提供することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、未加工映像および安定化映像のうちの一方のみが表示装置３００に提供され、表示装置３００により表示されるとしたが、本技術はかかる例に限定されない。例えば、未加工映像および安定化映像の両方が表示装置３００に提供され、表示装置３００は提供される両方の映像を並行して表示してもよい。
　また、上記実施形態では、映像の表示中において表示映像が切り替えられる例を説明したが、本開示の各実施形態は、映像の表示開始における表示映像の決定に適用されてもよい。
　また、第２の実施形態では、映像バッファ２１１は、未加工映像をバッファする例を説明したが、映像バッファ２１１は、安定化映像をバッファしてもよい。この場合、制御部２０１は、未加工映像から安定化映像に表示映像が切り替わる場合に、映像切替部２０４に表示装置３００に提供される映像を未加工映像から、映像バッファ２１１から提供される安定化映像に、切り替えさせる。
　また、第２の実施形態では、映像バッファ２１１にバッファされることにより、時系列的に遡って映像が再生される例を説明したが、映像の切り替えの際に、時系列的に遡った時点の映像が記憶部２０３等から取得されるとしてもよい。例えば、映像の切り替えの際に、制御部２０１は、再生処理部２１０に、映像の切り替え時点のフレームよりも所定数前のフレームの映像を記憶部２０３から再生させる。
　また、上記実施形態では、映像（画像）が適用対象である例を説明したが、音声を伴う映像が適用対象であってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、
　第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、
　を備える、信号処理装置。
（２）
　前記加工画像は、前記第１の領域および前記第２の領域のうちの少なくとも一方が判別される画像を含む、前記（１）に記載の信号処理装置。
（３）
　前記加工画像の前記第２の領域は、特定の視覚的態様である、前記（２）に記載の信号処理装置。
（４）
　前記特定の視覚的態様は、特定の彩色を含む、前記（３）に記載の信号処理装置。
（５）
　前記撮像により得られる画像は、ネットワークを介して通信される、前記（１）～（４）のいずれか１項に記載の信号処理装置。
（６）
　前記未加工画像は、撮像範囲に前記表示対象領域が収まらない状況における撮像により得られる画像を含む、前記（１）～（５）のいずれか１項に記載の信号処理装置。
（７）
　前記未加工画像における特定の被写体を捕捉する画像解析部をさらに備え、
　前記画像生成部は、前記画像解析部により捕捉される前記特定の被写体が前記第１の領域に含まれない場合、推定される前記特定の被写体の位置を示すオブジェクトを前記加工画像に重畳する、前記（１）～（６）のいずれか１項に記載の信号処理装置。
（８）
　前記画像生成部は、前記第１の領域の大きさが閾値以下である場合、前記第１の領域が大きくなるように前記表示対象領域を決定する、前記（１）～（７）のいずれか１項に記載の信号処理装置。
（９）
　前記加工画像および前記未加工画像の両方が記録される、前記（１）～（８）のいずれか１項に記載の信号処理装置。
（１０）
　前記加工画像および前記未加工画像のうちの少なくとも一方を外部装置に提供する画像提供部と、
　前記撮像を行う装置の状態に係る情報に基づいて、前記画像提供部により提供される画像を切り替える制御部と、
　をさらに備える、前記（１）～（９）のいずれか１項に記載の信号処理装置。
（１１）
　前記制御部は、前記撮像における振れの程度に基づいて提供される画像を切り替える、前記（１０）に記載の信号処理装置。
（１２）
　前記撮像における振れの程度は、前記撮像を行う装置の動きに基づいて推定される、前記（１１）に記載の信号処理装置。
（１３）
　前記撮像を行う装置の動きは、慣性センサから得られる情報に基づいて推定される、前記（１２）に記載の信号処理装置。
（１４）
　前記撮像を行う装置の動きは、前記撮像により得られる画像に基づいて推定される、前記（１２）に記載の信号処理装置。
（１５）
　前記制御部は、前記撮像における振れ発生の可能性に基づいて提供される画像を切り替える、前記（１０）～（１４）のいずれか１項に記載の信号処理装置。
（１６）
　前記撮像における振れ発生の可能性は、前記撮像により得られる画像における被写体の拡大の有無に基づいて推定される、前記（１５）に記載の信号処理装置。
（１７）
　前記制御部は、前記撮像についての動作状態に応じて提供される画像を切り替える、前記（１０）～（１６）のいずれか１項に記載の信号処理装置。
（１８）
　前記撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む、前記（１７）に記載の信号処理装置。
（１９）
　前記撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む、前記（１７）または（１８）に記載の信号処理装置。
（２０）
　撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出することと、
　第１の領域が抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成することと、
　を含む、信号処理方法。
（２１）
　撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、
　第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、
　前記未加工画像または生成される前記加工画像を提供する画像提供部と、を備える撮像装置と、
　前記撮像装置から提供される画像を記憶する記憶部と、
　前記記憶される画像を表示画像として提供する画像提供部と、を備える記録装置と、
　提供される表示画像を表示する表示部を備える表示装置と、
　を備える、信号処理システム。
　また、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像により得られる未加工画像と、
　第１の領域が前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像と、を得る画像取得部と、
　前記未加工画像および前記加工画像の少なくとも一方の画像を表示画像として決定する表示制御部と、
　を備える信号処理装置。
（２）
　前記表示制御部は、前記撮像における振れに係る情報に基づいて前記表示画像を決定する、前記（１）に記載の信号処理装置。
（３）
　前記撮像における振れに係る情報は、前記撮像における振れの程度に係る情報を含む、前記（２）に記載の信号処理装置。
（４）
　前記撮像における振れの程度は、前記未加工画像および前記加工画像のうちの少なくとも一方の画像に基づいて推定される、前記（３）に記載の信号処理装置。
（５）
　前記表示制御部は、表示画像の表示の更新間隔に基づいて前記表示画像を決定する、前記（１）～（４）のいずれか１項に記載の信号処理装置。
（６）
　前記表示制御部は、前記更新間隔と閾値との比較に基づいて前記表示画像を決定する、前記（５）に記載の信号処理装置。
（７）
　前記表示制御部は、前記第１の領域の大きさまたは表示時間に基づいて前記表示画像を決定する、前記（５）または（６）に記載の信号処理装置。
（８）
　前記表示制御部は、前記未加工画像および前記加工画像のうちの少なくとも一方の画像の内容に係る情報に基づいて前記表示画像を決定する、前記（１）～（７）のいずれか１項に記載の信号処理装置。
（９）
　前記画像の内容に係る情報は、前記画像における特徴的なオブジェクトの包含有無に係る情報を含む、前記（８）に記載の信号処理装置。
（１０）
　前記画像における特徴的なオブジェクトの包含有無は、前記画像の解析に基づいて判定される、前記（９）に記載の信号処理装置。
（１１）
　前記画像における特徴的なオブジェクトの包含有無は、前記画像のメタ情報に基づいて判定される、前記（９）または（１０）に記載の信号処理装置。
（１２）
　前記表示制御部は、ユーザの操作に基づいて前記表示画像を決定する、前記（１）～（１１）のいずれか１項に記載の信号処理装置。
（１３）
　前記表示制御部は、前記表示画像が切り替わる場合、切り替え前の画像の表示時点よりも前の時点から切り替え後の画像を表示させる、前記（１）～（１２）のいずれか１項に記載の信号処理装置。
（１４）
　前記撮像により得られる画像は、ネットワークを介して通信される、前記（１）～（１３）のいずれか１項に記載の信号処理装置。
（１５）
　前記表示制御部は、前記未加工画像および前記加工画像の両方の画像を表示可能な状態にする、前記（１）～（１４）のいずれか１項に記載の信号処理装置。
（１６）
　表示時点から前記表示時点よりも前の時点までの画像が前記表示可能な状態で保持される、前記（１５）に記載の信号処理装置。
（１７）
　前記加工画像は、前記未加工画像に基づいて生成される、前記（１）～（１６）のいずれか１項に記載の信号処理装置。
（１８）
　撮像により得られる未加工画像と、
　第１の領域が前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像と、を得ることと、
　前記未加工画像および前記加工画像の少なくとも一方の画像を表示画像として決定することと、
　を含む、信号処理方法。
（１９）
　撮像により得られる未加工画像と、
　第１の領域が前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像と、を得る画像取得部と、
　前記未加工画像および前記加工画像の少なくとも一方の画像を表示画像として決定する表示制御部と、
　決定される表示画像を表示装置に提供する画像提供部と、を備える記録装置と、
　提供される表示画像を表示する表示部を備える表示装置と、
　を備える信号処理システム。
　１００　　撮像装置
　１０１　　制御部
　１０２　　レンズ駆動部
　１０３　　光学系
　１０４　　イメージャ
　１０５　　映像信号処理部
　１０６　　未加工映像メモリ
　１０７　　安定化映像生成部
　１０８　　保持映像メモリ
　１０９　　保持映像生成部
　１１０　　ジャイロスコープ
　１１１　　通信部
　２００　　記録装置
　２０１　　制御部
　２０２　　通信部
　２０３　　記憶部
　２０４　　映像切替部
　２０５　　未加工映像メモリ
　２０６　　安定化映像生成部
　２０７　　保持映像メモリ
　２０８　　保持映像生成部
　２０９　　動き検出部
　２１０　　再生処理部
　２１１　　映像バッファ
　３００　　表示装置

Claims (20)

  1. 　撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出する画像抽出部と、
    　第１の領域が前記画像抽出部により抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成する画像生成部と、
    　を備える、信号処理装置。
  2. 　前記加工画像は、前記第１の領域および前記第２の領域のうちの少なくとも一方が判別される画像を含む、請求項１に記載の信号処理装置。
  3. 　前記加工画像の前記第２の領域は、特定の視覚的態様である、請求項２に記載の信号処理装置。
  4. 　前記特定の視覚的態様は、特定の彩色を含む、請求項３に記載の信号処理装置。
  5. 　前記撮像により得られる画像は、ネットワークを介して通信される、請求項１に記載の信号処理装置。
  6. 　前記未加工画像は、撮像範囲に前記表示対象領域が収まらない状況における撮像により得られる画像を含む、請求項１に記載の信号処理装置。
  7. 　前記未加工画像における特定の被写体を捕捉する画像解析部をさらに備え、
    　前記画像生成部は、前記画像解析部により捕捉される前記特定の被写体が前記第１の領域に含まれない場合、推定される前記特定の被写体の位置を示すオブジェクトを前記加工画像に重畳する、請求項１に記載の信号処理装置。
  8. 　前記画像生成部は、前記第１の領域の大きさが閾値以下である場合、前記第１の領域が大きくなるように前記表示対象領域を決定する、請求項１に記載の信号処理装置。
  9. 　前記加工画像および前記未加工画像の両方が記録される、請求項１に記載の信号処理装置。
  10. 　前記加工画像および前記未加工画像のうちの少なくとも一方を外部装置に提供する画像提供部と、
    　前記撮像を行う装置の状態に係る情報に基づいて、前記画像提供部により提供される画像を切り替える制御部と、
    　をさらに備える、請求項１に記載の信号処理装置。
  11. 　前記制御部は、前記撮像における振れの程度に基づいて提供される画像を切り替える、請求項１０に記載の信号処理装置。
  12. 　前記撮像における振れの程度は、前記撮像を行う装置の動きに基づいて推定される、請求項１１に記載の信号処理装置。
  13. 　前記撮像を行う装置の動きは、慣性センサから得られる情報に基づいて推定される、請求項１２に記載の信号処理装置。
  14. 　前記撮像を行う装置の動きは、前記撮像により得られる画像に基づいて推定される、請求項１２に記載の信号処理装置。
  15. 　前記制御部は、前記撮像における振れ発生の可能性に基づいて提供される画像を切り替える、請求項１０に記載の信号処理装置。
  16. 　前記撮像における振れ発生の可能性は、前記撮像により得られる画像における被写体の拡大の有無に基づいて推定される、請求項１５に記載の信号処理装置。
  17. 　前記制御部は、前記撮像についての動作状態に応じて提供される画像を切り替える、請求項１０に記載の信号処理装置。
  18. 　前記撮像についての動作状態は、撮像範囲の移動に係る動作の有無を含む、請求項１７に記載の信号処理装置。
  19. 　前記撮像についての動作状態は、被写体のサイズの変化に係る動作の有無を含む、請求項１７に記載の信号処理装置。
  20. 　撮像により得られる未加工画像から、前記未加工画像の撮像時点より前の時点での撮像により得られた保持画像における表示対象領域の少なくとも一部に対応する部分を抽出することと、
    　第１の領域が抽出された前記未加工画像であり、前記第１の領域と異なる第２の領域が前記保持画像である、加工画像を生成することと、
    　を含む、信号処理方法。
PCT/JP2016/069163 2015-08-05 2016-06-28 信号処理装置および信号処理方法 WO2017022367A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015155004A JP2017034587A (ja) 2015-08-05 2015-08-05 信号処理装置および信号処理方法
JP2015-155004 2015-08-05

Publications (1)

Publication Number Publication Date
WO2017022367A1 true WO2017022367A1 (ja) 2017-02-09

Family

ID=57942869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069163 WO2017022367A1 (ja) 2015-08-05 2016-06-28 信号処理装置および信号処理方法

Country Status (2)

Country Link
JP (1) JP2017034587A (ja)
WO (1) WO2017022367A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018203473A1 (en) * 2017-05-01 2018-11-08 Sony Corporation Medical image processing apparatus, medical image processing method and endoscope system
CN115103201A (zh) * 2022-05-27 2022-09-23 成都智元汇信息技术股份有限公司 视频数据切换播放的控制方法及其装置、播放器及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07199262A (ja) * 1993-12-28 1995-08-04 Canon Inc 像振れ補正機能付カメラ
JPH0846856A (ja) * 1994-07-28 1996-02-16 Fuji Photo Optical Co Ltd 手振れ補正装置
JP2001160958A (ja) * 1999-12-03 2001-06-12 Nec Corp 携帯テレビ電話装置における撮影画像データ補正方法及びその装置
JP2005244799A (ja) * 2004-02-27 2005-09-08 Casio Comput Co Ltd 撮像装置及び動画合成制御プログラム
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2007129480A (ja) * 2005-11-02 2007-05-24 Omron Corp 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07199262A (ja) * 1993-12-28 1995-08-04 Canon Inc 像振れ補正機能付カメラ
JPH0846856A (ja) * 1994-07-28 1996-02-16 Fuji Photo Optical Co Ltd 手振れ補正装置
JP2001160958A (ja) * 1999-12-03 2001-06-12 Nec Corp 携帯テレビ電話装置における撮影画像データ補正方法及びその装置
JP2005244799A (ja) * 2004-02-27 2005-09-08 Casio Comput Co Ltd 撮像装置及び動画合成制御プログラム
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2007129480A (ja) * 2005-11-02 2007-05-24 Omron Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018203473A1 (en) * 2017-05-01 2018-11-08 Sony Corporation Medical image processing apparatus, medical image processing method and endoscope system
CN115103201A (zh) * 2022-05-27 2022-09-23 成都智元汇信息技术股份有限公司 视频数据切换播放的控制方法及其装置、播放器及系统

Also Published As

Publication number Publication date
JP2017034587A (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
EP3289764B1 (en) Camera mode control
US9591364B2 (en) Image processing apparatus, image processing method, and program
US20230291997A1 (en) Imaging Apparatus and Display Control Method Thereof
US20090268074A1 (en) Imaging apparatus and imaging method
US10812714B2 (en) Motion-based camera mode control to reduce rolling shutter artifacts
EP2211306B1 (en) Imaging apparatus, subject tracking method and storage medium
US8587658B2 (en) Imaging device, image display device, and program with intruding object detection
US8571378B2 (en) Image capturing apparatus and recording method
JP5810307B2 (ja) 撮像装置
US20090263021A1 (en) Monitoring system, monitoring method and program
CN108028964B (zh) 信息处理装置以及信息处理方法
JP2006229321A (ja) 自動追尾撮像装置及び自動追尾撮像方法、並びにプログラム
EP2999217A1 (en) Image processing apparatus, image processing method, image processing system, and program
WO2017022367A1 (ja) 信号処理装置および信号処理方法
JP5317710B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
JP2014123908A (ja) 画像処理装置、画像切り出し方法、及びプログラム
WO2017022368A1 (ja) 信号処理装置および信号処理方法
US20170171492A1 (en) Display control apparatus, imaging apparatus, and display control method
US9438822B2 (en) Image processing device, display device, image processing method, and computer-readable recording medium
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP4205020B2 (ja) テレビカメラの制御方法及び画像記録装置の制御方法
JP6781822B2 (ja) 監視システム
US9361854B2 (en) Method for stabilization and a system thereto
JP5051091B2 (ja) 撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法
CN116194831A (zh) 成像设备和成像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16832646

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16832646

Country of ref document: EP

Kind code of ref document: A1