WO2011016358A1 - 電子機器、制御方法、プログラム、及び撮像システム - Google Patents

電子機器、制御方法、プログラム、及び撮像システム Download PDF

Info

Publication number
WO2011016358A1
WO2011016358A1 PCT/JP2010/062561 JP2010062561W WO2011016358A1 WO 2011016358 A1 WO2011016358 A1 WO 2011016358A1 JP 2010062561 W JP2010062561 W JP 2010062561W WO 2011016358 A1 WO2011016358 A1 WO 2011016358A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
unit
stationary
imaging
stationary state
Prior art date
Application number
PCT/JP2010/062561
Other languages
English (en)
French (fr)
Inventor
圭一 黒田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112012001992A priority Critical patent/BR112012001992A2/pt
Priority to EP10806357A priority patent/EP2464095A1/en
Priority to CN2010800446188A priority patent/CN102550014A/zh
Priority to US13/386,933 priority patent/US20120120267A1/en
Publication of WO2011016358A1 publication Critical patent/WO2011016358A1/ja

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/18Heads with mechanism for moving the apparatus relatively to the stand
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20Undercarriages with or without wheels
    • F16M11/2007Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00Details of stands or supports
    • F16M2200/02Locking means
    • F16M2200/021Locking means for rotational movement
    • F16M2200/024Locking means for rotational movement by positive interaction, e.g. male-female connections
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0058Docking-station, cradle or the like

Definitions

  • the present invention relates to an electronic device and a control method thereof.
  • the present invention also relates to a program to be executed by a computer of the electronic device.
  • the present invention relates to an imaging system including an imaging device including an imaging unit that performs imaging and obtains a captured image, and a pan head device that changes a field of view by the imaging unit by driving a movable mechanism.
  • an automatic composition adjustment and an image obtained by the composition adjustment are provided by an imaging system including a digital still camera and a pan / tilt head that electrically changes the pan / tilt direction of the digital still camera.
  • a technique for automatically recording an image is disclosed.
  • a subject as a person is searched using, for example, a face detection technique. Specifically, the subject (person's face) displayed in the image frame is detected while rotating the digital still camera in the pan direction by the pan head.
  • the rotation in the pan direction is stopped and the detection mode of the subject in the image frame at that time (for example, the subject)
  • the optimum composition is determined according to the number, position, size, etc. (optimum composition determination). That is, the optimum pan, tilt, and zoom angles are obtained. Further, when the optimum pan / tilt / zoom angles are obtained by the optimum composition determination as described above, the pan / tilt / zoom angles are adjusted by using these angles as target angles ( Composition). After completion of such composition adjustment, the captured image is automatically recorded.
  • the imaging system described in Patent Document 1 can be configured with at least a digital still camera and a camera platform, and the size of the entire system can be sufficiently reduced to have portability. Thus, if it is small enough, the usage method which a user can move the installation position of an imaging system freely can be taken.
  • the fact that the imaging system is not supposed to be moved during operation as described above can be regarded as narrowing the functions that can be provided as an imaging system, and in that sense, the usefulness of the system Can be considered to have declined.
  • the present invention is suitable for, for example, an imaging system that performs the above-described automatic imaging operation when the installation position is moved by the user during the operation (when it is estimated that the user is placed in a new situation). It is intended to realize an imaging system that performs operations and is more intelligent for the user than before.
  • the present invention is configured as follows as an electronic device. That is, it is determined whether or not the movement from the stationary state has occurred based on the signal input from the stationary / movement detecting unit that outputs a signal according to the movement of the portable device from the stationary state. A control unit that performs predetermined control based on the determination result is provided.
  • a predetermined operation can be executed.
  • the present invention it is possible to perform an appropriate response operation in response to a case where the device is placed in a new situation. That is, in this respect, it is possible to realize an imaging system that is more intelligent for the user than in the past.
  • image frame refers to an area range corresponding to one screen where an image can be seen, for example, and generally has a frame shape as a vertically or horizontally long rectangle.
  • view angle is also called a zoom angle or the like, and represents a range within an image frame determined by the position of the zoom lens in the image pickup optical system by an angle. Strictly speaking, it is determined by the focal length of the imaging optical system and the size of the image plane (image sensor, film). Here, the image plane size is fixed, and an element that changes according to the focal length is determined.
  • the “imaging field of view” represents a field of view by the imaging optical system, and corresponds to a range cut out by the image frame.
  • Imaging field selection angle is an angle that represents an element that determines which part of the landscape around the imaging device is to be cut.
  • a swing in the pan (horizontal) direction is used. It is determined by the angle and the swing angle (elevation angle, depression angle) in the tilt (vertical) direction.
  • Composition is also referred to as framing, and is determined by the setting of the imaging field selection angle, that is, the pan / tilt angle and the angle of view (zoom) in this case.
  • the portable electronic device of the present invention is configured as an imaging system including a digital still camera and a pan head that detachably holds the digital still camera is taken as an example. I will list them.
  • the imaging system includes a digital still camera 1 and a pan head 10 to which the digital still camera 1 is detachably attached.
  • FIG. 1A and 1B are a front view and a rear view of the digital still camera 1, respectively.
  • the digital still camera 1 shown in this figure first includes a lens portion 21a on the front side of the main body 2 as shown in FIG.
  • the lens portion 21a is a portion that is exposed to the outside of the main body 2 as an optical system for imaging.
  • a release button 31 a is provided on the upper surface of the main body 2.
  • an image (captured image) captured by the lens unit 21a is generated as an image signal.
  • a captured image at that timing is recorded on the recording medium as image data of a still image. That is, photography is performed.
  • the digital still camera 1 has a display screen section 33a on the back side thereof as shown in FIG.
  • This display screen portion 33a is referred to as a through image in the imaging mode, and an image captured by the lens portion 21a at that time is displayed.
  • the image data recorded on the recording medium is reproduced and displayed.
  • an operation image as a GUI (Graphical User Interface) is displayed according to an operation performed by the user on the digital still camera 1.
  • a touch panel is combined with the display screen unit 33a.
  • the user can perform an appropriate operation by placing a finger on the display screen unit 33a.
  • FIG. 2 is a perspective view showing the external appearance of the camera platform 10.
  • 3 to 5 show a state in which the digital still camera 1 is mounted on the camera platform 10 in an appropriate state as the appearance of the automatic imaging system of the present embodiment.
  • 3 is a front view
  • FIG. 4 is a plan view
  • FIG. 5 is a side view (particularly, in FIG. 5B, the movable range of the tilt mechanism is shown by the side view).
  • the camera platform 10 is largely configured by combining a main body 11 on a grounding base 15 and further a camera base with respect to the main body 11. It has the structure where the part 12 was attached.
  • the bottom surface side of the digital still camera 1 is placed against the top surface side of the camera base 12.
  • a protrusion 13 and a connector 14 are provided on the upper surface of the camera base 12.
  • a hole that engages with the protrusion 13 is formed on the lower surface of the main body 2 of the digital still camera 1.
  • a connector is also provided at a predetermined position on the lower surface portion thereof. As described above, when the digital still camera 1 is properly attached to the camera pedestal 12, the connector of the digital still camera 1 and the connector 14 of the camera platform 10 are connected, and at least communication between them is possible. It becomes a state.
  • the position of the connector 14 and the protrusion 13 can be changed (moved) within a certain range in the camera base 12 in practice.
  • a digital still camera of a different model can be attached to the camera pedestal 12 while being able to communicate with the camera platform 10. It has become.
  • communication between the digital still camera 1 and the camera base 12 may be performed wirelessly.
  • the camera 10 may be configured to charge the digital still camera 1 from the camera platform 10.
  • a video signal such as an image reproduced by the digital still camera 1 is also transmitted to the camera platform 10 side, and is output from the camera platform 10 to an external monitor device via a cable or wireless communication.
  • the pan head 10 can be used not only for changing the imaging field selection angle of the digital still camera 1 but also as a so-called cradle.
  • the basic movement in the pan direction is as follows. In a state where the camera platform 10 is placed on a table or a floor surface, for example, the bottom surface of the grounding platform 15 is grounded. In this state, as shown in FIG. 4, the main body 11 side can rotate in the clockwise direction and the counterclockwise direction around the rotation shaft 11a. That is, this makes it possible to change the imaging field selection angle in the horizontal direction (left-right direction) of the digital still camera 1 attached to the camera platform 10 (so-called panning).
  • the pan mechanism of the pan head 10 has a structure in which the rotation of 360 ° or more can be freely performed in both the clockwise direction and the counterclockwise direction.
  • the reference position in the pan direction is determined.
  • the pan reference position is set to 0 ° (360 °)
  • the rotation position of the main body 11 along the pan direction that is, the pan position (pan angle) is set to 0 ° to 360. It shall be expressed in °.
  • FIG. 5A shows a state in which the camera base 12 is at the tilt reference position Y0 (0 °).
  • the imaging direction F1 that coincides with the imaging optical axis of the lens unit 21a (optical system unit) is parallel to the grounding surface GR on which the grounding base unit 15 is grounded. Then, as shown in FIG.
  • the camera base 12 first, in the elevation direction, the camera base 12 has a predetermined maximum rotation angle + f ° from the tilt reference position Y0 (0 °) with the rotation axis 12a as the rotation center. Can move in a range of. Also in the depression angle direction, it can move within the range of a predetermined maximum rotation angle -g ° from the tilt reference position Y0 (0 °) with the rotation axis 12a as the rotation center. In this way, the camera base 12 moves within the range of the maximum rotation angle + f ° to the maximum rotation angle ⁇ g ° with the tilt reference position Y0 (0 °) as the base point, whereby the camera platform 10 (camera base 12).
  • the imaging field selection angle in the tilt direction (vertical direction) of the digital still camera 1 attached to the camera can be changed. That is, a tilting operation can be obtained.
  • FIG. 6 is a block diagram showing a practical internal configuration example of the digital still camera 1.
  • the optical system unit 21 includes a predetermined number of imaging lens groups including a zoom lens, a focus lens, and the like, a diaphragm, and the like. An image is formed on the light receiving surface.
  • the optical system unit 21 is also provided with a drive mechanism unit for driving the zoom lens, the focus lens, the diaphragm, and the like.
  • the operation of these drive mechanisms is controlled by so-called camera control such as zoom (viewing angle) control, automatic focus adjustment control, automatic exposure control, and the like executed by the control unit 27, for example.
  • the image sensor 22 performs so-called photoelectric conversion in which imaging light obtained by the optical system unit 21 is converted into an electric signal.
  • the image sensor 22 receives the imaging light from the optical system unit 21 on the light receiving surface of the photoelectric conversion element, and sequentially accumulates signal charges accumulated according to the intensity of the received light at a predetermined timing. Output. Thereby, an electrical signal (imaging signal) corresponding to the imaging light is output.
  • the photoelectric conversion element (imaging element) employed as the image sensor 22 is not particularly limited. However, in the present situation, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device), or the like. Can be mentioned.
  • a device (component) corresponding to the image sensor 22 may include an analog-digital converter corresponding to an A / D converter 23 described below.
  • the imaging signal output from the image sensor 22 is input to the A / D converter 23 to be converted into a digital signal and input to the signal processing unit 24.
  • the signal processing unit 24 is configured by a DSP (Digital Signal Processor), and performs predetermined signal processing according to a program on the digital imaging signal output from the A / D converter 23. For example, the signal processing unit 24 captures the digital imaging signal output from the A / D converter 23 in a unit corresponding to one still image (frame image), and captures the captured image unit in the still image unit in this way. Is subjected to predetermined signal processing to generate captured image data (captured still image data) that is image signal data corresponding to one still image.
  • DSP Digital Signal Processor
  • the signal processing unit 24 is configured to be able to execute image processing as subject detection processing using the captured image data acquired in this way, as will be described later. This point will be described later.
  • the captured image data generated by the signal processing unit 24 as described above is recorded as image information in the memory card 40 as a recording medium, for example, captured image data corresponding to one still image is signaled.
  • the data is output from the processing unit 24 to the encoding / decoding unit 25.
  • the encoding / decoding unit 25 performs compression encoding on the captured image data in units of still images output from the signal processing unit 24 by a predetermined still image compression encoding method, and performs control of the control unit 27, for example. Accordingly, a header or the like is added to convert the image data into a format compressed into a predetermined format. Then, the image data generated in this way is transferred to the media controller 26.
  • the media controller 26 writes and records the transferred image data on the memory card 40 under the control of the control unit 27.
  • the memory card 40 in this case is a recording medium having a configuration including, for example, a card-type outer shape conforming to a predetermined standard and having a nonvolatile semiconductor memory element such as a flash memory inside.
  • the recording medium for recording image data may be of a type or format other than the memory card.
  • the digital still camera 1 displays a so-called through image that is an image currently being captured by causing the display unit 33 to perform image display using the captured image data obtained by the signal processing unit 24.
  • the signal processing unit 24 captures the imaging signal output from the A / D converter 23 as described above and generates captured image data corresponding to one still image, but this operation is continued.
  • captured image data corresponding to frame images in the moving image is sequentially generated.
  • the captured image data sequentially generated in this way is transferred to the display driver 32 under the control of the control unit 27. Thereby, a through image is displayed.
  • the display driver 32 generates a drive signal for driving the display unit 33 based on the captured image data input from the signal processing unit 24 as described above, and outputs the drive signal to the display unit 33.
  • the display unit 33 sequentially displays images based on the captured image data in units of still images. If the user sees this, the image captured at that time is displayed as a moving image on the display unit 33. That is, a through image is displayed.
  • the digital still camera 1 can also reproduce the image data recorded on the memory card 40 and display the image on the display unit 33.
  • the control unit 27 designates image data and instructs the media controller 26 to read data from the memory card 40.
  • the media controller 26 accesses the address on the memory card 40 where the designated image data is recorded, executes data reading, and sends the read data to the encoding / decoding unit 25. Forward.
  • the encode / decode unit 25 extracts, for example, actual data as compressed still image data from the captured image data transferred from the media controller 26 under the control of the control unit 27, and decodes the compressed still image data with respect to compression encoding. Processing is executed to obtain captured image data corresponding to one still image. Then, the captured image data is transferred to the display driver 32. Thereby, on the display unit 33, the image of the captured image data recorded in the memory card 40 is reproduced and displayed.
  • a user interface image (operation image) can be displayed together with the through image and the reproduced image data.
  • the control unit 27 generates display image data as a necessary user interface image according to the operation state at that time, and outputs the display image data to the display driver 32.
  • the user interface image is displayed on the display unit 33.
  • the user interface image can be displayed on the display screen of the display unit 33 separately from the monitor image and the reproduced image of the captured image data, such as a specific menu screen. It is also possible to display the image data so as to be superimposed and synthesized on a part of the reproduced image.
  • the control unit 27 includes a CPU (Central Processing Unit), and constitutes a microcomputer together with the ROM 28, the RAM 29, and the like.
  • ROM 28 for example, various setting information related to the operation of the digital still camera 1 is stored in addition to a program to be executed by the CPU as the control unit 27.
  • the RAM 29 is a main storage device for the CPU.
  • the flash memory 30 in this case is provided as a nonvolatile storage area used for storing various setting information that needs to be changed (rewritten) in accordance with, for example, a user operation or an operation history. It is what For example, if a non-volatile memory such as a flash memory is adopted as the ROM 28, a partial storage area in the ROM 28 may be used instead of the flash memory 30.
  • control unit 27 executes subject detection by the signal processing unit 24 while changing the imaging field of view to search for a subject around the digital still camera 1, and for the subject search.
  • Optimal composition determination for determining an optimal composition according to the detected subject according to a predetermined algorithm, composition adjustment with the optimal composition obtained by the optimal composition determination as a target composition, and after the composition adjustment Control and processing for realizing the automatic recording of the captured image is performed, which will be described later.
  • the operation unit 31 generates various operation elements provided in the digital still camera 1, and operation information signal output parts that generate operation information signals according to operations performed on these operation elements and output the operation information signals to the control unit 27. Are shown together.
  • the control unit 27 executes predetermined processing according to the operation information signal input from the operation unit 31. Thereby, the operation of the digital still camera 1 according to the user operation is executed.
  • the pan head communication unit 34 is a part that performs communication according to a predetermined communication method between the pan head 10 side and the digital still camera 1 side.
  • the digital still camera 1 communicates with the pan head 10.
  • a physical layer configuration for enabling transmission / reception of communication signals to / from the communication unit on the camera platform 10 side, and a configuration for realizing communication processing corresponding to a predetermined layer higher than this And comprising.
  • the physical layer configuration includes a connector portion connected to the connector 14 in correspondence with FIG.
  • FIG. 7 shows an example of the internal configuration of the camera platform 10.
  • the pan / tilt head 10 includes a pan / tilt mechanism, and the corresponding portions corresponding to the pan / tilt mechanism 53, the pan motor 54, the tilt mechanism 56, and the tilt motor 57 in the drawing are shown.
  • the pan mechanism unit 53 is configured to have a mechanism for giving movement in the pan (lateral / horizontal) direction shown in FIG. 4 with respect to the digital still camera 1 attached to the pan / tilt head 10. It is obtained by rotating the pan motor 54 in the forward and reverse directions.
  • the tilt mechanism unit 56 is configured to have a mechanism for giving a movement in the tilt (vertical / vertical) direction shown in FIG. 5 with respect to the digital still camera 1 attached to the camera platform 10. The movement of the mechanism is obtained by rotating the tilt motor 57 in the forward and reverse directions.
  • the control unit 51 includes a microcomputer formed by combining a CPU, a ROM, a RAM, and the like, for example, and controls the movement of the pan mechanism unit 53 and the tilt mechanism unit 56. For example, when the control unit 51 controls the movement of the pan mechanism unit 53, a signal instructing the direction to be moved and the moving speed is output to the pan driving unit 55.
  • the pan driving unit 55 generates a motor driving signal corresponding to the input signal and outputs the motor driving signal to the pan motor 54. For example, if the motor is a stepping motor, the motor drive signal is a pulse signal corresponding to PWM control.
  • the pan motor 54 rotates, for example, with a required rotation direction and rotation speed, and as a result, the pan mechanism unit 53 is also driven to move with the corresponding movement direction and movement speed.
  • the control unit 51 outputs to the tilt drive unit 58 a signal instructing the moving direction and moving speed necessary for the tilt mechanism unit 56.
  • the tilt drive unit 58 generates a motor drive signal corresponding to the input signal and outputs the motor drive signal to the tilt motor 57.
  • the tilt motor 57 rotates, for example, at a required rotation direction and rotation speed, and as a result, the tilt mechanism unit 56 is also driven to move according to the corresponding movement direction and speed.
  • the pan mechanism unit 53 includes a rotary encoder (rotation detector) 53a.
  • the rotary encoder 53 a outputs a detection signal indicating the rotation angle amount to the control unit 51 in accordance with the rotational movement of the pan mechanism unit 53.
  • the tilt mechanism unit 56 includes a rotary encoder 56a.
  • the rotary encoder 56 a also outputs a signal indicating the rotation angle amount to the control unit 51 in accordance with the rotational movement of the tilt mechanism unit 56.
  • the control unit 51 can acquire (monitor) information on the rotation angle amounts of the driving pan mechanism unit 53 and tilt mechanism unit 56 in real time.
  • the communication unit 52 is a part that performs communication according to a predetermined communication method with the pan-head compatible communication unit 34 in the digital still camera 1 attached to the pan head 10. Similarly, it has a physical layer configuration for enabling transmission and reception of communication signals with the counterpart communication unit, and a configuration for realizing communication processing corresponding to a predetermined layer higher than this. As the physical layer configuration, the connector 14 of the camera base 12 is included in correspondence with FIG.
  • the pan / tilt head 10 is provided with a stationary / lift detection unit 59.
  • the stationary / lift detection unit 59 is lifted when the imaging system (portable electronic device) in which the digital still camera 1 is attached to the camera platform 10 is in a stationary state (grounded and stationary).
  • the output signal is configured to change depending on whether it is in a state of being moved. In other words, this makes it possible to detect whether the imaging system is in a stationary state or in a moving state.
  • FIG. 8 is a diagram for explaining a specific configuration example of the stationary / lifting detection unit 59 provided in the pan / tilt head 10.
  • FIG. 8 (a) illustrates stationary / lifting detection in a stationary state. The state of the unit 59 is schematically shown, and FIG. 8B schematically shows the state of the stationary / lift detection unit 59 in the lifted state.
  • the stationary / lifting detection unit 59 in this example is ON corresponding to the stationary state shown in (a) of FIG. 8, and the lifting state shown in (b) of FIG. Is provided with a mechanical switch that is turned off.
  • the grounding base part 15 connected to the main body part 11 via the pan rotation shaft is connected to the grounding base part 15. It is comprised so that it may drop downward (separate from the main-body part 11) with dead weight (transition of (b) of FIG. 8 (a)-> FIG. 8).
  • the stationary / lift detection unit 59 in this case is provided on the main body 11 side, and the mechanical switch is configured to be turned ON / OFF in accordance with the push-up / push-down of the rod-shaped body.
  • the rod-like body is pushed up by the grounding base 15 and the mechanical switch is operated.
  • the rod-shaped body is formed in accordance with the increase in the separation distance between the main body 11 (stationary / lift detection unit 59) and the grounding platform 15.
  • the lifted state by the grounding base 15 is released, and the rod-like body is pushed downward by at least its own weight, so that the mechanical switch is turned off.
  • the rod-like body is biased downward by an elastic body such as a spring so that the mechanical switch is surely turned off in response to the lifted state.
  • FIG. 8 illustrates a configuration that employs a mechanical switch that is turned on / off in response to the push-up / push-down of the rod-like body. You can also use switches.
  • the detection signal from the stationary / lift detection unit 59 is supplied to the control unit 51.
  • the imaging system according to the present embodiment is determined to be optimum determined according to the subject aspect detected in the subject search by the above-described subject search, optimum composition determination, and composition adjustment operations.
  • An automatic composition adjustment operation with the composition as the target composition is performed.
  • specific contents of the automatic imaging operation accompanied with such an automatic composition adjustment operation will be described.
  • a subject detection result by the signal processing unit 24 shown in FIG. 6 is used.
  • the signal processing unit 24 performs the following process as the subject detection process. That is, the signal processing unit 24 detects an image portion corresponding to a person's face from image signal data corresponding to one still image acquired as described above.
  • a face frame is set for each subject detected from within the image corresponding to the area of the image portion of the face using so-called face detection technology. Then, information on the number of subjects in the image frame, the size of each subject, and the position in each image frame is obtained from information such as the number, size, and position of the face frame.
  • the signal processing unit 24 executes the subject detection process as described above for each predetermined number of frames, such as for each image signal data corresponding to one still image (that is, for each frame). Has been.
  • the signal processing unit 24 in this example is configured by a DSP, and the subject detection processing as described above is realized by programming the signal processing unit 24 as the DSP.
  • FIG. 9 shows the functional operations realized by programming the signal processing unit 24 in a block form. As shown in FIG. 9, the signal processing unit 24 in this case can be expressed as having a subject detection function unit 24A that executes the operation as the subject detection process described above.
  • FIG. 10 is a flowchart showing a rough flow of an automatic imaging operation by automatic composition adjustment performed using the result of the subject detection process as described above.
  • a search for a subject existing around the digital still camera 1 is performed using detection information obtained by subject detection processing as described above (step S1 in the figure).
  • the control unit 27 in the digital still camera 1 performs pan / tilt control with respect to the camera platform 10 and zoom control with respect to the optical system unit 21 while changing the imaging field selection angle, This is performed by causing the signal processing unit 24 to perform subject detection.
  • Such subject search processing ends when the subject is detected in the image frame by subject detection processing by the signal processing unit 24.
  • the control unit 27 performs an optimum composition determination process (S2). Specifically, the image structure is determined based on the subject detection result by the signal processing unit 24 (in this case, the number of subjects in the image frame, the subject size, the subject position, etc.), and then the image structure determination is performed. Based on the determined image structure information, an optimum composition is determined according to a predetermined algorithm.
  • the composition in this case is determined by the pan / tilt / zoom selection field of view, and accordingly, depending on the optimum composition determination process, the determination result As a result, information on the selected imaging field of view of pan, tilt, and zoom, which is optimized in accordance with the subject detection result (the subject mode in the image frame), is obtained.
  • the control unit 27 After executing the optimum composition determination process as described above, the control unit 27 performs composition adjustment control (S3). That is, pan / tilt / zoom control is performed with the optimal composition as the target composition. Specifically, as the composition adjustment control, the control unit 27 instructs the control unit 51 on the pan head 10 side with information on the pan / tilt imaging field-of-view selection angles obtained by the optimal composition determination process. In response to this, the control unit 51 moves the pan mechanism unit 53 and the tilt mechanism unit 56 in order to point the digital still camera 1 in the imaging direction in which the designated pan / tilt imaging field selection angles are obtained.
  • S3 composition adjustment control
  • control unit 27 instructs the optical system unit 21 of information on the imaging field selection angle (that is, information on the angle of view) for the zoom obtained by the optimal composition determination process, thereby obtaining the instructed angle of view.
  • the zoom operation by the optical system unit 21 is executed as described above.
  • the control unit 27 performs a release timing determination process (S4).
  • the release is not performed immediately in response to the optimal composition being obtained, but the release is performed with the final condition that, for example, the subject is in a predetermined state such as a smile. .
  • the release timing determination process determines whether the final condition is satisfied.
  • the captured image data is automatically recorded as the release process in step S5.
  • the control unit 27 controls the encode / decode unit 25 and the media controller 26 to record the captured image data obtained at that time on the memory card 40.
  • an automatic imaging operation by automatic composition adjustment is realized based on the control and processing by the control unit 27.
  • the composition adjustment in step S3 may fail due to, for example, that the subject is no longer detected during the composition adjustment. In that case, the subject search is repeated from step S1. Similarly, there may be a case where the release timing is not OK in the release timing determination process in step S4, but in this case, the subject search is repeated from step S1.
  • the release timing determination process is a process for determining whether or not a release condition such as a smile is satisfied within a predetermined time.
  • the installation position of the imaging system having portability is moved by the user. Specifically, with respect to an imaging system that performs the above-described automatic imaging operation, the installation position is moved away to perform an automatic imaging operation with a so-called pulling composition, or to perform automatic imaging from different imaging angles. It is possible to adopt usage.
  • the imaging system when the imaging system is moved by the user, there may be a change in the aspect of the subject (for example, the number of subjects and the subject size) displayed in the image frame. For example, assuming that the installation position of the imaging system has been moved during the optimal composition determination (S2) or composition adjustment (S3) shown in FIG. In spite of the change in the form of the subject, the optimum composition determination and composition adjustment according to the form of the subject before moving are executed.
  • the stationary / lifting detection unit 59 as described above is provided to enable detection of the stationary state / lifting state (moving state), and then from the stationary state.
  • the subject search is executed based on the determination result of whether or not the movement has occurred.
  • FIG. 11 is a diagram schematically showing a specific operation as the first embodiment.
  • the detection signal of the stationary / lifting detection unit 59 changes from ON to OFF.
  • the movement of the imaging system has started.
  • the imaging system returns to the stationary state again as shown on the right side in the drawing (the detection signal of the stationary / lifting detection unit 59 is OFF).
  • the imaging system changes from ON to ON
  • the imaging system can be regarded as being in a different situation from that before the movement. Accordingly, in response to this, the subject search is started on the assumption that the imaging state is different from that before the movement as shown in the figure.
  • the subject search is executed in response to the detection of the movement from the stationary state and the subsequent return to the stationary state. That is, even when the automatic imaging operation is being performed, when movement from the stationary state is detected and then it is detected that the stationary state is returned again (that is, when the imaging state is considered different). In response to this, it is possible to start again from the subject search.
  • an imaging system capable of performing an appropriate corresponding operation according to the movement of the installation position during the automatic imaging operation.
  • an imaging system that is more intelligent and more useful to the user than in the prior art, which allows a usage method in which the user freely moves the imaging system during the automatic imaging operation.
  • FIG. 12 is a flowchart showing a specific processing procedure for realizing the operation according to the first embodiment described above.
  • the process indicated as “camera” represents a process executed by the control unit 27 illustrated in FIG. 6 according to a program stored in the ROM 28, for example.
  • the processing indicated as “head” represents processing executed by the control unit 51 illustrated in FIG. 7 according to a program stored in, for example, an internal ROM or the like.
  • step S101 the process waits until the detection signal is turned OFF by the process of step S101 in the figure. That is, the determination process of whether or not the detection signal from the lifting detection unit 59 shown in FIG. 7 (and FIG. 8) has changed to OFF is repeated until the determination result that the detection signal has changed to OFF is obtained. Is what you do. If a positive result is obtained in step S101 that the detection signal has changed to OFF, the process proceeds to step S102.
  • step S102 a lift notification is given to the camera side (control unit 27 side).
  • step S103 the process waits until the detection signal changes to ON. That is, the determination process of whether or not the detection signal from the lifting detection unit 59 has been turned ON is repeated until a determination result that the detection signal has changed to ON is obtained.
  • step S104 If an affirmative result is obtained in step S103 that the detection signal has changed to ON, a stationary notification is sent to the camera side in step S104. On the pan head side, after executing the processing of step S104, the state becomes “RETURN” as illustrated.
  • step S201 if an affirmative result is obtained as a result of the notification of lifting, the process proceeds to step S202, and waits until a stationary notification is made from the pan head side in the process of step S104. .
  • step S203 a process for starting a subject search is executed in step S203. Specifically, a pan instruction is given to the control unit 51 to start a pan operation by the pan mechanism unit 53, and an instruction to start subject detection processing is given to the signal processing unit 24. On the camera side, after executing the processing of step S203, “RETURN” is obtained as illustrated.
  • Second embodiment (resetting the pan angle origin in accordance with movement)> [3-1. Specific operation example]
  • the pan angle origin is reset based on the determination result of whether or not the imaging system has moved from the stationary state. Note that in the second embodiment, the configuration of the imaging system is the same as that in the first embodiment, and a description by way of illustration is omitted.
  • the conventional imaging system described in Patent Document 1 and the like corresponds to a so-called incremental system as the rotary encoder 53a shown in FIG. Because of the relationship of using a rotary encoder, processing for detecting the mechanical absolute position (absolute 0 ° position) of the pan rotation shaft is performed. In other words, in a conventional imaging system, first, at the time of initialization such as when the power is turned on, first, a mechanically determined reference position is always set to the 0 ° position (origin) of the pan angle.
  • the absolute 0 ° position is, for example, a reference angular position when searching for a subject. That is, when searching for a subject, subject detection is performed while changing the pan angle in a range of ⁇ x ° with the absolute 0 ° position as a reference.
  • the lens unit of the digital still camera 1 It is reasonable to think that the automatic imaging operation is intended to be executed with the direction in which 21a is directed as the front (0 °).
  • the conventional method for determining the mechanical absolute 0 ° position as described above is followed, the initial processing described above will be performed in response to the movement of the system. Therefore, the direction in which the lens portion 21a faces is forcibly adjusted to the mechanical absolute 0 ° position.
  • the direction in which the lens portion 21a faces does not necessarily coincide with the 0 ° direction as the front, and as a result, the user's intention is met. In this sense, it is not intelligent and the system is not useful to the user.
  • the pan angle origin resetting process is performed based on the determination result of whether or not the imaging system has moved from the stationary state.
  • the pan angle origin resetting process means a process of resetting the count value of the pulse output from the rotary encoder 53a to zero.
  • FIG. 13 is a diagram for explaining that the origin (0 °) of the pan angle is reset by the zero reset process of the pulse count value for the rotary encoder 53a.
  • the lens direction (imaging direction) DL which is the direction in which the lens unit 21a of the digital still camera 1 faces, is one with respect to the mechanical origin position (mechanical absolute 0 ° position) PP. It shows the state you are doing.
  • FIG. 13B shows a state in which the imaging angle position LP, which is an angular position that matches the lens direction DL, does not match the mechanical origin position PP.
  • the pulse count value obtained by counting the number of output pulses of the rotary encoder 53a represents the rotation angle amount (absolute value thereof). That is, as can be understood from this, the origin in the pan direction can be reset by resetting the pulse count value to zero. More specifically, if such a pulse count value is reset to 0, the direction in which the lens unit 21a faces when the 0 reset is performed is set to the pan angle origin (0 ° position). It is something that can be done.
  • the pulse count value 0 reset processing for the rotary encoder 53a as described above is performed to obtain the pan angle. Reset the origin of.
  • the following operation is performed based on the detection signal from the stationary / lifting detection unit 59. That is, in response to the detection signal from the stationary / lifting detection unit 59 changing to OFF and the movement of the imaging system from the stationary state occurring, first, pan driving stop processing is performed.
  • pan driving stop processing is performed in response to the detection signal from the stationary / lifting detection unit 59 changing to OFF and the movement of the imaging system from the stationary state occurring.
  • the state immediately before the movement may be assumed when tilt driving is performed. Accordingly, in response to the occurrence of the movement from the stationary state, actually, the tilt drive stop process is also performed. In any case, it is not preferable that the moving mechanism such as pan / tilt is continuously driven while the imaging system is lifted and moved, so that the movement from the stationary state has occurred. In response, an instruction to stop driving the movable mechanism is issued.
  • the direction in which the lens unit 21a faces after the movement can be set to the 0 ° position as the front according to the movement of the installation position of the system.
  • pan driving stop processing is performed. That is, this prevents the pan driving during movement.
  • the timing for resetting the pulse count value to 0 may be the timing at which the imaging system is rested from the moving state as described above, or the timing at which the movement from the stationary state occurs. Notice that similar results are obtained. That is, at any of these timings, there is no change in that the direction in which the lens portion 21a faces after the movement can be the front (0 °).
  • the pulse is moved at the timing of resting. It is possible to employ both a method of resetting the count value to 0 and a method of resetting the pulse count value to 0 at the timing when the movement occurs.
  • the pan angle origin in response to the movement of the installation position of the imaging system, the pan angle origin is reset such that the direction in which the lens unit 21a faces is the front. can do.
  • an appropriate response operation can be performed according to the intention when the user moves the installation position of the system, and at the same time, the imaging system in operation can be freely set. Usage to move to can be tolerated. As a result, it is possible to realize an imaging system that is more intelligent and useful for the user than in the past.
  • FIGS. 14 and 15 show a specific processing procedure for realizing the operation as the second embodiment described above.
  • FIG. 14 shows the processing procedure when the pan angle origin resetting process is executed at the timing when the imaging system is rested
  • FIG. 15 shows the movement of the pan angle origin resetting process from the stationary state of the imaging system.
  • the procedure of the process in the case of executing at the timing when the error occurs is shown.
  • the processes shown in FIGS. 14 and 15 are executed by the control unit 51 shown in FIG. 7 according to a program stored in an internal ROM or the like, for example.
  • step S301 the process waits until the detection signal from the stationary / lift detection unit 59 changes to OFF. If a positive result is obtained in step S301 that the detection signal has changed to OFF, a pan stop instruction is issued in step S302. That is, it instructs the pan driving unit 55 shown in FIG. 7 to forcibly stop the driving of the pan motor 54.
  • step S303 the process waits until the detection signal from the stationary / lifting detection unit 59 changes to ON. If a positive result is obtained in step S303 that the detection signal has changed to ON, pan angle origin reset processing is executed in step S304. That is, a process of resetting the count value for the output pulse of the rotary encoder 53a to 0 is executed. After executing the process of step S304, “RETURN” is obtained as illustrated.
  • step S303 in the processing procedure shown in FIG. It will be omitted. Specifically, in this case, after the pan stop instruction in step S302 is performed, the pan angle origin reset processing is executed in step S304.
  • FIG. 16 is a block diagram illustrating an internal configuration of a digital still camera 45 included in the imaging system according to the third embodiment.
  • the digital still camera 45 of the third embodiment has a gyro sensor 35 added to the digital still camera 1 of the first embodiment. It has been made.
  • the gyro sensor 35 is a gyro sensor having at least one axis, and its installation direction is adjusted so that acceleration in a direction coinciding with the vertical direction (vertical direction of the digital still camera 45) can be detected.
  • a detection signal from the gyro sensor 35 is supplied to the control unit 27.
  • the configuration of the pan / tilt head 10 is the same as that in the first embodiment, and a description by way of illustration is omitted.
  • FIG. 17 schematically shows the operation as the third embodiment.
  • FIG. 17A shows a state in which the imaging system in which the digital still camera 45 is attached to the camera platform 10 is stationary with respect to a certain ground plane GR.
  • a search operation for a certain pan angle range (for example, ⁇ 90 ° starting from 0 °) is set as one search operation, and the search operation is set to a plurality of different tilt angles. It is to be performed once. More specifically, the search operation in the first tilt angle setting state, the search operation in the second tilt angle setting state, and the search operation in the third tilt angle setting state are sequentially performed.
  • the tilt angle at which the search is started (tilt angle set during the first search operation among the plurality of search operations) is fixed at a certain angle. It was. In other words, the search operation is always started from the lower side or the upper side.
  • the tilt angle when the installation position is moved upward in the vertical movement direction that is either upward or downward, the tilt angle is as shown in FIG. Is moved downward to start the search operation from the lower side. Conversely, when the downward movement of the installation position occurs, the tilt angle is moved upward as shown in FIG. The search operation from above is started.
  • the installation position of the imaging system Even if the angle changes in the vertical direction, the object can be searched efficiently. As a result, it is possible to realize an imaging system that is more intelligent and useful for the user than in the past.
  • FIG. 18 shows a specific processing procedure for realizing the operation of the third embodiment described above.
  • the process shown as “camera” represents the process executed by the control unit 27 shown in FIG. 16 according to a program stored in the ROM 28, for example, and the process shown as “head” is 7 shows processing executed by the control unit 51 shown in FIG. 7 according to a program stored in an internal ROM or the like, for example.
  • processes having the same contents as those described in the first embodiment are denoted by the same reference numerals.
  • step S401 is inserted between steps S201 and S202, and the process after step S402 is executed instead of step S203. Not the case.
  • step S401 the vertical movement direction estimation process is started in step S401.
  • step S401 is specifically a process of starting sampling of a detection signal from the gyro sensor 35.
  • step S402. a process for determining the moving direction is executed in step S402.
  • the discrimination pattern in step S402 includes the waveform pattern of the detection signal from the gyro sensor 35 that started sampling in step S401. This is a process of discriminating between a waveform pattern that is characteristic when moving in the direction and a waveform pattern that is characteristic when moving in the downward direction.
  • step S402 for example, a determination result that the waveform pattern of the detection signal from the gyro sensor 35 that started sampling in step S401 corresponds to a waveform pattern that is characteristic when moving in the upward direction is obtained.
  • the process proceeds to step S403, and processing for starting a search from the lower side is executed.
  • a search operation of performing subject detection while performing pan driving is executed. In this manner, a tilt instruction / pan instruction to the control unit 51 on the camera platform 10 side, and a subject detection process start instruction to the signal processing unit 24 are performed.
  • step S402 it is determined that the waveform pattern of the detection signal from the gyro sensor 35 that started sampling in step S401 corresponds to the waveform pattern that is characteristic when moving downward.
  • the process proceeds to step S404, and the process for starting the search from the upper side is executed. That is, for the control unit 51 on the pan head 10 side, the search operation is executed in a state where the tilt angle is swung upward (a tilt angle that is higher than the predetermined tilt angle is set).
  • a tilt instruction / pan instruction and an instruction to start subject detection processing for the signal processing unit 24 are given.
  • step S403 or S404 After executing the process of step S403 or S404, the status becomes “RETURN” as shown in the figure.
  • zoom angle control according to the amount of movement is performed.
  • the configuration of the imaging system is the same as in the case of the first embodiment.
  • the signal processing unit 24 in the digital still camera 1 includes a movement amount estimation function unit 24B together with a subject detection function unit 24A as shown in FIG. That is, in this case, the signal processing unit 24 estimates the movement amount by image analysis when the movement from the stationary state of the imaging system occurs as a functional operation represented as the movement amount estimation function unit 24B.
  • the amount of movement can be estimated by detecting the motion generated in such a captured image. Specifically, in this example, the speed of movement that has occurred in the captured image and the length of time that the movement has occurred are detected, and the amount of movement is estimated from these pieces of information.
  • the method of estimating the movement amount of the imaging system by image analysis is not limited to the above method, and other methods can of course be employed.
  • the movement amount when the imaging system is moved in this way can be detected (estimated), and then the imaging system is returned from the moving state to the stationary state.
  • Zoom angle control is performed according to the detected movement amount. Specifically, as the zoom angle control in this case, the smaller the detected movement amount, the larger the zoom angle tends to be shorter (the focal length is shorter), and conversely, the larger the detected movement amount, the larger the zoom angle. Is reduced (focal length is long).
  • the movement amount-zoom angle control characteristic may be either linear or non-linear.
  • the conventional imaging system is not intended to be used by the user to freely move the installation position, so that even if the installation position is moved, no special zoom angle control is performed. Become. However, according to this, there is no particular change in the zoom angle regardless of whether the movement amount is small or large, and as a result, when the imaging situation changes, an appropriate operation corresponding to the change cannot be performed. That is, in this sense, the conventional imaging system is not intelligent and is not useful to the user.
  • a zoom angle corresponding to the amount of movement can be set.
  • an appropriate response operation can be performed accordingly, and in this respect, an imaging system that is more intelligent and more useful to the user than in the past can be realized.
  • FIG. 20 shows a specific processing procedure for realizing the operation as the fourth embodiment described above.
  • the processing indicated as “camera” represents processing executed by the control unit 27 shown in FIG. 6 according to a program stored in the ROM 28, for example.
  • the process indicated as “head” represents a process executed by the control unit 51 shown in FIG. 7 according to a program stored in, for example, an internal ROM.
  • FIG. 20 processes having the same contents as those described in the first embodiment are denoted by the same reference numerals.
  • step S501 is inserted between steps S201 and S202, and the process after step S502 is executed instead of step S203. Not the case.
  • step S501 As a process on the camera side in this case, when an affirmative result is obtained that a lift notification from the camera platform side has been made in step S201, an instruction to start the movement amount estimation process is given in step S501. That is, it instructs the signal processing unit 24 to start the movement amount estimation process described above.
  • step S502 when a positive result is obtained in step S202 that a stationary notification from the camera platform side has been made, the camera side notifies the signal processing unit 24 of movement completion in step S502.
  • the signal processing unit 24 can detect the length of time that the captured image has moved, and estimates the amount of movement based on the information on the time length and the speed of the movement. be able to.
  • step S503 a movement amount information acquisition process is executed. That is, information on the amount of movement estimated (detected) by the signal processing unit 24 in accordance with the movement completion notification in step S502 is acquired.
  • step S504 zoom angle instruction processing corresponding to the amount of movement is executed. That is, the zoom angle corresponding to the movement amount information acquired in step S503 is instructed to the optical system unit 21 shown in FIG. After executing the processing of step S504, the state becomes “RETURN” as illustrated.
  • the zoom angle control according to the amount of movement is performed so that the zoom angle tends to decrease as much as possible, but conversely, when the imaging system is moved in the direction approaching the subject, the amount of movement is
  • the characteristics of the corresponding zoom angle control may be opposite to the above characteristics. Specifically, the zoom angle tends to decrease as the movement amount decreases, and the zoom angle may increase as the movement amount increases.
  • the zoom angle control characteristic is switched according to the determination result regarding the different moving directions with reference to the subject. Accordingly, appropriate zoom angle control can be performed in correspondence with both the case where the movement of the imaging system is performed in the direction away from the subject and the case where the movement is performed in the approaching direction.
  • the group photo mode is an imaging mode suitable for a case where a large number of subjects are projected in the image frame. Specifically, in this example, at least a large number of subjects in the image frame are in focus. Therefore, the aperture priority mode is set to increase the aperture value.
  • an appropriate imaging mode can be set according to the imaging situation of the movement destination, which is more intelligent than before.
  • an imaging system that is useful for the user can be realized.
  • FIG. 21 shows a specific processing procedure for realizing the operation as the fifth embodiment described above.
  • the processing indicated as “camera” represents processing executed by the control unit 27 shown in FIG. 6 according to a program stored in the ROM 28, for example.
  • the process indicated as “head” represents a process executed by the control unit 51 shown in FIG. 7 according to a program stored in, for example, an internal ROM.
  • the same reference numerals are given to the processes having the same contents as those described in the first embodiment.
  • the processing on the pan head side is the same as in the first embodiment.
  • the process on the camera side when a positive result is obtained that a stationary notice is made from the camera platform in step S202, the process after step S601 is executed. It is different from the case of form.
  • subject detection information acquisition processing is executed in step S601 in response to obtaining an affirmative result that the stationary notification from the camera platform side has been made in step S202. That is, the subject detection information is acquired from the signal processing unit 24.
  • step S602 based on the subject detection information acquired as described above, it is determined whether or not the number of subjects is greater than or equal to a predetermined value. If a negative result is obtained in this step S602 that the number of subjects is not equal to or greater than a predetermined number, “RETURN” is obtained as shown in the figure.
  • step S603 the process proceeds to step S603 to perform group photo mode setting processing. That is, in the case of this example, at least the aperture priority mode is set and the aperture value is increased. After executing the processing of step S603, “RETURN” is obtained as illustrated.
  • the corresponding operation in response to the movement from the stationary state should not be limited to the one exemplified in each embodiment, and for example, the following modifications are possible. That is, as a modification, the brightness of the captured image (for example, the average brightness of the captured image) is obtained in accordance with the determination result that the movement from the stationary state has occurred and then has returned to the stationary state again. ) Is detected, and it is determined whether or not the detected brightness is equal to or lower than a predetermined brightness (the detected average luminance value is equal to or lower than a predetermined value). As a result, the imaging system is turned off in response to the detected brightness being determined to be equal to or less than the predetermined brightness.
  • the brightness of the captured image for example, the average brightness of the captured image
  • This modification is intended to automatically turn off the power in response to the imaging system being placed in a bag, for example. Even with such a modification, in response to a case where the imaging system is moved from the stationary state and the imaging system is placed in a new situation, an appropriate response operation according to the new situation is performed. In that sense, it is possible to realize an imaging system that is more intelligent and useful to the user than in the past.
  • the imaging system when the imaging system is at least stationary state ⁇ moved state, the installation position of the system is moved by the user and put under a new situation. Can be considered.
  • the present invention only needs to be able to perform the corresponding predetermined operation based on the result of determining whether or not the movement from the stationary state has occurred as described above.
  • An imaging system useful for the user can be realized.
  • the stationary / lifting detection of the imaging system is performed by the detection mechanism using the mechanical switch that is turned on / off in accordance with the stationary / lifting of the system. Can also be performed without using such a mechanical switch. For example, it can also be performed by determining whether or not the captured image has flowed upward as a whole by image analysis.
  • a gyro sensor that detects at least the acceleration in the vertical direction may be used, and detection may be performed by matching a waveform pattern of a detection signal of the gyro sensor with a specific waveform pattern at the time of lifting.
  • the stationary / movement detecting means in the present invention may be at least configured so that its output signal changes in accordance with the movement from the stationary state. .
  • a detection method that combines multiple methods may be used to improve detection accuracy. desirable. Specifically, for example, by obtaining a final detection result of standing or lifting only when detection results obtained by a plurality of methods match, detection accuracy can be improved.
  • the estimation (detection) of the vertical movement direction is performed using the gyro sensor, but it can be performed using image analysis.
  • the determination can be made based on the determination result of whether the captured image during movement flows upward or downward as a whole.
  • the vertical movement direction can also be estimated from the positional relationship in the image frame before and after the movement. Further, regarding such detection of the vertical movement direction, it is possible to improve detection accuracy by combining not only one detection method but also a plurality of detection methods.
  • the amount of movement is detected by image analysis, but it can also be detected using a gyro sensor.
  • a method of estimating a movement amount from an average acceleration between stationary and resting can be used.
  • detection of such a movement amount it is possible to improve detection accuracy by combining not only one detection method but also a plurality of detection methods. Specifically, in this case, for example, by obtaining an average value of movement amounts detected by a plurality of methods as a final movement amount, detection accuracy can be improved.
  • control unit 51 on the camera platform side performs the lifting notification / stationary notification to the control unit 27 on the camera side based on the detection signal from the stationary / lifting detection unit 59, and the control unit 27 performs these notifications.
  • the control and processing corresponding to the notification are executed, but the detection signal from the stationary / lifting detection unit 59 is input to the control unit 27, and the control unit 27 lifts / stands based on the detection signal. It is also possible to configure to execute control and processing according to the above.
  • the portable electronic device of the present invention has been illustrated in the case where the imaging device and the pan / tilt head device are configured to be detachable (that is, the device can be a separate device). And the pan / tilt head device can be integrally formed so as not to be detachable.
  • At least a part of the configuration based on the present invention can be realized by causing a CPU or DSP to execute a program.
  • a program is written and stored in a ROM or the like at the time of manufacture, for example, and is stored in a removable storage medium and then installed (including update) from this storage medium. It is conceivable to store the data in a corresponding non-volatile storage area, the flash memory 30, or the like. It is also conceivable that a program can be installed through a data interface such as USB (Universal Serial Bus) or IEEE1394 under the control of another host device.
  • the digital still camera 1 can be provided with a network function after being stored in a storage device in a server or the like on a network, and can be configured to be downloaded and acquired from the server.
  • 1,45 digital still camera 2 main body, 21a lens, 31a release button, 10 pan head, 11 main body, 12 camera base, 13 protrusion, 14 connector, 21 optical system, 22 image sensor, 23 A / D converter, 24 signal processing unit, 25 encoding / decoding unit, 26 media controller, 27 control unit, 28 ROM, 29 RAM, 30 flash memory, 31 operation unit, 32 display driver, 33 display unit, 34 pan head compatible communication unit , 35 gyro sensor, 40 memory card, 51 control unit, 52 communication unit, 53 pan mechanism unit, 54 pan motor, 55 pan drive unit, 56 tilt mechanism unit, 57 tilt motor unit, 58 tilt drive unit, 59 Stationary / lift detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

 本発明は、例えば、従来よりもインテリジェントで使用者にとってより有用となる撮像システムの実現化を図ることができる電子機器、制御方法、プログラム、及び撮像システムに関する。 撮像を行って撮像画像を得る撮像部を備えるデジタルスチルカメラ1と、撮像部による視野を可動機構の駆動によって変化させる雲台10とを備えた撮像システムであって、雲台10は、雲台10の静置状態からの移動に応じた信号を出力し、デジタルスチルカメラ1は、雲台10からの入力信号に基づき、静置状態からの移動が生じたか否かを判別し、その判別結果に基づき所定の制御を行う。本発明は、例えばデジタルスチルカメラと雲台とにより構成される撮像システムに適用できる。

Description

電子機器、制御方法、プログラム、及び撮像システム
 本発明は、電子機器とその制御方法とに関する。また、上記電子機器のコンピュータに実行させるプログラムに関する。
 さらには、撮像を行って撮像画像を得る撮像部を備える撮像装置と、上記撮像部による視野を可動機構の駆動によって変化させる雲台装置とを備えた撮像システムに関する。
 上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
 この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
 そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、パン方向への回転を停止した上で、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
 さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったことに応じては、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
 このような構図合わせの完了後に、撮像画像の自動記録を行う。
特開2009-100300号公報
 ここで、上記特許文献1に記載の撮像システムは、少なくともデジタルスチルカメラと雲台とで構成でき、システム全体のサイズとしては可搬性を有する程度に十分に小型化できる。
 このように十分に小型であれば、使用者により撮像システムの設置位置を自由に移動させるような使用法を採ることができる。
 しかしながら従来においては、動作中の撮像システムの設定位置が移動されるような事態は想定しておらず、撮像システムが或る位置に設置された以降は、撮像停止指示が為されるまでその位置での自動撮像動作を継続するといった使用法しか許容されていなかった。
 ここで、上記のように動作中に撮像システムが移動されることを想定していないということは、撮像システムとして提供できる機能を狭めているとも捉えることができ、その意味で、システムの有用性が低下していると考えることができる。
 本発明は、例えば上述のような自動撮像動作を行う撮影システムについて、動作中に使用者によってその設置位置が移動された場合(新たな状況下に置かれると推定される場合)に適切な対応動作を行うという、従来よりもインテリジェントな、使用者にとってより有用となる撮像システムの実現化を図るようにするものである。
 上記課題の解決のために、本発明では電子機器として以下のように構成することとした。
 すなわち、可搬性を有する機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別し、その判別結果に基づき所定の制御を行う制御部を備えるものである。
 上記本発明によれば、上記静置状態からの移動が生じたか否かの判別結果、つまりは機器が新たな状況下におかれると推定されるか否かの判別結果に基づいて、対応する所定動作が実行されるようにできる。
 本発明によれば、上記機器が新たな状況下におかれる場合に対応して適切な対応動作を行うことができる。つまりこの点で、従来よりもインテリジェントな、使用者にとってより有用となる撮像システムの実現化を図ることができる。
実施の形態としての携帯型電子機器(撮像システム)の構成要素であるデジタルスチルカメラの外観を正面図及び背面図により簡単に示した図である。 実施の形態としての携帯型電子機器(撮像システム)の構成要素である雲台の外観例を示す斜視図である。 雲台にデジタルスチルカメラが取り付けられて形成された実施の形態としての携帯型電子機器(撮像システム)の形態例を示す正面図である。 雲台にデジタルスチルカメラが取り付けられて形成された実施の形態としての携帯型電子機器(撮像システム)の形態例を、パン方向における動きの態様例とともに示す平面図である。 雲台にデジタルスチルカメラが取り付けられて形成された実施の形態としての携帯型電子機器(撮像システム)の形態例を、チルト方向における動きの態様例とともに示す側面図である。 第1の実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。 雲台の内部構成例を示すブロック図である。 静置/持ち上げ検出部の構成例について説明するための図である。 信号処理部により実現される機能動作をブロック化して示した図である。 自動構図合わせによる自動撮像動作の流れについて説明するためのフローチャートである。 第1の実施の形態としての動作を模式化して示した図である。 第1の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。 ロータリエンコーダについてのパルスカウント値の0リセット処理によりパン角度の原点が再設定されることについて説明するための図である。 第2の実施の形態の動作として、パン角度原点再設定処理を再静置されたタイミングで実行する場合の具体的な処理の手順を示したフローチャートである。 第2の実施の形態の動作として、パン角度原点再設定処理を静置状態からの移動が生じたタイミングで実行する場合の具体的な処理の手順を示したフローチャートである。 第3の実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。 第3の実施の形態としての動作を模式化して示した図である。 第3の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。 信号処理部により実現される機能動作をブロック化して示した図である。 第4の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。 第5の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。
 以下、本願発明を実施するための形態(以下、実施の形態という)について、下記の順序で説明する。
 <1.撮像システムの構成>
 [1-1.システム全体構成]
 [1-2.デジタルスチルカメラ]
 [1-3.雲台]
 [1-4.自動構図合わせによる自動撮像動作について]
 <2.第1の実施の形態(移動に応じて被写体探索を実行)>
 [2-1.具体的な動作例]
 [2-2.処理手順]
 <3.第2の実施の形態(移動に応じてパン角度の原点再設定を行う)>
 [3-1.具体的な動作例]
 [3-2.処理手順]
 <4.第3の実施の形態(垂直移動方向に応じた被写体探索開始範囲の制御)>
 [4-1.システム構成及び具体的な動作例]
 [4-2.処理手順]
 <5.第4の実施の形態(移動量に応じたズーム角制御)>
 [5-1.具体的な動作例]
 [5-2.処理手順]
 <6.第5の実施の形態(移動先状況に応じた撮像モード設定制御)>
 [6-1.具体的な動作例]
 [6-2.処理手順]
 <7.変形例>
 なお、以下の説明においては、「画枠」「画角」「撮像視野」「撮像視野選択角」「構図」なる語を用いるが、各語の定義は以下の通りである。
 「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての枠形状を有する。
 「画角」は、ズーム角などともいわれるもので、撮像光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。厳密には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされるが、ここでは像面サイズは固定であり、焦点距離に対応して変化する要素を画角と呼ぶ。以降において、画角の値については、焦点距離(例えば35mm換算)により表す場合がある。
 「撮像視野」は、撮像光学系による視野を表し、上記の画枠によって切り取られる範囲に相当するものである。
 「撮像視野選択角」は、撮像装置の周囲の風景からどの部分を切り取るかを決定付ける要素を角度で表したものであり、ここでは、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における振り角度(仰角、俯角)とにより決まるものをいう。
 「構図」は、フレーミングともいわれるもので、上記の撮像視野選択角の設定、すなわちこの場合はパン・チルト角度と画角(ズーム)との設定により決まるものをいう。
 ここで、本実施の形態では、本発明の携帯型電子機器が、デジタルスチルカメラと、このデジタルスチルカメラを着脱可能に保持する雲台とを備えて成る撮像システムとして構成された場合を例に挙げることとする。
 <1.撮像システムの構成>
 [1-1.システム全体構成]
 実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
 先ず、図1にデジタルスチルカメラ1の外観例を示す。図1の(a)、図1の(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
 この図に示されるデジタルスチルカメラ1は、先ず、図1の(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
 また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、そのタイミングでの撮像画像が、静止画の画像データとして記録媒体に記録される。つまり、写真撮影が行われる。
 また、デジタルスチルカメラ1は、図1の(b)に示すようにして、その背面側に表示画面部33aを有する。
 この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
 なお、本実施の形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
 図2は、雲台10の外観を示す斜視図である。また、図3~図5は、本実施の形態の自動撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図(特に図5の(b)では側面図によりチルト機構の可動範囲を示している)である。
 図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
 雲台10にデジタルスチルカメラ1を取り付けようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにする。図2に示されるようにして、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
 また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
 なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
 また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
 また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野選択角を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
 次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
 まず、パン方向の基本的な動きは次のようになる。
 雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野選択角を変化させることができる(所謂パンニング)。
 なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
 また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
 ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°~360°により表すものとする。
 また、雲台10のチルト方向の基本的な動きについては次のようになる。
 チルト方向の動きは、図5の(a)(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
 ここで、図5の(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面GRとが平行となる。
 そのうえで、図5の(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度-g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°~最大回転角度-g°の範囲で動くことで、雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野選択角を変化させることができる。つまりチルティングの動作が得られる。
 [1-2.デジタルスチルカメラ]
 図6は、デジタルスチルカメラ1の実際的な内部構成例を示したブロック図である。
 この図6において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
 また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
 イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
 なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ-デジタル変換器も含めた構造とすることができる。
 上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
 信号処理部24は、DSP(Digital Signal Processor)で構成され、上記A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
 例えば信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画(フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成する。
 また、本実施の形態の場合、信号処理部24は、このようにして取得した撮像画像データを利用して、後述するように、被写体検出処理としての画像処理を実行可能に構成されるが、この点については後に改めて説明する。
 ここで、上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
 エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。
 また、デジタルスチルカメラ1は、上記信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
 表示ドライバ32は、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
 また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
 このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
 エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
 また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
 制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
 また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
 ここで、本実施の形態の場合、制御部27は、撮像視野を変化させながら上記信号処理部24による被写体検出を実行させてデジタルスチルカメラ1周囲の被写体を探索する被写体探索、該被写体探索に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、該最適構図判定により求まった最適とされる構図を目標構図とした構図合わせ、及び該構図合わせ後の撮像画像の自動記録、が実現されるようにするための制御・処理を行うが、これについては後述する。
 操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して上記制御部27に出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
 雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
 [1-3.雲台]
 図7のブロック図は、雲台10の内部構成例を示している。
 先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として図中のパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
 パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
 制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
 このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
 同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
 ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
 これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
 通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部との通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
 また、本実施の形態の場合、雲台10には、静置/持ち上げ検出部59が備えられる。
 この静置/持ち上げ検出部59は、雲台10にデジタルスチルカメラ1が取り付けられて成る撮像システム(携帯型電子機器)が静置状態(接地し且つ不動の状態)にある場合と持ち上げられた(つまり移動された)状態にある場合とで、その出力信号が変化するように構成される。すなわちこれにより、撮像システムが静置状態にあるか、移動状態にあるかを検出可能とされている。
 図8は、雲台10が備える静置/持ち上げ検出部59の具体的な構成例について説明するための図であり、図8の(a)は静置状態にあるときの静置/持ち上げ検出部59の様子を模式的に示し、図8の(b)は持ち上げ状態にあるときの静置/持ち上げ検出部59の様子を模式的に示している。
 この図8に示されるように、本例の場合の静置/持ち上げ検出部59は、図8の(a)に示す静置状態に対応してON、図8の(b)に示す持ち上げ状態に対応してはOFFとなるメカニカルスイッチ(メカスイッチ)を備えて構成される。
 具体的に、この場合の雲台10は、静置状態から持ち上げ状態に変化したときに、本体部11に対しパン回転軸を介して接続された接地台部15が、当該接地台部15の自重により下方向へ下がる(本体部11から離間する)ように構成されている(図8の(a)→図8の(b)の遷移)。
 その上で、この場合の静置/持ち上げ検出部59としては本体部11側に設けられると共に、そのメカスイッチが、棒状体の押し上げ/押し下げに応じてON/OFFするように構成されている。具体的には、図8の(a)に示す静置状態(本体部11と接地台部15との離間距離が小の状態)では上記棒状体が接地台部15によって押し上げられてメカスイッチがONとなり、一方で図8の(b)に示す持ち上げ状態では、本体部11(静置/持ち上げ検出部59)と接地台部15との離間距が大となることに応じて、上記棒状体に対する接地台部15による押し上げ状態が解除されて、上記棒状体が少なくともその自重によって下方向に押し下げられた状態となり、メカスイッチがOFFとなるようにされている。
 ここで、持ち上げ状態に対応してメカスイッチが確実にOFF状態となるように、上記棒状体はバネなどの弾性体により下方向に付勢されるようにしておくことが望ましい。
 なお、メカスイッチを利用して撮像システムの静置/持ち上げを検出するための具体的な構成については、図8に示したものに限定されるべきものではなく、もちろん他の構成を採ることもできる。
 例えば、図8では、棒状体の押し上げ/押し下げに応じてON/OFFするメカスイッチを採用した構成を例示したが、接地台部15との接触/非接触に応じてON/OFFするようなメカスイッチを採用するなどといったこともできる。
 図7に示されるようにして、上記静置/持ち上げ検出部59による検出信号は、制御部51に対して供給される。
 [1-4.自動構図合わせによる自動撮像動作について]
 ここで、本実施の形態の撮像システムは、先に述べた被写体探索、最適構図判定、構図合わせの各動作により、上記被写体探索に伴い検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行うものとされる。
 以下、このような自動構図合わせ動作を伴う自動撮像動作の具体的な内容について説明しておく。
 先ず、上記のような自動構図合わせを行うにあたっては、図6に示した信号処理部24による被写体検出結果を利用することになる。
 信号処理部24は、被写体検出処理として、以下のような処理を実行する。
 すなわち信号処理部24は、先に説明したようにして取得した1枚の静止画に相当する画像信号データから、人物の顔に相当する画像部分を検出する。具体的に、本例の場合における被写体検出処理では、いわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置などの情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
 なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
 また、信号処理部24は、上記のような被写体検出処理を、1枚の静止画に相当する画像信号データごと(つまり1フレームごと)など、予め定められた所定のフレーム数ごとに実行するようにされている。
 ここで、先に述べたように、本例の場合の信号処理部24はDSPにより構成され、上記のような被写体検出処理は、当該DSPとしての信号処理部24に対するプログラミングにより実現される。
 図9は、このような信号処理部24に対するプログラミングにより実現される機能動作をブロック化して示している。この図9に示されるように、この場合の信号処理部24としては、上記により説明した被写体検出処理としての動作を実行する被写体検出機能部24Aを有しているものとして表すことができる。
 図10は、上記のような被写体検出処理の結果を用いて行われる、自動構図合わせによる自動撮像動作の大まかな流れを表すフローチャートを示している。
 自動構図合わせを行うにあたっては、上記のような被写体検出処理による検出情報を利用して、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う(図中のステップS1)。
 具体的に、この被写体探索としては、デジタルスチルカメラ1における制御部27が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野選択角を変化させながら、信号処理部24による被写体検出を実行させることで行う。
 このような被写体探索処理は、信号処理部24による被写体検出処理により画枠内に被写体が検出された状態が得られたことに応じて終了する。
 被写体探索処理が終了した後、制御部27は、最適構図判定処理を行う(S2)。具体的には、信号処理部24による被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。ここで、先の説明からも理解されるように、この場合の構図は、パン・チルト・ズームの各撮像視野選択角によって決定づけられるものであり、従って当該最適構図判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適とされるパン・チルト・ズームの各撮像視野選択角の情報が得られるものとなる。
 上記のような最適構図判定処理を実行した後、制御部27は、構図合わせ制御を行う(S3)。すなわち、最適構図を目標構図としたパン・チルト・ズーム制御を行う。
 具体的に制御部27は、当該構図合わせ制御として、上記最適構図判定処理により求まったパン・チルトの各撮像視野選択角の情報を雲台10側の制御部51に指示する。
 これに応じて上記制御部51は、指示されたパン・チルトの各撮像視野選択角が得られる撮像方向にデジタルスチルカメラ1を向かせるための、パン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用モータ54に対するパン制御信号の供給、チルト用モータ57に対するチルト制御信号の供給を行う。
 また、制御部27は、上記最適構図判定処理により求まったズームについての撮像視野選択角の情報(つまり画角の情報)を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
 そして、制御部27は、上記構図合わせ制御に基づく構図合わせ動作が完了し、上記最適とされる構図が得られたとされた場合において、レリーズタイミング判定処理を行う(S4)。
 ここで、本例においては、最適構図が得られたことに応じて直ちにレリーズを行うものとはせず、例えば被写体が笑顔などの所定の状態となることを最終条件としてレリーズを行うものとしている。このような最終条件の成立有無を判定するのが、上記レリーズタイミング判定処理となる。
 上記レリーズタイミング判定処理によって上記最終条件(レリーズ条件)が成立したとされた場合は、ステップS5によるレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データのメモリカード40への記録を実行させる。
 以上のようにして本実施の形態の撮像システムでは、制御部27による制御・処理に基づき、自動構図合わせによる自動撮像動作が実現されるようになっている。
 なお、図10では説明の簡略化のため図示は省略したが、例えば構図合わせ中に被写体が検出されなくなったなどの理由で、ステップS3による構図合わせに失敗する場合がある。その場合には、ステップS1による被写体探索からやり直すことになる。
 同様に、ステップS4によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合にも、ステップS1による被写体探索からやり直すことになる。なお通常、レリーズタイミング判定処理は、所定時間内に上記の笑顔などのレリーズ条件が成立するか否かを判定する処理となる。
 <2.第1の実施の形態(移動に応じて被写体探索を実行)>
 [2-1.具体的な動作例]
 ここで、上記により説明した本実施の形態としての撮像システム(携帯型電子機器)において、パン・チルト駆動を可能とするための構成(この場合は雲台10)は、可搬性を有する程度に十分に小型に形成することができ、従ってデジタルスチルカメラ1を含む撮像システム全体としても、可搬性を有する程度に十分に小型なものとできる。
 このように可搬性を有する撮像システムについては、使用者によりその設置位置が移動されることが想定され得る。具体的に、上記のような自動撮像動作を行う撮像システムについては、その設置位置を遠ざけていわゆる引きの構図による自動撮像動作を実行させたり、或いは異なる撮像角度からの自動撮像を実行させたりといった使用法を採ることなどが考えられる。
 但し、使用者により撮像システムが移動された場合は、画枠内に映し出される被写体の態様(例えば被写体数や被写体サイズなど)に変化が生じる可能性がある。
 例えば、先の図10に示した最適構図判定(S2)や構図合わせ(S3)中に撮像システムの設置位置が移動されてしまった場合を想定してみると、その場合は、画枠内の被写体の態様が変化したにも関わらず、移動前の被写体の態様に応じた最適構図判定や構図合わせが実行されてしまうことになる。
 このことからも理解されるように、使用者により撮像システムの設置位置が移動された場合には、画枠内に映し出される被写体の態様に変化が生じたとして、何らかの対応動作を行うことが望ましいものとなる。
 しかしながら先に挙げた特許文献1などに記載の従来の撮像システムでは、自動撮像動作中において使用者によりシステム設置位置が移動されること自体想定はしていなかった(許容していなかった)ため、使用者によりシステムの設置位置が移動された際に、適切な対応動作を実行することができなかった。
 つまり具体的に言えば、使用者は自動撮像動作中にて撮像システムの設置位置を移動させることで例えば異なるアングルなどによる自動撮像を実行させることを望んでいるのに対し、それに対応した適切な動作を実行することができないなどといった問題が生じる。
 このようにして従来の撮像システムは、自動撮像動作中において使用者による設置位置の移動が為された場合に応じた適切な対応動作を実行することができない、ひいては自動撮像動作中に設置位置を自由に移動するといった使用法を許容できていないという意味で、インテリジェントさに欠け、使用者にとっての有用性に欠くものであると言うことができる。
 そこで第1の実施の形態では、先に説明したような静置/持ち上げ検出部59を設けることで静置状態/持ち上げ状態(移動状態)の検出を可能とした上で、静置状態からの移動が生じたか否かの判別結果に基づき、被写体探索を実行するものとしている。
 図11は、第1の実施の形態としての具体的な動作を模式化して示した図である。
 先ず、図中の左側において示すように、デジタルスチルカメラ1と雲台10とから成る撮像システムが静置状態から持ち上げられた場合(静置/持ち上げ検出部59の検出信号がONからOFFに変化した場合)は、撮像システムの移動が開始されたものと見なすことができる。
 そして、このように静置状態からの移動が検出された以降において、図中の右側に示すように撮像システムが再度静置状態に戻った場合(静置/持ち上げ検出部59の検出信号がOFFからONに変化した場合)、撮像システムは、移動前とは異なる状況下におかれたものと見なすことができる。
 従ってこのことに応じては、図示するように撮像状況が移動前とは異なったとして、被写体探索を開始するものとする。
 このようにして第1の実施の形態では、静置状態からの移動が検出され且つその後に再度静置状態に戻ったことが検出されたことに応じて、被写体探索を実行するものとしている。すなわち、自動撮像動作の実行中であっても、静置状態からの移動が検出され且つその後に再度静置状態に戻ったことが検出された場合(つまり撮像状況が異なったと見なされる場合)には、そのことに応じて、被写体探索からやり直すことができるものである。
 このような第1の実施の形態によれば、自動撮像動作中の設置位置の移動に応じた適切な対応動作を行うことのできる撮像システムを実現することができる。換言すれば、自動撮像動作中において使用者が撮像システムを自由に移動するといった使用法を許容することのできる、従来よりもインテリジェントで且つ使用者にとってより有用となる撮像システムを実現化できる。
[2-2.処理手順]
 図12は、上記により説明した第1の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。
 なお、この図12のフローチャートにおいて、「カメラ」として示す処理は、図6に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表している。また「雲台」として示す処理は、図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
 図12において、先ず雲台側では、図中のステップS101の処理により検出信号がOFFとなるまで待機するようにされる。すなわち、図7(及び図8)に示した持ち上げ検出部59からの検出信号がOFFに変化したか否かの判別処理を、上記検出信号がOFFに変化したとの判別結果が得られるまで繰り返し行うものである。
 このステップS101において、上記検出信号がOFFに変化したとの肯定結果が得られた場合は、ステップS102に処理を進める。
 ステップS102においては、カメラ側(制御部27側)に対して持ち上げ通知を行う。
 そして、続くステップS103では、検出信号がONに変化するまで待機するようにされる。すなわち、持ち上げ検出部59からの検出信号がONに変化したか否かの判別処理を、上記検出信号がONに変化したとの判別結果が得られるまで繰り返し行う。
 上記ステップS103において、上記検出信号がONに変化したとの肯定結果が得られた場合は、ステップS104において、カメラ側に対して静置通知を行う。
 雲台側では、当該ステップS104の処理を実行した後、図示するように「RETURN」となる。
 カメラ側では、図中のステップS201の処理によって、上述したステップS102による雲台側からの持ち上げ通知が為されるまで待機するようにされる。
 そして、ステップS201において、上記持ち上げ通知があったとして肯定結果が得られた場合は、ステップS202に進んで、先のステップS104の処理により雲台側からの静置通知が為されるまで待機する。
 上記ステップS202において、上記静置通知が為されたとして肯定結果が得られた場合は、ステップS203において、被写体探索を開始するための処理を実行する。具体的には、制御部51に対するパン指示を行ってパン機構部53によるパン動作を開始させると共に、信号処理部24に対し被写体検出処理の開始指示を行う。
 カメラ側では、当該ステップS203の処理を実行した後、図示するように「RETURN」となる。
 <3.第2の実施の形態(移動に応じてパン角度の原点再設定を行う)>
 [3-1.具体的な動作例]
 続いて、第2の実施の形態について説明する。
 第2の実施の形態は、撮像システムの静置状態からの移動が生じたか否かの判別結果に基づき、パン角度の原点再設定を行うものである。
 なお、第2の実施の形態において、撮像システムの構成は第1の実施の形態の場合と同様となるので、改めての図示による説明は省略する。
 ここで、パン機構を駆使した自動構図合わせによる自動撮像動作を行う撮像システムに関して、特許文献1などに記載される従来の撮像システムでは、図7に示したロータリエンコーダ53aとしていわゆるインクリメンタル方式に対応したロータリエンコーダを用いるようにされる関係から、パン回転軸の機械的な絶対位置(絶対0°位置)を検出する処理を行うようにされている。換言すれば、従来の撮像システムでは、機械的に定めた或る基準位置が、常にパン角度の0°位置(原点)となるようにすべく、例えば電源ON時などの初期化時には、先ずは上記機械的な絶対0°位置を検出した上で(つまりパン回転軸の回転角度を上記絶対0°位置に合わせた上で)、ロータリエンコーダ53aの出力パルスについてのカウント値を0リセットするという、いわゆるイニシャル処理を実行するようにされている。
 なお、自動構図合わせによる自動撮像動作を行うシステムにおいて、上記絶対0°位置は、例えば被写体探索時の基準角度位置とされるものとなる。すなわち、被写体探索時には、上記絶対0°位置を基準として±x°の範囲でパン角度を変化させつつ被写体検出を実行することになる。
 ここで、動作中の撮像システムの設置位置を自由に移動させる使用法を想定した場合において、使用者が撮像システムを移動させて他の位置に設置し直すときは、デジタルスチルカメラ1のレンズ部21aが向く方向を正面(0°)として自動撮像動作を実行させることを意図していると考えるのが順当である。
 しかしながら、上記のように機械的な絶対0°位置を定める従来手法に従うとすると、システムの移動が生じた場合に対応しては、上記のイニシャル処理が行われてしまうものとなり、これに伴っては、上記レンズ部21aの向く方向が上記機械的な絶対0°位置に強制的に調整されてしまうことになる。換言すれば、上記従来手法に従った場合、レンズ部21aの向く方向が必ずしも上記正面としての0°方向と一致するものとはならなくなってしまい、結果として、上記使用者の意図に沿うことができず、その意味でインテリジェントさに欠け、使用者にとっての有用性に欠くシステムとなってしまう。
 また、使用者が撮像システムを移動させて設置し直したとき、当該使用者は、レンズ部21aの向く方向を正面とした自動撮像動作を直ちに実行させたいと意図していると考えられるが、上記のようにして撮像システムの移動に応じてイニシャル処理(特に機械的な絶対0°位置の検出処理)が行われてしまうと、上記のように意図した方向を正面に設定できない上に、さらに無駄なパン駆動処理が介在してしまうこととなって、その分、自動撮像動作の再開までにユーザを待たせてしまうことになる。
 そこで第2の実施の形態では、撮像システムの静置状態からの移動が生じたか否かの判別結果に基づき、パン角度の原点再設定処理を行う。
 ここで、パン角度の原点再設定処理とは、ロータリエンコーダ53aが出力するパルスについてのカウント値を0リセットする処理を意味する。
 図13は、このようなロータリエンコーダ53aについてのパルスカウント値の0リセット処理によりパン角度の原点(0°)が再設定されることについて説明するための図である。
 先ず図13の(a)では、デジタルスチルカメラ1が有するレンズ部21aの向く方向であるレンズ方向(撮像方向)DLが、メカニカルな原点位置(機械的な絶対0°位置)PPに対して一致している状態を示している。
 また図13の(b)では、レンズ方向DLに一致する角度位置である撮像角度位置LPが、メカニカルな原点位置PPに一致していない状態を示している。先に説明した自動構図合わせによる自動撮像動作が開始された以降においては、この図13の(b)に示す状態となっている可能性が高い。
 ここで、インクリメンタル方式では、ロータリエンコーダ53aの出力パルス数をカウントして得られるパルスカウント値が回転角度量(の絶対値)を表すものとなる。つまりこのことからも理解されるように、上記パルスカウント値を0リセットすれば、パン方向の原点再設定を行うことができる。具体的に言うと、このようなパルスカウント値の0リセットを行うものとすれば、当該0リセットを行った時点でレンズ部21aが向く方向を、パン角度の原点(0°位置)に設定することができるものである。
 第2の実施の形態では、撮像システムの静置状態からの移動が生じたか否かの判別結果に基づき、上記のようなロータリエンコーダ53aについてのパルスカウント値の0リセット処理を行って、パン角度の原点を再設定する。
 具体的に、第2の実施の形態では、静置/持ち上げ検出部59による検出信号に基づき、以下のような動作を行う。
 つまり、上記静置/持ち上げ検出部59による検出信号がOFFに変化して撮像システムの静置状態からの移動が発生したとされたことに応じて、先ずは、パン駆動の停止処理を行う。
 このようにパン駆動の停止処理を行うことで、上記静置状態からの移動が生じる直前にパン駆動が行われていた場合に対応して、当該パン駆動が移動中に継続して行われてしまわないようにできる。
 なお、移動が生じる直前の状態としては、チルト駆動が行われている場合も想定され得る。従って、静置状態からの移動が発生したことに応じては、実際にはチルト駆動の停止処理も行うようにする。
 何れにせよ、撮像システムが持ち上げられて移動される最中にパン・チルトなどの可動機構の駆動が継続して行われてしまう状態は好ましくなく、従って静置状態からの移動が発生したことに応じては、可動機構の駆動の停止指示を行う。
 またこれと共に、上記のように静置状態からの移動が生じたとされたことに応じては、静置/持ち上げ検出部59による検出信号がONに変化したか否か(つまり移動状態から再度静置状態に戻されたか否か)の判別も行う。
 そして、当該判別により、静置/持ち上げ検出部59による検出信号がONに変化したとの判別結果が得られたことに応じては、パン角度の原点再設定処理として、上記パルスカウント値を0リセットする処理を行う。
 上記のような動作とすることで、システムの設置位置が移動されたことに応じて、移動後にレンズ部21aが向く方向を正面としての0°位置にセットすることができる。
 ここで、本例においては、上記のようにして撮像システムの静置状態からの移動が生じたとされたことに応じては、先ず、パン駆動停止処理を行うものとしている。つまりこれにより、移動中におけるパン駆動が行われないように図られている。
 この点を踏まえると、上記パルスカウント値を0リセットするタイミングとしては、上述のように撮像システムが移動状態から再静置されたタイミングとしても、静置状態からの移動が生じたタイミングとしても、同様の結果が得られることに気づく。すなわち、これら何れのタイミングとしても、移動後にレンズ部21aが向く方向が正面(0°)となるようにできる点に変わりはない。
 このように第2の実施の形態の動作として、上述のように静置状態からの移動が生じたことに応じてパン駆動停止処理を行うとした場合には、再静置されたタイミングでパルスカウント値を0リセットする手法と、移動が生じたタイミングでパルスカウント値を0リセットする手法との双方を採ることが可能となる。
 上記のようにして第2の実施の形態によれば、撮像システムの設置位置が移動される場合に対応して、レンズ部21aが向く方向が正面となるようにしてパン角度の原点を再設定することができる。
 この結果、上記第2の実施の形態によれば、使用者がシステムの設置位置を移動させるときの意図に応じた適正な対応動作を行うことができ、また同時に、動作中の撮像システムを自由に移動する使用法を許容することができる。
 この結果、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化できる。
 [3-2.処理手順]
 図14、図15のフローチャートは、上記により説明した第2の実施の形態としての動作を実現するための具体的な処理の手順を示している。
 図14は、パン角度原点再設定処理を撮像システムが再静置されたタイミングで実行する場合の処理の手順を、また図15はパン角度原点再設定処理を撮像システムの静置状態からの移動が生じたタイミングで実行する場合の処理の手順を示している。
 なお、これら図14、図15に示す処理は、図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行するものである。
 先ず図14において、ステップS301においては、静置/持ち上げ検出部59からの検出信号がOFFに変化するまで待機するようにされる。
 そしてステップS301において、上記検出信号がOFFに変化したとして肯定結果が得られた場合は、ステップS302において、パン停止指示を行う。すなわち、図7に示したパン用駆動部55に対しパン用モータ54の駆動を強制停止させるための指示を行うものである。
 続くステップS303においては、静置/持ち上げ検出部59からの検出信号がONに変化するまで待機するようにされる。
 そしてステップS303において、上記検出信号がONに変化したとして肯定結果が得られた場合は、ステップS304において、パン角度原点再設定処理を実行する。すなわち、ロータリエンコーダ53aの出力パルスについてのカウント値を0リセットする処理を実行する。
 当該ステップS304の処理を実行した後は、図示するように「RETURN」となる。
 また、図15に示す、パン角度原点再設定処理を撮像システムの静置状態からの移動が生じたタイミングで実行する場合の処理手順としては、図14に示した処理手順におけるステップS303の処理が省略されたものとなる。
 具体的にこの場合は、ステップS302によるパン停止指示を行った後に、ステップS304において、パン角度原点再設定処理を実行するものである。
 <4.第3の実施の形態(垂直移動方向に応じた被写体探索開始範囲の制御)>
 [4-1.システム構成及び具体的な動作例]
 続いて、第3の実施の形態について説明する。
 第3の実施の形態は、第1の実施の形態のように撮像システムの設置位置の移動に応じて被写体探索を開始するという対応動作を行う場合において、撮像システムの垂直方向における移動方向(垂直移動方向)に応じて上記被写体探索の開始範囲を制御するものである。
 図16は、第3の実施の形態としての撮像システムが備えるデジタルスチルカメラ45の内部構成を示したブロック図である。
 この図16と先の図6とを比較して分かるように、第3の実施の形態のデジタルスチルカメラ45は、第1の実施の形態のデジタルスチルカメラ1に対して、ジャイロセンサ35が追加されたものとなっている。
 上記ジャイロセンサ35は、少なくとも1軸のジャイロセンサとされ、垂直方向(デジタルスチルカメラ45の縦方向)と一致する方向における加速度を検出できるようにしてその設置方向が調整されてデジタルスチルカメラ45に設けられる。
 当該ジャイロセンサ35による検出信号は制御部27に対して供給される。
 なお、第3の実施の形態においても雲台10の構成は第1の実施の形態の場合と同様であり、改めての図示による説明は省略する。
 図17は、第3の実施の形態としての動作を模式化して示している。
 先ず図17の(a)は、雲台10に対してデジタルスチルカメラ45が取り付けられた撮像システムが、或る接地面GRに対して静置された状態を示している。
 この図17の(a)に示す静置状態から撮像システムが持ち上げられ、図17の(b)に示すように上記接地面GRよりも高い接地面GR-Uに静置されたとする。
 このように撮像システムの設置位置がより高い位置へと移動されたことに応じては、図示するように下方側からの探索を開始する。
 一方で、図17の(a)に示す静置状態から図17の(c)に示すように上記接地面GRよりも低い接地面GR-Lに撮像システムが静置されたことに応じては、図示するように上方側からの探索を開始する。
 ここで、被写体探索としては、いわゆる王字サーチとして、パン駆動を行いつつ被写体検出を行うというサーチ動作(探索動作)を、チルト角を逐次変えながら行う場合がある。
 具体的に王字サーチは、或るパン角度範囲(例えば0°を起点として±90°など)についてのサーチ動作を1つのサーチ動作とし、該サーチ動作を、それぞれ異なるチルト角を設定して複数回行うものである。より具体的には、第1のチルト角設定状態でのサーチ動作、第2のチルト角設定状態でのサーチ動作、第3のチルト角設定状態でのサーチ動作を順次行うというものである。
 このような王字サーチによる被写体探索を行う場合において、従来では、サーチを開始するチルト角度(上記複数のサーチ動作のうち初回のサーチ動作時に設定されるチルト角度)は或る角度で固定とされていた。換言すれば、常時下方側又は上方側からの探索動作を開始するようにされていたものである。
 例えば、常時下方側からの探索動作を開始する王字サーチが採用される場合には、図17の(c)に示されるように下方側への移動が為された場合に、被写体の映し出される可能性の低い下方側からの探索動作が開始されてしまうことになる。
 逆に、常時上方側からの探索動作を開始する王字サーチが採用される場合には、図17の(b)に示されるように上方側への移動が為された場合に、被写体の映し出される可能性の低い上方側からの探索動作が開始されてしまうこととなる。
 このようにしてサーチを開始するチルト角度を固定とする従来手法によっては、撮像システムの設置位置が垂直方向に移動された場合に効率的に被写体を探索することができない虞があり、その意味で、インテリジェントさに欠くものとなり、使用者にとっての有用性を欠くものとなってしまう。
 そこで第3の実施の形態では、上方又は下方の何れかとなる垂直移動方向における設置位置の移動に関して、上方への設置位置の移動が生じた場合には図17の(b)のようにチルト角を下方側に振って下方側からの探索動作を開始するものとし、逆に下方への設置位置の移動が生じた場合には図17の(c)に示すようにチルト角を上方側に振って上方側からの探索動作を開始する。
 このような第3の実施の形態としての動作によれば、第1の実施の形態として説明したように設置位置の移動に応じて被写体探索を実行する手法を採る場合において、撮像システムの設置位置が垂直方向に変化しても効率的に被写体の探索を行うことができ、結果、従来よりもインテリジェントで且つ使用者にとっての有用となる撮像システムを実現化できる。
 [4-2.処理手順]
 図18は、上記により説明した第3の実施の形態としての動作を実現するための具体的な処理の手順を示している。
 なお、この図18のフローチャートにおいて、「カメラ」として示す処理は、図16に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表し、また「雲台」として示す処理は、図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
 また、この図18においては、第1の実施の形態にて説明したものと同内容となる処理については同一符号を付している。
 先ず、この図18と先の図12とを比較して分かるように、雲台側の処理としては、第1の実施の形態の場合と同様となる。
 この場合は、カメラ側の処理として、ステップS201とS202との間にステップS401の処理が挿入され、且つステップS203に代えてステップS402以降の処理が実行される点が第1の実施の形態の場合とは異なる。
 具体的に、この場合のカメラ側の処理としては、ステップS201において雲台側からの持ち上げ通知が為されたとの肯定結果が得られた場合に、ステップS401において、垂直移動方向推定処理を開始する。
 ここで、垂直移動方向の推定処理としては、例えばジャイロセンサ35からの検出信号の波形パターンについて、上方向への移動時に特徴的となる波形パターンと下方向への移動時に特徴的となる波形パターンとを予め実験を行った結果から定めておき、それらとのマッチングをとることで行う。
 このような手法を採る場合において、上記ステップS401の処理としては、具体的にはジャイロセンサ35からの検出信号のサンプリングを開始する処理となる。
 なお垂直移動方向を推定するための具体的な処理内容としては他にも多様に考えられ、上記による手法に限定されるべきものではない。
 また、この場合のカメラ側の処理では、ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られた場合に、ステップS402において移動方向を判別する処理を実行する。
 具体的に、上記により例示した垂直移動方向の推定処理を採用する場合、当該ステップS402の判別処理としては、ステップS401にてサンプリングを開始したジャイロセンサ35からの検出信号の波形パターンが、上記上方向への移動時に特徴的となる波形パターンと、上記下方向への移動時に特徴的となる波形パターンのうちの何れに該当するものであるかを判別する処理となる。
 上記ステップS402において、例えば上記ステップS401にてサンプリングを開始したジャイロセンサ35からの検出信号の波形パターンが上記上方向への移動時に特徴的となる波形パターンに該当するものであるとの判別結果が得られて、移動方向が上方であるとの判別結果が得られた場合は、ステップS403に進み、下方側から探索を開始するための処理を実行する。
 具体的には、チルト角が下方側に振られた状態(所定チルト角よりも下向きとなるチルト角が設定された状態)にて、パン駆動を行いつつ被写体検出を行うという探索動作が実行されるように、雲台10側の制御部51に対するチルト指示・パン指示、及び信号処理部24に対する被写体検出処理の開始指示を行う。
 一方、上記ステップS402において、例えば上記ステップS401にてサンプリングを開始したジャイロセンサ35からの検出信号の波形パターンが上記下方向への移動時に特徴的となる波形パターンに該当するものであるとの判別結果が得られて、移動方向が下方であるとの判別結果が得られた場合は、ステップS404に進み、上方側から探索を開始するための処理を実行する。
 すなわち、チルト角が上方側に振られた状態(所定チルト角よりも上向きとなるチルト角が設定された状態)にて上記探索動作が実行されるように、雲台10側の制御部51に対するチルト指示・パン指示、及び信号処理部24に対する被写体検出処理の開始指示を行う。
 上記ステップS403又はS404の処理を実行した後、図示するように「RETURN」となる。
 <5.第4の実施の形態(移動量に応じたズーム角制御)>
 [5-1.具体的な動作例]
 第4の実施の形態は、移動量に応じたズーム角制御を行うものである。
 ここで、第4の実施の形態において、撮像システムの構成は第1の実施の形態の場合と同様となる。但し、第4の実施の形態の場合、デジタルスチルカメラ1における信号処理部24は、図19に示されるように被写体検出機能部24Aと共に、移動量推定機能部24Bを備える。
 すなわち、この場合の信号処理部24は、上記移動量推定機能部24Bとして表される機能動作として、撮像システムの静置状態からの移動が生じたときにその移動量を画像解析により推定する。
 ここで、撮像システムが持ち上げられて移動される際には、撮像画像に全体的な動きが生じる。従って移動量の推定は、このような撮像画像に生じた動きを検出することで行うことができる。
 具体的に本例では、撮像画像に生じた動きの速度と、該動きが生じた時間長とを検出し、これらの情報から移動量を推定するものとしている。
 なお、画像解析により撮像システムの移動量を推定する手法としては上記手法に限定されるべきものではなく、もちろん他の手法を採ることもできる。
 第4の実施の形態では、このように撮像システムが移動された際の移動量を検出(推定)可能とした上で、撮像システムが移動状態から静置状態に戻されたことに応じて、検出移動量に応じたズーム角制御を行う。
 具体的に、この場合のズーム角制御としては、検出された移動量が小であるほどズーム角が拡大(焦点距離が短)傾向となり、逆に検出された移動量が大であるほどズーム角が縮小(焦点距離が長)傾向となるようにして行う。
 なお、移動量-ズーム角の制御特性は線形、非線形の何れであってもよい。
 ここで、従来の撮像システムは、使用者によりその設置位置を自由に移動する使用法を想定したものではなかったため、設置位置が移動されたとしても、特段のズーム角制御は行われないものとなる。
 しかしながらこれによると、移動量が少ない場合も多い場合もズーム角に特段の変化はなく、結果として、撮像状況が変わった際にそれに対応した適切な動作を行うことができないものとなる。つまりこの意味でも、従来の撮像システムはインテリジェントさに欠け、使用者にとっての有用性を欠くものとなっている。
 上記により説明した第4の実施の形態によれば、撮像システムの設置位置が移動された際には、その移動量に応じたズーム角が設定されるようにできる。つまり、撮像状況が変化した際にそれに応じた適切な対応動作を行うことができ、この点で、従来よりもインテリジェントで且つ使用者にとってより有用となる撮像システムを実現化できる。
 [5-2.処理手順]
 図20のフローチャートは、上記により説明した第4の実施の形態としての動作を実現するための具体的な処理の手順を示している。
 なおこの場合も、「カメラ」として示す処理は図6に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表している。また「雲台」として示す処理は図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
 また、この図20においても、第1の実施の形態にて説明したものと同内容となる処理については同一符号を付している。
 この図20と先の図12とを比較して分かるように、この場合も雲台側の処理は第1の実施の形態の場合と同様となる。
 この場合は、カメラ側の処理として、ステップS201とS202との間にステップS501の処理が挿入され、且つステップS203に代えてステップS502以降の処理が実行される点が第1の実施の形態の場合とは異なる。
 この場合のカメラ側の処理としては、ステップS201において雲台側からの持ち上げ通知が為されたとの肯定結果が得られた場合に、ステップS501において、移動量推定処理の開始指示を行う。すなわち、信号処理部24に対して先に説明した移動量推定処理を開始させる指示を行う。
 また、この場合のカメラ側では、ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られた場合に、ステップS502において信号処理部24に対し移動完了通知を行う。
 この移動完了通知に応じて、信号処理部24は撮像画像の動きが生じた時間長を検出することができ、該時間長の情報と上記動きの速度との情報に基づく移動量の推定を行うことができる。
 続くステップS503においては、移動量情報の取得処理を実行する。すなわち、上記ステップS502の移動完了通知に応じて信号処理部24により推定(検出)された移動量の情報を取得する。
 そして、次のステップS504において、移動量に応じたズーム角指示処理を実行する。つまり、上記ステップS503にて取得した移動量の情報に応じたズーム角を図6に示した光学系部21に対して指示する。
 当該ステップS504の処理を実行した後は図示するように「RETURN」となる。
 ここで、第4の実施の形態では、撮像システムの移動が、被写体から遠ざかる方向に行われることを前提としたので、移動量が小であるほどズーム角が拡大傾向となり、移動量が大であるほどズーム角が縮小傾向となるようにして移動量に応じたズーム角制御を行う場合を例示したが、逆に撮像システムが被写体に対して近づく方向に移動された場合には、移動量に応じたズーム角制御の特性は上記とは逆特性となるようにすればよい。具体的には、移動量が小であるほどズーム角が縮小傾向となり、移動量が大であるほどズーム角が拡大傾向となるようにすればよい。
 なおこのとき、撮像システムの移動が被写体に対して遠ざかる方向に対して行われたか、逆に近づく方向に対して行われたかの判定は、例えばジャイロセンサや方位センサなどを用いて行うことができる。この際、被写体の方向は、移動前におけるパン角度の情報から推定できるので、該移動前におけるパン角度と上記ジャイロセンサや方位センサなどにより検出した移動方向の情報とから、被写体を基準とした移動方向(遠ざかる方向/近づく方向)を判定できる。
 このような被写体を基準とした移動方向の別についての判定結果に応じて、上記のズーム角制御特性を切り換えるようにする。これにより、撮像システムの移動が被写体に対して遠ざかる方向に対して行われた場合、及び近づく方向に対して行われた場合の双方に対応して、適切なズーム角制御を行うことができる。
 <6.第5の実施の形態(移動先状況に応じた撮像モード設定制御)>
 [6-1.具体的な動作例]
 第5の実施の形態は、移動先の撮像状況に応じて撮像モードの設定制御を行うものである。
 なお、第5の実施の形態の撮像システムについても、その構成については第1の実施の形態の場合と同様となるので改めての図示による説明は省略する。
 具体的に、第5の実施の形態では、撮像システムが移動状態から再び静置状態に戻されたことに応じて、画枠内における被写体の数を検出し、その数が予め定められた所定数以上である場合に、集合写真モードを設定する。
 ここで、上記集合写真モードは、画枠内に多くの被写体が映し出される場合に適した撮像モードであり、具体的に本例の場合は、少なくとも画枠内における多数の被写体にピントが合うようにすべく、絞り優先モードで且つ絞り値を大とする設定を行う。
 このような第5の実施の形態によれば、撮像システムの設置位置が移動された際に、移動先の撮像状況に応じた適切な撮像モードの設定を行うことができるという、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化できる。
 [6-2.処理手順]
 図21のフローチャートは、上記により説明した第5の実施の形態としての動作を実現するための具体的な処理の手順を示している。
 なおこの場合も、「カメラ」として示す処理は図6に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表している。また「雲台」として示す処理は図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
 また、この図21においても第1の実施の形態にて説明したものと同内容となる処理については同一符号を付している。
 この図21と先の図12とを比較して分かるように、この場合も雲台側の処理は第1の実施の形態の場合と同様となる。
 この場合のカメラ側の処理としては、ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られた場合に、ステップS601以降の処理を実行する点が第1の実施の形態の場合とは異なる。
 具体的にこの場合は、上記ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られたことに応じ、ステップS601において、被写体検出情報の取得処理を実行する。すなわち、信号処理部24からの被写体検出情報の取得を行う。
 そして、続くステップS602においては、上記のように取得した被写体検出情報に基づき、被写体数が所定以上であるか否かを判別する。
 このステップS602において、被写体数が予め定められた所定の数以上ではないとして否定結果が得られた場合は、図示するようにして「RETURN」となる。
 一方、上記ステップS602において、被写体数が上記所定の数以上であるとして肯定結果が得られた場合は、ステップS603に進み、集合写真モードの設定処理を行う。すなわち、本例の場合は、少なくとも絞り優先モードで且つ絞り値を大とする設定を行う。
 当該ステップS603の処理を実行した後、図示するように「RETURN」となる。
 <7.変形例>
 以上、本発明の各実施の形態について説明したが、本発明としてはこれまでで説明した具体例に限定されるべきものではない。
 例えば、静置状態からの移動が生じたことに応じた対応動作としては、各実施の形態で例示したものに限定されるべきものではなく、例えば以下のような変形例も可能である。
 すなわち、当該変形例としては、静置状態からの移動が生じた後、再び静置状態に戻ったとの判別結果が得られたことに応じて、撮像画像の明るさ(例えば撮像画像の平均輝度)を検出し、該検出した明るさが予め定められた所定の明るさ以下(検出した平均輝度値が所定値以下)であるか否かを判別する。そしてこの結果、上記検出した明るさが上記所定の明るさ以下であるとされたことに応じて、撮像システムの電源をOFFとする。
 当該変形例は、撮像システムが例えばカバンの中などにしまわれた場合に、それに対応して自動的に電源をOFFできるようにすることを意図したものとなる。
 このような変形例によっても、撮像システムの静置状態からの移動が生じ、撮像システムが新たな状況下におかれる場合に対応して、該新たな状況に応じた適切な対応動作を行うことができ、その意味で、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化できる。
 ここで、これまでの説明からも理解されるように、撮像システムが少なくとも静置状態→移動状態となった場合には、システムの設置位置が使用者により移動され、新たな状況下におかれると見なすことができる。
 本発明は、このように静置状態からの移動が生じたか否かを判別した結果に基づき、対応する所定動作が行われるようにするものであればよく、それによって、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化することができる。
 また、これまでの説明では、撮像システムの静置/持ち上げ検出は、システムの静置/持ち上げに応じてON/OFFするメカスイッチを利用した検出機構により行うものとしたが、静置/持ち上げ検出は、このようなメカスイッチを用いずに行うこともできる。
 例えば、画像解析によって撮像画像が全体的に上方向に流れたか否かを判定することによっても行うことができる。
 或いは、少なくとも縦方向の加速度を検出するジャイロセンサを用いるものとし、該ジャイロセンサの検出信号の波形パターンと持ち上げ時に特有の波形パターンとのマッチングをとることで検出するなどといったこともできる。
 なおこの点からも理解されるように、本発明における静置/移動検出手段としては、少なくとも、静置状態からの移動に応じてその出力信号が変化するように構成されたものであればよい。
 また、これら画像解析やジャイロセンサを利用する手法など、メカスイッチに依らぬ静置/持ち上げ検出を行う際には、検出精度の向上のために、複数の手法を組み合わせた検出手法とするのが望ましい。具体的には、例えば複数の手法での検出結果が一致する場合にのみ静置、又は持ち上げの最終的な検出結果を得るようにすることで、検出精度の向上を図ることができる。
 また、第3の実施の形態について、垂直移動方向の推定(検出)は、ジャイロセンサを用いて行うものとしたが、画像解析を利用して行うこともできる。一例としては、例えば移動中における撮像画像が全体的に上方向に流れたか下方向に流れたかの判定結果に基づき行うことができる。
 或いは、例えば移動前・移動後で画枠内に同一物が映し出されていたとき、その移動前・移動後の画枠内での位置の関係から垂直移動方向を推定することもできる。
 また、このような垂直移動方向の検出に関しても、1つの検出手法のみでなく、複数の検出手法を組み合わせたものとすることで検出精度の向上を図ることができる。
 また、第4の実施の形態において、移動量の検出は画像解析により行うものとしたが、ジャイロセンサを用いて行うこともできる。一例としては、例えば静置→再静置の間の平均加速度から移動量を推定するなどといった手法を挙げることができる。
 このような移動量の検出に関しても、1つの検出手法のみでなく複数の検出手法を組み合わせたものとすることで検出精度の向上を図ることができる。具体的にこの場合は、例えば複数の手法で検出した移動量の平均値を最終的な移動量として求めることで、検出精度の向上を図ることができる。
 また、これまでの説明では、雲台側の制御部51が静置/持ち上げ検出部59からの検出信号に基づきカメラ側の制御部27に持ち上げ通知/静置通知を行い、制御部27がこれらの通知に応じて対応する制御、処理を実行するものとしたが、静置/持ち上げ検出部59からの検出信号を制御部27に入力し、制御部27が該検出信号に基づき持ち上げ/静置に応じた制御、処理を実行するように構成することもできる。
 また、これまでの説明では、デジタルスチルカメラ1に対する操作入力がタッチパネルを利用して行われる場合を例示したが、例えば画面上にアイコンと方向指示操作に応じて移動するカーソルとを表示し、上記カーソルによる上記アイコンの指定操作によりユーザに各種の操作入力を行わせるといったユーザインタフェースを採用するなど、タッチパネルを利用したユーザインタフェース以外の他のユーザインタフェースを採用することもできる。
 また、これまでの説明においてフローチャートに示したカメラ側の処理の少なくとも一部は、雲台側で行うようにすることもできる。但し、主立った被写体探索、構図判定、及び自動撮像記録のための制御機能を、デジタルスチルカメラ1側に設けることで、多様な機種のデジタルスチルカメラ1と雲台10とを組み合わせることが可能になって、汎用性という点では有利とできる。
 また、これまでの説明では、本発明の携帯型電子機器が、撮像装置と雲台装置とが着脱可能に構成される場合(つまり別装置となり得る場合)を例示したが、もちろん、これら撮像装置と雲台装置とを着脱不能に一体的に形成した構成とすることもできる。
 また、本発明に基づく構成における少なくとも一部は、CPUやDSPにプログラムを実行させることで実現できる。
 このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USB(Universal Serial Bus)やIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールが行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することもできる。
 1,45 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、14 コネクタ、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、35 ジャイロセンサ、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 静置/持ち上げ検出部

Claims (19)

  1.  可搬性を有する機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別し、その判別結果に基づき所定の制御を行う制御部を備える
     電子機器。
  2.  上記制御部は、
     上記静置状態からの移動が生じたか否かの判別結果に応じて、撮像を行う撮像部による視野を変化させながら上記撮像部により得られる撮像画像に基づき、被写体を検出する被写体検出部による被写体検出を実行させて被写体の探索を実行させる
     請求項1に記載の電子機器。
  3.  上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記機器が静置状態に戻されたか否かを判別し、該判別により上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記被写体の探索を実行させる
     請求項2に記載の電子機器。
  4.  上記制御部は、
     上記機器が静置状態のときに接地する固定側部と、接地面に平行な面内における回転が可能となるようにして上記固定側部に対して取り付けられた可動側部とのうちの上記可動側部を回転駆動して上記可動側部のパン角度を変化させるパン駆動部に対する制御を行うように構成されると共に、
     上記静置状態からの移動が生じたか否かの判別結果に基づき、上記パン角度の原点再設定を行う
     請求項1に記載の電子機器。
  5.  上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記パン駆動部にパン停止指示を行う
     請求項4に記載の電子機器。
  6.  上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記パン駆動部にパン停止指示を行うと共に上記静置/移動検出部からの入力信号に基づき上記機器が静置状態に戻されたか否かを判別し、該判別により上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記パン角度の原点再設定を行う
     請求項4に記載の電子機器。
  7.  上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記パン駆動部にパン停止指示を行った上で上記パン角度の原点再設定を行う
     請求項4に記載の電子機器。
  8.  上記制御部は、
     上記機器の接地面に対して垂直な軸を基準として傾斜自在となるように構成されたチルト駆動対象部を駆動するチルト駆動部に対する制御を行うように構成されると共に、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記機器が静置状態に戻されたか否かを判別し、
     該判別により上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記機器の垂直方向における移動方向を検出する垂直移動方向検出部による検出結果に基づくチルト角の設定が行われるように上記チルト駆動部を制御する
     請求項1に記載の電子機器。
  9.  撮像を行って撮像画像を得る撮像部と、
     上記撮像部による撮像画像から被写体を検出する被写体検出部とをさらに備え、
     上記制御部は、
     上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記撮像部による視野を変化させながら上記被写体検出部による被写体検出を実行させて被写体の探索を実行させる被写体探索制御処理を実行し、
     且つ、上記垂直移動方向検出部による検出結果に基づき上記機器の移動方向が上方向であるか下方向であるかの判別を行うと共に、
     上記機器の移動方向が上方向であったとの判別結果が得られた場合には、上記被写体探索制御処理として、所定チルト角よりも下向きとなるチルト角の設定状態での上記被写体探索を開始させる制御処理を行い、
     上記機器の移動方向が下方向であったとの判別結果が得られた場合には、上記被写体探索制御処理として、所定チルト角よりも上向きとなるチルト角の設定状態での上記被写体探索を開始させる制御処理を行う
     請求項8に記載の電子機器。
  10.  上記垂直移動方向検出部は、
     撮像を行って撮像画像を得る撮像部により得られる撮像画像、又はジャイロセンサによる検出信号の少なくとも何れかを用いて上記機器の垂直方向における移動方向を検出する
     請求項8に記載の電子機器。
  11.  撮像を行って撮像画像を得る撮像部と、
     上記撮像部による視野角を変化させるズーム機構部と、
     上記機器の移動量を検出する移動量検出部とをさらに備えると共に、
     上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記機器が静置状態に戻されたか否かを判別し、
     該判別により上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記移動量検出部により検出された移動量に基づくズーム角の設定が行われるように上記ズーム機構部を制御する
     請求項1に記載の電子機器。
  12.  上記移動量検出部は、
     上記撮像部により得られる撮像画像、又はジャイロセンサによる検出信号の少なくとも何れかを用いて上記機器の移動量を検出する
     請求項11に記載の電子機器。
  13.  撮像を行って撮像画像を得る撮像部と、
     上記撮像部による撮像画像から人物としての被写体を検出する被写体検出部とをさらに備えると共に、
     上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出信号に基づき上記機器が静置状態に戻されたか否かを判別し、
     該判別により上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記被写体検出部による被写体検出結果に基づき特定される被写体数に応じた撮像パラメータが上記撮像部に対して設定されるように制御を行う
     請求項1に記載の電子機器。
  14.  撮像を行って撮像画像を得る撮像部をさらに備えると共に、
     上記制御部は、
     上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記機器が静置状態に戻されたか否かを判別し、
     該判別により上記機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記撮像部による撮像画像の明るさが所定の明るさ以下であるか否かを判別し、
     該判別により上記撮像画像の明るさが上記所定の明るさ以下であるとの判別結果が得られたことに応じて、当該機器の電源がオフとなるように制御を行う
     請求項1に記載の電子機器。
  15.  上記静置/移動検出部は、
     上記機器が持ち上げられた状態又は静置状態の別に応じてオン又はオフするように構成されたメカスイッチ、又は撮像を行って撮像画像を得る撮像部、又はジャイロセンサの何れかを有して構成される
     請求項1に記載の電子機器。
  16.  上記静置/移動検出部は、
     撮像を行って撮像画像を得る撮像部とジャイロセンサとを有して構成される
     請求項1に記載の電子機器。
  17.  所定の処理を行なう電子機器の制御方法であって、
     可搬性を有する機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別する移動判別手順と、
     上記移動判別手順による判別結果に基づき所定の制御を行う制御手順と
     を含む制御方法。
  18.  コンピュータに、
     可搬性を有する機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別する移動判別処理と、
     上記移動判別処理による判別結果に基づき所定の制御を行う制御処理と
     を含む処理を実行させるためのプログラム。
  19.  撮像を行って撮像画像を得る撮像部を備える撮像装置と、上記撮像部による視野を可動機構の駆動によって変化させる雲台装置とを備えた撮像システムであって、
     当該雲台装置の静置状態からの移動に応じた信号を出力する静置/移動検出部と、
     上記静置/移動検出部からの入力信号に基づき、上記静置状態からの移動が生じたか否かを判別し、その判別結果に基づき所定の制御を行う制御部と
     を備える撮像システム。
PCT/JP2010/062561 2009-08-04 2010-07-27 電子機器、制御方法、プログラム、及び撮像システム WO2011016358A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
BR112012001992A BR112012001992A2 (pt) 2009-08-04 2010-07-27 aparelho eletrônico, método para controlar um aparelho eletrônico, programa para fazer com que um computador realize processamento, e, sistema de captura de imagem.
EP10806357A EP2464095A1 (en) 2009-08-04 2010-07-27 Electronic device, control method, program, and image capturing system
CN2010800446188A CN102550014A (zh) 2009-08-04 2010-07-27 电子装置、控制方法、程序和图像捕获系统
US13/386,933 US20120120267A1 (en) 2009-08-04 2010-07-27 Electronic apparatus, control method, program, and image-capturing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-181679 2009-08-04
JP2009181679A JP5251779B2 (ja) 2009-08-04 2009-08-04 携帯型電子機器、制御方法、プログラム、撮像システム

Publications (1)

Publication Number Publication Date
WO2011016358A1 true WO2011016358A1 (ja) 2011-02-10

Family

ID=43544254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/062561 WO2011016358A1 (ja) 2009-08-04 2010-07-27 電子機器、制御方法、プログラム、及び撮像システム

Country Status (8)

Country Link
US (1) US20120120267A1 (ja)
EP (1) EP2464095A1 (ja)
JP (1) JP5251779B2 (ja)
KR (1) KR20120065997A (ja)
CN (1) CN102550014A (ja)
BR (1) BR112012001992A2 (ja)
TW (1) TW201112742A (ja)
WO (1) WO2011016358A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178896B1 (ja) * 2011-09-15 2013-04-10 株式会社東芝 電子機器
KR102273027B1 (ko) 2014-06-09 2021-07-05 삼성전자주식회사 위치정보를 사용하여 설정된 관심영역을 사용하여 영상데이터를 생성하는 방법 및 장치
JP6205070B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 カメラの初期位置設定方法、カメラ及びカメラシステム
CN106131537B (zh) * 2016-08-17 2018-11-20 重庆转购科技有限公司 一种3d智能拍摄系统和方法
CN110326273B (zh) * 2017-02-24 2020-12-25 夏普株式会社 控制装置、终端装置、托架、通知系统、控制方法及存储介质
US10015295B1 (en) * 2017-05-19 2018-07-03 Conor Penfold System and method for improving a photographic camera feature on a portable electronic device
USD921702S1 (en) 2019-10-10 2021-06-08 Ironhawk Industrial Distribution, LLC Curb guard
USD926230S1 (en) 2019-10-10 2021-07-27 Ironhawk Industrial Distribution LLC Curb guard
KR102640435B1 (ko) 2023-01-31 2024-02-23 변정훈 염수분사 노즐을 구성한 제설판

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04105472A (ja) * 1990-08-27 1992-04-07 Mitsubishi Electric Corp ビデオカメラ
JPH066666A (ja) * 1992-06-22 1994-01-14 Canon Inc 撮像装置
JPH07236075A (ja) * 1994-02-25 1995-09-05 Sony Corp パンティルト装置
JP2004312477A (ja) * 2003-04-09 2004-11-04 Casio Comput Co Ltd 電源制御装置及び電源制御方法
JP2005184689A (ja) * 2003-12-22 2005-07-07 Konica Minolta Photo Imaging Inc 撮像装置
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
WO2007099908A1 (ja) * 2006-02-27 2007-09-07 Matsushita Electric Industrial Co., Ltd. ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム
JP2008005158A (ja) * 2006-06-21 2008-01-10 Ricoh Co Ltd 携帯機器
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法
JP2009100300A (ja) 2007-10-17 2009-05-07 Sony Corp 構図判定装置、構図判定方法、プログラム
JP2009111843A (ja) * 2007-10-31 2009-05-21 Sony Corp 撮像装置、撮像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945420A (zh) * 2006-09-20 2007-04-11 上海多丽影像设备有限公司 彩扩机云台自动控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04105472A (ja) * 1990-08-27 1992-04-07 Mitsubishi Electric Corp ビデオカメラ
JPH066666A (ja) * 1992-06-22 1994-01-14 Canon Inc 撮像装置
JPH07236075A (ja) * 1994-02-25 1995-09-05 Sony Corp パンティルト装置
JP2004312477A (ja) * 2003-04-09 2004-11-04 Casio Comput Co Ltd 電源制御装置及び電源制御方法
JP2005184689A (ja) * 2003-12-22 2005-07-07 Konica Minolta Photo Imaging Inc 撮像装置
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
WO2007099908A1 (ja) * 2006-02-27 2007-09-07 Matsushita Electric Industrial Co., Ltd. ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム
JP2008005158A (ja) * 2006-06-21 2008-01-10 Ricoh Co Ltd 携帯機器
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法
JP2009100300A (ja) 2007-10-17 2009-05-07 Sony Corp 構図判定装置、構図判定方法、プログラム
JP2009111843A (ja) * 2007-10-31 2009-05-21 Sony Corp 撮像装置、撮像方法

Also Published As

Publication number Publication date
TW201112742A (en) 2011-04-01
CN102550014A (zh) 2012-07-04
BR112012001992A2 (pt) 2019-09-24
EP2464095A1 (en) 2012-06-13
JP5251779B2 (ja) 2013-07-31
US20120120267A1 (en) 2012-05-17
JP2011035774A (ja) 2011-02-17
KR20120065997A (ko) 2012-06-21

Similar Documents

Publication Publication Date Title
JP5251779B2 (ja) 携帯型電子機器、制御方法、プログラム、撮像システム
US10931855B2 (en) Imaging control based on change of control settings
US9516201B2 (en) Imaging control apparatus, imaging control method, and program
JP5820181B2 (ja) 撮影システム及びその制御方法ならびに表示制御装置及びその制御方法、プログラム、記憶媒体
JP5126176B2 (ja) 撮像部駆動装置、回転角度制御方法、撮像装置、プログラム、撮像システム
JP5446546B2 (ja) 撮像制御装置、撮像制御方法、プログラム、撮像システム
US8994831B2 (en) Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5434338B2 (ja) 撮像制御装置、撮像方法、プログラム
KR101795603B1 (ko) 디지털 촬영 장치 및 그 제어방법
JP2010147769A (ja) 撮像システム、画像提示方法、プログラム
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
CN102111540A (zh) 图像处理装置、图像处理方法以及程序
US20120120249A1 (en) Control apparatus, imaging system, control method, and program
JP2005303728A (ja) デジタルカメラ
CN102025912B (zh) 图像拍摄系统、设备和方法以及信息处理设备
US9621799B2 (en) Imaging apparatus
JP6221504B2 (ja) 電子機器およびプログラム
JP2013012848A (ja) カメラ装置及びその制御方法
JP5807565B2 (ja) 撮像装置及びその制御方法
JP6242446B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2018010695A (ja) 電子機器およびプログラム
JP2012009999A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080044618.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806357

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13386933

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010806357

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127002322

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 878/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012001992

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012001992

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120127