JPWO2016016984A1 - 撮像装置およびその被写体追尾方法 - Google Patents

撮像装置およびその被写体追尾方法 Download PDF

Info

Publication number
JPWO2016016984A1
JPWO2016016984A1 JP2016537666A JP2016537666A JPWO2016016984A1 JP WO2016016984 A1 JPWO2016016984 A1 JP WO2016016984A1 JP 2016537666 A JP2016537666 A JP 2016537666A JP 2016537666 A JP2016537666 A JP 2016537666A JP WO2016016984 A1 JPWO2016016984 A1 JP WO2016016984A1
Authority
JP
Japan
Prior art keywords
subject
camera sensor
camera
image
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016537666A
Other languages
English (en)
Inventor
清水　宏
宏 清水
吉澤　和彦
和彦 吉澤
橋本　康宣
康宣 橋本
益岡　信夫
信夫 益岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Maxell Energy Ltd
Original Assignee
Hitachi Maxell Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Energy Ltd filed Critical Hitachi Maxell Energy Ltd
Publication of JPWO2016016984A1 publication Critical patent/JPWO2016016984A1/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having at least one potential-jump barrier or surface barrier, e.g. PN junction, depletion layer or carrier concentration layer
    • H01L21/18—Manufacture or treatment of semiconductor devices or of parts thereof the devices having at least one potential-jump barrier or surface barrier, e.g. PN junction, depletion layer or carrier concentration layer the devices having semiconductor bodies comprising elements of Group IV of the Periodic System or AIIIBV compounds with or without impurities, e.g. doping materials
    • H01L21/28—Manufacture of electrodes on semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/268
    • H01L21/28008—Making conductor-insulator-semiconductor electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having at least one potential-jump barrier or surface barrier, e.g. PN junction, depletion layer or carrier concentration layer
    • H01L21/18—Manufacture or treatment of semiconductor devices or of parts thereof the devices having at least one potential-jump barrier or surface barrier, e.g. PN junction, depletion layer or carrier concentration layer the devices having semiconductor bodies comprising elements of Group IV of the Periodic System or AIIIBV compounds with or without impurities, e.g. doping materials
    • H01L21/30—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26
    • H01L21/31—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26 to form insulating layers thereon, e.g. for masking or by using photolithographic techniques; After treatment of these layers; Selection of materials for these layers
    • H01L21/3205—Deposition of non-insulating-, e.g. conductive- or resistive-, layers on insulating layers; After-treatment of these layers
    • H01L21/321—After treatment
    • H01L21/3213—Physical or chemical etching of the layers, e.g. to produce a patterned layer from a pre-deposited extensive layer
    • H01L21/32139—Physical or chemical etching of the layers, e.g. to produce a patterned layer from a pre-deposited extensive layer using masks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/70—Manufacture or treatment of devices consisting of a plurality of solid state components formed in or on a common substrate or of parts thereof; Manufacture of integrated circuit devices or of parts thereof
    • H01L21/77—Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate
    • H01L21/78—Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate with subsequent division of the substrate into plural individual devices
    • H01L21/82—Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate with subsequent division of the substrate into plural individual devices to produce devices, e.g. integrated circuits, each consisting of a plurality of components
    • H01L21/822—Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate with subsequent division of the substrate into plural individual devices to produce devices, e.g. integrated circuits, each consisting of a plurality of components the substrate being a semiconductor, using silicon technology
    • H01L21/8232—Field-effect technology
    • H01L21/8234—MIS technology, i.e. integration processes of field effect transistors of the conductor-insulator-semiconductor type
    • H01L21/823437—MIS technology, i.e. integration processes of field effect transistors of the conductor-insulator-semiconductor type with a particular manufacturing method of the gate conductors, e.g. particular materials, shapes
    • H01L21/823456—MIS technology, i.e. integration processes of field effect transistors of the conductor-insulator-semiconductor type with a particular manufacturing method of the gate conductors, e.g. particular materials, shapes gate conductors with different shapes, lengths or dimensions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/402—Field plates
    • H01L29/404—Multiple field plate structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42356—Disposition, e.g. buried gate electrode
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42356—Disposition, e.g. buried gate electrode
    • H01L29/4236—Disposition, e.g. buried gate electrode within a trench, e.g. trench gate electrode, groove gate electrode
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42372—Gate electrodes for field effect devices for field-effect transistors with insulated gate characterised by the conducting layer, e.g. the length, the sectional shape or the lay-out
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42372—Gate electrodes for field effect devices for field-effect transistors with insulated gate characterised by the conducting layer, e.g. the length, the sectional shape or the lay-out
    • H01L29/42376—Gate electrodes for field effect devices for field-effect transistors with insulated gate characterised by the conducting layer, e.g. the length, the sectional shape or the lay-out characterised by the length or the sectional shape
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42372—Gate electrodes for field effect devices for field-effect transistors with insulated gate characterised by the conducting layer, e.g. the length, the sectional shape or the lay-out
    • H01L29/4238—Gate electrodes for field effect devices for field-effect transistors with insulated gate characterised by the conducting layer, e.g. the length, the sectional shape or the lay-out characterised by the surface lay-out
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42384—Gate electrodes for field effect devices for field-effect transistors with insulated gate for thin film field effect transistors, e.g. characterised by the thickness or the shape of the insulator or the dimensions, the shape or the lay-out of the conductor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/66007—Multistep manufacturing processes
    • H01L29/66075—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials
    • H01L29/66227—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials the devices being controllable only by the electric current supplied or the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched, e.g. three-terminal devices
    • H01L29/66409—Unipolar field-effect transistors
    • H01L29/66477—Unipolar field-effect transistors with an insulated gate, i.e. MISFET
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/66007—Multistep manufacturing processes
    • H01L29/66075—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials
    • H01L29/66227—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials the devices being controllable only by the electric current supplied or the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched, e.g. three-terminal devices
    • H01L29/66409—Unipolar field-effect transistors
    • H01L29/66477—Unipolar field-effect transistors with an insulated gate, i.e. MISFET
    • H01L29/66568—Lateral single gate silicon transistors
    • H01L29/66613—Lateral single gate silicon transistors with a gate recessing step, e.g. using local oxidation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/66007—Multistep manufacturing processes
    • H01L29/66075—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials
    • H01L29/66227—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials the devices being controllable only by the electric current supplied or the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched, e.g. three-terminal devices
    • H01L29/66409—Unipolar field-effect transistors
    • H01L29/66477—Unipolar field-effect transistors with an insulated gate, i.e. MISFET
    • H01L29/66568—Lateral single gate silicon transistors
    • H01L29/66613—Lateral single gate silicon transistors with a gate recessing step, e.g. using local oxidation
    • H01L29/66621—Lateral single gate silicon transistors with a gate recessing step, e.g. using local oxidation using etching to form a recess at the gate location
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/66007—Multistep manufacturing processes
    • H01L29/66075—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials
    • H01L29/66227—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials the devices being controllable only by the electric current supplied or the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched, e.g. three-terminal devices
    • H01L29/66409—Unipolar field-effect transistors
    • H01L29/66477—Unipolar field-effect transistors with an insulated gate, i.e. MISFET
    • H01L29/66568—Lateral single gate silicon transistors
    • H01L29/66613—Lateral single gate silicon transistors with a gate recessing step, e.g. using local oxidation
    • H01L29/66628—Lateral single gate silicon transistors with a gate recessing step, e.g. using local oxidation recessing the gate by forming single crystalline semiconductor material at the source or drain location
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/66007—Multistep manufacturing processes
    • H01L29/66075—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials
    • H01L29/66227—Multistep manufacturing processes of devices having semiconductor bodies comprising group 14 or group 13/15 materials the devices being controllable only by the electric current supplied or the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched, e.g. three-terminal devices
    • H01L29/66409—Unipolar field-effect transistors
    • H01L29/66477—Unipolar field-effect transistors with an insulated gate, i.e. MISFET
    • H01L29/66787—Unipolar field-effect transistors with an insulated gate, i.e. MISFET with a gate at the side of the channel
    • H01L29/66795—Unipolar field-effect transistors with an insulated gate, i.e. MISFET with a gate at the side of the channel with a horizontal current flow in a vertical sidewall of a semiconductor body, e.g. FinFET, MuGFET
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/7833—Field effect transistors with field effect produced by an insulated gate with lightly doped drain or source extension, e.g. LDD MOSFET's; DDD MOSFET's
    • H01L29/7834—Field effect transistors with field effect produced by an insulated gate with lightly doped drain or source extension, e.g. LDD MOSFET's; DDD MOSFET's with a non-planar structure, e.g. the gate or the source or the drain being non-planar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/7833—Field effect transistors with field effect produced by an insulated gate with lightly doped drain or source extension, e.g. LDD MOSFET's; DDD MOSFET's
    • H01L29/7835—Field effect transistors with field effect produced by an insulated gate with lightly doped drain or source extension, e.g. LDD MOSFET's; DDD MOSFET's with asymmetrical source and drain regions, e.g. lateral high-voltage MISFETs with drain offset region, extended drain MISFETs
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/7833—Field effect transistors with field effect produced by an insulated gate with lightly doped drain or source extension, e.g. LDD MOSFET's; DDD MOSFET's
    • H01L29/7836—Field effect transistors with field effect produced by an insulated gate with lightly doped drain or source extension, e.g. LDD MOSFET's; DDD MOSFET's with a significant overlap between the lightly doped extension and the gate electrode
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/785—Field effect transistors with field effect produced by an insulated gate having a channel with a horizontal current flow in a vertical sidewall of a semiconductor body, e.g. FinFET, MuGFET
    • H01L29/7856—Field effect transistors with field effect produced by an insulated gate having a channel with a horizontal current flow in a vertical sidewall of a semiconductor body, e.g. FinFET, MuGFET with an non-uniform gate, e.g. varying doping structure, shape or composition on different sides of the fin, or different gate insulator thickness or composition on opposing fin sides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

ユーザーが撮影しようとしている対象物を、被写体として認識し、その動きを追尾し、被写体が撮影エリアを外れた場合でも、被写体の動きを追尾できるようにし、常に指定した被写体に対するピント合わせを確実に行うことができる撮像装置である。被写体を撮影するメインカメラ２０と、メインカメラ２０で撮影された撮影画像を表示するＥＶＦ４０と、メインカメラ２０より広い撮影範囲で被写体を撮影するサブカメラ８０と、メインカメラ２０およびサブカメラ８０で撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせる処理部と、を備え、処理部は、被写体がメインカメラ２０の撮影範囲外に移動した場合に、サブカメラ８０で撮影された撮影画像から抽出された被写体を追尾する。

Description

本発明は、被写体を撮影する撮像装置に関し、特にオートフォーカス時の被写体追尾の技術に関するものである。
被写体の映像を半導体により構成される多画素の集合体であるカメラセンサに、レンズを通して映像投射させ、各画素毎に照射された光の量を測定することにより、二次元の撮像映像を取得するデジタル方式のカメラが普及している。
また、カメラにおいては、自己発光または反射光の点光源の集合体で構成される被写体の映像の各点光源が、カメラセンサまたはフィルム面に、所定のボケ直径以内になるように、レンズとカメラセンサの距離を調節して、被写体のピントがあった映像をカメラセンサまたはフィルム面に投射するための調節が必要になるが、これを被写体とカメラの距離により、自動的に合わせるオートフォーカス機能が、ほとんどのカメラに搭載されている。
なお、所定のボケ直径以内とは、撮影画像を明視距離、即ち目が特に調節をしなくても楽にピントを合わせて写真を見ることができる距離で視聴したとき、ボケ直径が人間の視認分解能以下となる値であり、一般に撮影した写真を見るときに、写真の対角線の１／１０００〜１／１５００程度の大きさの直径が、視認分解能限界とされている。
ここで、オートフォーカスを行うためには、ユーザーがマニュアル操作で、画面内の撮影したい被写体にピント合わせをするのに対して、カメラが、まず、画面内中央に位置するものを、ユーザーが意図した画面内の被写体としてピント合わせを行う必要があり、この場合には被写体を画面の中央に必ず持ってくる必要が生じていた。即ち、被写体が画面中央から外れた場合は、ピント合わせをすることが困難である場合が生じていた。
このようなオートフォーカスをユーザーが意図した被写体に対して自動的にピント合わせをする新しい技術として、例えば、特開平５−８０２４８号公報（特許文献１）に記載のオートフォーカス装置のように、撮影対象とする被写体をフォーカスエリア内に特定し、この特定した被写体の焦点位置を自動的に検出して合焦動作を行うオートフォーカス装置であって、複数の小領域からなる注目領域の各小領域内の映像に対するエントロピーをフレーム毎に求め、エントロピーの各小領域間のフレーム間移動を検出することによって被写体の移動を検知する動き検出手段を備え、この動き検出手段での検出結果に基づいてフォーカスエリアを被写体の移動に追従させて移動させる技術があった。
ここで、特許文献１において、エントロピーとは乱雑さを示す値であり、画面内でユーザーが予めターゲットとした被写体のエントロピーを、被写体イメージが投射されているカメラセンサ上の位置において、撮影する被写体が投射されたカメラセンサ上の部分の出力データの乱雑さを、被写体を特定する値として認識することにより特定し、その被写体が画面内を移動したときに、画面内の各場所毎にエントロピーを求めることで、最初のエントロピーと近い領域に投射されている光学映像を、被写体として認識し、そこにピントを合わせるという動作を行っている。
また、一般にユーザーが撮影する被写体は、ある程度種類が限られている。具体的には例えば、人の顔で、この場合、カメラが被写体として人の顔を抽出し、そこにピントを自動的に合わせるような製品も発売されている。
特開平５−８０２４８号公報
しかしながら、従来の技術では、ユーザーが撮影しようとしている対象物を被写体として認識して、ピント合わせを行っているが、その被写体が、カメラのファインダーなどに表示されている撮影エリアを外れた場合は、被写体を追尾することができず、ピント合わせを行うことができないという問題があった。
そこで、本発明の目的は、ユーザーが撮影しようとしている対象物を、被写体として認識し、その動きを追尾し、被写体が撮影エリアを外れた場合でも、被写体の動きを追尾できるようにし、常に指定した被写体に対するピント合わせを確実に行うことができる撮像装置を提供することである。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
すなわち、被写体を撮影し、被写体の撮影画像を取得する撮像装置であって、被写体を撮影する第１のカメラセンサと、第１のカメラセンサで撮影された撮影画像を表示する表示部と、第１のカメラセンサより広い撮影範囲で被写体を撮影する第２のカメラセンサと、第１のカメラセンサおよび第２のカメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせる処理部と、を備え、処理部は、被写体が第１のカメラセンサの撮影範囲外に移動した場合に、第２のカメラセンサで撮影された撮影画像から抽出された被写体を追尾するものである。
また、被写体を撮影し、被写体の撮影画像を取得する撮像装置であって、被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサと、被写体の撮影画像の撮影範囲の画像を表示する表示部と、カメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせる処理部と、を備え、処理部は、被写体が前記撮影範囲の領域外に移動した場合に、撮影範囲の領域外で撮影されたカメラセンサの撮影画像から抽出された被写体を追尾するものである。
また、被写体を撮影し、被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、処理部により、第１のカメラセンサおよび第１のカメラセンサより広い撮影範囲で被写体を撮影する第２のカメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせ、被写体が第１のカメラセンサの撮影範囲外に移動した場合に、第２のカメラセンサで撮影された撮影画像から抽出された被写体を追尾するものである。
また、被写体を撮影し、被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、処理部により、被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサで撮影された撮影画像から、被写体を抽出して、抽出した被写体を追尾し、被写体の撮影時に被写体にピントを合わせ、被写体が撮影範囲の領域外に移動した場合に、撮影範囲の領域外で撮影されたカメラセンサの撮影画像から抽出された被写体を追尾するものである。
本発明によれば、例えば高速で飛翔する鳥を被写体としたときも、被写体を認識し、その被写体を追尾することができ、被写体が、カメラのファインダーなどに表示されている撮影エリアを外れた場合においても、被写体として認識し続けることで、被写体を見失うことなく、撮影を行うことができ、被写体に対する最適なピント合わせを実現することができる。
本発明の実施の形態１に係る撮像装置の基本構成を示す構成図である。 本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの構成を示す構成図である。 本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの内部構成を示す構成図である。 （Ａ）〜（Ｃ）は本発明の実施の形態１に係る撮像装置のメインカメラおよびサブカメラの撮影エリアを説明するための説明図である。 （Ａ）〜（Ｄ）は本発明の実施の形態１に係る撮像装置のＥＶＦの表示例を説明するための説明図である。 本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。 本発明の実施の形態１に係る撮像装置のサブカメラの取付誤差修正方法を説明するための説明図である。 本発明の実施の形態２に係る撮像装置の基本構成を示す構成図である。 （Ａ）、（Ｂ）は本発明の実施の形態２に係る撮像装置の被写体の追尾動作を説明するための説明図である。 （Ａ）、（Ｂ）は本発明の実施の形態２に係る撮像装置の被写体の追尾動作を説明するための説明図である。 （Ａ）、（Ｂ）は本発明の実施の形態３に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
（実施の形態１）
＜撮像装置の基本構成＞
図１により、本発明の実施の形態１に係る撮像装置の基本構成について説明する。図１は本発明の実施の形態１に係る撮像装置の基本構成を示す構成図である。
図１において、撮像装置は、対物レンズ１０を介して被写体の画像が投影される第１のカメラセンサであるメインカメラ２０、メインカメラ２０の出力信号を処理する信号処理ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３０、被写体の撮影範囲となる撮影エリアの画像を表示する表示部であるＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）４０、被写体となるオブジェクトを抽出するオブジェクト抽出部５０、オブジェクトを認識するための情報が格納されるデータベース６０、被写体のピントの合焦状態を計算する空間周波数計算部７０、メインカメラ２０と同じ被写体をメインカメラ２０より広角で撮影する第２のカメラセンサであるカメラセンサなどからなるサブカメラ８０、被写体を追尾する被写体追尾部９０、被写体までの距離情報を算出する距離情報算出部１００、距離情報算出部１００で算出された距離情報に基づいて、被写体に対するピントを合わせるために、モーター駆動により対物レンズ１０とメインカメラ２０の相対距離の増減移動を行うＡＦ（オートフォーカス）制御部１１０から構成されている。
また、信号処理ＤＳＰ３０、オブジェクト抽出部５０、空間周波数計算部７０、被写体追尾部９０、距離情報算出部１００、ＡＦ制御部１１０で処理部を構成している。
＜撮像装置の動作＞
次に、図１により、本発明の実施の形態１に係る撮像装置の動作について説明する。
まず、対物レンズ１０を通してメインカメラ２０に投射された被写体の画像は、電子信号に変換され、信号処理ＤＳＰ３０に入力される。ここで、入力信号は、輝度＋色差信号からなるＹＵＶに変換され、また、同時にＥＶＦ４０にてユーザーに提供され、特に移動している被写体をユーザーが撮像装置を振って追尾するときに使われる。
ここで、信号処理ＤＳＰ３０の出力信号はオブジェクト抽出部５０にも入力される。オブジェクト抽出部５０は、入力された信号の撮影画像内の複数ある被写体をそれぞれ抽出し、例えば、人の顔の場合は、目・鼻・口の存在、横顔の場合は形状で、人の顔を抽出し、被写体とカメラの向きの関係で視点が変化しても、同一被写体として認識し続ける。人の顔の場合には、例えば、肌の色、髪の色もバラエティを加味して特定することも可能である。
ここで、データベース６０には、一般にユーザーが撮影する被写体の構成要件や形状、色などのように、被写体を見る向きが変化しても同一被写体として認識するために必要な情報が予め格納されている。
このデータベース６０に格納されるデータとしては、例えば、人であれば、徒歩、疾走、または座っている場合などのそれぞれ特徴とする形状や色などを要素としたデータである。また、鳥であれば、例えば、小鳥、猛禽類などや、鷺や白鳥のように首の長く、種類によって飛翔時に首を伸ばすか曲げるかが異なる場合などのそれぞれ特徴とする形状や色などを要素としたデータである。
また、動物であれば、例えば、犬、猫、またはその他の動物のそれぞれ特徴とする形状や色などを要素としたデータである。また、自動車であれば、例えば、セダン、スポーツカー、ワゴン、トラック、またはレースカーなどのそれぞれ特徴とする形状や色などを要素としたデータである。また、列車であれば、電車、汽車、またはその他の列車のそれぞれ特徴とする形状や色などを要素としたデータである。
データベース６０に格納されるこれらのデータは、特に高速で移動するときに、撮像装置で追尾している間に向きが変わっても追尾可能なための情報を、オブジェクト抽出部５０に供給する。
ここで色や形状データは、ある程度被写体からピントが外れてぼけた映像でも、概略の形状および色の混色状態から認識ができるようなアルゴリズムで利用する。
撮像装置で撮影した撮影画像には、撮影開始時から撮影エリア内に写り込んでいながら、途中で撮影エリアから外れる被写体、また撮影開始後に撮影エリア内に入ってきて、そのまま入り続ける被写体などが複数存在するが、例えば、所定時間これらを追尾し、常に撮影エリア内にある被写体を、ユーザーが撮影したい対象物である被写体として認識する。
ここで、メインカメラ２０の略中央に、より長い時間位置し続ける被写体は、複数ある被写体の中で、ユーザーが撮影したい対象物として認識するための重みづけをより強くするのも効果的であり、その処理と判断はオブジェクト抽出部５０が行っている。
このとき、被写体として認識する対象物は、被写体追尾部９０にも通知され、サブカメラ８０により撮影された撮影画像においても、同じ被写体を追尾する。
そして、当該被写体との距離を算出する情報の一部を、距離情報算出部１００に送ると共に、サブカメラ８０にて撮影した被写体が、メインカメラ２０の撮影エリアから一瞬フレームアウトすることがあっても、被写体として追尾をし続けて、その被写体の位置を示す情報をオブジェクト抽出部５０に送り続ける。
また、オブジェクト抽出部５０で認識されたユーザーが撮影対象物として追尾している被写体にピントを合わせるために、空間周波数計算部７０にて、被写体のピントの合焦状態を計算し、その結果をオブジェクト抽出部５０を通して距離情報算出部１００に送り、距離情報算出部１００はこの情報に従って、対物レンズ１０の位置を動かすＡＦ制御部１１０に指示を送り、被写体に対するピントを合わせるために、モーター駆動により対物レンズ１０とメインカメラ２０の相対距離の増減移動を行う。
この結果に従って新たに得られた画像により新たに異なった空間周波数が空間周波数計算部７０により算出され、これを再び同じ方法でＡＦ制御部１１０にフィードバックすることで、被写体に対して、常にピントを合わせ続けることが可能となる。
このとき、被写体の追尾中は、少しでもレンズを動かさなくてもピントが合う範囲を広くするように、センサ感度を上げて、絞りを絞って被写界深度を確保した状態で追尾し、実際に撮像装置で撮影するときには、シャッター速度を上げて、かつ可能な範囲でセンサ感度を下げることでＳ／Ｎを確保し、絞りは開く方向になり、被写界深度が狭くなるが、ＡＦ制御部１１０の動作により被写体自体にしっかりピントを合わせた後に、実際にシャッターが動作し、メインカメラ２０から撮影画像を取り出すことで、目標物に適切にピントを合わせつつ、手ぶれの少なく、画質の良い静止画像を、特に動く被写体から得ることができる。
ここで、撮影するときは、必ずしも常に追尾中に煩雑に被写体に対して完全にピントが合うように対物レンズ１０の移動を行う必要はなく、ある程度ピントが合ったところで、対物レンズ１０は動かさない状態で追尾を続行し、例えば、ユーザーが被写体の撮影を行うためのシャッターボタンの操作をした際に、最終的に正確なピント合わせを行って、撮影を行う方法でもよく、この場合は、対物レンズ１０を煩雑に動かさないので、撮像装置を動作させるバッテリーの消耗を抑えることが可能になる。
なお、被写体として認識して追尾している被写体は、ＥＶＦ４０にて表示されているメインカメラ２０による撮影画像中に、被写体にオーバーレイするように、認識していることを示すアイコンを重畳して表示することで、ユーザーは、被写体が正しく認識していることを確認することができる。
もし違ったものを認識した場合は、図示しないが、例えば撮像装置の本体に設けた指定のボタン等を押すことで、一度追尾をリセットするか、撮像装置の向きを変えて追尾をし続けることで、ユーザーが撮影しようとしている被写体を追尾対象として捕捉し直すことができる。
また、例えば、ユーザーがシャッターボタンを半押ししている間は追尾し、全押しで撮影、押さないことで追尾をしない、または、追尾をリセットするという方法で、追尾対象の被写体を選び直してもよい。この方法は、例えば、ＥＶＦ４０から一度目を離して、図示しない他の表示部上をタッチして被写体を選択する余裕がないような高速移動をする被写体を撮影する場合に効果的である。
また、サブカメラ８０は、メインカメラ２０より広角で撮影しており、メインカメラ２０で撮影する撮影エリアから被写体が外れた場合でも、サブカメラ８０で撮影した撮影画像により、被写体を追尾することができる。また、ユーザーには、ＥＶＦ４０上に、撮影エリアを外れた被写体の方向を示すパン・ガイドを表示することにより、ユーザーは撮影エリアから外れた被写体の方向を認識することができる。
＜撮像装置の一例であるデジタルカメラの構成＞
次に、図２により、本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの構成について説明する。図２は本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの構成を示す構成図である。
図２において、デジタルカメラは、トリプレットで構成された対物レンズ１０を介して被写体１２０の画像をメインカメラ２０に投影し、被写体１２０を撮影している。また、被写体１２０は、デジタルカメラの上部に配置されたサブカメラ８０でも撮影している。被写体を撮影した撮影画像は、ＥＶＦ４０に表示され、ユーザーは撮影する対象物を確認することができる。また、撮影画像は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１３０にも表示され、対象物の確認や各種操作なども行うことができる。
図２においては、デジタルカメラは、撮影する対象物として、高速で飛翔する鳥のような移動体であるオブジェクトとして被写体１２０を選択している。この選択は、例えば、被写体１２０が所定時間以上、トリプレットで構成された対物レンズ１０を通してメインカメラ２０にて受光する被写体イメージが、所定時間連続して受光されたときに、被写体として認識を行う。
ここで、ユーザーは、メインカメラ２０が捉え続けている被写体を、ＥＶＦ４０に表示される撮影画像を見つつ、メインカメラ２０に被写体の撮影画像が入るように、デジタルカメラの方向を変えつつ被写体１２０を追尾していく。
そして適当な時点で、図示しないシャッターボタンをユーザーが押し下げることで、対物レンズ１０は、被写体１２０にピントが合うように移動し、メインカメラ２０は被写体の撮像映像を取り込んで、数秒間ＬＣＤ１３０に表示しつつ、後述する外部メモリに、撮影画像を記録する。
また、デジタルカメラは、サブカメラ８０を搭載している。サブカメラ８０の光学系は、メインカメラ２０と対物レンズで構成される光学系と同一方向にて略平行になるように設置し、かつメインカメラ２０の光学系に比して、より広角な撮影を行うことができるように、画角の広い光学系を有している。メインカメラ２０にて被写体１２０を撮影対象として認識した後は、サブカメラ８０でもこの被写体を追尾し続ける。
サブカメラ８０にて取り込まれる映像は、被写体１２０の追尾で利用される他、被写体１２０の焦点１４０、およびメインカメラ２０とサブカメラ８０との光軸間距離である基線長１０５０を利用して、三角測量の方法で被写体１２０とデジタルカメラとの距離を測定することができる。具体的には、サブカメラ８０上に投射された被写体１２０の座標が、サブカメラ８０の光学系の軸中心よりオフセット距離１５５だけ離れていれば、この距離と光学系の寸法から、サブカメラ８０の位置＝カメラ位置と被写体１２０の距離を概算することができるので、この情報をメインカメラ２０によるピント合わせのための情報としても利用することもできる。
なお、被写体１２０を撮影対象として認識させる方法として、前述の所定時間連続してメインカメラ２０の撮影画像内に被写体１２０があることを認識する方法の他に、メインカメラ２０にて撮影している撮影画像を、ＥＶＦ４０と同様に動画像としてリアルタイムにＬＣＤ１３０に表示し、ＬＣＤ１３０上に設置した、図示しないタッチパネルにより、撮影画像中の被写体を指などでタッチすることで、被写体１２０を撮影対象として認識させてもよい。
このとき、一度ＥＶＦ４０から目を離し、ＬＣＤ１３０を見ながらタッチし、そののち再びＥＶＦ４０にて撮影対象を見ることになるが、ＬＣＤ１３０から目を離してＥＶＦ４０を覗き込む間に、メインカメラ２０の撮影エリアから被写体１２０が外れてしまっても、メインカメラ２０の光学系に比べて、広角な光学系を有するサブカメラ８０にて被写体１２０の追尾を継続しているので、ＥＶＦ４０内に被写体１２０のある位置を示すことで、再度ＥＶＦ４０に被写体１２０を表示させ、移動体である被写体１２０を追尾することができる。
＜デジタルカメラの内部構成＞
次に、図３により、本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの内部構成について説明する。図３は本発明の実施の形態１に係る撮像装置の一例であるデジタルカメラの内部構成を示す構成図である。
図３において、デジタルカメラは、ＣＰＵ１５０をコアとしたコンピュータシステムとして構成している。ＣＰＵ１５０と、各種周辺回路はメインバス３００により接続している。
ハードＳＷ１６０は、シャッターボタンを始め、ズームレンズの駆動などの操作を行うためのスイッチ群であり、これらのＳＷのいずれかが押されると、各ＳＷに対応したコードが、ＳＷ押下げを示すコードとともに、ＣＰＵ１５０に取り込まれ、各々のＳＷに対応した処理をＣＰＵ１５０が行う。
これらの処理を行うプログラムは、フラッシュメモリ２２０上に記載しており、また処理に伴うワークエリアは、ＳＤ−ＲＡＭ２３０上に確保する。カメラ個体鍵情報１７０は、デジタルカメラの個体を指し示す番号もしくは、デジタルカメラにユーザー登録したユーザー名を基にした情報であり、撮影された撮影画像データ内に、撮影したデジタルカメラ名やユーザー名を埋め込んだり、場合によっては他者に撮影画像を見ることができないように、この鍵情報を使って撮影画像データを暗号化して、保存することを可能にする。
エンコーダ／デコーダ１８０は、撮影した撮影画像データの圧縮・伸長を行う回路であり、メインカメラ２０で撮影した撮影画像を、例えばＪＰＥＧ圧縮を施した上で、外部メモリＩ／Ｆ２６０を経て、例えば、ＳＤメモリカード等の外部メモリ２７０に記録することができる。また、外部メモリ２７０に記録された静止画や動画などの画像を伸長して、ＬＣＤ２４０に表示することができる。
メインカメラ２０は、被写体１２０を撮影するためのカメラである。メインカメラ２０の使い方は、移動する被写体１２０の追尾と、撮影の両方に使用する。サブカメラ８０は、被写体を追尾するためのカメラであり、信号処理回路も含んでいる。
なお、図３においては、図１における、メインカメラ２０の信号処理を行う信号処理ＤＳＰ３０は図示していないが、例えば、メインカメラ２０の内部で信号処理ＤＳＰ３０の処理を行うなどの構成となる。また、サブカメラ８０の出力信号が入力される被写体追尾部９０も図示していないが、例えば、オブジェクト抽出部５０で被写体追尾部９０の処理を行うか、または、ＣＰＵ１５０の処理により、被写体追尾部９０の処理を行うなどの構成となる。
スピーカー１９０は、デジタルカメラで動画を撮影し、再生したときの音声再生を行ったり、ハードＳＷ１６０や、後述するＬＣＤ２４０上に設置したタッチパネル２５０を押したときの音、さらにユーザーに通知や警告などの情報が発生したことを知らせる音を再生する。
イヤホン２００は、デジタルカメラで動画像を撮影するときに、マイクロフォン２１０で取得した音声を、撮影中にモニターするときに利用する。また、既撮影の動画を再生するときに、スピーカー１９０で音を鳴らさずに、静かに撮影結果を確認するときにも、イヤホン２００にて音声再生を行い、ユーザーが撮影した動画像を映像および音声の両方で確認することができる。
ＬＣＤ２４０は、撮影し記録した静止画、および動画などの画像を表示することができる他、タッチパネル２５０を用いてユーザーがカメラへの設定情報を入力するときに、タッチパネル２５０をタッチする座標に、設定項目を表示して、ユーザーがタッチ入力により、デジタルカメラの操作をすることができるような表示が可能である。
ＥＶＦ４０は、撮影時にデジタルカメラのファインダーとして利用する。ＥＶＦ４０の表示画像には、メインカメラ２０で取得したリアルタイム動画像に、撮影に必要なセンサ感度、シャッター速度、絞り値、追尾している被写体の方向などの情報がオーバーレイして表示される。
外部メモリＩ／Ｆ２６０は、撮影した撮影画像データを保存するための着脱可能なＳＤメモリカードなどの外部メモリ２７０を取り付けるＩ／Ｆである。
オブジェクト抽出部５０は、図１で示したように、ユーザーが撮影しようとしている被写体を、メインカメラ２０およびサブカメラ８０のカメラに写っている映像から抽出・特定する機能を有している。撮影対象となる被写体の形状・色などの特徴は、データベース６０に予め格納されており、ユーザーによる新たな追加も可能である。
オブジェクト抽出部５０は、まずＧセンサ２９０により、デジタルカメラが現時点で位置や方向を固定しているか、動く被写体を追尾するためにユーザーが向きを変え続けているかを判定し、固定している場合は、人の顔、猫の顔などの比較的動きの少ない被写体１２０の特徴をデータベース６０から読み出して被写体を特定する判定を行う。
また、デジタルカメラの向きを変え続けているときは、被写体１２０が動いていると判定し、飛翔する鳥や疾走する動物、子供、その他犬や猫も横から見た形状などの特徴をデータベース６０から読み出して被写体１２０を特定する判定を行う。
また、被写体１２０がさらに特殊なもので、データベース６０にない場合は、デジタルカメラの向きを変えて追尾しているときに、ＬＣＤ２４０に撮影画像を表示し、タッチパネル２５０をタッチすることで、被写体１２０を特定することで、その被写体１２０の特徴をデータベース６０に追加する。
また、予め撮影した動画像を再生しているときに、再生中もしくはＰＡＵＳＥで一時停止をしているときに、タッチパネル２５０をタッチすることで、被写体１２０を特定し、その特徴をデータベース６０に追加保存することもできる。
ここで、メインカメラ２０やサブカメラ８０からの情報は、メインバス３００を用いてオブジェクト抽出部５０に送信してもよいが、ＣＰＵ１５０の直接管理にあるメインバス３００を、撮影画像という大量のデータが占有してしまうこともあり得るため、撮影画像のデータは、ダイレクトパス３０５を用いて送信している。これにより、撮影画像データはメインバス３００に負荷をかけることなく、オブジェクト抽出部５０に送信し、ＣＰＵ１５０は、カメラの操作を含むカメラ動作全体に余裕を持って対応することができ、デジタルカメラの操作においてディレイが生じる等の問題を起こさずに、撮影を行うことができる。
距離情報算出部１００とＡＦ制御部１１０は、図１の動作と同一である。ここでも、オブジェクト抽出部５０からダイレクトパス３０５により情報を距離情報算出部１００に送ることで、メインバス３００の負荷を減らし、デジタルカメラの通常動作に影響を与えることなく、追尾およびオートフォーカス処理を行うことができる。
無線ＬＡＮ２８０は、無線通信によりネットワーク接続を行うものであり、例えば、撮影した撮影画像を自動的にネットワークサーバに保存して、外部メモリ２７０の容量減に対応したり、また、撮影した撮影画像をソーシャルネットワークサービスなどに投稿することもできる。
さらに、フラッシュメモリ２２０に保存されているデジタルカメラの動作プログラムのアップデートや、データベース６０に記録されている各種被写体の特徴を示す情報の追加・変更をメーカーサービスなどにより行うことができる。
Ｇセンサ２９０は、デジタルカメラの動きを検出するもので、その検出結果はオブジェクト抽出部５０に送られて、データベース６０から読み出す被写体の特徴を示すデータの読み出し優先順位を変更することができる。Ｇセンサ２９０は基本的に加速度センサであり、デジタルカメラの前後左右の直線的な動きや、デジタルカメラを振りまわしたときの角加速度を検出して、デジタルカメラの動きをデータ化することができる。
また、Ｇセンサ２９０は加速度センサだけではなく、地磁気センサの機能も持たせると、例えば、デジタルカメラが上を向いているときは、データベース６０から読み出す被写体の特徴を示すデータは、飛翔する鳥を優先して検索したり、デジタルカメラが下から上に向かって動いているときは、例えば、木に登る猫のように、下から上に向かう行動を伴う対象物を優先してデータベース６０から検索することで、より高速な被写体の特徴抽出を行うことができ、これにより、より早く被写体の追尾動作に入ることができる。
＜メインカメラおよびサブカメラの撮影エリア＞
次に、図４により、本発明の実施の形態１に係る撮像装置のメインカメラおよびサブカメラの撮影エリアについて説明する。図４は本発明の実施の形態１に係る撮像装置のメインカメラおよびサブカメラの撮影エリアを説明するための説明図であり、メインカメラおよびサブカメラの撮影エリアと被写体の位置関係を示している。
サブカメラ８０の撮影エリア３１０は、メインカメラ２０の撮影エリア３２０に比べて、広角であり、より広い領域を常に撮影している。即ち、図４（Ａ）〜（Ｃ）のすべてにおいて、ＥＶＦ４０で視認ができ、実際に撮影される範囲は、メインカメラ２０の撮影エリア３２０であり、サブカメラ８０の撮影エリア３１０は、常にメインカメラ２０の撮影エリア３２０より広い範囲を撮像している。
図４（Ａ）において、被写体１２０は、メインカメラ２０の撮影エリア３２０内にある。ユーザーが、ここでは飛翔する鳥を被写体１２０として選択して、被写体１２０を追尾している状態で、ちょうど撮影に適した状態で、被写体１２０は、メインカメラ２０の視野内略中央に位置しており、メインカメラ２０で被写体１２０を追尾できる状態である。
図４（Ｂ）では、被写体１２０が、メインカメラ２０の撮影エリア３２０から外れかけた状態を示している。このときは、メインカメラ２０だけでは被写体１２０の認識と追尾が困難になるので、サブカメラ８０の撮影画像も被写体１２０の認識および追尾に参照する。
ここで、メインカメラ２０のレンズが、交換可能であったり、ズームレンズであったりした場合、サブカメラ８０の光学系を常にメインカメラ２０の撮影エリア３２０より広角であるようにするためには、サブカメラ８０の光学系を工夫する必要があるが、本実施の形態では、例えば、以下に示す方法をとっている。
第１の方法は、メインカメラ２０で使用する可能性のあるレンズのうち、もっとも広角なレンズの画角よりもさらに広い画角のレンズをサブカメラに使用することである。この場合、メインカメラ２０で使用するレンズが最大広角レンズの場合は、被写体１２０を追尾するときに、メインカメラ２０のフレームから、被写体が外れてしまう可能性は、望遠レンズのときに比べてはるかに少ないため、サブカメラ８０の最大広角焦点距離は、メインカメラ２０のものより略同一から若干広い程度の広角レンズで、十分な役目を果たすことが可能である。
しかし、メインカメラ２０で使用する可能性のあるレンズのうち、もっとも長焦点距離を持つ望遠レンズを用いて、動く被写体を捕捉しようとした場合、サブカメラ８０の撮影エリアのごく一部でしか被写体１２０を認識できず、サブカメラ８０の仕様として、このような場合でも被写体１２０を認識するのに十分な画素数を有するセンサと、十分な解像度性能を有するレンズを、サブカメラに用いる必要がある。
第２の方法は、第１の方法で説明したメインカメラ２０とサブカメラ８０のレンズの焦点距離の関係から、サブカメラ８０で追尾する必要のある被写体１２０を撮影するメインカメラ２０で使用するレンズの焦点距離が、ある程度以上の場合、例えば、デジタル一眼レフカメラ等で「フルサイズ」と呼称される約３６ｍｍ×２４ｍｍサイズの画面に撮影を行う３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝１００ｍｍ以上程度の光学焦点距離を有するレンズのときに、サブカメラ８０が利用できればよいとして、サブカメラ８０用レンズの焦点距離を最大広角レンズの焦点距離ではなく、ある程度長い焦点距離、例えば、３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝５０ｍｍ程度の光学焦点距離に決めてしまうという方法である。
しかし、この場合でも、メインカメラ２０で使用するレンズに極端な望遠レンズ、例えば、３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝５００ｍｍ以上の光学焦点距離を有するレンズを利用した場合、メインカメラ２０の画角は、サブカメラ８０のセンサの上で、長さ方向で１／１０しかなく、その範囲で被写体１２０の認識と追尾を行う必要があるため、第１の方法と同様に、被写体１２０を認識するのに十分な画素数を有するセンサと、十分な解像度性能を有するレンズを、サブカメラ８０に用いる必要がある。
第３の方法は、サブカメラ８０に用いるレンズの焦点距離を可変にするという方法である。具体的には、メインカメラ２０用のレンズを交換した場合は、レンズとカメラボディとの間の電気的インタフェースにより、メインカメラ２０用レンズの焦点距離を読み取り、ズームレンズによる焦点距離が変更された場合は、メインカメラ２０用レンズがズームレンズの場合でも、同様に使用時点のレンズの光学焦点距離を読み取る。
そして、サブカメラ８０のレンズに、ズームレンズを用いて、予め決めた所定の焦点距離、例えば、画角を同一にするように換算した場合、メインカメラ２０の光学焦点距離の二倍の焦点距離にするなどに変更する。
また、サブカメラ８０のレンズは最大焦点距離から最小焦点距離の間のすべての焦点距離で撮影可能なズームレンズである必要はなく、例えば、３５ｍｍフィルムカメラのレンズ焦点距離に換算してｆ＝３５ｍｍ、５０ｍｍ、７５ｍｍの三点のときに、十分な光学性能が出せるような構造のレンズを利用することで、メインカメラ２０の撮影レンズ交換に伴い、それに適した焦点距離を３種類の焦点距離の中から選択してサブカメラ８０のレンズとして利用することもできる。
なお、メインカメラ２０の撮影レンズ変更に伴い、サブカメラ８０のレンズ交換も同時に行うという方法とすることも可能である。
これらの方法により、図４（Ｃ）で示すように、メインカメラ２０の撮影エリア３２０の画角が変化しても、サブカメラ８０で被写体１２０の追尾を続行することができる。また、図２に示したようにメインカメラ２０とサブカメラ８０の光軸中心位置には基線長分の位置差があり、特に近距離では、メインカメラ２０の光軸中心と被写体位置の関係は、サブカメラ８０の光軸中心と被写体の位置関係は一致しないが、その場合でも、被写体１２０とメインカメラ２０およびサブカメラ８０の光学的な位置関係が、デジタルカメラなどと被写体１２０との距離を算出することで決定することができるため、基線長分の誤差修正を行い、サブカメラ８０でも被写体１２０の追尾を行うことが可能になる。
＜ＥＶＦの表示例＞
次に、図５により、本発明の実施の形態１に係る撮像装置のＥＶＦの表示例について説明する。図５は本発明の実施の形態１に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
図５（Ａ）は、図４（Ａ）と同様で、被写体１２０は、メインカメラ２０の撮影エリア３２０内にある。ユーザーがここでは飛翔する鳥を被写体として選択して、追尾している状態で、ちょうど撮影に適した状態で、被写体１２０は、メインカメラ２０の視野内略中央に位置しており、ユーザーはこれをＥＶＦ４０で確認し、メインカメラ２０で被写体を追尾できる状態である。
図５（Ｂ）は、被写体１２０が、メインカメラ２０の撮影エリア３２０を外れてしまった状態を示す。メインカメラ２０では被写体１２０を追尾できない状態になっているが、メインカメラ２０の撮影エリア３２０より広角な範囲を捉えているサブカメラ８０の撮影エリア３１０では、被写体１２０は捕捉している。
そこで、本実施の形態では、サブカメラ８０では捕捉しているものの、メインカメラ２０の視野には見られない被写体１２０をメインカメラの視野に入れるために、パン・ガイド３３０をＥＶＦ４０に表示する。このパン・ガイド３３０の矢印方向にデジタルカメラなどを向けることにより、ユーザーがＥＶＦ４０にて被写体１２０を再捕捉できるようにする。
図５（Ｃ）は、図５（Ｂ）とは異なり、被写体１２０が、まだメインカメラ２０の視野にあるものの、移動を続ける被写体１２０がメインカメラ２０の視野から出ようとしているとき、ＥＶＦ４０にてデジタルカメラなどを向ける方向を、パン・ガイド３３０として矢印表示によりガイドすることで、メインカメラ２０の視野に捕捉し続けることができる。
この処理は、主にメインカメラ２０の映像で行い、本実施の形態における被写体１２０であるところの飛翔している鳥が、画面下に向かって移動したときに、それを追尾するためのガイドをユーザーに提供することで、被写体１２０を追尾し続けることができる。
図５（Ｄ）は、メインカメラ２０で捕捉している被写体１２０が、カメラに急接近することで、メインカメラ２０の視野を超える大きさになるときに、ＥＶＦ４０上に、「ＺＯＯＭ ＯＵＴ！」の表示３４０をすることで、ユーザーにレンズの焦点距離が長すぎることを警告するものである。
具体的には、ユーザーはこのメッセージが表示されたときに、メインカメラ２０のズームレンズを、短焦点距離方向に動かすことで、再度、被写体１２０をメインカメラ２０内に収めることができる。また、ズームレンズの焦点距離をシステムで制御できる構造である場合は、自動的にズームレンズの焦点距離を短焦点距離方向に動かして、ユーザーの撮影をアシストするようにしてもよい。
また、逆に被写体１２０が急激にデジタルカメラなどから離れていくときには、逆に「ＺＯＯＭ ＩＮ！」の表示をしたり、自動的にズームレンズを動かしたりしてもよい。
これらのパン・ガイド３３０および「ＺＯＯＭ ＯＵＴ！」の表示３４０などの表示は、ＥＶＦ４０内で単に画像上にＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示してもよく、より強調表示するために、色を変えたり、点滅をしたりしてもよい。
このときの点滅速度は、デジタルカメラなどと被写体１２０との関係で、ユーザーによるデジタルカメラなどの操作が急を要するときは、速く表示する等のことをしてもよく、また、これらの表示自体の表示可否および表示方法を、予めデジタルカメラなどの設定で指定しておくことで、表示の有無をユーザーが自由に選択することができる。
＜撮像装置の動作＞
次に、図６により、本発明の実施の形態１に係る撮像装置の動作について説明する。図６は本発明の実施の形態１に係る撮像装置の動作を示すフローチャートであり、デジタルカメラとしての全体動作を示している。
まず、電源を入れると、全回路起動・初期設定を行い、デジタルカメラの起動と、例えば、図５（Ｄ）で示したような、予めユーザーが指定した初期値に従ってカメラ動作がスタートする（ステップＳ１００）。
以降は、カメラ動作中のループであり、ユーザーにより電源ＯＦＦボタンなどが操作されるなどにより、電源ＯＦＦの指示があるか否かを判断し（ステップＳ１１０）、ステップＳ１１０で電源ＯＦＦの指示があると判断され、デジタルカメラの電源が全ＯＦＦ（ステップＳ１２０）されるまで、以降の動作は継続される。
但し、図示しないバッテリー容量が所定値以下になった場合などでは、電源ＯＦＦの動作を自動的に行う。このときユーザーにＥＶＦ４０やＬＣＤ１３０により、「電池が消耗しています」などのメッセージを出してもよい。
次に、メインカメラ映像取込の処理により、例えば、毎秒３０コマ（３０ｆｐｓ＝３０ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）でメインカメラ２０から映像を取り込み（ステップＳ１３０）、ＥＶＦ４０に表示する（ステップＳ１４０）。これにより３０ｆｐｓの動画として、ＥＶＦ４０をデジタルカメラのファインダーとして用いて、ユーザーが被写体１２０を狙ったり追尾したりすることができる。
そして、ユーザーによるシャッターボタンが押下されたか否かを判断し（ステップＳ１５０）、ステップＳ１５０でシャッターボタンが押下されたと判断された場合は、メインカメラ２０から取り込んだ画像を撮影する状態であり、被写体１２０にピントが合った状態となっており、このとき、例えば、ファインダーとして使っていた高速で撮影するためのメインカメラの全画素を使わないモードから、メインカメラ２０の全画素を取り込むモードとして、全画素を取り込み（ステップＳ１６０）、取り込んだ画像データを圧縮・保存する（ステップＳ１７０）。
ステップＳ１７０では、例えば、ＪＰＥＧ形式の圧縮を行い、ＳＤメモリなどの着脱可能なメモリに圧縮画像データを保存する。そして、所定時間、撮影した画像をＬＣＤ１３０に表示し（ステップＳ１８０）、ユーザーに撮影した画像の確認ができるようにした後、再び、ステップＳ１１０に移行し、撮影のための基本ループに戻る。
また、ステップＳ１５０でシャッターボタンが押下されていないと判断された場合は、移動中の被写体を追尾するために、メインカメラ２０およびサブカメラ８０からの撮影画像より被写体１２０のオブジェクト抽出を行う（ステップＳ１９０）。オブジェクトの抽出方法としては、データベース６０から想定される被写体１２０の形状・色などの特徴を読み出して、メインカメラ２０およびサブカメラ８０で撮影した撮影画像内に写っている物体との相関を計算することにより抽出する。
そして、ステップＳ１９０で抽出された被写体１２０のオブジェクトの中で追尾するオブジェクトが存在するか否かを判断し（ステップＳ２００）、ステップＳ２００でオブジェクトの中で追尾するオブジェクトが存在しないと判断された場合は、ステップＳ１１０に移行し、再び撮影のための基本ループに戻る。
ステップＳ２００での判断においては、例えば、常に撮影エリア内にある被写体を、ユーザーが撮影したい対象物である被写体して、追尾するオブジェクトとして指定されたかか、またはユーザーがＬＣＤ１３０上に表示されている被写体１２０を選択するなどして指定されたかで、追跡するオブジェクトの存在を判断する。
そして、ステップＳ２００で、オブジェクトの中で追尾するオブジェクトが存在すると判断された場合は、サブカメラ８０上に追尾するオブジェクトが存在するか否かを判断する（ステップＳ２１０）。ステップＳ２１０でサブカメラ８０上に追尾するオブジェクトが存在すると判断された場合は、被写体１２０の位置がメインカメラ２０の撮影エリアから外れかけていながら、サブカメラ８０では撮影されている場合や、サブカメラ８０のみで撮影されている場合では、ＥＶＦ４０上に、例えば、図５（Ｂ）や図５（Ｃ）に示すような、パン・ガイド３３０を表示し、ＥＶＦ４０上に被写体１２０のいる方向を矢印で表示する（ステップＳ２２０）。
そして、ステップＳ２１０でサブカメラ８０上に追尾するオブジェクトが存在しないと判断された場合、およびステップＳ２２０でＥＶＦ４０上に被写体１２０のいる方向を矢印で表示した後、当該オブジェクトにピントを合わせ（ステップＳ２３０）、継続して追尾しつつ、ステップＳ１１０に移行し、撮影の基本ループに戻り、ユーザーによるシャッター押下げを待つ。
以上の処理により、ユーザーが撮影している被写体１２０のオブジェクトが、メインカメラ２０の撮影エリア３２０から外れた場合でも、ユーザーは被写体１２０の方向を認識することができ、被写体１２０にピントを合わせた状態での追尾も継続して行うことができる。
＜サブカメラの取付誤差修正方法＞
次に、図７により、本発明の実施の形態１に係る撮像装置のサブカメラの取付誤差修正方法について説明する。図７は本発明の実施の形態１に係る撮像装置のサブカメラの取付誤差修正方法を説明するための説明図である。
サブカメラ８０は、メインカメラ２０のように撮影用のカメラではないので、その性能は必ずしも、高画質静止画を撮影可能なレベルである必要はない。画素数が所定以上あることと、小型なことなどの設計要求より、カメラ本体と信号処理回路が１パッケージになった、携帯電話やスマートフォンなどの小型携帯端末に取り付けているようなカメラモジュールを用いるのが望ましい。
ここで、本実施の形態のサブカメラ８０は、メインカメラ２０に写った被写体を同時に認識することが必要になるが、そのためには、本来メインカメラ２０とサブカメラ８０の光軸が平行になることが望ましい。しかし、例えば、携帯電話やスマートフォンに用いられるカメラモジュールは、その光軸を正確な精度にて取り付けることに困難が生じる。
そこで、メインカメラ２０とサブカメラ８０をデジタルカメラ本体に装着して、サブカメラ８０の取付誤差を修正する方法を示す。
図７に示すように、コンデンサーレンズ３５０を用いて無限遠像として認識される被写体３６０を、メインカメラ２０とサブカメラ８０で同時に撮影する。このとき被写体３６０がメインカメラ２０の撮影画像３８０の中央に来るように被写体像４００を表示させたとき、サブカメラ８０の撮影画像３９０上には、その取り付け位置精度の誤差により、中心から外れた位置に被写体像４００が見える。
この位置は、画像の左端からＸ−Ｙの座標として数値測定することができる。この数値を用いて、サブカメラ８０の撮影画像に写った被写体像４００がサブカメラ８０の中心であるようにサブカメラ８０の撮影データの処理回路に座標補正値を与えることで、メインカメラ２０の撮影画像３８０の中央にある被写体像４００とサブカメラ８０の撮影画像に写った被写体像４００を同じ被写体として認識することができるようになり、サブカメラ８０の取付誤差を補正することができる。
なお、本実施の形態では、撮像装置の一例として、デジタルカメラについて説明したが、ビデオカメラなど、被写体の映像をレンズを通してカメラセンサに映像投射させ、各画素毎に照射された光の量を測定することにより、二次元の撮像映像を取得する装置であれば、どのような装置にも適用可能である。
（実施の形態２）
実施の形態１では、サブカメラ８０を用いたが、実施の形態２では、メインカメラ２０のみを用いて、被写体が撮影エリアを外れた場合も、被写体を追尾できるようにしたものである。
＜撮像装置の基本構成＞
図８により、本発明の実施の形態２に係る撮像装置の基本構成について説明する。図８は本発明の実施の形態２に係る撮像装置の基本構成を示す構成図である。
図８において、撮像装置は、図１に示す撮像装置に対して、サブカメラ８０およびサブカメラ８０の撮影画像により被写体を追尾する被写体追尾部９０を削除した構成であり、対物レンズ１０を介して被写体の画像が投影されるカメラセンサであるメインカメラ２０、信号処理ＤＳＰ３０、ＥＶＦ４０、オブジェクト抽出部５０、データベース６０、空間周波数計算部７０、距離情報算出部１００、ＡＦ制御部１１０から構成されている。
また、信号処理ＤＳＰ３０、オブジェクト抽出部５０、空間周波数計算部７０、距離情報算出部１００、ＡＦ制御部１１０で処理部を構成している。
ここで撮像装置は、実施の形態１と同様に、撮影する対象物として、高速で飛翔する鳥のような移動体である被写体を選択している。この選択は、実施の形態１と同様に、被写体が所定時間以上、対物レンズ１０を通してメインカメラ２０にて受光する被写体の撮影画像が、所定時間連続してメインカメラ２０に受光されたときに、被写体として認識を行う。
本実施の形態では、図１に示す実施の形態１の撮像装置と同様に対物レンズ１０を通してメインカメラ２０に投射された被写体の撮影画像は、電子信号に変換され、信号処理ＤＳＰ３０に入力される。ここで、入力信号は、輝度＋色差信号からなるＹＵＶに変換され、また、同時にＥＶＦ４０にてユーザーに提供され、特に移動している被写体をユーザーが撮像装置を振って追尾するときに使われる。
移動する被写体を追尾するための、オブジェクト抽出部５０、データベース６０、空間周波数計算部７０、距離情報算出部１００、ＡＦ制御部１１０の動作は、図１に示す実施の形態１と同様である。
＜撮像装置の被写体の追尾動作＞
次に、図９および図１０により、本発明の実施の形態２に係る撮像装置の被写体の追尾動作について説明する。図９および図１０は本発明の実施の形態２に係る撮像装置の被写体の追尾動作を説明するための説明図であり、図９はメインカメラの全画素数を使って撮影する場合、図１０はメインカメラの全画素数の一部を使って撮影する場合を示している。
本実施の形態では、実施の形態１のように、サブカメラ８０がないので、メインカメラ２０からの情報のみで動く被写体の追尾を行うが、その方法として、以下の２種類の方法がある。
第１の方法は、メインカメラ２０の全画素数を使って、撮影をする場合である。この場合は、例えば、図９（Ａ）に示すように、メインカメラ２０の撮影エリア４１０から被写体１２０が外れた場合の復帰はできなくなる。この対策として、例えば、メインカメラ２０の撮影エリア４１０から被写体１２０が外れた場合、自動的にズームレンズの焦点距離を短くして、より広角のレンズで再度被写体１２０を探して捕捉し、撮影エリア４１０を図９（Ｂ）に示すような状態とするという動作を行うことで、被写体１２０の追尾を継続して行うことができる。
第２の方法は、メインカメラ２０の全画素数ではなく、特定の大きさのメインカメラ２０の全画素数より少ない画素数の部分を撮影エリア４１０の撮影画素として利用する方法である。
この場合、図１０（Ａ）に示す撮影エリア４１０が、ＥＶＦ４０で表示されている範囲であり、実際に撮影するために、ユーザーが見ている範囲であるが、それより広角の大きな範囲をメインカメラ２０の撮影エリア３１０は捉えており、ＥＶＦ４０で視認している範囲から、被写体１２０が外れたときも、メインカメラ２０は被写体１２０を追尾を続けているので、パン・ガイド３３０を表示して、ユーザーに被写体１２０の位置を指示して、更なる追尾を継続するように、撮像装置を動かす指示を出すことができる。
また、被写体１２０が撮影エリア４１０から多少外れても、メインカメラ２０の全画素のうちの撮影エリア４１０として切り出す部分を、図１０（Ｂ）に示すように、メインカメラ２０の中心から、被写体１２０が写っている方向にずらして、被写体１２０が捉えられている画素を切り出すことで、動く被写体１２０を追尾しつつ撮影することも可能である。
特定の大きさのメインカメラ２０の全画素数より少ない画素数の部分を撮影エリア４１０の撮影画素として利用する場合の詳細について説明する。メインカメラ２０は、実際に撮影を行う撮影エリア４１０に比べて広角な範囲をカバーしている。ここで被写体１２０が撮影エリア４１０の外にいる場合は、パン・ガイド３３０をＥＶＦ４０に表示し、ユーザーに撮像装置を動かす指示を出す。図１０（Ａ）に示す例では、被写体１２０が右下にあるので、右下方向にカメラを向ける指示を出している。
また、撮影エリア４１０自体を右下方向に動かすことで、被写体１２０を撮影エリア４１０内に入れる場合には、被写体１２０が撮影エリア４１０に入っていても、撮影エリア４１０はメインカメラ２０の全画素の中で、中央ではなく偏った位置にあるので、ＥＶＦ４０には、図１０（Ｂ）に示すように、パン・ガイド３３０の表示を出し続け、撮影エリア４１０が、再びメインカメラ２０の中央付近に戻るまで、ユーザーに被写体追尾の方向を指示し続ける。
以上の処理により、本実施の形態においても、実施の形態１と同様に、ユーザーが撮影している被写体１２０のオブジェクトが、撮影エリア４１０から外れた場合でも、ユーザーは被写体１２０を認識することができ、被写体１２０にピントを合わせた状態での追尾も継続して行うことができる。
（実施の形態３）
実施の形態１および２では、ＥＶＦ４０には、実際の撮影エリアの表示を行っているが、実施の形態３では、被写体１２０が、撮影エリア４１０から外れた場合には、被写体１２０と撮影エリア４１０との位置関係の状況に従ってＥＶＦ４０に表示する映像を切り替えて、撮影エリア４１０の外側も補足エリアとして表示するようにしたものである。ＥＶＦ４０の表示処理以外の動作については、実施の形態１および２と同様である。
＜ＥＶＦの表示例＞
図１１により、本発明の本発明の実施の形態３に係る撮像装置のＥＶＦの表示例について説明する。図１１は本発明の実施の形態３に係る撮像装置のＥＶＦの表示例を説明するための説明図である。
図１１（Ａ）において、ＥＶＦ４０で見えている撮影エリア４１０の被写体１２０は、メインカメラ２０からぎりぎり外れるところに来ている。このとき、例えば、サブカメラ８０を利用したり、メインカメラ２０の撮像範囲をメインカメラ２０の全体の撮影エリアのうちの一部を使っている場合、被写体１２０は撮像装置が捕捉し続けているが、ユーザーの目からは見えない位置に移動しかけている状態となっている。
ここで、図１１（Ｂ）に示すように、ＥＶＦ４０でユーザーが見える範囲を、補足エリア４２０として、サブカメラ８０の撮影画像、またはメインカメラ２０の全面の撮影画像を見せ、その中に実際に撮影される撮影エリア４１０を枠線を重畳して見せることで、ユーザーは広い補足エリア４２０で被写体１２０を追いかけ、撮影エリア４１０内にうまくフレーミングして撮影することができる。
なお、実施の形態１に示したサブカメラ８０を用いる撮像装置に対して、実施の形態２に示したサブカメラ８０を用いない撮像装置の処理を組み合わせることも可能である。この場合は、サブカメラ８０による撮影エリアと、メインカメラ２０の全画素の撮影エリアを異なるものにするなどして、被写体１２０が実際の撮影エリアから外れた場合に、実際の撮影エリアの外部の撮影画像として最適な画像を選択して、より精度の高い被写体の追尾を行うことが可能となる。
１０…対物レンズ、２０…メインカメラ、３０…信号処理ＤＳＰ、４０…ＥＶＦ、５０…オブジェクト抽出部、６０…データベース、７０…空間周波数計算部、８０…サブカメラ、９０…被写体追尾部、１００…距離情報算出部、１１０…ＡＦ制御部。

Claims (20)

  1. 被写体を撮影し、前記被写体の撮影画像を取得する撮像装置であって、
    前記被写体を撮影する第１のカメラセンサと、
    前記第１のカメラセンサで撮影された前記撮影画像を表示する表示部と、
    前記第１のカメラセンサより広い撮影範囲で前記被写体を撮影する第２のカメラセンサと、
    前記第１のカメラセンサおよび前記第２のカメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせる処理部と、
    を備え、
    前記処理部は、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像から抽出された前記被写体を追尾する、撮像装置。
  2. 請求項１に記載の撮像装置において、
    複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースを備え、
    前記処理部は、前記データベースに格納された前記データと、前記第１のカメラセンサおよび前記第２のカメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、撮像装置。
  3. 請求項２に記載の撮像装置において、
    前記処理部は、前記被写体が複数ある場合に、前記第１のカメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、撮像装置。
  4. 請求項３に記載の撮像装置において、
    前記処理部は、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像から抽出された前記被写体に基づいて、前記表示部に、前記被写体の方向を示す情報を表示する、撮像装置。
  5. 請求項４に記載の撮像装置において、
    前記処理部は、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像に基づいて、前記表示部に前記第１のカメラセンサの撮影範囲外の撮影画像を表示させる、撮像装置。
  6. 請求項５に記載の撮像装置において、
    前記処理部は、前記第１のカメラセンサの中心部で無限遠画像の被写体を撮影した撮影画像と、前記無限遠画像の被写体の前記第２のカメラセンサの撮影画像とを比較し、前記第２のカメラセンサ上での前記無限遠画像の被写体の位置情報に基づいて、前記第２のカメラセンサの取付誤差を修正する、撮像装置。
  7. 被写体を撮影し、前記被写体の撮影画像を取得する撮像装置であって、
    前記被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサと、
    前記被写体の撮影画像の撮影範囲の画像を表示する表示部と、
    前記カメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせる処理部と、
    を備え、
    前記処理部は、前記被写体が前記撮影範囲の領域外に移動した場合に、前記撮影範囲の領域外で撮影された前記カメラセンサの撮影画像から抽出された前記被写体を追尾する、撮像装置。
  8. 請求項７に記載の撮像装置において、
    複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースを備え、
    前記処理部は、前記データベースに格納された前記データと、前記カメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、撮像装置。
  9. 請求項８に記載の撮像装置において、
    前記処理部は、前記被写体が複数ある場合に、前記カメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、撮像装置。
  10. 請求項９に記載の撮像装置において、
    前記処理部は、前記被写体が前記撮影範囲の領域がに移動した場合に、前記撮影範囲の領域外で撮影された前記カメラセンサの撮影画像から抽出された前記被写体に基づいて、前記表示部に、前記被写体の方向を示す情報を表示する、撮像装置。
  11. 請求項１０に記載の撮像装置において、
    前記処理部は、前記被写体が前記撮影範囲の領域外に移動した場合に、前記カメラセンサで撮影された撮影画像に基づいて、前記表示部に前記撮影範囲の領域外の撮影画像を表示させる、撮像装置。
  12. 請求項９に記載の撮像装置において、
    前記処理部は、前記被写体が前記撮影範囲の領域外に移動した場合に、前記カメラセンサで撮影された撮影画像の中で、前記撮影範囲とする領域を前記被写体が撮影できる位置に移動させる、撮像装置。
  13. 請求項１２に記載の撮像装置において、
    前記処理部は、前記撮影範囲とする領域を移動させた場合に、前記撮影範囲とする領域が、前記カメラセンサの中央付近に戻るまで、前記表示部に、前記被写体の方向を示す情報を表示する、撮像装置。
  14. 被写体を撮影し、前記被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、
    処理部により、第１のカメラセンサおよび前記第１のカメラセンサより広い撮影範囲で前記被写体を撮影する第２のカメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせ、前記被写体が前記第１のカメラセンサの撮影範囲外に移動した場合に、前記第２のカメラセンサで撮影された撮影画像から抽出された前記被写体を追尾する、被写体追尾方法。
  15. 請求項１４記載の被写体追尾方法において、
    前記処理部により、複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースに格納されたデータと、前記第１のカメラセンサおよび前記第２のカメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、被写体追尾方法。
  16. 請求項１５に記載の被写体追尾方法において、
    前記処理部により、前記被写体が複数ある場合に、前記第１のカメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、被写体追尾方法。
  17. 被写体を撮影し、前記被写体の撮影画像を取得する撮像装置における被写体追尾方法であって、
    処理部により、前記被写体の撮影画像の撮影範囲よりも広い範囲を撮影するカメラセンサで撮影された撮影画像から、前記被写体を抽出して、抽出した前記被写体を追尾し、前記被写体の撮影時に前記被写体にピントを合わせ、前記被写体が前記撮影範囲の領域外に移動した場合に、前記撮影範囲の領域外で撮影された前記カメラセンサの撮影画像から抽出された前記被写体を追尾する、被写体追尾方法。
  18. 請求項１７に記載の被写体追尾方法において、
    前記処理部により、複数種類の移動する前記被写体の特徴を示すデータを格納するデータベースに格納されたデータと、前記カメラセンサで撮影された撮影画像とを照合することにより、前記被写体を抽出する、被写体追尾方法。
  19. 請求項１８に記載の被写体追尾方法において、
    前記処理部により、前記被写体が複数ある場合に、前記カメラセンサで撮影された前記撮影画像内に長くとどまっている被写体、または前記撮像装置の動きに合わせて動いている被写体を撮影する被写体として追尾する、被写体追尾方法。
  20. 請求項１９に記載の被写体追尾方法において、
    前記処理部により、前記被写体が前記撮影範囲の領域外に移動した場合に、前記カメラセンサで撮影された撮影画像の中で、前記撮影範囲とする領域を前記被写体が撮影できる位置に移動させる、被写体追尾方法。
JP2016537666A 2014-07-31 2014-07-31 撮像装置およびその被写体追尾方法 Pending JPWO2016016984A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/070164 WO2016016984A1 (ja) 2014-07-31 2014-07-31 撮像装置およびその被写体追尾方法

Publications (1)

Publication Number Publication Date
JPWO2016016984A1 true JPWO2016016984A1 (ja) 2017-06-01

Family

ID=55216925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537666A Pending JPWO2016016984A1 (ja) 2014-07-31 2014-07-31 撮像装置およびその被写体追尾方法

Country Status (7)

Country Link
US (6) US10609273B2 (ja)
JP (1) JPWO2016016984A1 (ja)
KR (1) KR102375643B1 (ja)
CN (2) CN106575027B (ja)
DE (1) DE102020108663A1 (ja)
TW (1) TWI772887B (ja)
WO (1) WO2016016984A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6525724B2 (ja) * 2015-05-20 2019-06-05 キヤノン株式会社 パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
JP6552315B2 (ja) * 2015-07-27 2019-07-31 キヤノン株式会社 撮像装置
JP6648916B2 (ja) * 2015-07-27 2020-02-14 キヤノン株式会社 撮像装置
US10270965B2 (en) 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
KR20180020689A (ko) * 2016-08-19 2018-02-28 엘지전자 주식회사 이동 단말기
KR102593824B1 (ko) 2016-08-31 2023-10-25 삼성전자주식회사 카메라를 제어하기 위한 방법 및 그 전자 장치
US10863079B2 (en) * 2017-07-13 2020-12-08 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, and non-transitory computer-readable storage medium
WO2019014861A1 (en) * 2017-07-18 2019-01-24 Hangzhou Taruo Information Technology Co., Ltd. INTELLIGENT FOLLOWING OF OBJECTS
KR102645340B1 (ko) * 2018-02-23 2024-03-08 삼성전자주식회사 전자 장치 및 그의 녹화 방법
CN108897789B (zh) * 2018-06-11 2022-07-26 西南科技大学 一种跨平台的社交网络用户身份识别方法
TWI670646B (zh) 2018-06-15 2019-09-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統
TWI693828B (zh) * 2018-06-28 2020-05-11 圓展科技股份有限公司 顯示擷取裝置與其操作方法
US10679065B2 (en) * 2018-07-03 2020-06-09 Hitachi, Ltd. Non-invasive data extraction from digital displays
AT521845B1 (de) * 2018-09-26 2021-05-15 Waits Martin Verfahren zur Fokuseinstellung einer Filmkamera
KR102170921B1 (ko) * 2018-11-13 2020-10-28 에이치엔티 일렉트로닉스(주) 촬영 시스템 및 촬영 시스템 제어방법
CN109889727A (zh) * 2019-03-14 2019-06-14 睿魔智能科技（深圳）有限公司 无人拍摄目标切换方法及系统、无人摄像机及存储介质
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
JP7296817B2 (ja) 2019-08-07 2023-06-23 キヤノン株式会社 撮像装置及びその制御方法
CN114270800A (zh) * 2019-08-29 2022-04-01 富士胶片株式会社 摄像装置、摄像装置的动作方法及程序
JP7379083B2 (ja) * 2019-10-24 2023-11-14 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
JP7173067B2 (ja) * 2020-02-28 2022-11-16 カシオ計算機株式会社 撮像装置、撮影システム、撮像方法及びプログラム
US11601589B2 (en) 2020-09-15 2023-03-07 Micron Technology, Inc. Actuating an image sensor
CN112954220A (zh) * 2021-03-03 2021-06-11 北京蜂巢世纪科技有限公司 图像预览方法及装置、电子设备、存储介质
CN115278043A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 一种目标追踪方法及相关装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234560A (ja) * 1997-10-03 1999-08-27 Canon Inc マルチメディア編集方法及び装置
JP2007041046A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
JP2007129480A (ja) * 2005-11-02 2007-05-24 Omron Corp 撮像装置
JP2008035348A (ja) * 2006-07-31 2008-02-14 Eastman Kodak Co 複数光学系を有する撮像装置
JP2008136024A (ja) * 2006-11-29 2008-06-12 Fujifilm Corp 撮影装置、撮影システムおよび撮影方法
JP2009265583A (ja) * 2008-04-30 2009-11-12 Nikon Corp 撮影装置
JP2010533416A (ja) * 2007-07-13 2010-10-21 タンドベルク・テレコム・エイ・エス 自動的カメラ制御方法とシステム
JP2011091705A (ja) * 2009-10-23 2011-05-06 Canon Inc 画像処理装置、および画像処理方法
JP2012027229A (ja) * 2010-07-23 2012-02-09 Ricoh Co Ltd 撮像装置および撮像方法
JP2012049651A (ja) * 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
JP2012147370A (ja) * 2011-01-14 2012-08-02 Panasonic Corp 撮像装置
JP2013013050A (ja) * 2011-05-27 2013-01-17 Ricoh Co Ltd 撮像装置及びこの撮像装置を用いた表示方法
JP2013127601A (ja) * 2011-11-16 2013-06-27 Panasonic Corp 撮像装置
JP2014033313A (ja) * 2012-08-02 2014-02-20 Olympus Imaging Corp 撮影機器
JP2014050022A (ja) * 2012-09-03 2014-03-17 Nikon Corp 画像処理装置、撮像装置、およびプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580248A (ja) 1991-09-19 1993-04-02 Ricoh Co Ltd オートフオーカス装置
US6040220A (en) * 1997-10-14 2000-03-21 Advanced Micro Devices, Inc. Asymmetrical transistor formed from a gate conductor of unequal thickness
US6093947A (en) * 1998-08-19 2000-07-25 International Business Machines Corporation Recessed-gate MOSFET with out-diffused source/drain extension
US6614998B1 (en) * 1999-10-18 2003-09-02 Fuji Photo Film Co., Ltd. Automatic focusing camera and shooting method
JP4507392B2 (ja) * 2000-11-15 2010-07-21 株式会社ニコン 電子カメラ
US7214991B2 (en) * 2002-12-06 2007-05-08 Taiwan Semiconductor Manufacturing Co., Ltd. CMOS inverters configured using multiple-gate transistors
JP2006032410A (ja) 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd 半導体装置およびその製造方法
JP2007103694A (ja) * 2005-10-05 2007-04-19 Matsushita Electric Ind Co Ltd 半導体装置及びその製造方法
KR20070056749A (ko) * 2005-11-30 2007-06-04 주식회사 하이닉스반도체 개선된 리프레쉬 특성을 가지는 리세스 채널 트랜지스터제조 방법
US7371645B2 (en) * 2005-12-30 2008-05-13 Infineon Technologies Ag Method of manufacturing a field effect transistor device with recessed channel and corner gate device
US8154605B2 (en) * 2006-08-30 2012-04-10 Nikon Corporation Image tracking apparatus, image tracking method and camera for improved recognition of a target object
JP2008084995A (ja) * 2006-09-26 2008-04-10 Sharp Corp 高耐圧トレンチｍｏｓトランジスタ及びその製造方法
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法
KR20090041152A (ko) * 2007-10-23 2009-04-28 삼성전자주식회사 균일한 두께의 게이트 유전막을 갖는 리세스 채널트랜지스터의 제조방법
GB2492248B (en) * 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
US20120002958A1 (en) * 2010-07-01 2012-01-05 Nokia Corporation Method And Apparatus For Three Dimensional Capture
WO2013015052A1 (ja) * 2011-07-28 2013-01-31 富士フイルム株式会社 カメラ制御システムおよびその動作制御方法
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
US8890207B2 (en) 2011-09-06 2014-11-18 Taiwan Semiconductor Manufacturing Company, Ltd. FinFET design controlling channel thickness
US8759916B2 (en) * 2012-01-27 2014-06-24 International Business Machines Corporation Field effect transistor and a method of forming the transistor
KR101293245B1 (ko) * 2012-02-21 2013-08-09 (주)비에이치비씨 광학 줌 카메라의 줌 트래킹 자동 초점 제어기 및 그 제어 방법
US9209182B2 (en) 2012-12-28 2015-12-08 Taiwan Semiconductor Manufacturing Company, Ltd. Dummy metal gate structures to reduce dishing during chemical-mechanical polishing
EP2995079A4 (en) * 2013-05-10 2017-08-23 Robert Bosch GmbH System and method for object and event identification using multiple cameras
CN104241366B (zh) * 2013-06-07 2017-06-13 台湾积体电路制造股份有限公司 FinFET器件的源极区和漏极区中的位错形成
US9076766B2 (en) * 2013-06-13 2015-07-07 Taiwan Semiconductor Manufacturing Co., Ltd. Mechanism for forming metal gate structure
US10115819B2 (en) * 2015-05-29 2018-10-30 Crossbar, Inc. Recessed high voltage metal oxide semiconductor transistor for RRAM cell
US9443958B2 (en) * 2014-10-06 2016-09-13 United Microelectronics Corp. High voltage metal-oxide-semiconductor transistor device and method of forming the same
US9728646B2 (en) * 2015-08-28 2017-08-08 Taiwan Semiconductor Manufacturing Co., Ltd. Flat STI surface for gate oxide uniformity in Fin FET devices
US9781350B2 (en) * 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
KR102296258B1 (ko) 2017-06-27 2021-08-30 한국전기연구원 트렌치 게이트형 탄화규소 모스펫 구조 및 그 제조방법
US10431663B2 (en) * 2018-01-10 2019-10-01 Globalfoundries Inc. Method of forming integrated circuit with gate-all-around field effect transistor and the resulting structure

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234560A (ja) * 1997-10-03 1999-08-27 Canon Inc マルチメディア編集方法及び装置
JP2007041046A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
JP2007129480A (ja) * 2005-11-02 2007-05-24 Omron Corp 撮像装置
JP2008035348A (ja) * 2006-07-31 2008-02-14 Eastman Kodak Co 複数光学系を有する撮像装置
JP2008136024A (ja) * 2006-11-29 2008-06-12 Fujifilm Corp 撮影装置、撮影システムおよび撮影方法
JP2010533416A (ja) * 2007-07-13 2010-10-21 タンドベルク・テレコム・エイ・エス 自動的カメラ制御方法とシステム
JP2009265583A (ja) * 2008-04-30 2009-11-12 Nikon Corp 撮影装置
JP2011091705A (ja) * 2009-10-23 2011-05-06 Canon Inc 画像処理装置、および画像処理方法
JP2012027229A (ja) * 2010-07-23 2012-02-09 Ricoh Co Ltd 撮像装置および撮像方法
JP2012049651A (ja) * 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
JP2012147370A (ja) * 2011-01-14 2012-08-02 Panasonic Corp 撮像装置
JP2013013050A (ja) * 2011-05-27 2013-01-17 Ricoh Co Ltd 撮像装置及びこの撮像装置を用いた表示方法
JP2013127601A (ja) * 2011-11-16 2013-06-27 Panasonic Corp 撮像装置
JP2014033313A (ja) * 2012-08-02 2014-02-20 Olympus Imaging Corp 撮影機器
JP2014050022A (ja) * 2012-09-03 2014-03-17 Nikon Corp 画像処理装置、撮像装置、およびプログラム

Also Published As

Publication number Publication date
CN106575027B (zh) 2020-03-06
TW202137556A (zh) 2021-10-01
TWI772887B (zh) 2022-08-01
US20220353430A1 (en) 2022-11-03
US20240061320A1 (en) 2024-02-22
KR20210117896A (ko) 2021-09-29
US11860511B2 (en) 2024-01-02
WO2016016984A1 (ja) 2016-02-04
US20170223261A1 (en) 2017-08-03
CN113054024A (zh) 2021-06-29
KR102375643B1 (ko) 2022-03-17
US20200221015A1 (en) 2020-07-09
US20200221014A1 (en) 2020-07-09
US20240069412A1 (en) 2024-02-29
US10609273B2 (en) 2020-03-31
US11846871B2 (en) 2023-12-19
CN106575027A (zh) 2017-04-19
US11445104B2 (en) 2022-09-13
DE102020108663A1 (de) 2021-09-23

Similar Documents

Publication Publication Date Title
WO2016016984A1 (ja) 撮像装置およびその被写体追尾方法
JP5099488B2 (ja) 撮像装置、顔認識方法およびそのプログラム
US8594390B2 (en) Composition determination device, composition determination method, and program
US10270975B2 (en) Preview image display method, apparatus and storage medium
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
US9300858B2 (en) Control device and storage medium for controlling capture of images
JP5713055B2 (ja) 撮像装置、撮像方法及びプログラム
US10237466B2 (en) Recognition of degree of focus of an image
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
JP2007329602A (ja) 撮像装置、撮影方法、および撮影プログラム
US9888176B2 (en) Video apparatus and photography method thereof
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
JP2011141374A (ja) オートフォーカス制御方法
JP2008028747A (ja) 撮像装置及びそのプログラム
US20210258505A1 (en) Image processing apparatus, image processing method, and storage medium
JP2014033265A (ja) 撮像装置、撮像方法およびプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP5267695B2 (ja) 撮像装置、顔認識方法及びそのプログラム
JP6460310B2 (ja) 撮像装置、画像表示方法及びプログラム
US10027922B2 (en) Imaging apparatus for displaying a specific scene while continuously photographing, image playback method, and non-transitory computer-readable storage medium
JPWO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2008098755A (ja) 撮像装置および方法
US11553136B2 (en) Subject tracking device, subject tracking method, and storage medium
KR20150090983A (ko) 촬영 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170111

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200721