WO2017099517A1 - 촬상 장치 및 촬상 장치의 동작 방법 - Google Patents

촬상 장치 및 촬상 장치의 동작 방법 Download PDF

Info

Publication number
WO2017099517A1
WO2017099517A1 PCT/KR2016/014436 KR2016014436W WO2017099517A1 WO 2017099517 A1 WO2017099517 A1 WO 2017099517A1 KR 2016014436 W KR2016014436 W KR 2016014436W WO 2017099517 A1 WO2017099517 A1 WO 2017099517A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
light source
light emission
region
Prior art date
Application number
PCT/KR2016/014436
Other languages
English (en)
French (fr)
Inventor
시부사와에이지로
아라타 와이. 무라카미에드워드
오쿠노요시아키
기타지마도시히로
최상언
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016223449A external-priority patent/JP2017121041A/ja
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201680072566.2A priority Critical patent/CN108370413B/zh
Priority to KR1020187011306A priority patent/KR102642925B1/ko
Priority to EP16873382.2A priority patent/EP3367663B1/en
Priority to US15/778,483 priority patent/US11044403B2/en
Publication of WO2017099517A1 publication Critical patent/WO2017099517A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present disclosure relates to an imaging device and a method of operating the imaging device.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-243475 discloses an image sensor which processes image information photographed by an imaging means and determines the presence or absence of a human being.
  • the image of the depth-of-field is imaged while the entire area of the depth-of-field is illuminated to determine the presence or absence of a detection target (for example, a motion or a human).
  • a detection target for example, a motion or a human.
  • the illumination of the depth of field is interrupted, monitoring of the depth of field (determination of whether or not to be detected) cannot be carried out continuously.
  • an object of the present disclosure to provide an image capturing apparatus and an operating method of the image capturing apparatus which can continuously perform monitoring of the subject while reducing power consumption required for illumination of the subject.
  • monitoring of the depth of field can be continuously performed while reducing power consumption required for lighting of the depth of field.
  • 1A is a reference diagram for explaining the concept of the present invention as a whole.
  • FIG. 1B is a reference diagram for explaining controlling a thermal area of an image area by selecting one or more light sources from a plurality of light sources.
  • 1C is a reference diagram for explaining controlling a row area of an image area by adjusting a lighting time and an unlighting time of a light source that emits light.
  • 1D is a reference diagram for explaining control of both the row area and the column area of the image area.
  • 1E is a reference diagram for explaining a specific example of controlling both the row area and the column area of the image area.
  • 1F is a reference diagram showing the effect of the disclosed proposal.
  • FIG. 2 is a block diagram showing an example of the configuration of an image pickup apparatus according to the first embodiment.
  • 3A is a schematic diagram illustrating an arrangement example of the imaging device according to the first embodiment.
  • FIG. 3B is a conceptual diagram for explaining a correspondence relationship between a light source and an image region in Embodiment 1.
  • FIG. 3B is a conceptual diagram for explaining a correspondence relationship between a light source and an image region in Embodiment 1.
  • FIG. 4 is a flowchart for explaining the operation of the imaging device according to the first embodiment.
  • FIG 5 is a timing chart showing an example of a light emission pattern of a light source in the imaging device according to the first embodiment.
  • FIG. 6 is a flowchart for explaining the operation of the imaging device according to the second embodiment.
  • FIG. 7 is a flowchart for explaining the operation of the imaging device according to the second embodiment.
  • FIG. 8 is a flowchart for explaining the operation of the imaging device according to the second embodiment.
  • FIG. 9 is a timing chart showing an example of a light emission pattern of a light source in the imaging device according to the second embodiment.
  • FIG. 10 is a flowchart for explaining the operation of the imaging device according to Modification Example 1 of the second embodiment.
  • FIG 11 is a timing chart showing an example of a light emission pattern of a light source in the imaging device according to Modification Example 1 of the second embodiment.
  • FIG. 12 is a flowchart for explaining the operation of the imaging device according to the second modification of the second embodiment.
  • FIG. 13 is a timing chart showing an example of a light emission pattern of a light source in the imaging device according to Modification Example 2 of the second embodiment.
  • FIG. 14 is a flowchart for explaining the operation of the imaging device according to the third embodiment.
  • 15 is a conceptual diagram for describing a candidate region including a region of interest and an adjacent region.
  • 16 is a block diagram illustrating a configuration example of an imaging device according to a fourth embodiment.
  • 17 is a conceptual diagram for explaining an object region.
  • FIG. 18 is a flowchart for explaining the operation of the imaging device according to the modification of the fourth embodiment.
  • 19 is a conceptual diagram for explaining an object region covering the region of interest and an adjacent region.
  • FIG. 20 is a block diagram illustrating a configuration example of an imaging device according to a fifth embodiment.
  • 21 is a diagram for explaining control of a light source by the controller in the fifth embodiment.
  • FIG. 22 is a diagram for explaining the control (control in the motion search mode) of the light source by the controller in the fifth embodiment.
  • FIG. 23 is a diagram for explaining examples other than control of the light source (control in the motion search mode) by the controller in the fifth embodiment.
  • FIG. 24 is a diagram for explaining examples other than control of the light source (control in the motion search mode) by the controller in the fifth embodiment.
  • FIG. 25 is a diagram for explaining a difference between frames in the motion search mode according to the fifth embodiment.
  • FIG. 25 is a diagram for explaining a difference between frames in the motion search mode according to the fifth embodiment.
  • FIG. 26 is a diagram for explaining the transition from the motion search mode to the face recognition mode in the fifth embodiment.
  • FIG. 27 is a diagram for explaining the control of the light source (control in the face recognition mode) by the controller in the fifth embodiment.
  • FIG. 28 is a diagram for explaining examples other than control of the light source (control in the face recognition mode) by the controller in the fifth embodiment.
  • FIG. 29 is a diagram for explaining examples other than control of the light source (control in the face recognition mode) by the controller in the fifth embodiment.
  • FIG. 30 is a block diagram illustrating a configuration example of an imaging device according to a sixth embodiment.
  • 31 is a diagram for explaining an operation of the imaging device according to the sixth embodiment.
  • 32 is a diagram illustrating the light emission operation of the light source according to the sixth embodiment.
  • 33 is a diagram illustrating examples of an image without illumination and an image with illumination.
  • 34 is a diagram for explaining the operation of the controller in the sixth embodiment.
  • 35 is a diagram for explaining the operation of the light source according to the sixth embodiment.
  • 36 is a diagram for explaining the operation of the light source according to the sixth embodiment.
  • 37 is a diagram for explaining another example of the operation of the controller according to the sixth embodiment.
  • 38 is a block diagram illustrating a configuration example of an imaging device according to a seventh embodiment.
  • 39 is a flowchart for explaining the operation of the imaging device according to the seventh embodiment.
  • FIG. 40 is a flowchart for explaining the operation of the imaging device according to the seventh embodiment.
  • 41 is a flowchart for explaining the operation of the imaging device according to the seventh embodiment.
  • 43 is a flowchart for explaining the operation of the imaging device according to the eighth embodiment.
  • 44 is a flowchart for explaining the operation of the imaging device according to the eighth embodiment.
  • 45 is a block diagram illustrating a configuration example of an imaging device according to a ninth embodiment.
  • 46 is a flowchart for explaining the operation of the imaging device according to the ninth embodiment.
  • 47 is a block diagram illustrating a configuration example of an imaging device according to a tenth embodiment.
  • FIG. 48 is a conceptual diagram for explaining a correspondence relationship between a light source, an image capturing unit, and a captured image according to the tenth embodiment
  • 49 is a flowchart for explaining the operation of the imaging device according to the tenth embodiment.
  • 50 is a timing chart illustrating an example of a light emission pattern of a light source in the imaging device according to the tenth embodiment.
  • 51 is a flowchart for explaining the operation of the imaging device according to the modification of the tenth embodiment.
  • FIG. 52 is a flowchart for explaining the operation of the imaging device according to the modification of the tenth embodiment.
  • 53 is a flowchart for explaining the operation of the imaging device according to the modification of the tenth embodiment.
  • FIG. 54 is a timing chart illustrating an example of a light emission pattern of a light source in the imaging device according to a modification of the tenth embodiment
  • 55 is a block diagram illustrating a configuration example of an imaging device according to an eleventh embodiment.
  • 57 is a block diagram illustrating a configuration example of an image pickup device according to a twelfth embodiment.
  • 58 is a flowchart for explaining the operation of the imaging device according to the twelfth embodiment.
  • 59 is a flowchart for explaining the operation of the imaging device according to the twelfth embodiment.
  • 60 is a flowchart for explaining the operation of the imaging device according to the thirteenth embodiment.
  • An imaging device includes a plurality of light sources each emitting light toward a depth of field; An imaging unit for capturing the depth of field to acquire a captured image; A control unit which controls the imaging unit to image the depth of field while executing light emission control of the plurality of light sources to switch the light sources emitted from the plurality of light sources; And a determination unit that determines whether or not a predetermined detection target is present in an image region which is a part of the captured image acquired by the imaging unit, and corresponds to a light source that emits light at the time of imaging to acquire the captured image. Equipped with.
  • the power consumption required for illumination of the depth of field is reduced rather than when all of the plurality of light sources are continuously emitted (that is, when the entire area of the field is continuously illuminated) by switching the light sources to emit light among the plurality of light sources. Can be reduced.
  • region corresponding to the light source which emits light at the time of image pick-up among the picked-up image corresponds to the area
  • the imaging of the subject is continued while switching the light source to emit light among the plurality of light sources, thereby making it possible to determine an image region (that is, the region of the subject of determination in the subject) among the captured images. You can switch. As a result, monitoring of the depth of field (determination of whether or not to be detected) can be continuously performed.
  • the control unit performs the light emission control so that the plurality of light sources emit light in a predetermined light emission order when there is no image area determined to be detected by the determination unit. If there is an image region determined to be detected by the presence of the light source, the light emission control can be performed such that the light emission frequency of the light source corresponding to the image region determined to be detected by the determination unit among the plurality of light sources is increased. have.
  • the control unit when there is an image region determined to be detected by the determination unit, the first light emission that the light source corresponding to the image region determined to be detected by the determination unit emits light
  • the light emission control may be performed such that a second light emission operation in which one or more light sources of light sources corresponding to an image region that are not determined to be detected by the determination unit based on an operation and a predetermined light emission order is performed alternately.
  • a plurality of light sources corresponding to a plurality of image areas determined to be detected by the determination unit may emit light simultaneously.
  • a plurality of light sources corresponding to a plurality of image areas determined to be detected by the determination unit may emit light in sequence.
  • the imaging device may further include a detection unit that detects a predetermined object from a captured image including an image area determined to be detected by the determination unit.
  • the detection unit may include the region of interest when the portion of the region of interest, which is an image region determined by the determination unit, to be detected by the determination unit is an edge of the region of interest.
  • the object can be detected from a candidate region including an adjacent region which is an image region adjacent to the edge portion of the region of interest.
  • the imaging device extracts an object region that is a part of the captured image and includes an object detected by the detection unit from the captured image, and combines the object region and a pre-registered combination image. It may further include an identification unit for identifying the object.
  • control unit may be configured to include a region of interest as an image region determined to be detected by the determination unit and an adjacent region as an image region adjacent to an edge of the region of interest. If so, the light source corresponding to the region of interest and the adjacent region of the plurality of light sources is emitted to image the depth of field to the imaging unit, and the identification unit captures the image when the light source corresponding to the region of interest is emitting light.
  • the imaging unit is configured to be driven by a rolling shutter method
  • the control unit is configured to control at least one light source of the plurality of light sources for a period except for a period in which all the lines of the imaging unit are simultaneously exposed in the light emission control.
  • a light source which emits the light source so that there is a period in which it is turned on and a period in which the at least one light source is turned off
  • the determination unit emits light at the time of imaging to acquire the captured image among the captured images acquired by the imaging unit
  • the presence or absence of the detection target can be determined in the image region corresponding to the image region corresponding to the period in which the at least one light source is turned on.
  • the control unit performs the light emission control so that the plurality of light sources emit light in a predetermined light emission order and a lighting order when there is no image area determined to be detected by the determination unit. If there is an image region determined to be detected by the determining section, the light source corresponding to the image region determined to be detected by the determining section is among the plurality of light sources.
  • the light emission control can be performed so that the frequency of turning on in the lighting period corresponding to the determined image region becomes high.
  • the control unit detects by the determination unit a light source corresponding to the image area determined to be detected by the determination unit.
  • a light source corresponding to the image area determined to be detected by the determination unit.
  • the light emission control may be performed such that a second light emission operation in which one light source emits light is alternately performed.
  • a plurality of light sources corresponding to a plurality of image areas determined to be detected by the determination unit may be turned on at the same time.
  • a plurality of light sources corresponding to a plurality of image areas determined as being detected by the determination unit may be sequentially turned on.
  • the plurality of light sources are configured to be capable of changing the light emission amount
  • the control unit corresponds to an image corresponding to a light source that does not emit light at the time of imaging for acquiring the captured image from among the captured images acquired by the imaging unit.
  • the amount of light emitted from the light source may be set based on the brightness of the region.
  • the image pickup apparatus further includes a setting unit, wherein the plurality of light sources are configured to switch the light emission amount into a plurality of light emission amounts, and the controller controls the light emission amount to be set for the light sources to emit light among the plurality of light sources. If this is not determined, the first operation of imaging the depth-of-field projected by the light source which emits light at the selected light emission amount by setting the light emission amount of the light source to a light emission amount selected from the plurality of light emission amounts in a predetermined order is performed.
  • the imaging unit emits a field of light emitted by the light source to set the light emission amount of the light source to the light emission amount to be set and emit light at the light emission amount to be set.
  • the setting unit It may be the amount of light emitted by the light source that emits light at the time of image pickup for obtaining the picked-up image including a detection target that is determined by the image region determining the amount of light emission can be set for the light source.
  • the plurality of light sources may be configured to switch the light emission amount into a first light emission amount and a second light emission amount less than the first light emission amount, and the imaging unit may convert the exposure time to the first exposure time and the first exposure time.
  • the control unit is configured to be switchable to a longer second exposure time, and the control unit sets the light emission amount of the light source corresponding to the image region determined to be the detection target by the determination unit as the first light emission amount, and simultaneously reflects the light from the light source.
  • the exposure time of the imaging section at the time of true depth-of-field imaging is set to the first exposure time, and the emission amount of the light source corresponding to the image region determined as no detection target by the determination section is set to the second emission amount,
  • the exposure time of the imaging unit at the time of imaging the depth of field illuminated by the light source can be set to the second exposure time.
  • the imaging unit is configured to be driven by a rolling shutter method
  • the control unit is configured to control at least one light source of the plurality of light sources for a period except for a period in which all the lines of the imaging unit are simultaneously exposed in the light emission control.
  • the light source is made to emit light such that there is a lighted period and a time period in which the at least one light source is turned off, and the control unit is based on a light source of the plurality of light sources and a light period of the emitted light source,
  • the image area for determining the presence or absence of the predetermined detection target among the captured images acquired by the imaging unit can be determined.
  • an image captured by the imaging unit is divided into a plurality of row regions and a plurality of column regions, and among the plurality of column regions corresponding to a light source that emits light at the time of imaging to acquire the captured image.
  • One column area may be determined, and one row area of the plurality of row areas may be determined in response to a period during which the light emitting light source is turned on.
  • an imaging apparatus includes a light source emitting light toward a depth of field; An imaging unit configured to be driven by a rolling shutter method, and for capturing the depth of field to acquire a captured image; And a controller configured to emit the light source so that there is a period in which the light source is turned on and a period in which the light source is turned off within a period except for a period in which all the lines of the imaging unit are exposed at the same time.
  • the imaging device may further include a determination unit that determines whether there is motion by performing the difference between frames in an image area corresponding to a period in which the light source is turned on among the captured images acquired by the imaging unit. have.
  • the image pickup device further includes an identification unit, and when the control unit determines that there is motion, the light is irradiated with stronger light in a period corresponding to the image area determined to be motionless.
  • the light source may be controlled, and the identification unit may perform face recognition in the image area determined to have movement if the determination unit determines that there is movement.
  • an imaging device in another embodiment, includes a light source emitting light toward a depth of field; An imaging unit for capturing the depth of field to acquire a captured image; And a control unit for setting the amount of light emitted from the light source based on the brightness of the captured image acquired by the imaging unit when the light source is not emitting light.
  • the imaging unit may be configured to be driven by a rolling shutter method.
  • the controller may change the light emission amount of the light source by pulse width modulation.
  • the light source may be configured to irradiate infrared light.
  • the brightness of the captured image may include an average value of brightness of a telephone station in the captured image acquired by the imaging unit.
  • an image capturing apparatus includes: a light source configured to switch the light emission amount into a plurality of light emission amounts; An imaging unit configured to capture an image of a depth of field and acquire a captured image; When the light emission amount to be set for the light source is not determined, the imaging unit displays the depth of field emitted by the light source which sets the light emission amount of the light source to a light emission amount selected from the plurality of light emission amounts in a predetermined order and emits the light at the selected light emission amount.
  • the light emission amount to be set for the light source is determined, by setting the light emission amount of the light source to the light emission amount to be set and emitting the light at the light emission amount to be set.
  • a control unit which performs a second operation of imaging an illuminated depth-of-field into the imaging unit;
  • a determination unit that determines the presence or absence of a detection target in the captured image acquired by the imaging unit;
  • a setting unit that determines the light emission amount of the light source at the time of imaging for acquiring the captured image determined to be detected by the determination unit as the light emission amount to be set.
  • the determining unit classifies a plurality of captured images acquired by the imaging unit into the light emission amount of the light source at the time of imaging for acquiring the captured image, and wherein the classification of the light emission amount is performed for each classification of the light emission amounts.
  • the presence or absence of a detection target can be determined.
  • the setting unit when the picked-up image acquired by the second operation of the controller is determined to be no target by the determining unit, the setting unit is configured to indicate the light emission amount of the light source at the time of picking up the picked-up image. The determination of the amount of light emitted to be set can be canceled.
  • the light source may be configured to switch the light emission amount into first and second light emission amounts
  • the control unit may set the light emission amount of the light source to the first light emission amount in the first operation.
  • the first light emission amount is determined to be the light emission amount to be set
  • by the light source set the light emission amount of the light source to the first light emission amount to emit light at the first light emission amount.
  • the imaging unit When an image of a projected depth of field is picked up by the imaging unit, and the second light emission amount is determined as the light emission amount to be set, The light emitting amount of the light source is set to the second light emission amount, and the image of the depth of field emitted by the light source emitted at the second light emission amount is imaged to the imaging unit, and both the first and second light emission amounts are determined as the light emission amount to be set. If there is, the imaging unit can capture an image of the depth of field emitted by the light source which emits light at the converted light emission while alternately switching the light emission of the light source to the first and second light emission amounts.
  • an imaging apparatus includes: a light source configured to switch the light emission amount into a first light emission amount and a second light emission amount less than the first light emission amount, and to emit light toward a depth of field; An imaging unit configured to switch the exposure time to a first exposure time and a second exposure time shorter than the first exposure time, and configured to image the depth-of-field and acquire a captured image; A determination unit that determines the presence or absence of a detection target in the captured image acquired by the imaging unit; And when it is determined by the determination unit that there is a detection target, the light emission amount of the light source is set to the first light emission amount, and the exposure time of the imaging unit is set to the first exposure time, and the detection unit is detected. When it is determined that there is no, the control unit for setting the light emission amount of the light source to the second light emission amount and at the same time the exposure time of the imaging unit to the second exposure time.
  • an imaging method using a plurality of light sources emitting light toward a depth of field, and an imaging unit for capturing an image of the depth of field to acquire a captured image perform light emission control for switching a light source among the plurality of light sources to emit light.
  • a first step of imaging the depth of field with the imaging unit And a second step of determining the presence or absence of a predetermined detection target in an image region corresponding to a light source which is a part of the captured image obtained from the captured image, and which emits light at the time of imaging to acquire the captured image. It can be provided.
  • an imaging method using a rolling shutter includes: a first step of irradiating light onto a depth of field by a light source; And a second step of causing the light source to emit light such that there is a period in which the light source is turned on and a period in which the light source is turned off within a period except for a period in which all lines of the rolling shutter are simultaneously exposed.
  • the imaging method may further include a third step of determining whether or not the motion is performed by performing the difference between frames in the image area in the captured image corresponding to the period in which the light source is turned on.
  • the imaging method comprises: a fourth step of controlling the light source so that stronger light is irradiated in a period corresponding to an image region determined to be motion when it is determined to be motion; And a fifth step of performing face recognition in the image area determined to have motion when determined to have motion.
  • an imaging method includes: a first step of irradiating light onto a subject by a light source; A second step of capturing the depth of field by an imaging unit to obtain a captured image; And a third step of setting the amount of light emitted by the light source based on the brightness of the captured image acquired by the imaging unit at the time of non-emission of the light source.
  • the imaging unit may be configured to be driven by a rolling shutter method.
  • the light emission amount of the light source may be changed by pulse width modulation.
  • the light source may be configured to irradiate infrared light.
  • the brightness of the captured image may include an average value of brightness of a telephone station in the captured image acquired by the imaging unit.
  • an imaging method using a light source configured to switch the light emission amount into a plurality of light emission amounts and an image capturing unit configured to acquire a captured image by capturing a depth of field determines whether the light emission amount to be set for the light source is determined.
  • a first step of determining When it is determined in the first step that the light emission amount to be set for the light source has not been determined, the light source that emits light at the selected light emission amount by setting the light emission amount of the light source to a light emission amount selected from the plurality of light emission amounts in a predetermined order; The amount of light emitted from the light source at the time of imaging for imaging the depth of field projected by the imaging section, determining the presence or absence of a detection target in the captured image acquired by the imaging section, and acquiring the captured image determined to be the detection target.
  • the plurality of captured images acquired by the imaging unit are classified into the light emission amounts of the light sources at the time of imaging for acquiring the captured images, and the captured images are classified for each classification of the light emission amounts.
  • the presence or absence of the said detection object in can be determined.
  • the presence or absence of a detection target is determined in the captured image acquired by the imaging unit, and the emission amount of the light source at the time of imaging for acquiring the captured image determined to be no detection target is described.
  • the determination of the amount of light emitted to be set can be canceled.
  • the light source is configured to switch the light emission amount into first and second light emission amounts, and in the second step, the light emission amount of the light source is set to the first light emission amount to emit light at the first light emission amount.
  • the image of the depth of field illuminated by the light source set to the second light emission amount by setting the light emission amount of the light source to the second light emission amount is imaged to the imaging unit.
  • the light emitting amount of the light source is imaged.
  • the depth of field projected by the light source set to the second light emission amount and emitted by the second light emission amount is captured by the imaging unit, and the first and second light emission amounts are both determined as the light emission amount to be set.
  • An image of the depth of field emitted by the light source, which emits light at the converted light emission amount, is alternately switched to the first and second light emission amounts.
  • the light emission amount is configured to be switchable between the first light emission amount and the second light emission amount smaller than the first light emission amount, the light source emitting light toward the depth of field, and the exposure time, the first exposure time and the first exposure time.
  • An imaging method using an imaging unit configured to be switchable to a second exposure time longer than an exposure time, and configured to capture an image of the depth of field and acquire an image of an image determines whether a detection object is present in the image captured by the imaging unit. First process; And when it is determined in the first step that there is a detection target, the light emission amount of the light source is set to the first light emission amount, and the exposure time of the imaging unit is set to the first exposure time. And when it is determined that there is no detection object, a second step of setting the light emission amount of the light source to the second light emission amount and the exposure time of the imaging unit to the second exposure time.
  • a device for monitoring and photographing the depth of field there is an image sensor equipped with a lighting device for detecting a person or identifying a person in a bright or dark place.
  • lighting apparatuses are disclosed to control timing and light distribution characteristics so that luminance spots do not occur in an image.
  • an increase in power consumption may hinder the miniaturization of devices such as heat dissipation mechanisms.
  • part of the image area corresponding to the depth of field can be captured by setting the time to illuminate the depth of field, not the whole, and / or the time of illuminating the depth of field, not the entire time, but also the time of partially lighting. To control it.
  • 1A is a reference diagram for explaining the concept of the present invention as a whole.
  • the proposed imaging device includes i light sources L1, L2,... Li (i is an integer of 2 or more), and a corresponding part of the depth of field can be illuminated by the light emission of each light source.
  • An image region consisting of i column regions may be configured corresponding to the i light sources.
  • the proposed imaging apparatus may turn on a light source in a period of one frame instead of turning on a light source in the entire period of one frame so that a part of the depth of field corresponding to the partial time is illuminated.
  • the total lighting time of the light source for one frame shot that is, the shot from the first line to the last line of the frame, is determined by T1, T2,.
  • Tj (j is an integer of 2 or more) divided by T1,...
  • the row area corresponding to the selected time period can be captured.
  • both the row area and the column area of the image area to be picked up can be selected by controlling the number of light sources to emit light together with the lighting time of the light source.
  • FIG. 1B is a reference diagram for explaining controlling a thermal area of an image area by selecting one or more light sources from a plurality of light sources.
  • the light source includes 11a, 11b, 11c, 11d.
  • the column region 1, the column region 2, the column region 3, and the column region 4 of the image region corresponding to each light source are displayed.
  • the thermal region 1 in the image region can be obtained by emitting the light source 11a and imaging the image using the imaging unit 12.
  • the thermal region 2 in the image region can be obtained by emitting light 11b, the thermal region 3 in the image region by emitting light 11c, and the thermal region 4 in the image region by emitting light 11d.
  • the light sources By arranging the light sources in parallel and emitting only a specific light source in this manner, it is possible to illuminate the partial region in which the depth of field is vertically divided and to obtain an image for the corresponding partial region. That is, the power required for illumination can be reduced by emitting only some specific light sources for obtaining the partial region.
  • 1C is a reference diagram for explaining controlling a row area of an image area by adjusting a lighting time and an unlighting time of a light source that emits light.
  • the light source includes 11a, 11b, 11c, 11d.
  • the light sources 11a, 11b, 11c, and 11d all emit light together.
  • the row regions 1, row regions 2, and row regions 3 of the image region are displayed corresponding to the times T1, T2, and T3 when the light sources are emitted for photographing one frame.
  • row area 1 of the image area can be obtained.
  • row area 2 in the image area can be obtained.
  • the row area 3 in the image area can be obtained.
  • the rolling shutter to suppress the light emission timing in accordance with the exposure section, the partial region obtained by horizontally dividing the depth of field can be illuminated.
  • the required power can be further reduced as compared with the lighting of the entire period of all the lines of the image.
  • 1D is a reference diagram for explaining control of both the row area and the column area of the image area.
  • the imaging apparatus can control both the row region and the column region of the image region.
  • the column region of the image to be imaged can be selected by selecting at least one of the plurality of light sources installed in parallel as the light emitting light source, and the row region of the image to be imaged by selecting the light emission time of the selected light source.
  • the image area may be divided into a total of twelve small areas consisting of four column areas and three row areas. Can be. Accordingly, an image of a depth of field corresponding to one small region among twelve small regions may be obtained by selecting one light source among four light sources and selecting one time interval among three time intervals in the imaging apparatus.
  • 1E is a reference diagram for describing a specific example of controlling both the row area and the column area of the image area.
  • an image corresponding to the row area 2 of the image area may be obtained by selecting all four light sources as the light emitting light source and emitting the light during the time period T2. Thereby, for example, the image of the face part of the standing person can be acquired.
  • an image corresponding to the thermal region 2 and the thermal region 3 of the image region may be obtained. Thereby, for example, the image of the whole body of the standing person can be acquired.
  • images corresponding to (row region 2, column region 2) and (row region 2, column region 3) of the image regions are selected by selecting 11b and 11c as light emitting light sources and emitting light during the time interval T2. Can be obtained. Thereby, for example, the image of the face part of the standing person can be obtained.
  • 1F is a reference diagram showing the effect of the disclosed proposal.
  • FIG. 1F compares, for example, the electric power required for illumination when the depth of field is divided into four vertically.
  • the power required is 25% of the power required for the entire lighting.
  • the required power is about 2.5% to 4%. Therefore, by dividing the depth of field using a plurality of light sources and performing timing lighting, the required power can be considerably reduced.
  • the imaging device 10 is configured to image a field by monitoring the field.
  • the imaging device 10 is installed in an electronic product (flat panel display in the example of FIG. 3A) installed indoors.
  • the imaging device 10 includes a plurality of light sources 11a-11d, four imaging units 12, and a processing circuit 13.
  • the light sources 11a-11d are named "light source 11" generically.
  • the light source 11 is configured to emit light toward the depth of field.
  • the light source 11 may be configured by a light emitting diode (LED) or may be configured by a laser diode.
  • the light emitted from the light source 11 may be infrared light or visible light.
  • the some light source 11a-11d is provided in the periphery of the imaging part 12. As shown in FIG.
  • the plurality of light sources 11a to 11d are configured to share and perform illumination of the depth of field.
  • each of the plurality of light sources 11a to 11d is configured to illuminate a portion of the subject that corresponds to the light source 11, and when all of the plurality of light sources 11a to 11d emit light, all the areas of the field of interest. It is arranged to be illuminated.
  • the plurality of light sources 11a to 11d are arranged side by side in the horizontal direction.
  • the imaging unit 12 is configured to capture an image of a subject and acquire a captured image.
  • the imaging unit 12 may be configured by a complementary metal oxide semiconductor (CMOS) or may be configured by a charge coupling device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupling device
  • the captured image 20 includes a plurality of (four in this example) image regions 21a to 21d respectively corresponding to the plurality of (four in this example) light sources 11a to 11d. This is included.
  • the image areas 21a to 21d are collectively referred to as the "image area 21".
  • the image area 21 includes a partial area of the depth of field illuminated by the light source 11 corresponding to the image area 21.
  • the image area 21a includes a partial area of the depth of field illuminated by the light source 11a
  • the image area 21b includes a partial area of the depth of field illuminated by the light source 11b
  • 21c includes a portion of the field of light illuminated by the light source 11c
  • the image region 21d includes a portion of the field of light illuminated by the light source 11d.
  • region 21a-21d is arrange
  • the processing circuit 13 is configured to control each part of the imaging device 10 such as the light source 11 and the imaging unit 12.
  • the processing circuit 13 is constituted by a CPU, a memory, or the like.
  • the processing circuit 13 includes a control unit 14, a determination unit 15, and a detection unit 16.
  • the control unit 14 picks up the subject (the field illuminated by the light source 11 that emits light) to the imaging unit 12 while performing light emission control for switching the light source 11 to emit light among the plurality of light sources 11a to 11d. It is configured to. That is, in the light emission control, the control unit 14 selects the light source 11 to emit light from the plurality of light sources 11a to 11d, emits the selected light source 11, and causes the imaging unit 12 to image the depth of field. .
  • the determination unit 15 is a part of the captured image 20 among the captured images 20 acquired by the imaging unit 12, and is used to light sources 11 that emit light at the time of imaging for acquiring the captured image 20.
  • the corresponding image area 21 is configured to determine the presence or absence of a predetermined detection target (motion in this example).
  • the determination unit 15 may include appropriate logic, circuits, interfaces, and / or codes capable of determining the presence or absence of a predetermined detection target in the image area 21.
  • the detection unit 16 is configured to detect a predetermined object (human in this example) from the picked-up image including the image region determined by the determination unit 15 as being detected. In addition, the detection unit 16 is configured to output the detection result to the outside.
  • the detector 16 may include suitable logic, circuits, interfaces, and / or codes capable of detecting a predetermined object from the captured image.
  • the light emission order (the order of selecting the light source 11 to emit light) of the light sources 11a to 11d is determined in advance, and the determination order of the image areas 21a to 21d (the image area 21 to be determined).
  • the order of selecting) is predetermined. That is, the selection order of the light source 11 and the image area 21 is predetermined. Specifically, the light source 11a and the image area 21a are selected first, the light source 11b and the image area 21b are selected second, and the light source 11c and the image area 21c are selected third.
  • the order of selection of the light source 11 and the image area 21 is predetermined so that the light source 11d and the image area 21d are selected fourth. Further, numbers (numbers indicating the selection order) are assigned to the light sources 11a to 11d and the image areas 21a to 21d based on the selection procedure of the light source 11 and the image region 21. Specifically, “1" is assigned to the light source 11a and the image area 21a, "2" is assigned to the light source 11b and the image area 21b, and is assigned to the light source 11c and the image area 21c. "3" is assigned and "4" is assigned to the light source 11d and the image area 21d.
  • variable K is 1 or more and is an integer below an upper limit Kmax, and has shown the number of the light source 11 and the image area 21 which are a process object.
  • the upper limit value Kmax is an integer of 2 or more and corresponds to the number (4 in this example) of the light source 11.
  • control unit 14 sets the variable K to one. That is, the control part 14 makes the light source 11 and the image area 21 (in this example, the light source 11a and the image area 21a) selected first in a predetermined selection order to be the target of this process. It selects as the light source 11 and the image area 21.
  • the control unit 14 emits a light source 11 corresponding to the K-th image region 21 (the image region 21 to be subjected to this process) among the plurality of light sources 11a to 11d, and the imaging unit An image of the depth of field is shown in (12).
  • the control unit 14 includes N sheets (N is an integer of 2 or more) that are continuous in time series during the period in which the light source 11 corresponding to the K-th image region 21 of the plurality of light sources 11a to 11d emits light.
  • the imaging section 12 causes the imaging of the subject to be executed N times consecutively so that the captured image sequence consisting of the captured image 20 of () is obtained.
  • the determination part 15 extracts the Kth image area 21 from the picked-up image 20 acquired by step ST103.
  • the determination unit 15 extracts the K-th image region 21 from each of the N captured images 20 constituting the captured image sequence acquired in step ST103, and extracts the extracted N image regions ( 21) A partial image string composed of the (Kth image region 21) is obtained.
  • the determination part 15 determines the presence or absence of a detection object (movement in this example) in the K-th image area 21 extracted in step ST104. If it is determined that there is a detection target in the K-th image area 21, the flow proceeds to step ST106, otherwise, the flow proceeds to step ST107.
  • the determination unit 15 calculates N-1 partial difference images from the N image regions (K-th image region) constituting the partial image string acquired in step ST104.
  • the partial difference image of the X-th (X is 1 or more and N-1 or less) is included in the captured image located in the X-th position in the time series of the N image regions constituting the partial image string. It corresponds to a difference image between the K-th image region included in the X-th image region and the X-th image region in the time series.
  • the determination part 15 averages the pixel values of N-1 partial differential image for every pixel, and calculates a difference average image (image which each pixel value showed the average value of N-1 pixel values).
  • the determination unit 15 determines in advance the occupancy ratio (ratio of the number of all pixels included in the difference average image) of the number of pixel values exceeding a predetermined difference threshold value among the plurality of pixel values included in the difference average image.
  • a predetermined difference threshold it is determined that there is motion (detection object) in the K-th image area, and otherwise, it is determined that there is no motion (detection object) in the K-th image area.
  • the difference threshold and the occupancy ratio threshold are set to the pixel value and the occupancy ratio, respectively, when it can be regarded as having a motion, for example.
  • the detection part 16 detects the target object 100 (human in this example) from the picked-up image 20 containing the Kth image area
  • the detection unit 16 is described in the non-patent document 1 "Navneetdalal and Bill Triggs," Histograms of Oriented Gradients for Human Detection, "Proc. of CVPR 2005, vol. 1, pp. 886-893, 2005. ”may be configured to perform an object detection process (in this example, a human detection process) using the detection method (detection method based on machine learning of the luminance gradient histogram feature).
  • control unit 14 selects the light source 11 and the image area 21 to be the next processing target based on the predetermined selection procedure. Specifically, the control unit 14 determines whether the variable K has reached the upper limit value Kmax, adds 1 to the variable K when the variable K does not reach the upper limit value Kmax, and the variable K is the upper limit value Kmax. When we reach), we set the variable K to 1. Next, the process proceeds to step ST110.
  • control part 14 is the light source 11 and the image area 21 which the last time the light source 11 and the image area 21 which are the object of this process are selected in predetermined selection order (in this example, It is determined whether or not it is the light source 11d and the image area 21d (step ST107).
  • the control part 14 selects a predetermined choice. In this order, the light source 11 and the image region 21 to be selected next to the light source 11 and the image region 21 to be processed in this order are used as the light source 11 and the image region 21 to be subjected to the next process. (Step ST108).
  • the control part 14 is predetermined
  • the light source 11 and the image region 21 (in this example, the light source 11a and the image region 21a) which are selected first in the selection order are the light source 11 and the image region (to be the next processing target). 21) (step ST109).
  • step ST102 the process ends and the process proceeds to step ST102.
  • Embodiment 5 shows an example of a light emission pattern of the light source 11 in the first embodiment.
  • light emission is performed such that the plurality of light sources 11a to 11d sequentially emit light in a predetermined light emission order (in this example, the order of the light sources 11a, 11b, 11c, and 11d).
  • Control control for switching the light source 11 to emit light is performed.
  • the light sources 11 for emitting light among the light sources 11a to 11d are switched to continuously emit all of the light sources 11a to 11d (that is, the entire area of the depth of field is continuously illuminated.
  • the power consumption required for illumination of the depth of field can be reduced.
  • the image area 21 corresponding to the light source 11 which emits light at the time of imaging for acquiring the captured image 20 among the captured images 20 is illuminated by the light source 11 in the depth of field. It corresponds to an area (part of the depth of field). Therefore, the detection target (movement in this example) is detected with respect to the image region 21 (that is, the image region 21 corresponding to the region illuminated by the light source 11 in the depth of field) of the captured image 20. By performing the determination of the presence or absence, it is possible to accurately determine the presence or absence of the detection target.
  • the image area 21 which becomes an object of determination by the determination part 15 of the picked-up image 20 is continued by continuing image picking of the subject while switching the light source 11 which light-emits among the some light sources 11a-11d. (That is, the area to be determined in the depth of field) can be switched. As a result, monitoring of the depth of field (determination of whether or not to be detected) can be continuously performed.
  • the detection of the object can be performed efficiently.
  • control part 14 selects and emits one light source among the some light source 11a-11d in light emission control
  • the control part 14 has a some light source 11a- in light emission control. 11d) may be configured to select two or more light sources 11 (but not all light sources 11) to emit light simultaneously.
  • the operation of the imaging device 10 according to the second embodiment is different from that of the imaging device 10 according to the first embodiment.
  • the control unit 14 emits light in a predetermined light emission order when the image area 21 determined by the determination unit 15 that there is a detection target does not exist.
  • light emission control control for switching the light source 11 to emit light
  • a plurality of light sources 11a to ... 11d light emission control is performed such that the light emission frequency of the light source 11 corresponding to the image region 21 determined by the determination unit 15 to be detected is increased.
  • the control unit 14 determines that there is a detection target by the determination unit 15 when there is an image area 21 determined to be the detection target by the determination unit 15.
  • the first light emission operation that the light source 11 corresponding to the image region 21 emits light corresponds to the image region 21 that is not determined to be detected by the determination unit 15 based on the predetermined light emission order.
  • Light emission control is performed such that a second light emission operation in which one light source 11 of the light sources 11 emits light is alternately performed.
  • the other structure of Embodiment 2 is the same as that of Embodiment 1. As shown in FIG.
  • the light emission order (the order of selecting the light source 11 to emit light) of the light sources 11a to 11d is determined in advance, and the determination order of the image areas 21a to 21d is determined.
  • Order of selecting the image area 21 to be used) is predetermined. Specifically, the light source 11a and the image area 21a are selected first, the light source 11b and the image area 21b are selected second, and the light source 11c and the image area 21c are selected third. The order of selection of the light source 11 and the image area 21 is determined in advance so that the light source 11d and the image area 21d are selected fourth. Further, numbers (numbers indicating the selection order) are assigned to the light sources 11a to 11d and the image areas 21a to 21d based on the selection procedure of the light source 11 and the image region 21.
  • control unit 14 sets the variable K to one.
  • the controller 14 determines the presence or absence of the region of interest.
  • the region of interest corresponds to the image region 21 determined by the determination unit 15 as being detected (moving in this example). If it is determined that the region of interest does not exist, the process proceeds to step ST203. If the region of interest exists, the process proceeds to step ST213.
  • the control unit 14 corresponds to the light source 11 corresponding to the K-th image region 21 (the image region 21 to be subjected to this process) among the plurality of light sources 11a to 11d. ) Is emitted and the imaging unit 12 captures an image of the subject.
  • the determination unit 15 extracts the K-th image region 21 from the captured image 20 acquired in step ST204, and the detection target in the K-th image region 21. (Movement in this example) is determined. If it is determined that there is a detection target in the K-th image area 21, the flow proceeds to step ST207; otherwise, the flow advances to step ST209.
  • control unit 14 sets the K-th image area 21 determined as the detection target in step ST206 as the object of interest (that is, the region of interest). Next, the process proceeds to step ST208.
  • the detection unit 16 detects the object 100 (human in this example) from the picked-up image 20 including the K-th image area 21 determined to be the detection target in step ST206. do.
  • the control unit 14 selects the light source 11 and the image area 21 to be the next processing target based on a predetermined selection procedure. Specifically, the control unit 14 determines whether the variable K has reached the upper limit value Kmax. If the variable K does not reach the upper limit value Kmax, 1 is added to the variable K, and the variable K is the upper limit value Kmax. When we reach), we set the variable K to 1. Next, the process proceeds to step ST212.
  • step ST202 the process ends, the process ends, and when the process continues, the process proceeds to step ST202.
  • the controller 14 when it is determined in step ST202 that the region of interest exists, the controller 14 emits a light source corresponding to the image region 21 which is the region of interest among the plurality of light sources 11a-11d, and the imaging unit 12 emits light.
  • Image a depth of field.
  • the control unit 14 similarly to step ST103, the control unit 14 includes N sheets continuously connected in time series during the period in which the light source 11 corresponding to the image region 21 which is the region of interest among the plurality of light sources 11a to 11d emits light.
  • the imaging section 12 causes the imaging of the subject to be executed N times consecutively so that the captured image sequence consisting of the captured images 20 is obtained.
  • the determination part 15 extracts the image area 21 which is an area
  • the determination part 15 determines the presence or absence of a detection object (movement in this example) in the image area 21 which is the area
  • the determination method of the presence or absence of a detection object may be the same as the determination method of step ST105.
  • the detection part 16 detects the object 100 (human in this example) from the picked-up image 20 containing the image area 21 which is the area
  • the detection method of the object may be the same as the detection method of step ST106.
  • the process proceeds to step ST219.
  • control unit 14 excludes the image area 21 that is the area of interest determined as no detection object from the object of interest (that is, the area of interest). Next, the process proceeds to step ST219.
  • control unit 14 determines whether or not the K-th image region 21 is set as the region of interest. If the K-th image region 21 is set as the region of interest, the flow advances to step ST220; otherwise, the flow advances to step ST223.
  • step ST219 If it is determined in step ST219 that the K-th image region 21 is set as the region of interest, the control unit 14 based on the predetermined selection procedure, the light source 11 and the image region 21 to be the next processing target. Select). Specifically, the control unit 14 determines whether the variable K has reached the upper limit value Kmax. If the variable K does not reach the upper limit value Kmax, 1 is added to the variable K, and the variable K is the upper limit value Kmax. When is reached, set the variable K to 1. Next, the process proceeds to step ST219.
  • step ST219 when it is determined in step ST219 that the K-th image region 21 is not set as the region of interest, the control unit 14 controls the K-th image among the plurality of light sources 11a to 11d in the same manner as in steps ST203 and ST204.
  • the light source 11 corresponding to the area 21 is made to emit light, and the imaging section 12 picks up the depth of field.
  • the determination unit 15 extracts the K-th image area 21 from the captured image 20 acquired in step ST224, and detects it in the K-th image area 21. (Movement in this example) is determined. If it is determined that there is a detection target in the K-th image area 21, the flow proceeds to step ST227; otherwise, the flow advances to step ST229.
  • step ST207 the control unit 14 sets the K-th image area 21 determined to be the detection target in step ST226 as the object of interest (that is, the region of interest). Next, the process proceeds to step ST228.
  • the detection unit 16 detects the object 100 (human in this example) from the picked-up image 20 including the K-th image area 21 determined to be the target of detection in step ST226. do.
  • the control unit 14 selects the light source 11 and the image area 21 to be the next processing target based on a predetermined selection procedure. Specifically, the control unit 14 determines whether the variable K has reached the upper limit value Kmax. If the variable K does not reach the upper limit value Kmax, 1 is added to the variable K, and the variable K is the upper limit value Kmax. When is reached, set the variable K to 1. Next, the process proceeds to step ST212.
  • the light source 11a corresponds to the image region 21 that is the region of interest
  • the three light sources 11b, 11c, 11d respectively correspond to three image regions 21 that are not the region of interest.
  • the first light emission operation in which the light source 11 corresponding to the region of interest in FIG. 9, the light source 11a
  • the second light emission operation in which one of the light sources 11 corresponding to the image region 21 (not shown in FIG. 9), which is not the region of interest, emits light, is alternated.
  • Light emission control is performed so as to be executed.
  • the light source 11a corresponding to the region of interest emits light at time intervals T1, T3, T5, T7, T9, and T11, and emits light at one time interval per two time intervals, and corresponds to the region of interest.
  • Each of the light sources 11b, 11c, and 11d emits light sequentially in the time intervals T2, T4, T6, T8, and T10, so that each of the light sources 11b, 11c, and 11d emits light at one time interval per six time intervals. That is, in Embodiment 2, when there exists a region of interest, light emission control is performed so that the light emission frequency of the light source 11 corresponding to the region of interest among the plurality of light sources 11a to 11d increases.
  • Example 2 an example of the light emission pattern of the light source 11 when there is no region of interest is a light emission pattern shown in FIG. As shown in FIG. 5, in the second embodiment, when the region of interest does not exist, the plurality of light sources 11a ... in a predetermined light emission order (in this example, the order of the light sources 11a, 11b, 11c, 11d). Light emission control is performed so that 11d) emits light in turn.
  • a predetermined light emission order in this example, the order of the light sources 11a, 11b, 11c, 11d.
  • the light source 11 corresponding to the region of interest among the plurality of light sources 11a to 11d exists.
  • An image of a region of interest (an image determined to be a target to be detected) is imaged by imaging the depth-of-field in the imaging unit 12 while executing light emission control for switching the light source 11 to emit light among the plurality of light sources 11a to 11d so that the light emission frequency increases. Determination of the presence or absence of a detection object can be performed mainly with respect to the area
  • the plurality of image areas 21 may be set as the object of interest (that is, the area of interest). Then, the control unit 14 simultaneously controls the plurality of light sources 11 corresponding to the plurality of regions of interest (the plurality of image regions 21 determined as being detected by the determination unit 15) in the first light emission operation. It may be configured to perform light emission control to emit light.
  • the operation shown in FIG. 10 is performed instead of the operation shown in FIG. 7.
  • the determination order (the order of selecting the region of interest to be determined) of the region of interest is determined in advance.
  • a number (number indicating the selection order) is assigned to the plurality of regions of interest based on the selection order of the regions of interest.
  • the variable L is one or more, and it is an integer below the upper limit (Lmax), and has shown the number of the area
  • the upper limit Lmax is an integer greater than or equal to 2 and less than or equal to the upper limit Kmax and corresponds to the number of regions of interest.
  • the control unit 14 When it is determined in step ST202 that the region of interest exists, the control unit 14 simultaneously emits all of the light sources 11 corresponding to all of the region of interest among the plurality of light sources 11a-11d, and causes the subject 12 to emit light.
  • Image Specifically, the controller 14 includes N captured images 20 that are continuous in time series during the period in which all of the light sources 11 corresponding to all the regions of interest among the plurality of light sources 11a to 11d emit light at the same time.
  • the imaging section 12 causes the imaging of the subject to be executed N times consecutively so that the captured image string is acquired.
  • the controller 14 sets the variable L to one. That is, the control unit 14 selects the region of interest selected first in a predetermined selection order (the determination order for the attention region) as the region of interest to be subjected to this process.
  • the determination part 15 extracts the image area 21 which is the Lth area
  • the determination part 15 determines the presence or absence of a detection object (movement in this example) in the image area 21 which is the L-th area of interest extracted in step ST304.
  • the determination method of the presence or absence of a detection object may be the same as the determination method of step ST216. If it is determined that there is a detection object in the image area 21, which is the L-th area of interest, the flow advances to step ST306. Otherwise, the flow advances to step ST307.
  • the detection part 16 detects the target object 100 (human in this example) from the picked-up image 20 containing the image area 21 which is the area
  • the detection method of the target object 100 may be the same as the detection method of step ST217.
  • the process proceeds to step ST308.
  • control unit 14 excludes from the object of interest (i.e., the area of interest) the image area 21 which is the area of interest determined as no detection object. Next, the process proceeds to step ST308.
  • control unit 14 determines whether the variable L has reached the upper limit value Lmax. That is, the control unit 14 determines whether there is a region of interest not selected as the object of processing among the plurality of regions of interest. If the variable L has not reached the upper limit value Lmax, the process proceeds to step ST309. If the variable L has reached the upper limit value Lmax, the process proceeds to step ST219.
  • step ST308 When it is determined in step ST308 that the variable L has not reached the upper limit Lmax, the control unit 14 adds 1 to the variable L.
  • FIG. In other words, the region of interest selected next to the region of interest to be processed in the predetermined selection order (the determination order for the note region) is selected as the region of interest to be the next process. Next, the process proceeds to step ST304.
  • FIG. 11 shows an example of a light emission pattern of the light source 11 when a plurality of regions of interest exist in the first modification of the second embodiment.
  • two light sources 11a and 11c respectively correspond to two image regions 21 that are two regions of interest
  • two light sources 11b and 11d respectively correspond to two image regions 21 that are not regions of interest. Each corresponds.
  • the several light source 11 when there exist several region of interest, the several light source 11 corresponding to each of several region of interest (in FIG. 11, light sources 11a, 11c)
  • One light source 11 in Fig.
  • Light emission control is performed so that the second light emission operation that 11 emits light is alternately performed.
  • the light sources 11a and 11c corresponding to the region of interest emit light simultaneously in each of the time sections T1, T3, T5, T7, T9, and T11, thereby emitting light in one time section period per two time sections.
  • Each of the light sources 11b and 11d not corresponding to the regions emits light sequentially in the time intervals T2, T4, T6, T8 and T10, so that each light source 11b and 11d emits light in one time interval period per four time intervals.
  • the imaging time can be shortened.
  • control unit 14 respectively corresponds to a plurality of regions of interest (a plurality of image regions 21 determined as being detected by the determination unit 15).
  • the plurality of light sources 11 may be configured to perform light emission control to emit light in sequence in the first light emission operation.
  • the operation shown in FIG. 12 is performed instead of the operation shown in FIG. 7.
  • the determination order (the order of selecting the region of interest to be determined) of the region of interest is determined in advance.
  • a number (number indicating the selection order) is assigned to the plurality of regions of interest based on the selection order of the regions of interest.
  • the variable L is one or more, and it is an integer below an upper limit Lmax, and has shown the number of the area
  • the upper limit Lmax is an integer greater than or equal to 2 and less than or equal to the upper limit Kmax and corresponds to the number of regions of interest.
  • control unit 14 sets the variable L to one. That is, the control unit 14 selects the region of interest selected first in a predetermined selection order (the determination order for the attention region) as the region of interest to be subjected to this process.
  • control unit 14 emits light of the light source 11 corresponding to the L-th region of interest among the plurality of light sources 11a to 11d, and causes the imaging unit 12 to image the subject.
  • control unit 14 includes N captured images 20 that are continuous in time series during the period in which the light source 11 corresponding to the L-th region of interest among the plurality of light sources 11a to 11d emits light.
  • the imaging section 12 causes the imaging of the subject to be executed N times consecutively so that the captured image string is acquired.
  • control part 14 extracts the image area 21 which is the Lth area
  • determination part 15 extracts the image area 21 which is the Lth area
  • the determination part 15 determines the presence or absence of a detection object (movement in this example) in the image area 21 which is the L-th area of interest extracted in step ST404.
  • the determination method of the presence or absence of a detection object may be the same as the determination method of step ST216. If it is determined that there is a detection target in the image area 21, which is the L-th area of interest, the process proceeds to step ST406. Otherwise, the process proceeds to step ST407.
  • the detection part 16 detects the target object 100 (human in this example) from the picked-up image 20 containing the image area 21 which is the area
  • the detection method of the object may be the same as the detection method of step ST217.
  • the process proceeds to step ST408.
  • control unit 14 excludes from the object of interest (i.e., the area of interest) the image area 21 which is the area of interest determined as no detection object. Next, the process proceeds to step ST408.
  • control unit 14 determines whether the variable L has reached the upper limit value Lmax. That is, the control unit 14 determines whether there is a region of interest not selected as the object of processing among the plurality of regions of interest. If the variable K has not reached the upper limit Lmax, the process proceeds to step ST409. If the variable K has reached the upper limit Lmax, the process proceeds to step ST219.
  • step ST408 When it is determined in step ST408 that the variable L has not reached the upper limit Lmax, the control unit 14 adds 1 to the variable L.
  • FIG. In other words, the region of interest selected next to the region of interest to be processed in the predetermined selection order (the determination order for the note region) is selected as the region of interest to be the next process. Next, the process proceeds to step ST402.
  • FIG. 13 shows an example of a light emission pattern of the light source 11 when a plurality of regions of interest exist in the second modification of the second embodiment.
  • two light sources 11a and 11c respectively correspond to two image regions 21 which are regions of interest
  • two light sources 11b and 11d respectively correspond to two image regions 21 which are not regions of interest. It is becoming.
  • the several light source 11 corresponding to each of several regions of interest in FIG. 13, light sources 11a and 11c)
  • a light source 11 corresponding to the image region 21 instead of the region of interest based on the first light emission operation in which)) sequentially emits light and a predetermined light emission sequence.
  • Light emission control is performed so that the second light emission operation that 11 emits light is alternately performed.
  • the light sources 11a and 11c corresponding to the region of interest emit light in sequence in the time intervals T1, T2, T4, T5, T7, T8, T10, and T11, respectively.
  • Each light source 11b, 11d emits light in one time interval period for every three time intervals, and each light source 11b, 11d does not correspond to the region of interest, and sequentially emits light in the time intervals T3, T6, T9, T12. Light is emitted in one time interval period per time interval.
  • the plurality of light sources 11 respectively corresponding to the plurality of regions of interest (the plurality of image regions 21 determined to be detected by the determination unit 15) emit light sequentially in the first light emission operation,
  • the light emitted simultaneously from two light sources 11 corresponding to two image regions 21 adjacent to each other can be avoided from overlapping in the depth of field.
  • fluctuations in the illuminance of the depth of field due to such overlap of light can be prevented, and the monitoring of the depth of field (determination of whether or not to be detected) can be performed accurately.
  • the detection part 16 pays attention to the site
  • the object 100 is configured to be detected from the candidate region 30 including the region of interest and the adjacent region (the image region 21 adjacent to the edge portion of the note region).
  • the other structure of Embodiment 3 is the same as that of Embodiment 1. As shown in FIG.
  • the detection unit 16 is configured to perform the processing shown in FIG. 14 in place of the processing of the step ST106 (object detection 7 processing) shown in FIG. 4.
  • step ST105 When it is determined in step ST105 that there is a detection target (movement in this example) in the K-th image region 21, the detection unit 16 determines the area of interest (i.e., the determination unit 15 determines that there is a detection target). In the first image area 21, it is determined whether or not the portion determined to be the detection target is the edge portion of the region of interest. If the portion determined to be the detection target is the edge portion of the region of interest, the flow advances to step ST502; otherwise, the flow advances to step ST504.
  • the detection unit 16 checks for the presence or absence of an adjacent area which is the image area 21 adjacent to the edge part (the edge part including the part determined to be detected) of the region of interest that is the K-th image area 21. Determine. If there is an adjacent area, the process proceeds to step ST503. Otherwise, the process proceeds to step ST504.
  • the detection unit 16 performs an object detection process on the candidate region 30 including the region of interest which is the K-th image region 21 and the region which is adjacent to the image region 21 adjacent to the edge of the region of interest.
  • the person detection process is performed.
  • the detection part 16 An image region 21b adjacent to the right edge of the image region 21a is set to an image region 21 serving as an adjacent region, and includes an image region 21a serving as a region of interest and an image region 21b serving as an adjacent region.
  • the object detection process is performed on the candidate area 30 to be performed.
  • the detection method of the target object 100 may be the same as the detection method of step ST106.
  • step ST501 when it is determined in step ST501 that the portion determined to be the detection target is not the edge portion of the region of interest, or there is no adjacent region that is the image region 21 adjacent to the edge portion of the region of interest in step ST502.
  • the detection unit 16 performs an object detection process (in this example, a person detection process) on the K-th image area 21 that is the region of interest.
  • the detection method of the target object 100 may be the same as the detection method of step ST106.
  • part determined by the determination part 15 as the detection target among the area
  • attention is attention
  • the adjacent region adjacent to the region of interest can be assisted in the object detection process. have.
  • the detection precision of the target object 100 can be improved rather than using only the target area as the target of the object detection process.
  • Embodiment 16 shows an example of the configuration of the imaging device 10 according to the fourth embodiment.
  • the processing circuit 13 is further equipped with the identification part 17 in the control part 14, the determination part 15, and the detection part 16 shown in FIG.
  • the other structure of Embodiment 4 is the same as that of Embodiment 1. As shown in FIG.
  • the identification part 17 is comprised so that the object area
  • the identification unit 17 may include appropriate logic, circuitry, interfaces, and / or code for this operation.
  • the object region 40 is a part of the captured image 20 and corresponds to an area (image region) including the object 100 detected by the detection unit 16.
  • the object 100 is a human face
  • the combined image is a face image including a human face
  • the identification unit 17 is a human face included in the object area 40 and a pre-registered human. Perform personal identification by combining the faces of the.
  • the identification unit 17 is configured to output the identification result to the outside.
  • the identification unit 17 Non-Patent Document 2 "Paul Viola and Michael Jones,” Rapid Objectdetection using a Boosted Cascade of Simple Features, "Proc. of CVPR 2001, vol. 1, pp. 511-518, 2001. ”(the method according to the comparison of the luminance distribution) or the like may be configured to extract the object region 40.
  • the identification unit 17 may also be configured to perform a combination process (combination of the object area 40 and the combined image) using a support vector machine, a mutual subspace method, or the like.
  • the object region 40 (the region including the object 100 which is a part of the captured image 20 and detected by the detection unit 16) is extracted from the captured image 20, and the object region ( By identifying the object 100 by combining the combination image 40) registered in advance, it is possible to efficiently identify the object 100.
  • the control unit 14 determines that the object region 40 extracted by the identification unit 17 is the target region (the determination unit 15 is to be detected).
  • the image region 21 and the adjacent region (the image region 21 adjacent to the edge of the main region), the light source 11 corresponding to the region of interest and the adjacent region among the plurality of light sources 11a to 11d. ) May be configured to image the depth of field on the imaging unit 12.
  • the identification unit 17 extracts the object region 40 from the picked-up image 20 acquired by the imaging unit 12, and then the object region 40.
  • the target region from the captured image 20 acquired by the imaging unit 12. 40 may be extracted to combine the object area 40 and the combined image (second combined image), and identify the object 100 based on the combined result.
  • the imaging device 10 according to the modification of the fourth embodiment is configured to perform the operation shown in FIG. 18 in parallel with the operation (monitoring operation) shown in FIG. 4.
  • the control unit 14 determines that the object region 40 extracted by the identification unit 17 is the region of interest (the image region 21 determined as being detected by the determination unit 15) and the adjacent region (edge of the main region). It is judged whether or not the image area 21 adjacent to the part is covered. If the object region 40 spans the region of interest and the adjacent region, the process proceeds to step ST602; otherwise, the process proceeds to step ST612.
  • the control unit 14 stops the operation (monitoring operation) shown in FIG. 4.
  • the control unit 14 emits a light source corresponding to the region of interest among the plurality of light sources 11a to 11d, and causes the imaging unit 12 to capture an image of the depth of field.
  • the identification part 17 extracts the object area
  • the first combined image is an image showing the object 100 (human face in this example) in which half corresponding to the region of interest is illuminated with light, but the other half corresponding to the adjacent region is not illuminated with light. to be.
  • the controller 14 when the object 100 is detected at the edge portion of the image region 21a which is the region of interest, the controller 14 emits light of the light source 11a corresponding to the image region 21a.
  • the imaging section 12 captures an image of the subject.
  • the image area 21a of the object 100 is imaged by emitting the light source 11a to image the subject in the imaging unit 12.
  • the picked-up image 20 is acquired in the state in which the part corresponding to the image area 21b is comparatively dark.
  • the identification part 17 is the object area
  • the control unit 14 emits a plurality of light sources corresponding to the region of interest and the adjacent region among the plurality of light sources 11a to 11d, and causes the imaging unit 12 to capture an image of the subject.
  • the identification part 17 extracts the object area
  • the second combined image is an image showing the object 100 (human face in this example) in a state that is illuminated by light emitted by a plurality of light sources corresponding to the region of interest and the adjacent region as a whole.
  • the control unit 14 emits a plurality of light sources corresponding to the adjacent regions among the plurality of light sources 11a to 11d, and causes the imaging unit 12 to image the depth of field.
  • the identification part 17 extracts the object area
  • the half (left half in FIG. 19) corresponding to the region of interest is not illuminated with light, but the other half (right half in FIG. 19) corresponding to the adjacent region is illuminated with light. This is an image showing the object 100 (human face in this example).
  • the controller 14 controls the light source 11b corresponding to the image region 21b which is an adjacent region.
  • the image capturing unit 12 captures an image of the subject.
  • the image area 21a of the object 100 is imaged by causing the light source 11b to emit light to capture an image of the subject in the imaging unit 12.
  • the portion corresponding to the image is relatively dark, the captured image 20 is acquired in a state where the portion corresponding to the image region 21b is relatively bright.
  • the identification part 17 has the object area 40 extracted from the picked-up image 20, and the half corresponding to the image area 21a (the left half part in FIG. 19) is not reflected to light, A third combined image showing a human face in a state in which the other half (right half in FIG. 19) corresponding to 21b) is illuminated with light.
  • the identification part 17 identifies the object 100 based on the combination result in step ST604, the combination result in step ST607, and the combination result in step ST610. In addition, when the identification process by the identification part 17 is completed, the control part 14 will resume the operation (monitoring operation) shown in FIG.
  • the identification unit 17 extracts the object region 40 from the region of interest, and the object region 40 and the first region. 1 Combination Images are combined.
  • the identification unit 17 may be configured to combine the object region 40 and the second combined image instead of combining the object region 40 and the first combined image.
  • the identification part 17 identifies the object 100 based on the combination result in step ST612.
  • the combination result (the first combination result) regarding the object region 40 extracted from the captured image 20 acquired by the imaging unit 12.
  • a combination result of the object region 40 extracted from the captured image 20 acquired by the imaging unit 12 when the light source 11 corresponding to the region of interest and the adjacent region emits light (second By identifying the object 100 based on the combination result, it is possible to improve the identification accuracy of the object 100 than to identify the object 100 only by the first combination result.
  • the target region 40 extracted from the captured image 20 acquired by the imaging unit 12 is By using the related combination result (third combination result) for identification of the object 100, the identification accuracy of the object 100 can be further improved.
  • each edge portion may be overlapped with the edge portion of the adjacent image region 21.
  • the some light source 11a-11d is provided in the horizontal direction
  • positioning of the some light source 11a-11d is not limited to this.
  • the plurality of light sources 11a to 11d may be arranged in the vertical direction, or may be arranged in a circle surrounding the imaging unit 12.
  • control part 14 the determination part 15, the detection part 16, and the identification part 17 were included in the one processing circuit 13 as an example, the control part 14 and the board
  • the government unit 15, the detection unit 16 and the identification unit 17 may be included in two or more processing circuits.
  • the global shutter or the rolling shutter described in Japanese Patent Application Laid-Open No. 2010-093729, Japanese Patent Application Laid-Open No. 2010-262224 and Japanese Patent Application Laid-Open No. 2012-095214 may be used. All of these patent documents refer only to turning on the strobe (light source) to reduce display unevenness in the imaged screen.
  • the prior art focuses on irradiating strobe light (light of a light source) so that light and shade imbalance does not occur throughout the screen.
  • the inventors of the present application have found a problem that the conventional human detection by strobe irradiation (light emission of light source) cannot ignore the power consumed by the strobe (light source).
  • the inventors of the present invention have found that even if there is a display unevenness due to strobe lighting (lighting of a light source), the power required for strobe lighting (lighting of a light source) can be reduced by detecting a person using a part of the captured image.
  • the imaging device 10 includes a light source 11 (strobe), an imaging unit 12 (imaging element), a controller 13a, and a detector 13b.
  • the imaging device 10 is, for example, a device that determines whether there is a person in a screen captured by motion detection, which will be described later.
  • the imaging device 10 can be realized as part of a household appliance such as, for example, a television. In this case, the imaging device 10 can provide a personalized service by detecting the user in front of it and recognizing the user.
  • the imaging apparatus 10 may be configured to perform only detection of the user and not to recognize the user.
  • the imaging device 10 may also be used as a surveillance camera, for example, to discover that an outsider enters a surveillance area of a building or site.
  • the light source 11 is a light emitting element which irradiates light to a subject (subject) instantaneously.
  • the light source 11 is also called a flash.
  • the depth of field (subject) includes a person (eg, an outsider) that is an example of a detection target existing in the surveillance area, and an object other than the person (eg, a wall of a building).
  • the light source 11 can be realized by, for example, a xenon tube, a light emitting diode, or the like.
  • the light source 11 receives the timing signal TE from the imaging section 12, and synchronizes the lighting timing with the imaging timing. In this way, the light source 11 is configured to emit light toward the depth of field.
  • the imaging unit 12 is an element including a group of optical sensors arranged in a matrix on a two-dimensional plane for imaging a predetermined surveillance region.
  • the imaging unit 12 is, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) device.
  • CMOS complementary metal oxide semiconductor
  • the imaging unit 12 is, for example, an element using a rolling shutter.
  • the frame rate of the imaging unit 12 is, for example, 60i (interlace) / second.
  • a lens for receiving light from the subject (subject) is provided in front of the imaging section 12, a lens for receiving light from the subject (subject) is provided.
  • the imaging unit 12 is configured to capture an image of a subject and acquire a captured image.
  • the imaging unit 12 is configured to be driven by a rolling shutter method.
  • the imaging unit 12 has a light receiving surface (not shown) in which a plurality of optical sensors are arranged in a matrix, and is formed from the first line (the line formed by two or more optical sensors arranged in the row direction), which is a leading line. It is comprised so that n lines may be exposed one by one toward the n-th line (N is an integer of 2 or more) which is a final line.
  • the controller 13a controls the exposure timing of the imaging section 12 and the lighting timing of the light source 11 to have the following relationship.
  • the controller 13a receives a signal indicating the exposure timing from the imaging unit 12, and outputs a trigger signal a for lighting the light source 11 to the light source 11 at an appropriate timing.
  • the controller 13a can be realized as an integrated circuit (IC) (for example, an application specific integrated circuit) for realizing this function.
  • the controller 13a can be realized with a processor, a memory coupled to the processor, and software (program, instructions, etc.) stored in the memory.
  • the controller 13a is comprised so that each part of the imaging device 10, such as the light source 11 and the imaging part 12, may be controlled.
  • the controller 13a includes a control unit 14.
  • the control part 14 is comprised so that the light source 11 may light-emit and image the depth of field (the depth of field illuminated by the light source 11 which lighted) to the imaging part 12. FIG. The operation by the control unit 14 will be described later.
  • the detector 13b receives a signal P representing an image output from the imaging unit 12, and determines whether a person (an example of the object) exists in the captured image. In addition, in the present example, the detector 13b determines whether there is an outsider who is not permitted to enter the surveillance area in the captured screen. Then, the detector 13b outputs a signal U indicating the result of the determination. In addition, the detector 13b may be provided outside the imaging device 10.
  • the detector 13b can be realized as an integrated circuit (IC) (for example, an application specific integrated circuit) for realizing this function.
  • the detector 13b may alternatively be realized by a processor, a memory coupled to the processor, and software (program, instructions, etc.) stored in the memory.
  • the detector 13b is configured to process the captured image (image represented by the signal P) acquired by the imaging unit 12.
  • the detector 13b is provided with the determination part 15, the detection part 16, and the identification part 17. As shown in FIG.
  • the determination unit 15 is configured to determine the presence or absence of a predetermined detection target (motion in this example) in the captured image (image represented by the signal P) acquired by the imaging unit 12.
  • the detection unit 16 is configured to detect a predetermined object (human face in this example) from the picked-up image (image indicated by the signal P) determined by the determination unit 15 as the detection target.
  • the identification unit 17 extracts an object area (an image area including an object detected by the detection unit 16) from the captured image (image represented by the signal P), and combines the object area and the combined image registered in advance. To identify the object.
  • the object is a human face
  • the combined image is a face image including the human face
  • the identification unit 17 combines the human face included in the object area with the human face registered in advance, and the individual. Perform identification (face recognition).
  • the identification unit 17 is also configured to output the identification result (signal U indicating the result) to the outside.
  • movement by the determination part 15, the detection part 16, and the identification part 17 is mentioned later.
  • the chart 21 shows control of the light source 11 by the controller 13a in the fifth embodiment.
  • the chart 2101 shows the timing of the exposure of the imaging unit 12 and the lighting of the light source 11.
  • the vertical axis represents each line L1 to Ln (n total) in the screen (light receiving surface on which the optical sensors are arranged in a matrix) of the imaging unit 12, and the horizontal axis represents time (t). ).
  • the first line L1 of the screen is exposed between the times t0 to t2.
  • the last line Ln of the screen is exposed between the times t1 to t5.
  • the imaging part 12 exposes all the lines in a screen.
  • the light source 11 lights up between time t3-t4 (namely, lighting period tL). In other words, the light source 11 is turned off between the times t0 to t3 (that is, the unlit period tA) and between the times t4 to t5 (that is, the unlit period tB).
  • Schematic 2102 shows the intensity distribution of the irradiation light of the light source 11 in the screen of the imaging unit 12.
  • the vertical axis corresponds to the lines L1 to Ln of the chart 2101, and the horizontal axis represents the horizontal position of the screen (photographed image 20). Since the light source 11 did not light during the exposure of the lines L1 to La, the intensity of the irradiation light is zero.
  • the lines La to Lb increase as the period during which the light source 11 is turned on during exposure increases toward the lower line, so that the intensity of the irradiation light increases from zero to the maximum.
  • the intensity of the irradiation light is also constant at maximum.
  • the controller 13a includes a lighting period tL in which the light source 11 is turned on within a period except for all the line exposure period tAE in which all the lines of the rolling shutter are exposed at the same time, and the light source 11 is turned off.
  • the light source 11 is turned on so that the unlit periods tA and tB exist.
  • the intensity of the irradiation light of the light source 11 in the lower portion of the screen (lower portion of the captured image 20) is maximized, and the upper portion of the screen (the captured image 20) is displayed.
  • the intensity of the irradiated light of the light source 11 in the upper part of ()) can be made zero.
  • the imaging device 10 irradiates light only to a part of the screen (that is, the light source 11 is turned on so that the light-on period and the light-off period exist within the period except for the entire line exposure period). Detecting the person in the surveillance area while saving the power consumption by 11).
  • This operation mode is called a motion search mode.
  • the detector 13b is an area in the frame corresponding to the lighting period tL in which the light source 11 is turned on (part of the captured image 20, and the lighting period tL of the light source 11. ), Motion detection (determination of presence or absence of detection target) is performed by, for example, performing interframe difference.
  • the imaging device 10 shifts to the face recognition mode.
  • the controller 13a controls the light source 11 so that stronger light is irradiated in a period corresponding to the area where the motion is detected, and the detector 13b further controls the area where the motion is detected. Face recognition (identification of the object) is performed.
  • the motion search mode detection of a person is mainly performed with relatively weak irradiation light, and once a person is detected, a face recognition mode is performed for face recognition with stronger irradiation light to determine whether an outsider or an authorized person is present.
  • FIG. 22 shows the control (control in the motion search mode) of the light source 11 by the controller 13a in the fifth embodiment.
  • Chart 2201 shows the timing of the exposure of the imaging unit 12 and the lighting of the light source 11.
  • Chart 2202 shows the synchronization signal VSync corresponding to the start time of the frame period tF and the exposure period tE, and the strobe signal Str corresponding to the lighting period tL of the light source 11.
  • the charts 2201 and 2202 show only three consecutive frames F1 to F3. In the operation of the actual imaging device 10, as long as the motion search mode is continued, the frames (photographed images) are repeated continuously.
  • the timing of the lighting period tL of the light source 11 with respect to the exposure period tE is the same. Accordingly, only the same portion (in this case, the upper end and the lower end of the screen) in the imaged screen is irradiated with light by the lighting of the light source 11.
  • FIG. 23 shows another example of the control (control in the motion search mode) of the light source 11 by the controller 13a in the fifth embodiment.
  • Chart 2301 shows the timing of the exposure of the imaging unit 12 and the lighting of the light source 11. In the frames F1 to F3, the timing of the lighting period tL of the light source 11 with respect to the exposure period tE is the same.
  • Schematic 2302 shows the intensity distribution of the irradiation light of the light source 11 in the screen of the imaging unit 12.
  • the vertical axis corresponds to the lines L1 to Ln in chart 2301
  • the horizontal axis represents the horizontal position of the screen.
  • the chart 2301 when the light source 11 is turned on, the irradiation regions 301 and 302 of the light of the light source 11 and the non-irradiation region 401 are formed in the screen. Therefore, in the motion search mode, motion detection is performed in the irradiation areas 301 and 302, and the presence of a person is detected.
  • Chart 2401 shows the timing of the exposure of the imaging unit 12 and the lighting of the light source 11. In the frames F1 to F3, the timing of the lighting period tL of the light source 11 with respect to the exposure period tE is the same.
  • Schematic 2402 shows the intensity distribution of the irradiation light of the light source 11 in the screen of the imaging unit 12.
  • the vertical axis corresponds to the lines L1 to Ln in the chart 2401
  • the horizontal axis represents the horizontal position of the screen.
  • the chart 2401 when the light source 11 is turned on, the light irradiation area 301 and the non-irradiation areas 401 and 402 of the light source 11 are formed in the screen. Therefore, in the motion search mode, motion detection is performed in the irradiation area 301, and the presence of a person is detected.
  • the detector 13b is an area in the frames F1 and F2 corresponding to the lighting period tL in which the light source 11 is turned on (part of the captured image 20 and corresponds to the lighting period tL of the light source 11. Motion detection is performed by performing the difference between the frames. Frames F1 and F2 are two consecutive frames (photographed image 20). As shown in FIG. 25, by illuminating the light source 11, the irradiation regions 301 and 302 and the non-irradiation region 401 are formed in the frame F1. Similarly, the irradiation areas 301 and 302 and the non-irradiation area 401 also exist in the frame F2.
  • the detector 13b performs motion detection based on the difference between the irradiation area 301 of the frame F1 and the irradiation area 301 of the frame F2.
  • the person an example of the object 100
  • the detector 13b performs motion detection based on the difference between the irradiation area 302 of the frame F1 and the irradiation area 302 of the frame F2. Based on the difference between the irradiation area 302 of the frame F1 and the irradiation area 302 of the frame F2, it is determined that there is motion.
  • FIG. 26 shows the transition from the motion search mode to the face recognition mode.
  • motion search is performed for the irradiation areas 301 and 302.
  • FIG. When motion is detected in frame F1, the frame transitions to face recognition mode in frame F2.
  • the face recognition mode the light of the light source 11 is irradiated in a region where the face of the person (an example of the object 100) is likely to exist in the frame F2. This is possible by controlling the light source 11 to the lighting timing of FIG. 20, for example.
  • the intensity of the light of the light source 11 in the irradiation area 302 may be made stronger than that of the motion search mode.
  • the light irradiation of the stronger light source 11 can be used in the face recognition mode.
  • the face recognition mode it is determined whether the face part (the face of the person included in the object area 40) of the person is an external person or an authorized person according to whether or not the face of the person is registered.
  • Chart 27 shows control (control in the face recognition mode) of the light source 11 by the controller 13a in the fifth embodiment.
  • Chart 2701 shows the timing of exposure of the imaging unit 12 and lighting of the light source 11.
  • Chart 2702 shows the synchronization signal VSync corresponding to the start time of the frame period tF and the exposure period tE, and the strobe signal Str corresponding to the lighting period tL of the light source 11.
  • the charts 2701 and 2702 show only three consecutive frames F1 to F3, but the frames (photographed images) are continuously repeated as long as the face recognition mode is continued during the actual operation of the imaging device 10.
  • Chart 2801 shows the timing of exposure of the imaging unit 12 and lighting of the light source 11. In the frames F1 to F3, the timing of the lighting period tL of the light source 11 with respect to the exposure period tE is the same.
  • Schematic 2802 shows the intensity distribution of the irradiation light of the light source 11 in the screen of the imaging unit 12.
  • the vertical axis corresponds to the lines L1 to Ln in chart 2801
  • the horizontal axis represents the horizontal position of the screen.
  • the chart 2801 when the light source 11 is turned on, the irradiation regions 301 and 302 of the light of the light source 11 and the non-irradiation region 401 are formed in the screen.
  • a face part an example of the object 100
  • the safety detected in the irradiation area 301 face of the person included in the object area 40
  • FIG. 29 shows another example of the control (control in the face recognition mode) of the light source 11 by the controller 13a in the fifth embodiment.
  • Chart 2901 shows the timing of exposure of the imaging unit 12 and lighting of the light source 11. In the frames F1 to F3, the timing of the lighting period tL of the light source 11 with respect to the exposure period tE is the same.
  • 2902 shows the intensity distribution of the irradiation light of the light source 11 in the screen of the imaging unit 12.
  • the vertical axis corresponds to the lines L1 to Ln in chart 2901
  • the horizontal axis indicates the horizontal position of the screen.
  • the light source 11 is such that the exposure period (for example, the exposure period tE in FIG. 3B) becomes an integer multiple of the lighting period of the light source 11 (for example, the lighting period tL in FIG. 3B).
  • the intensity unevenness applied as stripes on the screen of the irradiation light in the irradiation area can be eliminated.
  • the control unit 14 excludes the period (all line exposure period tAE) in which all the lines of the imaging unit 12 are exposed at the same time.
  • the light source 11 emits light so that the period in which the light source 11 is turned on (lighting period tL) and the period in which the light source 11 is turned off (lighting out periods tA and TB) exist to cause the imaging unit 12 to emit light. ) A photographic image of the depth of field.
  • the determination unit 15 includes a period (lighting period tL) in which the light source 11 is turned on in the captured image 20 acquired by the imaging unit 12. By performing the difference between frames in the image area corresponding to)), it is determined whether there is a detection target (movement in this example).
  • the image area (irradiation area 301, etc.) corresponding to the period (lighting period tL) in which the light source 11 is turned on is the light source 11 among all the lines (n lines) of the imaging unit 12. ) Is a part of the depth of field picked up from the exposed line when () is lit. That is, a part of the depth of field included in the image area corresponding to the lighting period tL is illuminated by the light source 11 that is lit in the lighting period tL.
  • the control unit 14 determines that the detection unit 15 detects the presence of a detection object (in this example, there is motion), the image area determined to have a detection object.
  • the light source 11 is controlled so that stronger light is irradiated.
  • the control unit 14 determines the amount of light emitted by the light source 11 in the period (lighting period tL) corresponding to the image region determined by the determination unit 15 by the determination unit 15.
  • the light source 11 is controlled so as to be stronger than the light emission amount of the light source 11 in the period (lighting period tL) corresponding to the image area not determined to be detected.
  • the light emission amount refers to the total amount of light emitted from the light source 11 in a predetermined period (e.g., a frame period required for acquiring one captured image), and is an amount obtained by integrating the light emission intensity of the light source 11 with time.
  • a predetermined period e.g., a frame period required for acquiring one captured image
  • the identification unit 17 determines that the detection unit 15 detects the presence of a detection object (in this example, there is motion), the image area determined to have a detection object.
  • object identification face recognition in this example
  • the detection unit 16 detects a predetermined object (human face in this example) from the picked-up image determined by the determination unit 15 to be detected, and the identification unit 17 sends the determination unit 15 to the determination unit 15.
  • the object region (the image region including the object detected by the detection unit 16) is extracted from the picked-up image determined to be detected by the detection object, and the object region and the pre-registered combination image (in this example, containing a human face) Image) to identify the object.
  • Any function used in the embodiments according to the present disclosure can be realized using hardware, software, or a combination thereof. Such functionality may be implemented by a single processor or may be realized by a plurality of processors.
  • the lighting timing of the light source 11 with respect to the exposure of the imaging section 12 shown in FIGS. 21 and 22 is realized by the system large-scale integrated circuit (LSI).
  • LSI system large-scale integrated circuit
  • such lighting timing is realized by a processor, a memory coupled to the processor, and instructions that realize various functions stored in the memory.
  • Some conventional imaging apparatuses use a rolling shutter type camera and a blinking light source (see, for example, Japanese Patent Application Laid-Open No. 2010-093729, Japanese Patent Application Laid-Open No. 2010-262224, and Japanese Patent Application Laid-Open No. 2012-95214). .
  • the inventors of the present invention devised an apparatus and method for realizing proper exposure by obtaining the strobe light emission amount (light emission amount of a light source) based on the brightness of an image picked up when the strobe (light source) does not emit light.
  • exposure means adjusting and exposing the light quantity corresponding to an imaging part (imaging element) according to the brightness of a subject (subject).
  • the appropriate exposure of the brightness of the subject (capture) captured by the imaging unit is referred to as "suitable exposure”.
  • suitable exposure When the brightness of the captured subject is too dark due to insufficient exposure, it is called “exposure under”.
  • exposure over When the exposure is overly excessive and the brightness of the captured subject is too bright, it is called “exposure over”.
  • the imaging device 10 includes a light source 11 (strobe), an imaging unit 12 (imaging element), a controller 13a, and a detector 13b.
  • the imaging device 10 is included in, for example, a home appliance such as a television, and determines, for example, whether a user is in the imaged screen by motion detection.
  • the household electrical appliance including the imaging device 10 may change at least a part of its operation depending on whether a user is in the vicinity. Thus, the household electrical appliance can realize a more user friendly operation, for example.
  • the light source 11 is a light emitting element which irradiates light to a subject (subject) instantaneously.
  • the light source 11 is also called a flash.
  • the depth of field (subject) includes a person (eg, a user of a home appliance) that is an example of a detection object existing in the surveillance area, and an object other than the person (eg, a foreground or a background of the user).
  • the light source 11 may be any suitable flashing light source, for example a light emitting diode (LED). As a rule the light source 11 is a laser diode.
  • the light source 11 irradiates infrared light, for example, but can also irradiate visible light. That is, the light source 11 may be configured to irradiate infrared light or may be configured to irradiate visible light.
  • the light source 11 receives the timing signal tE indicating the exposure timing from the imaging unit 12 and synchronizes the light emission timing with the imaging timing.
  • the light source 11 is configured to emit light toward the depth of field.
  • the light source 11 is comprised so that the light emission amount can be changed.
  • the light emission amount is the total amount of light emitted from the light source 11 within a predetermined period (for example, the frame period), and corresponds to the amount obtained by integrating the light emission intensity of the light source 11 with time.
  • the light source 11 is configured to be capable of changing its light emission duty ratio, and the light emission amount of the light source 11 can be changed by changing the light emission duty ratio of the light source 11.
  • the light emission duty ratio is a ratio of a lighting period (a period during which the light source 11 is lit) within a predetermined period.
  • the imaging unit 12 is an element including a group of optical sensors arranged in a matrix on a two-dimensional plane.
  • the imaging unit 12 is, for example, an element using a rolling shutter.
  • the imaging unit 12 is, for example, a complementary metal oxide semiconductor (CMOS) device, but is not limited thereto, and may be a charge coupled device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the imaging unit 12 picks up a predetermined monitoring area near the home appliance including the imaging device 10.
  • the frame rate of the imaging unit 12 is 30 / second, for example.
  • a lens for receiving light from the subject is provided in front of the imaging unit 12, a lens for receiving light from the subject is provided. In this manner, the imaging unit 12 is configured to capture an image of a subject and acquire a captured image.
  • the controller 13a controls the exposure timing of the imaging section 12 and the light emission timing of the light source 11 to have the following relationship.
  • the controller 13a receives the signal P from the imaging unit 12, and outputs a signal DR indicating the duty ratio to the light source 11.
  • the controller 13a can be realized as an integrated circuit (IC) (for example, an application specific integrated circuit) for realizing this function.
  • the controller 13a may alternatively be realized in a processor, memory coupled to the processor, and software stored in the memory (programs, instructions, etc.).
  • the controller 13a is comprised so that each part of the imaging device 10, such as the light source 11 and the imaging part 12, may be controlled.
  • the controller 13a includes a control unit 14.
  • the control part 14 is comprised so that the light source 11 may light-emit and image the depth of field (the depth of field illuminated by the light source 11 which lighted) to the imaging part 12. FIG. The operation by the control unit 14 will be described later.
  • the detector 13b receives a signal P representing an image output from the imaging unit 12, and determines whether a user (an example of the object) exists in the captured screen.
  • the detector 13b outputs a detection signal U indicating the result of the determination.
  • the detector 13b may be provided outside the imaging device 10.
  • the imaging device 10 includes the detector 13b, the imaging device 10 may be called a user detection device.
  • the detector 13b can be realized as an integrated circuit (IC) (for example, an application specific integrated circuit) for realizing this function.
  • the detector 13b may alternatively be realized in a processor, a memory coupled to the processor, and software stored in the memory (program, instruction, etc.).
  • the detector 13b is configured to process the captured image (image represented by the signal P) acquired by the imaging unit 12.
  • the detector 13b is provided with the determination part 15, the detection part 16, and the identification part 17. As shown in FIG.
  • the determination unit 15 is configured to determine the presence or absence of a predetermined detection target (motion in this example) in the captured image (image represented by the signal P) acquired by the imaging unit 12.
  • the detection unit 16 is configured to detect a predetermined object (human face in this example) from the picked-up image (image indicated by the signal P) determined by the determination unit 15 as the detection target.
  • the identification unit 17 extracts an object area (an image area including an object detected by the detection unit 16) from the captured image (image represented by the signal P), and combines the object area and the combined image registered in advance. To identify the object.
  • the object is a human face
  • the combined image is a face image including the human face
  • the identification unit 17 combines the human face included in the object area with the human face registered in advance, and the individual. Perform identification (face recognition).
  • the identification unit 17 is also configured to output the identification result (signal U indicating the result) to the outside.
  • the imaging unit 12 picks up an image and inputs an image P (photographed image) to the controller 13a.
  • the controller 13a calculates the average luminance APL of the pixels in the image P, calculates the duty ratio DR based on the average luminance APL, and outputs the duty ratio DR to the light source 11.
  • the imaging unit 12 outputs a timing signal tE indicating the exposure timing to the light source 11.
  • the light source 11 periodically repeats the lit state and the unlit state.
  • the controller 13a controls the amount of light emitted from the light source 11 by pulse width modulation PWM based on the duty ratio DR.
  • the duty ratio DR is a ratio of the lighting period to the period of the lit state and the unlit state (that is, the PWM cycle TP).
  • the amount of light emitted from the light source 11 is controlled by the duty ratio DR output by the controller 13a.
  • the controller 13a controls unit 14 to changes the light emission amount of the light source 11 by pulse width modulation.
  • the light source 11 sets the PWM period TP so that the integer multiple of the PWM period TP is equal to the exposure period tE, and emits light by PWM control based on the input duty ratio DR.
  • the imaging unit 12 acquires an image in a period during which the light source 11 emits light, and outputs an image P (photographed image).
  • the image P is input to the detector 13b disposed at the rear end.
  • the detector 13b performs person detection based on the difference between successive frames of the image P.
  • the detector 13b may detect the shape of the person or the shape of the face of the image P to perform person detection. In addition to the person's detection, personal recognition may be performed.
  • the detector 13b outputs the detection signal U.
  • a household appliance eg, a television
  • receives the detection signal U may change at least part of its operation based on the detection signal U.
  • FIG. thus, such a household appliance can change its operation depending on whether a user is in the vicinity of the household appliance. For example, when the user is not nearby, the home appliance may perform an operation such as automatically turning off the power.
  • the amount of light emitted from the light source 11 can be controlled in accordance with the brightness of the photographing area.
  • the imaging device 10 can acquire the image P (the captured image 20) of appropriate brightness.
  • 31 is a diagram illustrating the operation of the imaging device 10 according to the sixth embodiment.
  • 31 shows the frame number, the light emission pulse in the light source 11, and the exposure period in the imaging part 12 sequentially from the top, and the horizontal axis of FIG. 31 shows time t.
  • the imaging unit 12 is typically an element using a rolling shutter such as a CMOS imaging element.
  • the parallelograms referenced in the images P1 to P5 in FIG. 31 correspond to the exposure periods in the frames 1 to 5, respectively. Due to the fact that the imaging unit 12 is a rolling shutter, the start time of the exposure period of each line from the first line to the last line is gradually delayed from the start time of the exposure period of the first line.
  • the exposure period of the images P1 to P5 is represented by a parallelogram in FIG. 31.
  • the image obtained by the imaging unit 12 is typically rectangular (including square).
  • the imaging unit 12 is not limited to the one using a rolling shutter, but may be one using a global shutter. That is, the imaging unit 12 may be configured to be driven by a rolling shutter method, or may be configured to be driven by a global shutter method.
  • the imaging unit 12 acquires an image without causing the light source 11 to emit light.
  • the brightness of what is called environmental light can be measured by acquiring an illuminationless image (photographed image 20).
  • the light source 11 is emitted and the imaging unit 12 acquires an image.
  • the image (image picked-up image 20) of the illuminating state can be acquired.
  • the length of the period of time t1-t3 is 33 ms
  • the length of the period of time t1-t2 is 10 ms.
  • the image in the state without illumination is acquired in the first frame 1, the duty ratio DR of the light source 11 is calculated, and the duty ratio DR is used in frames 2-5.
  • the present invention is not limited thereto, and an image in a state without illumination can be acquired periodically or irregularly, and the duty ratio DR of the light source 11 can be updated. As a result, illumination of appropriate brightness can be performed according to the change in the brightness of the environment, so that an image of appropriate brightness can be obtained.
  • FIG. 32 is a view showing the light emission operation of the light source 11 in the sixth embodiment, and is an enlarged view of the portion corresponding to frame 2 of FIG.
  • the exposure period tE of the first line of the image P2 is a period of time t3 to t32.
  • the exposure period tE of the last line of the image P2 is a period of time t31 to t32.
  • the PWM period TP is set so that the line exposure period (exposure period tE) of the imaging unit 12 becomes four times the PWM period TP of the light source 11. According to this setting, all the lines from the leading line to the last line are also exposed for a period of four times the PWM period TP. Therefore, brightness can be made uniform to all the lines of the frame 2. As shown in FIG. FIG. 32 illustrates an example in which the exposure period tE is four times the PWM period TP, but is not limited thereto.
  • the exposure period tE may be N times the PWM period TP (N is an integer of 1 or more).
  • the start time of the frame 2 of FIG. 32 and the start time of the exposure period tE may not correspond. That is, in FIG. 32, the light emission period of the light source 11 is synchronized with the line exposure of the imaging unit 12, but the present invention is not limited thereto, and the light emission period of the light source 11 is synchronized with the line exposure of the imaging unit 12. May be
  • the image P 10 (photographed image 20) is an example of an image without illumination and represents an image in a bright environment. For example, this is a case where a room where daytime external light enters is photographed.
  • the image P20 (photographed image 20) is also an example showing an image in a state without illumination, and represents an image in a dark environment. For example, this is a case where a room at night is photographed without turning on indoor lighting.
  • the image P 30 (photographed image 20) is an example of an image in an illuminated state, and finally represents an image of brightness to be acquired.
  • the image P 10 is slightly lacking in brightness, and the image P20 is largely lacking in brightness.
  • the horizontal axis of the graph represents the average luminance APL of the image without illumination, and the vertical axis represents the duty ratio DR of the PWM control of the light source 11.
  • the light emission amount (duty ratio in this example) of the light source 11 is calculated
  • proper exposure can be realized, and the detection accuracy of the person by the detector 13b can be higher.
  • the controller 13a outputs the duty ratio DR based on the average luminance APL of the no illumination image P.
  • FIG. 34 The relationship between the average luminance APL and the duty ratio DR in FIG. 34 is plotted as a straight line.
  • 35 and 36 are diagrams illustrating the operation of the light source 11 in the sixth embodiment.
  • the light source 11 emits light by PWM control based on the duty ratio DR input from the controller 13a.
  • the lighting period is 0.4 TP and the lighting period is 0.6 TP.
  • the lighting period is 0.8 TP
  • the lighting period is 0.2 TP.
  • the control is performed to brighten the light in a dark environment and to dim the light in a bright environment.
  • the image P 30 (the image of the desired brightness to be finally acquired) shown in FIG. 33 can be acquired.
  • FIG. 37 is a view for explaining another example of the operation of the controller 13a according to the sixth embodiment.
  • nonlinear conversion characteristics like the graphs 3701, 3702, and 3703 of FIG. 37 can also be used according to the sensitivity characteristic of illumination and an imaging part.
  • the controller 14 controls the brightness of the captured image 20 acquired by the imaging unit 12 at the time of non-light emission of the light source 11 (this example).
  • the amount of light emitted by the light source 11 is set based on the average value of the brightness of the telephone station in the captured image 20.
  • the control unit 14 controls the light source 11 so that the light emission amount of the light source 11 decreases as the brightness of the captured image 20 acquired by the imaging unit 12 becomes brighter when the light source 11 is not emitting light.
  • the amount of light emitted by the light source 11 is set based on the brightness of the picked-up image 20 acquired by the imaging unit 12 when the light is not emitted.
  • any function used in the embodiments according to the present disclosure can be realized using hardware, software, or a combination thereof. Such functionality may be implemented by a single processor or may be realized by a plurality of processors.
  • the functions of the imaging device 10 shown in FIGS. 30 and 31 are realized by a large scale integrated circuit (LSI).
  • LSI large scale integrated circuit
  • the functions of the imaging device 10 are realized by a processor, a memory coupled to the processor, and instructions for implementing various functions stored in the memory.
  • Japanese Patent Laid-Open No. 2007-318673 discloses a sensor camera with a sensor added to an interphone device or the like.
  • the sensor camera includes imaging means for imaging a predetermined area; Image processing means for detecting a moving object from the captured image of the imaging means; Means for outputting a captured image signal; Brightness determining means for determining the brightness of the surroundings; And brightness control means for lighting the lighting means and controlling the amount of light of the lighting means when the brightness determined by the brightness determining means is equal to or less than a predetermined value.
  • the light emission amount of the light source is the total amount of the light radiate
  • an object of this disclosure is to provide the imaging device which can image a depth of field with the light emission amount (for example, light emission intensity) suitable for determination of the presence or absence of a detection object.
  • the light emission amount for example, light emission intensity
  • the image capturing apparatus 10 is configured to monitor a depth of field by capturing a depth of field, for example, provided in an electronic product (specifically, a flat panel display) installed indoors.
  • the imaging device 10 includes a light source 11, an imaging unit 12, and a processing circuit 13.
  • the light source 11 is comprised so that a light-field may be reflected, and the light emission intensity is comprised so that switching to a some light emission intensity is possible.
  • the light source 11 is configured to be capable of switching its emission intensity into two different emission intensities (that is, "strong" and "weak”).
  • the light source 11 may be configured by a light emitting diode (LED) or may be configured by a laser diode.
  • the light emitted from the light source 11 may be infrared light or visible light.
  • the light emission amount of the light source 11 can be switched to a plurality of light emission amounts.
  • the light emission amount of the light source 11 is the total amount of light emitted from the light source 11 within a predetermined period (e.g., a frame period required for acquiring one captured image), and the light emission intensity of the light source 11 is determined as time.
  • the light source 11 is comprised so that switching of the light emission amount is possible.
  • two different light emission intensities of the light source 11 are determined by two different light amounts of light source 11 (that is, “multi” and “low”). Respectively). That is, in the present example, the light source 11 is configured to switch the light emission amount to two different light emission amounts (that is, “high” and “low”).
  • the case where the light source 11 is comprised so that switching from the light emission intensity to the some light emission intensity namely, the case where the light emission amount of the light source 11 is switched by switching the light emission intensity of the light source 11
  • the light source 11 is comprised so that switching from the light emission intensity to the some light emission intensity
  • the imaging unit 12 is configured to capture an image of a subject and acquire a captured image.
  • the imaging unit 12 may be configured by a complementary metal oxide semiconductor (CMOS) or may be configured by a charge coupling device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupling device
  • the processing circuit 13 is configured to control each part of the imaging device 10 such as the light source 11 and the imaging unit 12.
  • the processing circuit 13 is constituted by a CPU, a memory, or the like.
  • the control unit 14, the determination unit 15, and the setting unit 18 are included.
  • the controller 14 performs the first operation when the light emission intensity (light emission amount) to be set for the light source 11 is not determined, and when the light emission intensity to be set for the light source 11 is determined, It is configured to perform two operations. Specifically, the control unit 14 determines whether there is a light emission intensity registered in the setting unit 18 (memory area) as the light emission intensity to be set among the plurality of light emission intensities, and the setting unit 18 as the light emission intensity to be set. The first operation may be performed when there is no registered light emission intensity, and the second operation may be performed when there is an emission intensity registered in the setting unit 18 as the emission intensity to be set.
  • the controller 14 sequentially switches the light emission intensity of the light source 11 to the plurality of light emission intensities, and captures the depth of field projected by the light source 11 that emits light at the converted light emission intensity.
  • Image is taken. That is, in the first operation, the control unit 14 sets the light emission intensity of the light source 11 to the light emission intensity selected from among the plurality of light emission intensities in a predetermined order, and the light source 11 emits light at the selected light emission intensity. The image of the projected depth is imaged by the imaging unit 12.
  • the control unit 14 sets the light emission intensity of the light source 11 to the light emission intensity to be set, and captures the depth of field projected by the light source 11 that emits light at the light emission intensity to be set. Image).
  • control unit 14 performs the following processing in the first operation. That is, the control unit 14 sets the light emission intensity of the light source 11 to the first light emission intensity (for example, “strong”) and emits the depth of field emitted by the light source 11 that emits light at the first light emission intensity. ), The imaging unit 12 displays the depth of field projected by the light source 11 that emits light at the second emission intensity by setting the emission intensity of the light source 11 to a second emission intensity (for example, "less than”). Image is taken.
  • first light emission intensity for example, “strong”
  • the imaging unit 12 displays the depth of field projected by the light source 11 that emits light at the second emission intensity by setting the emission intensity of the light source 11 to a second emission intensity (for example, "less than”). Image is taken.
  • the control part 14 performs the following processes in a 2nd operation
  • the imaging unit 12 captures an image of the depth of field emitted by the light source 11 that has emitted light.
  • the controller 14 sets the light emission intensity of the light source 11 to the second light emission intensity to emit light at the second light emission intensity.
  • the imaging unit 12 captures an image of the depth of field projected by the light source 11.
  • the control unit 14 switches the light emission intensity of the light source 11 to the first and second light emission intensities, thereby switching the emitted light intensity.
  • the imaging unit 12 captures an image of the depth of field illuminated by the light source 11 emitted by the light source.
  • first light emission intensity eg, “strong”
  • second light emission intensity eg, “weak”
  • first light emission amount eg, “high”
  • second light emission amount eg, “low”
  • the determination unit 15 is configured to determine the presence or absence of a detection target (for example, a human) in the captured image acquired by the imaging unit 12.
  • a detection target for example, a human
  • the determination unit 15 is described in non-patent document 1 "Navneetdalal and Bill Triggs," Histograms of Oriented Gradients for Human Detection, "Proc. of CVPR 2005, vol. 1, pp. 886-893, 2005. ”may be configured to perform the determination of the presence or absence of the detection target using the detection technique (the detection technique based on the machine learning of the luminance gradient histogram feature).
  • the determination unit 15 is configured to output the detection result to the outside.
  • the setting part 18 is comprised so that the light emission intensity (light emission amount) of the light source 11 at the time of imaging for acquiring the picked-up image determined by the determination part 15 to be a detection object may be set as the light emission intensity which should be set. .
  • the setting unit 18 determines the emission intensity of the light source 11 at the time of imaging for acquiring the captured image determined to be detected by the determination unit 15 as the emission intensity to be set and sets the setting unit 18. It may also be configured to register in a storage area.
  • the setting unit 18 when the picked-up image acquired by the second operation of the control unit 14 is determined by the determination unit 15 to be no detection target, the light source 11 at the time of picking up the captured image for acquiring the picked-up image.
  • the crystal which sets the light emission intensity (light emission amount) to be the light emission intensity to be released is canceled.
  • the setting unit 18 is a captured image acquired by the second operation of the control unit 14, and the light source 11 at the time of imaging for acquiring the captured image determined by the determination unit 15 to be no detection target. Can be configured to delete the registration of the emission intensity (registration as the emission intensity to be set) in the setting unit 18 (memory area).
  • the setting unit 18 may include appropriate logic, circuit, interface, and / or code for the above operation.
  • the operation shown in FIG. 39 corresponds to an operation (first operation) performed when neither the emission intensity "strong” nor “weak” is determined as the emission intensity to be set.
  • the operation shown in FIG. 40 corresponds to the operation (second operation) performed when the emission intensity "strong” and “weak” are both determined as the emission intensity to be set.
  • the operation shown in FIG. 41 corresponds to the operation (second operation) performed when only the “strong” among the emission intensity “strong” and “weak” is determined as the emission intensity to be set.
  • the operation shown in FIG. 42 corresponds to the operation (second operation) performed when only “weak” among the light emission intensities "strong” and “weak” is determined as the light emission intensity to be set.
  • the controller 14 sets the light intensity of the light source 11 to "strong". And the control part 14 makes the imaging part 12 image the depth-of-field illuminated by the light source 11 which set the light emission intensity to "strong.” Specifically, the control unit 14 performs at least one imaging (image capturing) so that at least one captured image is acquired during the period in which the subject is illuminated by the light source 11 having the light emission intensity set to “strong”.
  • the imaging section 12 is carried out.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired by step ST712.
  • the setting unit 18 determines the light emission intensity to set the light emission intensity "strong”. Specifically, the setting unit 18 registers in the setting unit 18 (memory area) as the light emission intensity which should set the light emission intensity "strong”. Next, the process proceeds to step ST714.
  • the setting unit 18 does not determine the light emission intensity to set the light emission intensity "strong”. Specifically, the setting unit 18 does not register the setting unit 18 (memory area) as the light emission intensity to set the light emission intensity "strong”. Next, the process proceeds to step ST717.
  • control unit 14 sets the light emission intensity of the light source 11 to "weak”, and sets the depth of field reflected by the light source 11 that set the light emission intensity to "weak”.
  • the imaging unit 12 captures an image.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired by step ST715.
  • the setting unit 18 determines the light emission intensity to set the light emission intensity "about”. Specifically, the setting unit 18 registers in the setting unit 18 (memory area) as the light emission intensity to set the light emission intensity "about”. Accordingly, the light emission intensities "strong” and “weak” are both determined to be light emission intensities to be set. Specifically, the light emission intensities "strong” and “weak” are both registered in the setting unit 18 (memory area) as the light emission intensity to be set. Subsequently, the procedure proceeds to step ST721 (FIG. 40).
  • the setting unit 18 does not determine the light emission intensity to set the light emission intensity "weak”. Specifically, the setting unit 18 does not register the setting unit 18 (memory area) as the light emission intensity to set the light emission intensity “about”. Accordingly, only “strong” of the emission intensity "strong” and “weak” is determined as the emission intensity to be set. Specifically, only “strong” among the light emission intensities "strong” and “weak” is registered in the setting unit 18 (memory area) as the light emission intensity to be set. Subsequently, the procedure proceeds to step ST731 (FIG. 41).
  • the control unit 14 sets the light emission intensity of the light source 11 to "weak", and sets the depth of field reflected by the light source 11 with the light emission intensity set to "weak”.
  • the imaging unit 12 captures an image. Specifically, the control unit 14 captures at least one imaging (image capturing) so that at least one captured image is acquired during the period in which the subject is illuminated by the light source 11 having the light emission intensity set to “about”. Part 12 is carried out.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST718.
  • the setting unit 18 determines the light emission intensity to set the light emission intensity "about". Accordingly, only “weak” of the light emission intensities “strong” and “weak” is determined as the light emission intensity to be set. Specifically, only “weak” of the light emission intensities "strong” and “weak” is registered in the setting unit 18 (memory area) as the light emission intensity to be set.
  • the process proceeds to step ST741 (FIG. 42).
  • the setting unit 18 does not determine the light emission intensity to set the light emission intensity "weak". Accordingly, the light emission intensities "strong” and “weak” are not both determined as the light emission intensities to be set. Specifically, the light emission intensities "strong” and “weak” are not registered in the setting unit 18 (memory area) as the light emission intensities to be set. Next, the process proceeds to step ST711.
  • the controller 14 sets the light emission intensity of the light source 11 to “strong” and the light emission intensity to “strong”.
  • the imaging unit 12 captures an image of the depth of field projected by the light source 11.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST722.
  • the setting unit 18 holds the crystal to set the light emission intensity to set the light emission intensity "strong". Specifically, the setting unit 18 holds the registration of the light emission intensity " strong " (registration as the light emission intensity to be set) in the setting unit 18 (memory area). The process then advances to step ST724.
  • the setting unit 18 releases the determination of the light emission intensity to set the light emission intensity "strong". Specifically, the setting unit 18 deletes the registration of the light emission intensity " strong " (registration as the light emission intensity to be set) in the setting unit 18 (memory area). Next, the process proceeds to step ST727.
  • control unit 14 sets the light emission intensity of the light source 11 to "about” and the depth of field illuminated by the light source 11 with the light emission intensity set to "about”.
  • the imaging unit 12 captures an image.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired by step ST725.
  • the setting unit 18 holds the crystal to set the light emission intensity to set the light emission intensity "about”. Specifically, the setting unit 18 holds the registration of the light emission intensity " about " (registration as the light emission intensity to be set) in the setting unit 18 (memory area).
  • the state in which the light emission intensities "strong” and “weak” are both determined as the light emission intensity to be set is maintained. Specifically, the state in which the light emission intensities "strong” and “weak” are registered in the setting unit 18 (memory area) as the light emission intensity to be set is maintained.
  • the process proceeds to step ST721.
  • the setting unit 18 releases the determination of the light emission intensity to set the light emission intensity "about”. Specifically, the setting unit 18 deletes the registration of the light emission intensity "about” in the setting unit 18 (memory area) (registration as the light emission intensity to be set). As a result, only “strong” among the light emission intensities “strong” and “weak” is in a state in which the light emission intensity to be set is determined. Specifically, only “strong” of the light emission intensities "strong” and “weak” is in a state registered in the setting unit 18 (memory area) as the light emission intensity to be set. Subsequently, the procedure proceeds to step ST731 (FIG. 41).
  • control unit 14 sets the light emission intensity of the light source 11 to "about” and the depth of field illuminated by the light source 11 with the light emission intensity set to "about”.
  • the imaging unit 12 captures an image.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST728.
  • the setting unit 18 holds the crystal to set the light emission intensity to set the light emission intensity "about”.
  • only “weak” among the light emission intensities “strong” and “weak” is in a state in which the light emission intensity to be set is determined.
  • only “weak” of the light emission intensities "strong” and “weak” is in a state registered in the setting unit 18 (memory area) as the light emission intensity to be set.
  • the process proceeds to step ST741 (FIG. 42).
  • the setting unit 18 releases the determination of the light emission intensity to set the light emission intensity "about".
  • the light emission intensities " strong " and " weak " Specifically, the light emission intensities " strong " and " weak " are both not registered in the setting unit 18 (memory area) as the light emission intensity to be set.
  • the flow advances to step ST711 (FIG. 39).
  • the controller 14 sets the light emission intensity of the light source 11 to “strong”, and sets the light emission intensity to "strong”.
  • the imaging unit 12 captures an image of the depth of field projected by the light source 11 set to ”.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired by step ST732.
  • the setting unit 18 holds the crystal to set the light emission intensity to set the light emission intensity "strong”. Thereby, the state in which only “strong” among the light emission intensities "strong” and “weak” is determined as the light emission intensity to be set is maintained.
  • the process proceeds to step ST731.
  • the setting unit 18 releases the determination of the light emission intensity to set the light emission intensity "strong".
  • the light emission intensities " strong " and " weak " proceeds to step ST711 (FIG. 39).
  • the controller 14 sets the light emission intensity of the light source 11 to “weak”, and sets the light emission intensity to "weak”.
  • the imaging unit 12 captures an image of the depth of field projected by the light source 11 set to ”.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST742.
  • the setting unit 18 holds the crystal to set the light emission intensity to set the light emission intensity "about”. Thereby, the state in which only “weak” among the light emission intensities "strong” and “weak” is determined as the light emission intensity to be set is maintained.
  • the process proceeds to step ST741.
  • the setting unit 18 releases the determination of the light emission intensity to set the light emission intensity "about".
  • the light emission intensities " strong " and " weak " proceeds to step ST711 (FIG. 39).
  • an image of the depth of field emitted by the light source 11 that emits light at the converted light emission intensity is sequentially switched to a plurality of light emission intensities.
  • the first operation of acquiring the captured image that is, the light emission intensity of the light source 11 is set to the light emission intensity selected from among the plurality of light emission intensities in a predetermined order, and is emitted by the light source 11 that emits light at the selected light emission intensity.
  • the light emission intensity (light emission amount) which should be set with respect to the light source 11 is determined, the light emission intensity which set the light emission intensity of the light source 11 to the light emission intensity which should be set, and light-emitted at the light emission intensity which should be set.
  • the light emission intensity of the light source 11 at the time of image pick-up for acquiring the picked-up image By canceling the determination of the light emission intensity to set the light emission amount), imaging can be stopped at the light emission intensity (light emission amount) that is not suitable for the determination of the presence or absence of the detection target.
  • the operation of the imaging device 10 according to the eighth embodiment is different from that of the imaging device 10 according to the first embodiment.
  • the light source 11 is comprised so that switching of the light emission intensity to 2 or more light emission intensity is possible. That is, the light source 11 is comprised so that switching from the light emission amount to 2 or more light emission amounts is possible.
  • the rest of the configuration of the eighth embodiment is the same as that of the seventh embodiment.
  • variable J is an integer greater than or equal to 1 and below an upper limit (Jmax), and shows the number of emission intensity (for example, the number which shows the step of the intensity of emission intensity) to be processed.
  • the upper limit Jmax is an integer of 2 or more and corresponds to the number of light emission intensities that can be set (for example, the number of steps of changing the light emission intensity) of the light source 11.
  • the controller 14 sets the variable J to one. That is, the control unit 14 selects the first light emission intensity as the object of this process.
  • control part 14 sets the light emission intensity of the light source 11 to the Jth light emission intensity. And the control part 14 makes the imaging part 12 image the depth of field reflected by the light source 11 set to the Jth emission intensity. Specifically, the control unit 14 performs at least one imaging (image capturing) of the imaging unit so that at least one captured image is acquired during the period in which the subject is illuminated by the light source 11 set to the Jth emission intensity. (12).
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST753. If it is determined that there is a detection target in the captured image, the process proceeds to step ST755, otherwise, the process proceeds to step ST756.
  • the setting unit 18 sets the light emission intensity of the light source 11 at the time of imaging for acquiring the captured image determined to be the detection target in step ST754 (that is, J set to the current light emission intensity of the light source 11 in step ST752).
  • Light emission intensity to determine the light emission intensity to be set.
  • the setting unit 18 registers in the setting unit 18 (memory area) as the light emission intensity to set the Jth light emission intensity. The process then proceeds to step 756.
  • control unit 14 determines whether the variable J has reached the upper limit value Jmax. That is, the control unit 14 determines whether or not the above-mentioned unselected light emission intensity remains among the plurality of light emission intensities. If the variable J has not reached the upper limit value Jmax, the process proceeds to step ST757. If the variable J has reached the upper limit value Jmax, the process proceeds to step ST758.
  • step ST757 When it is determined in step ST757 that the variable J has not reached the upper limit Jmax, the control unit 14 adds 1 to the variable J. That is, the control unit 14 selects the light emission intensity which is not yet selected among the plurality of light emission intensities as the next processing target. Next, the process proceeds to step ST752.
  • the controller 14 determines whether or not the light emission intensity to be set for the light source 11 is determined. Specifically, the control unit 14 determines whether or not there is a light emission intensity registered in the setting unit 18 (memory area) as the light emission intensity to be set among the plurality of light emission intensities. If the light emission intensity to be set is determined, the process proceeds to step ST761, otherwise, the process proceeds to step ST751.
  • the controller 14 sets the variable J to one. That is, the control unit 14 selects the first light emission intensity as the object of this process.
  • control unit 14 determines whether or not the J-th light emission intensity (that is, the light emission intensity that is the object of the current process) is determined as the light emission intensity to be set. If the Jth emission intensity is not determined to be the emission intensity to be set, the process proceeds to step ST763. If the Jth emission intensity is determined to be the emission intensity to be set, the flow proceeds to step ST765.
  • control unit 14 determines whether the variable J has reached the upper limit value Jmax. If the variable J has not reached the upper limit value Jmax, the process proceeds to step ST764, and if the variable J has reached the upper limit value Jmax, the process proceeds to step ST761.
  • step ST763 When it is determined in step ST763 that the variable J has not reached the upper limit value Jmax, the control unit 14 adds 1 to the variable J. Next, the process proceeds to step ST762.
  • step ST762 When it is determined in step ST762 that the Jth light emission intensity is determined to be the light emission intensity to be set, the control unit 14 sets the light emission intensity of the light source 11 to the Jth light emission intensity. And the control part 14 makes the imaging part 12 image the depth of field reflected by the light source 11 set to the Jth emission intensity.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST766. When it is determined that there is no detection object in the picked-up image, the flow proceeds to step ST768, and when it is determined that there is a detection object in the picked-up image, the flow proceeds to step ST770.
  • the setting unit 18 performs the light emission intensity of the light source 11 at the time of imaging for acquiring the picked-up image determined as no detection target in step ST767 (that is, the J-th light emission set as the current light emission intensity of the light source in step ST765). Determination is made to the luminous intensity to be set. Specifically, the setting unit 18 deletes the registration of the Jth light emission intensity (registration as light emission intensity to be set) in the setting unit 18 (memory area). Next, the process proceeds to step ST769.
  • control unit 14 determines whether the light emission intensity to be set for the light source 11 is determined. If the light emission intensity to be set is determined, the process proceeds to step ST770; otherwise, the process proceeds to step ST751.
  • step ST769 When it is determined in step ST769 that the light emission intensity to be set for the light source 11 is determined, the control unit 14 determines whether the variable J has reached the upper limit value Jmax. When the variable J does not reach the upper limit Jmax, the control unit 14 adds 1 to the variable J. Next, the process proceeds to step ST762. On the other hand, when variable J has reached the upper limit Jmax, it progresses to step ST761.
  • the light emission intensity (light emission amount) to be set for the light source 11 when the light emission intensity (light emission amount) to be set for the light source 11 is not determined, the light emission intensity (light emission amount) suitable for the determination of the presence or absence of the detection target can be determined.
  • the subject can be imaged with the light emission intensity (light emission amount) appropriate for the determination of the presence or absence of the detection target.
  • a light source at the time of picking up the captured image to acquire the picked-up image By releasing the determination that the light emission intensity (light emission amount) of 11) is to be set as the light emission intensity, imaging can be stopped at the light emission intensity (light emission amount) that is not suitable for the determination of the presence or absence of the detection target.
  • the determination unit 15 may be configured to perform detection processing (determination of presence or absence of detection target) on the basis of a plurality of captured images that are continuously (or discrete) in the time series.
  • the determination unit 15 classifies the plurality of captured images acquired by the imaging unit 12 into the light emission intensity (light emission amount) of the light source 11 at the time of imaging for acquiring the captured image,
  • Each classification is preferably configured to determine the presence or absence of a detection target based on a plurality of captured images belonging to the classification.
  • the presence or absence of a detection target can be determined based on a plurality of captured images for each classification of the emission intensity (light emission amount), and the emission intensity (light emission amount) appropriate for the determination of the presence or absence of the detection target can be appropriately determined based on the determination result. have.
  • the detection object in the determination part 15 is not limited to a human, For example, it may be a movement of a body.
  • control part 14, the determination part 15, and the setting part 18 were included in the one processing circuit 13 as an example, the control part 14 and the determination part 15, The setting unit 18 may be included in two or more processing circuits.
  • the light source 11 is comprised so that light emission intensity is switchable (that is, when the light emission amount of light source 11 is switched by switching light emission intensity of light source 11)
  • (11) may be configured to switch the light emission duty ratio into a plurality of light emission duty ratios.
  • the light emission duty ratio is a ratio of a lighting period (a period during which the light source 11 is lit) within a predetermined period (for example, a frame period required for acquiring one captured image).
  • the light emission amount of the light source 11 can be switched by switching the light emission duty ratio of the light source 11.
  • the imaging device 10 is configured to monitor a field by imaging an object, and is installed in, for example, an electronic product (specifically, a flat panel display) installed indoors.
  • the imaging device 10 includes a light source 11, an imaging unit 12, and a processing circuit 13.
  • the light source 11 is comprised so that the depth of field may shine.
  • the light source 11 is comprised so that the light emission amount can be changed.
  • the light source 11 is comprised so that change of at least one of the light emission intensity and light emission duty ratio is possible.
  • the light emission amount is the total amount of light emitted from the light source 11 in a predetermined period (for example, a frame period required for acquiring one captured image), and corresponds to an amount obtained by integrating the light emission intensity of the light source 11 with time. do.
  • the light emission duty ratio is a ratio of a lighting period (a period during which the light source 11 is lit) within a predetermined period.
  • the light source 11 may be configured by a light emitting diode (LED) or may be configured by a laser diode.
  • the light emitted from the light source 11 may be infrared light or visible light.
  • the light source 11 is configured to be capable of switching the light emission amount into two different light emission amounts (a first light emission amount and a second light emission amount less than the first light emission amount). Specifically, the light source 11 may be configured to be capable of switching its emission intensity into two different emission intensities (first emission intensity and second emission intensity weaker than the first emission intensity). Alternatively, the light source 11 may be configured to convert the light emission duty ratio into two different light emission duty ratios (a first light emission duty ratio and a second light emission duty ratio smaller than the first light emission duty ratio).
  • the imaging unit 12 is configured to capture an image of a subject and acquire a captured image. Moreover, the imaging part 12 is comprised so that change of the exposure time is possible. Specifically, the imaging unit 12 is configured to be capable of switching the exposure time to two different exposure times (a first exposure time and a second exposure time longer than the first exposure time).
  • the imaging unit 12 may be configured by a complementary metal oxide semiconductor (CMOS) or may be configured by a charge coupling device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupling device
  • the imaging unit 12 may be configured to be driven by a rolling shutter method, or may be configured to be driven by a global shutter method.
  • the processing circuit 13 is configured to control each part of the imaging device 10 such as the light source 11 and the imaging unit 12.
  • the processing circuit 13 is constituted by a CPU, a memory, or the like.
  • the control part 14, the determination part 15, the detection part 16, and the identification part 17 are provided.
  • the control part 14 is comprised so that the light source 11 may light-emit and image the depth-of-field (the depth-of-field illuminated by the light source 11) to the imaging part 12.
  • the control part 14 is comprised so that the light emission amount of the light source 11 and the exposure time of the imaging part 12 may be switched according to the determination result by the determination part 15.
  • the determination unit 15 is configured to determine the presence or absence of a detection target (for example, a motion) in the captured image obtained by the imaging unit 12.
  • a detection target for example, a motion
  • the detection unit 16 is configured to detect a predetermined object (for example, a human face) from the picked-up image determined by the determination unit 15 as the detection target.
  • a predetermined object for example, a human face
  • the detection unit 16 is described in the non-patent document 1 "Navneetdalal and Bill Triggs," Histograms of Oriented Gradients for Human Detection, "Proc. of CVPR 2005, vol. 1, pp. 886-893, 2005. ”may be configured to perform an object detection process (in this example, a person detection process) using a detection technique (a detection technique based on machine learning of luminance gradient histogram features).
  • the identification part 17 is comprised so that an object area
  • the object area is a part of the picked-up image, and corresponds to an area (image area) including the object detected by the detection unit 16.
  • the object is a human face
  • the combined image is a face image including a human face
  • the identification unit 17 performs personal identification by combining a human face included in the object area with a human face registered in advance. do.
  • the identification unit 17 is configured to output the identification result to the outside.
  • the identification unit 17 is described in the non-patent document 2 "Paul Viola and Michael Jones," Rapid Objectdetection using a Boosted Cascade of Simple Features, "Proc. of CVPR 2001, vol. 1, pp. 511-518, 2001. ”(the method according to the comparison of the luminance distribution) or the like may be configured to extract the object region.
  • the identification unit 17 may also be configured to perform a combination process (combination of the object region and the combined image) using a support vector machine, a mutual subspace method, or the like.
  • control unit 14 sets the light emission amount of the light source 11 to the first light emission amount (ie, “high”), and simultaneously sets the exposure time of the imaging unit 12 to the first exposure time (ie, “short”). Set to.
  • control unit 14 causes the light source 11 to emit light at a predetermined light emission amount (specifically, the light emission amount set in steps ST801, ST804, and ST805).
  • control unit 14 exposes the imaging unit 12 at a predetermined exposure time (specifically, exposure times set in steps ST801, STST804, and ST805) to the imaging unit 12 by the depth of field (the light source 11). Image of the illuminated subject).
  • control unit 14 captures the picked-up image string composed of N images (N is an integer of 2 or more) that is continuous in time series during the period in which the light source 11 emits light at a predetermined light emission amount. (12) (the imaging unit 12 exposed at the preset exposure time) causes the imaging of the depth of field to be performed N times consecutively.
  • the determination part 15 determines the presence or absence of a detection object in the picked-up image acquired in step ST803. If it is determined that there is a detection target in the captured image, the process proceeds to step ST804; otherwise, the process proceeds to step ST805.
  • the determination unit 15 calculates N-1 difference images from the N captured images constituting the captured image string acquired in step ST803.
  • the difference image of the X-th (X is 1 or more and N-1 or less) is X + 1 in the picked-up image and the time-series of the N-th picked-up images constituting the picked-up image sequence. It corresponds to a difference image with the picked-up image located in the first.
  • the determination unit 15 averages the pixel values of the N-1 difference images for each pixel to calculate a difference average image (images in which each pixel value represents an average value of the N-1 pixel values).
  • the determination unit 15 determines in advance the occupancy ratio (ratio of the number of all pixels included in the difference average image) of the number of pixel values exceeding a predetermined difference threshold value among the plurality of pixel values included in the difference average image.
  • a predetermined difference threshold it is determined that there is motion (detection object) in the captured image, otherwise it is determined that there is no motion (detection object) in the captured image.
  • the difference threshold and the occupancy ratio threshold are set to, for example, the pixel value and the occupancy ratio when it can be regarded as having motion.
  • step ST105 When it is determined in step ST105 that there is a detection target, the control unit 14 sets the light emission amount of the light source 11 to the first light emission amount (that is, "many") and sets the exposure time of the imaging unit 12 to the first time. Set to exposure time (ie, "short”). Next, the process proceeds to step ST806.
  • step ST105 when it is determined in step ST105 that there is no detection object, the control unit 14 sets the light emission amount of the light source 11 to the second light emission amount (that is, "low”) and simultaneously sets the exposure time of the imaging unit 12. The second exposure time (that is, "long”) is set. Next, the process proceeds to step ST806.
  • step ST802 the process ends, the process ends, and when the process continues, the process proceeds to step ST802.
  • the control unit 14 sets the light emission amount of the light source 11 to the first light emission amount and sets the exposure time of the imaging unit 12 to the first exposure.
  • the imaging unit 12 sets the light emission amount of the light source 11 to a second light emission intensity (light emission amount less than the first light emission amount). Is configured to set the exposure time to a second exposure time (exposure time longer than the first exposure time).
  • the brightness (luminance value) of the captured image depends on the amount of light emitted by the light source 11 and the exposure time of the imaging unit 12. Specifically, as the light emission amount of the light source 11 increases, the brightness of the captured image increases, and as the light emission amount of the light source 11 decreases, the brightness of the captured image tends to decrease. In addition, the longer the exposure time of the imaging section 12, the higher the brightness of the captured image, and the shorter the exposure time of the imaging section 12, the lower the brightness of the captured image.
  • the light emission amount of the light source 11 is set to the first light emission amount, and the exposure time of the imaging unit 12 is set to the first exposure time.
  • the light emission amount of the light source 11 is always set to the second light emission amount (light emission amount less than the first light emission amount), and the exposure time of the imaging unit 12 is always the second exposure time (exposure time longer than the first exposure time).
  • the light emission amount of the light source 11 is set to the second light emission amount (light emission amount less than the first light emission amount) and the exposure time of the imaging unit 12 is set.
  • the second exposure time exposure time longer than the first exposure time
  • the determination unit 15 determines that there is a detection target (that is, the light emission amount of the light source 11 is set to the first light emission amount
  • the light emission amount of the light source 11 can be lowered, and the exposure time of the imaging part 12 can be made longer than the exposure time of (12) is set to the 1st exposure time.
  • the power consumption of the light source 11 can be reduced.
  • step ST801 the light emission amount of the light source 11 is set to the first light emission amount (that is, "a lot”), and the exposure time of the imaging unit 12 is set to the first exposure time (that is, “short”).
  • the controller 14 sets the light emission amount of the light source 11 to the second light emission amount (that is, “low”) at step ST801 and sets the exposure time of the imaging unit 12 to the second. It may also be configured to set the exposure time (ie, “ ⁇ ”).
  • control part 14 the determination part 15, the detection part 16, and the identification part 17 were included in the one processing circuit 13
  • control part 14 The determination unit 15, the detection unit 16, and the identification unit 17 may be included in two or more processing circuits.
  • the imaging device 10 according to the tenth embodiment has the same configuration as the imaging device 10 according to the fourth embodiment shown in FIG. 16.
  • the imaging device 10 according to the tenth embodiment can perform the same operation as that of the imaging device 10 according to the first to fourth embodiments.
  • the imaging part 12, the control part 14, the determination part 15, the detection part 16, and the identification part 17 are comprised as follows.
  • the imaging unit 12 is configured to be driven by a rolling shutter method.
  • the imaging unit 12 has a light receiving surface (not shown) in which a plurality of optical sensors are arranged in a matrix, and is formed from the first line (the line formed by two or more optical sensors arranged in the row direction), which is a leading line. It is comprised so that n lines may be exposed one by one toward the n-th line (N is an integer of 2 or more) which is a final line.
  • the control unit 14 includes a light source and a light source period during which the light sources 11 to emit light among the light sources 11a to 11d are turned on within a period except for a period in which all the lines of the imaging unit 12 are simultaneously exposed. (11)
  • the light source 11 is made to emit light so that there is a period in which the light source 11 to emit light is turned off.
  • the determination unit 15 is an image region corresponding to the light source 11 that emits light at the time of imaging for acquiring the captured image 20 of the captured images 20 acquired by the imaging unit 12, and further includes a light source ( It is configured to determine the presence or absence of a detection target in the image area corresponding to the period in which 11) is lit.
  • the detection unit 16 is configured to detect a predetermined object 100 (human in this example) from a picked-up image including an image area determined by the determination unit 15 as being detected.
  • the identification unit 17 extracts the object region 40 (the area including the object 100 which is a part of the captured image 20 and detected by the detection unit 16) from the captured image 20, and the object.
  • the object 100 is configured by combining the combined image registered in advance into the area 40.
  • the imaging unit 12 has a second direction (eg, a horizontal direction) in which the row direction of the optical sensors arranged in a matrix on the light receiving surface becomes a first direction (for example, a horizontal direction), and the column direction of the optical sensor is perpendicular to the first direction (for example, Up and down direction).
  • the plurality of light sources 11 (four light sources 11a to 11d in this example) are arranged in a first direction (for example, in a horizontal direction) to share illumination of a depth of field facing the light receiving surface of the imaging unit 12. It is configured to perform.
  • each of the plurality of light sources 11 is configured to be capable of switching the lighting period into a plurality of lighting periods tL (two lighting periods t25 and t26 in this example).
  • the picked-up image 20 includes a plurality of image regions (in this example, eight image regions 25a to 25d and 26a to 26d arranged in two rows and four columns).
  • image areas 200 the generic terms of the image areas 25a to 25d and 26a to 26d are referred to as "image areas 200".
  • the plurality of light sources 11 respectively correspond to a plurality of image region columns (two or more image regions 200 arranged in the column direction), and the plurality of lighting periods tL correspond to a plurality of image region rows (in the row direction). Each of the two or more image areas 200 is arranged.
  • the plurality of image area rows correspond to a plurality of line groups (line groups composed of two or more consecutive lines) of the imaging unit 12, respectively. That is, the image area row includes a part of the depth of field imaged by the line group of the imaging unit 12 corresponding to the image area row.
  • the plurality of lighting periods tL correspond to the plurality of image area rows, respectively. Therefore, the plurality of lighting periods tL correspond to the plurality of line groups of the imaging unit 12, respectively. And the lighting period tL is set so that it may overlap with the exposure period tE of the line group of the imaging part 12 corresponding to the lighting period tL.
  • the light source 11 can be turned on during the exposure of the line group of the imaging unit 12 corresponding to the lighting period tL to illuminate the depth of field.
  • a part of the depth of field illuminated by (11) can be picked up in the line group (the line group corresponding to the lighting period tL) of the imaging unit 12.
  • the lighting period t25 is the mth line (m is an integer greater than 1 and smaller than n) located in the center from the first line L1 of the first line of the imaging unit 12, in this example n /.
  • the m line group i.e., the first half line group up to the line of 2
  • the lighting period t26 is n-m from the m + 1st line to the nth line Ln which is the last line.
  • two line groups that is, the latter half line group).
  • the line group of the imaging unit 12 corresponding to the lighting period is changed. It is possible.
  • the delay time tD2 of the lighting period t26 is longer than the delay time tD1 of the lighting period t26.
  • the length of the lighting period t26 is equal to the length of the lighting period t25.
  • the light emission order (the order of selecting the light source 11 to emit light) of the light sources 11a to 11d is predetermined, and the order of selecting the four image region columns is predetermined.
  • the light source 11a and the image region sequence (image regions 25a and 26a) are selected first, and the light source 11b and the image region sequence (image region 25b and 26b) are selected second.
  • the light source 11 so that the light source 11c and the image region sequence (image regions 25c and 26c) are selected third, and the light source 11d and the image region sequence (image region 25d and 26d) are selected fourth.
  • a selection order of the image region columns is predetermined.
  • numbers are assigned to the light sources 11a to 11d and the four image region columns based on the selection order of the light source 11 and the image region columns. Specifically, “1" is assigned to the light source 11a and the image region sequence (image regions 25a and 26a), and “2" to the light source 11b and the image region sequence (image regions 25b and 26b). Is assigned, “3” is assigned to the light source 11c and the image regions (image regions 25c and 26c), and "4" is assigned to the light source 11d and the image region columns (image regions 25d and 26d). Is assigned.
  • variable K is one or more, and is an integer below an upper limit (Kmax), and has shown the number of the light source 11 and the image area column which are a process object.
  • the upper limit value Kmax is an integer of 2 or more and corresponds to the number of light sources 11.
  • the selection order of the lighting periods t25 and t26 is predetermined, and the selection order of the two image area rows is predetermined. Specifically, the lighting period t25 and the image area rows 25a, 25b, 25c, and 25d are selected first, and the lighting period t26 and the image area rows 26a, 26b, 26c, and 26d are selected second. The order of selection of the lighting period and the image area row is determined in advance as possible. Further, numbers (numbers indicating the selection order) are assigned to the lighting periods t25 and t26 and the two image area rows based on the lighting period and the selection order of the image area rows.
  • variable M is one or more, and is an integer below an upper limit (Mmax), and has shown the lighting period and image area row number which are a process object.
  • Mmax is an integer of 2 or more and corresponds to the number of lighting periods.
  • control unit 14 sets the variable M to one. That is, the control unit 14 selects the lighting period and the image area row (the lighting period t25 and the image area row 25a, 25b, 25c, 25d in this example) which are first selected in the predetermined selection order. It selects as target lighting period and image area row.
  • the controller 14 sets the variable K to one. That is, the control unit 14 uses the light source 11 and the image region sequence (in this example, the light source 11a and the image region sequence 25a, 26a) which are selected first in a predetermined selection order to be the target of this process. It selects as the light source 11 and the image area
  • the control unit 14 uses the light source 11 and the image region sequence (in this example, the light source 11a and the image region sequence 25a, 26a) which are selected first in a predetermined selection order to be the target of this process. It selects as the light source 11 and the image area
  • control unit 14 turns on the K-th light source 11 in the m-th lighting period so that the imaging unit 12 picks up the depth of field.
  • the determination unit 15 extracts the k-th image region 200 in the m-th row from the captured image 20 acquired in step ST1003.
  • the determination unit 15 determines the presence or absence of a detection target (movement in this example) in the m-th image region 200 in the m-th row extracted in step ST1004. If it is determined that there is a detection target in the k-th image region 200 in the m-th row, the flow proceeds to step ST1006, otherwise, the flow proceeds to step ST1007.
  • the detection unit 16 detects the object 100 (human in this example) from the picked-up image 20 including the K-th image region 200 in the m-th row determined to be the detection target in step ST105.
  • control unit 14 determines whether the variable K has reached the upper limit value Kmax. That is, the control unit 14 determines whether or not the light source 11 and the image region string that are the processing targets are the last selected light source 11 and the image region sequence in a predetermined selection order. If the variable K has not reached the upper limit value Kmax, the process proceeds to step ST1008. If the variable K has reached the upper limit value Kmax, the process proceeds to step ST1009.
  • step ST1008 When the variable K does not reach the upper limit Kmax in step ST1008, the control unit 14 adds 1 to the variable K.
  • FIG. In other words, the control unit 14 selects the light source 11 and the image region sequence selected next to the light source 11 and the image region sequence to be processed next in a predetermined selection order. ) And image area column. Next, the process proceeds to step ST1003.
  • step ST1008 the control unit 14 determines whether the variable M has reached the upper limit Mmax. That is, the control part 14 determines whether the lighting period and image area row which are the object of this process are the lighting period and image area row selected last in a predetermined selection order. If the variable M has not reached the upper limit Mmax, the process proceeds to step ST1010. If the variable M has reached the upper limit Mmax, the process proceeds to step ST1011.
  • step ST1009 the control unit 14 adds 1 to the variable M.
  • the control unit 14 sets the lighting period and the image area row to be selected next to the lighting period and the image area row to be the current processing target in the predetermined selection order, and the lighting period and the image area row to be the next processing object. Select as. Next, the process proceeds to step ST1002.
  • step ST1001 the process ends and the process proceeds to step ST1001.
  • the light source 11 which light-emits in predetermined light emission order (in this example, the order of light source 11a, 11b, 11c, 11d) is selected. Then, the lighting period of the light source 11 is selected in a predetermined selection order (in this example, the order of the lighting periods t25 and t26).
  • the image area 200 to be processed is hatched in the eight image areas 200 included in the captured image 20.
  • the same effects as those in the first to fourth embodiments can be obtained. That is, the monitoring of the depth of field can be continuously performed while reducing the power consumption required for illumination of the depth of field.
  • the period in which the light sources 11 to emit light among the plurality of light sources 11a to 11d are turned on within the period except for the period in which all the lines of the imaging unit 12 are simultaneously exposed, and the light source 11 (the light source to emit light) By emitting the light source 11 in the light emission control so that there is a period in which 11)) is turned off, the power consumption of the light source 11 can be reduced.
  • the control unit 14 includes a plurality of light sources 11a ... when there is no image area 200 determined by the determination unit 15 as being detected.
  • the image area 200 which is determined to be detected by the determination unit 15 by performing light emission control (control for switching the light source 11 to emit light) so that 11d) emits light in a predetermined light emission order and light-on order.
  • the light source 11 corresponding to the image region 200 determined by the determination unit 15 among the plurality of light sources 11a to 11d is detected by the determination unit 15. It may be configured to perform light emission control so that the frequency of lighting in the lighting period corresponding to the image region 200 determined to be high increases.
  • control unit 14 may perform light emission control so that the first light emission operation and the second light emission operation are alternately performed when the image area 200 determined by the determination unit 15 is present as being detected. It may be configured.
  • the image region 200 in which the light source 11 corresponding to the image region 200 determined by the determination unit 15 as the detection target is determined to be the detection target by the determination unit 15.
  • one light source 11 of the light source 11 corresponding to the image region 200 that is not determined to be detected by the determination unit 15 on the basis of the predetermined light emission order and lighting order is It emits light.
  • the light emission order (the order of selecting the light source 11 to emit light) of the light sources 11a to 11d is predetermined, and the order of selecting the four image region columns is predetermined.
  • the selection order of the lighting periods t25 and t26 is predetermined, and the selection order of the two image area rows is predetermined.
  • the variable K is 1 or more, and is an integer below an upper limit Kmax, and has shown the number of the light source 11 and the image area
  • the upper limit Kmax is an integer of 2 or more and corresponds to the number of light sources 11.
  • the variable M is 1 or more and an integer less than or equal to the upper limit value Mmax, and represents the lighting period and the number of image area rows which are the objects of processing.
  • the upper limit value Mmax is an integer of 2 or more and corresponds to the number of lighting periods.
  • control unit 14 sets the variable M to 1 and the variable K to 1. That is, the control unit 14 selects the lighting period and the image area row that are first selected in the predetermined selection order as the lighting period and the image area row that are the object of this process, and is selected first in the predetermined selection order. (11) and the image region string are selected as the light source 11 and the image region sequence to be subjected to this process.
  • the controller 14 determines the presence or absence of the region of interest.
  • the region of interest corresponds to the image region 200 determined by the determination unit 15 as being detected (moving in this example). If it is determined that the region of interest does not exist, the process proceeds to step ST1103. If the region of interest exists, the process proceeds to step ST1201 (Fig. 52).
  • control unit 14 When it is determined in step ST1102 that the region of interest does not exist, the control unit 14 turns on all of the light sources 11a to 11d in the m-th lighting period, and causes the imaging unit 12 to image the depth of field.
  • the controller 14 sets the variable K to one.
  • the determination unit 15 extracts the m-th to K-th image regions 200 from the captured image 20 acquired in step ST1103, and the K-th to the extracted m-th rows.
  • the presence or absence of a detection target is determined.
  • the process proceeds to step ST1107 and when it is determined that there is a detection object in the K-th image area 200 in the m-th row, The flow proceeds to step ST1112.
  • control unit 14 determines whether the variable K has reached the upper limit value Kmax. That is, the control unit 14 determines whether or not the light source 11 and the image region string that are the processing targets at this time are the light source 11 and the image region string that are selected last in a predetermined selection order. If the variable K has not reached the upper limit value Kmax, the process proceeds to step ST1108. If the variable K has reached the upper limit value Kmax, the process proceeds to step ST1109.
  • step ST1008 When the variable K does not reach the upper limit Kmax in step ST1008, the control unit 14 adds 1 to the variable K.
  • FIG. In other words, the control unit 14 selects the light source 11 and the image region sequence selected next to the light source 11 and the image region sequence to be processed next in a predetermined selection order. ) And image area column. Next, the process proceeds to step ST1105.
  • control unit 14 selects the lighting period and the image area row to be the next processing target based on the predetermined selection order. Specifically, the control unit 14 determines whether the variable M has reached the upper limit Mmax, adds 1 to the variable M when the variable M does not reach the upper limit Mmax, and the variable M is the upper limit Mmax. ), Set the variable M to 1. Next, the process proceeds to step ST1103.
  • control unit 14 determines that the m-th to K-th image area 200 is determined to be the detection object in step ST1106. Is set to the object of interest (ie, the region of interest).
  • the detection unit 16 includes the object 100 (in this example, a human being) from the picked-up image 20 including the m-th to K-th image area 200 determined in step ST1112 that there is a detection target. ).
  • the process proceeds to step ST1114.
  • the controller 14 controls the light source 11 corresponding to the image region 200 which is the region of interest among the plurality of light sources 11a-11d to provide a plurality of lighting periods.
  • the light is emitted in a lighting period corresponding to the image region 200 which is the region of interest among t25 and t26, so that the imaging unit 12 picks up the depth of field.
  • the determination part 15 extracts the image area 200 which is a region of interest from the picked-up image 20 acquired by step ST1201.
  • the determination part 15 determines the presence or absence of a detection object (movement in this example) in the image area 200 which is the area
  • the detection part 16 detects the object 100 (human in this example) from the picked-up image 20 containing the image area 200 which is the area
  • control unit 14 excludes the image area 200 which is the area of interest determined as no detection object from the object of interest (that is, the area of interest). Next, the process proceeds to step ST1206.
  • control unit 14 determines whether or not the K-th image region 200 is set as the region of interest in the m-th row. If the K-th image region 200 is set as the region of interest in the m-th row, the process proceeds to step ST1207, otherwise, the process proceeds to step ST1213 (Fig. 53).
  • the control unit 14 performs the next image region 200 to be the next processing target based on a predetermined selection order. Select. Specifically, the control unit 14 determines whether the variable K has reached the upper limit value Kmax, adds 1 to the variable K when the variable K does not reach the upper limit value Kmax, and the variable M is the upper limit value Kmax. When is reached, set the variable K to 1. When the variable K is set to 1, the control unit 14 determines whether the variable M has reached the upper limit value Mmax, and adds 1 to the variable M when the variable M has not reached the upper limit value Mmax. When the variable M reaches the upper limit Mmax, the variable M is set to one. Subsequently, the procedure proceeds to step ST1206.
  • the controller 14 controls the image region (which is the region of interest among the plurality of light sources 11a-11d).
  • the light source 11 corresponding to 200 is emitted in the lighting period corresponding to the image region 200 which is the region of interest in the plurality of lighting periods t25 and t26, so that the imaging unit 12 picks up the depth of field.
  • the determination unit 15 extracts the m-th K-th image region 200 from the captured image 20 acquired in step ST1213, and detects the extracted k-th image region 200 in the m-th row.
  • step ST1216 The presence or absence of an object (movement in this example) is determined. If it is determined that there is a detection target in the K-th image region 200 in the m-th row, the flow proceeds to step ST1216, and otherwise, the flow goes to step ST1218.
  • control unit 14 sets the K-th image region 200 as the object of interest (that is, the region of interest) in the m-th row determined to be the detection object in step ST1215.
  • the detection unit 16 detects the object 100 (human in this example) from the picked-up image 20 including the K-th image region 200 in the m-th row determined to be the detection target in step ST1215. Next, the process proceeds to step ST1218.
  • the control unit 14 selects the image area 200 to be the next processing target based on a predetermined selection order. Specifically, the control unit 14 determines whether the variable K has reached the upper limit value Kmax, adds 1 to the variable K when the variable K does not reach the upper limit value Kmax, and the variable M is the upper limit value Kmax. When is reached, set the variable K to 1. When the variable K is set to 1, the control unit 14 determines whether the variable M has reached the upper limit value Mmax, and adds 1 to the variable M when the variable M has not reached the upper limit value Mmax. When the variable M reaches the upper limit Mmax, the variable M is set to one. Subsequently, the procedure proceeds to step ST1114 (FIG. 51).
  • the first image region 25a is set as the region of interest in the first row of the eight image regions 200 included in the captured image 20, and the other seven image regions 200 are noted. It is not set to an area.
  • the light source 11a corresponding to the region of interest is based on a first light emission operation in which the lighting period t25 corresponds to the region of interest and a predetermined light emission sequence.
  • the light emission control is performed such that the second light emission operation in which one of the light sources 11 corresponding to the image region 200 instead of the region of interest emits light is alternately performed.
  • the image region 200 that is the object of processing among the eight image regions 200 included in the captured image 20 is hatched.
  • determination of the presence or absence of the detection target can be mainly performed on the region of interest (the image region 200 determined to be the detection target).
  • region where it is expected to detect in the depth of field can be monitored intensively, monitoring of the depth of field (determination of the presence or absence of detection object) can be performed effectively.
  • the plurality of image regions 200 may be set as the object of interest (that is, the region of interest).
  • the control unit 14 includes a plurality of regions of interest (in detail, the plurality of image regions 200 determined by the determination unit 15 as the detection target) and corresponding to the same lighting period tL.
  • a plurality of light sources 11 respectively corresponding to 200 may be configured to perform light emission control to simultaneously emit light (light up) in the first light emission operation.
  • the control unit 14 may be configured to perform the same operation as that of the control unit 14 in the first modification of the second embodiment.
  • control unit 14 includes a plurality of regions of interest (in detail, a plurality of image regions 200 determined as being detected by the determination unit 15 and corresponding to the same lighting period tL).
  • the plurality of light sources 11 respectively corresponding to the 200 may be configured to perform light emission control so as to sequentially emit light (light up) in the first light emission operation.
  • control unit 14 may be configured to perform the same operation as that of the control unit 14 in the second modification of the second embodiment.
  • the detection unit 16 is determined by the determination unit 15 of the region of interest (the image region 200 determined to be the detection target by the determination unit 15).
  • the portion determined to be the detection target is the edge portion of the region of interest
  • the object 100 is detected from the candidate region 30 including the region of interest and the adjacent region (the image region 200 adjacent to the edge portion of the region of interest). It may be configured to.
  • the detector 16 may be configured to perform the same operation as that of the detector 16 in the third embodiment.
  • the control unit 14 determines that the object region 40 extracted by the identification unit 17 is the target region (the determination unit 15 is to be detected).
  • the image region 200 and the adjacent region (the image region 200 adjacent to the edge of the main region), the light source 11 corresponding to the region of interest and the adjacent region among the plurality of light sources 11a to 11d. ) May be configured to emit light (light up) so that the imaging section 12 picks up the depth of field.
  • the identification part 17 extracts the object area
  • the object region 40 may be extracted from the combination of the object region 40 and the combination image (second combination image), and the object 100 may be identified based on the combination result.
  • the control unit 14 and the identification unit 17 may be configured to perform the same operation as that of the control unit 14 and the identification unit 17 in the modification of the fourth embodiment.
  • the imaging device 10 according to the eleventh embodiment has the same configuration as the imaging device 10 according to the fourth embodiment shown in FIG. 16.
  • the imaging device 10 according to the eleventh embodiment can perform the same operation as that of the imaging device 10 according to the first to fourth embodiments.
  • the some light source 11a-11d is comprised so that light emission amount can be changed, respectively.
  • the control unit 14 also controls the image area 21 corresponding to the light source 11 that does not emit light at the time of imaging for acquiring the captured image 20 of the captured images 20 acquired by the imaging unit 12.
  • the light emission amount of the light source 11 is set based on the brightness (e.g., average brightness).
  • the operation shown in FIG. 56 is performed.
  • movement of the imaging device 10 by Embodiment 11 is demonstrated.
  • the order which becomes an object of a setting process with respect to the light source 11a-11d and the image area 21a-21d is predetermined.
  • the variable K is 1 or more and is an integer below an upper limit Kmax, and has shown the number of the light source 11 and the image area 21 which are a process object.
  • the upper limit value Kmax is an integer of 2 or more and corresponds to the number of light sources 11 (4 in this example).
  • control part 14 makes the imaging part 12 image the depth-of-field (the depth of field not illuminated by the light source 11), without light-emitting all the light sources 11a-11d.
  • the controller 14 sets the variable K to one. That is, the control unit 14 selects the light source 11 and the image area 21 (for example, the light source 11a and the image area 21a) which are selected first in a predetermined selection order, as the light source (the target of this process) ( 11) and the image area 21 are selected.
  • the control part 14 extracts the Kth image area 21 from the picked-up image acquired by step ST2001. Then, the control unit 14 sets the light emission amount of the light source 11 (K-th light source 11) corresponding to the K-th image area 21 based on the brightness of the K-th image area 21. Specifically, the controller 14 controls the K-th based on the brightness of the K-th image area 21 so that the light emission amount of the K-th light source 11 decreases as the brightness of the K-th image area 21 increases. The amount of light emitted from the light source 11 is set.
  • control unit 14 determines whether the variable K has reached the upper limit value Kmax. That is, the control part 14 determines whether the light source 11 (light source 11 for which the light emission amount is not set) which is not the process object remains among the some light source 11. If the variable K has not reached the upper limit value Kmax, the process proceeds to step ST2005. If the variable K has reached the upper limit value Kmax, the processing ends.
  • step ST2004 When it is determined in step ST2004 that the variable K has not reached the upper limit value Kmax, the control unit 14 adds 1 to the variable K.
  • FIG. That is, in the predetermined selection order, the light source 11 and the image region 21 selected next to the light source 11 and the image region 21 to be processed this time are the light source 11 to be the next processing target. And the image area 21 are selected.
  • the process proceeds to step ST2003.
  • the same effects as in the first to fourth embodiments can be obtained. That is, the monitoring of the depth of field can be continuously performed while reducing the power consumption required for illumination of the depth of field.
  • the amount of light emitted from the light source 11 can be set. Thereby, the light emission amount of the light source 11 can be set so that the brightness of the image area 21 may be an appropriate brightness.
  • the processing circuit 13 further includes a setting unit 18 in the control unit 14, the determination unit 15, the detection unit 16, and the identification unit 17.
  • the some light source 11a-11d, the control part 14, and the setting part 18 are comprised as follows.
  • Each of the plurality of light sources 11a to 11d is configured to be capable of switching a light emission amount into a plurality of light emission amounts.
  • the control unit 14 is configured to perform the first operation when the amount of light emission to be set for the light source 11 to emit light among the plurality of light sources 11a to 11d is not determined.
  • the control unit 14 sets the light emission amount of the light source 11 (the light source 11 to emit light among the plurality of light sources 11a to 11d) to a light emission amount selected from a plurality of light emission amounts in a predetermined order.
  • the imaging unit 12 picks up the depth of field illuminated by the light source 11 that emits light at the selected light emission amount.
  • control unit 14 is configured to perform the second operation when the amount of light emission to be set for the light source 11 to emit light among the plurality of light sources 11a to 11d is determined.
  • the control unit 14 sets the light emission amount of the light source (light source 11 to emit light among the plurality of light sources 11a to 11d) as the light emission amount to be set, and emits the light source at the light emission amount to be set ( The image picked up by 11) is imaged by the imaging unit 12.
  • the setting unit 18 measures the amount of light emitted from the light source 11 that emits light at the time of imaging for acquiring the captured image 20 including the image area 21 determined as being detected by the determination unit 15, The amount of light emitted to be set for the light source 11 is determined.
  • the following processing is performed on each of the plurality of light sources 11a to 11d.
  • 58 corresponds to the operation (first operation) performed when the light emission amount to be set for the light source 11 is not determined.
  • the operation shown in FIG. 59 corresponds to the operation (second operation) performed when the light emission amount to be set for the light source 11 is determined.
  • the variable J is one or more, and is an integer below the upper limit Jmax, and shows the number of the light emission quantity (for example, the number which shows the step of light emission quantity) to be processed.
  • the upper limit value Jmax is an integer of 2 or more and corresponds to the number of light emission amounts that can be set (for example, the number of steps of changing the light emission amount) of the light source 11.
  • the control unit 14 sets the variable J to one. That is, the control unit 14 selects the first light emission amount as the object of this process.
  • control unit 14 sets the light emission amount of the light source 11 to the J-th light emission amount.
  • the control unit 14 determines whether or not the imaging field 12 projected by the light source 11 set to the J-th light emission amount has been picked up. For example, the control unit 14 performs at least one image capturing (image capturing) by the image capturing unit 12 during the period in which the field of light is illuminated by the light source 11 set to the J-th light emission amount. It is determined whether an image has been acquired. In the case where the depth of field image projected by the light source 11 set to the J-th light emission amount is picked up by the imaging unit 12, the process proceeds to step ST3004, and otherwise, step ST3003 is repeated.
  • the determination part 15 extracts the image area
  • the flow proceeds to step ST3005, otherwise, the flow proceeds to step ST3006.
  • the setting unit 18 sets the light emission amount of the light source 11 at the time of imaging for acquiring the captured image including the image area 21 determined to be the detection target in step ST3004 with respect to the light source 11.
  • the amount of light emitted to be determined is determined. That is, the setting unit 18 determines the light emission amount to be set for the light source 11 as the J light emission amount set as the current light emission amount of the light source 11 in step ST3002. Specifically, the setting unit 18 registers the J-th light emission amount as the light emission amount to be set for the light source 11 in the setting unit 18 (memory area). Next, the process proceeds to step ST3006.
  • control unit 14 determines whether the variable J has reached the upper limit value Jmax. That is, the control unit 14 determines whether or not the light emission amount not selected as the object of processing remains in the light emission amounts. If the variable J has not reached the upper limit value Jmax, the process proceeds to step ST3007. If the variable J has reached the upper limit value Jmax, the process proceeds to step ST3008.
  • step ST3006 When it is determined in step ST3006 that the variable J has not reached the upper limit value Jmax, the control unit 14 adds 1 to the variable J. That is, the control unit 14 selects the light emission amount that is not yet selected among the plurality of light emission amounts as the next processing target. Next, the process proceeds to step ST3002.
  • step ST3006 determines whether or not the amount of light emission to be set for the light source 11 is determined. Specifically, the control unit 14 determines whether the light source 11 has a light emission amount registered in the setting unit 18 (memory area) as the light emission amount to be set among the plurality of light emission amounts. If the light emission amount to be set for the light source 11 is determined, the process proceeds to step ST3101 (Fig. 59), otherwise, the process proceeds to step ST3001.
  • the controller 14 sets the variable J to one. That is, the control unit 14 selects the first light emission amount as the object of this process.
  • control unit 14 determines whether or not the J-th light emission amount (that is, the light emission amount that is to be processed at this time) is determined as the light emission amount to be set for the light source 11. If the J-th light emission amount is not determined as the light emission amount to be set, the process proceeds to step ST3103. If the J-th light emission amount is determined to be the light emission amount to be set, the process proceeds to step ST3105.
  • control unit 14 determines whether the variable J has reached the upper limit value Jmax. If the variable J has not reached the upper limit value Jmax, the process proceeds to step ST3104. If the variable J has reached the upper limit value Jmax, the process proceeds to step ST3101.
  • step ST3103 When it is determined in step ST3103 that the variable J has not reached the upper limit value Jmax, the control unit 14 adds 1 to the variable J. Next, the process proceeds to step ST3102.
  • step ST3102 when it is determined in step ST3102 that the J-th light emission amount is determined to be the light emission amount to be set for the light source 11, the control unit 14 sets the light emission amount of the light source 11 to the J-th light emission amount.
  • control unit 14 determines whether or not the imaging field 12 projected by the light source 11 set to the J-th light emission amount has been picked up. In the case where the depth of field projected by the light source 11 set to the J-th light emission amount is picked up by the imaging unit 12, the process proceeds to step ST3107, otherwise, step ST3106 is repeated.
  • the determination part 15 extracts the image area
  • the setting unit 18 emits an amount of light emitted from the light source 11 at the time of imaging for acquiring the captured image 20 including the image area 21 determined as no detection target in step ST3107 (that is, the light source in step ST3105).
  • the determination to set the light emission amount to be set to (J) light emission amount set as the current light emission amount in (11) is cancelled.
  • the setting unit 18 deletes the registration of the J-th light emission amount (registration as the light emission amount to be set) from the setting unit 18 (the storage area) with respect to the light source 11.
  • the process proceeds to step ST3109.
  • control unit 14 determines whether the amount of light emission to be set for the light source 11 is determined. If the light emission amount to be set is determined, the process proceeds to step ST3110; otherwise, the process proceeds to step ST3001 (Fig. 58).
  • step ST3109 When it is determined in step ST3109 that the light emission intensity to be set for the light source 11 is determined, the control unit 14 determines whether the variable J has reached the upper limit value Jmax. When the variable J does not reach the upper limit Jmax, the control unit 14 adds 1 to the variable J. Next, the process proceeds to step ST3102. On the other hand, when the variable J reaches the upper limit Jmax, it progresses to step ST3101.
  • the effect similar to the effect by Embodiment 1-4 can be acquired. That is, the monitoring of the depth of field can be continuously performed while reducing the power consumption required for illumination of the depth of field.
  • the amount of light emission suitable for the determination of the presence or absence of the detection target can be determined, and when the amount of light emission to be set for the light source 11 is determined, the presence or absence of the detection target
  • the subject can be imaged with a light emission amount appropriate for the determination of.
  • the imaging device 10 according to the thirteenth embodiment has the same configuration as the imaging device 10 according to the fourth embodiment shown in FIG. 16.
  • the imaging device 10 according to the thirteenth embodiment can perform the same operation as that of the imaging device 10 according to the first to fourth embodiments.
  • the some light source 11a-11d, the imaging part 12, and the control part 14 are comprised as follows.
  • Each of the plurality of light sources 11a to 11d is configured to be able to switch the light emission amount into two different light emission amounts (a first light emission amount and a second light emission amount less than the first light emission amount).
  • the imaging unit 12 is configured to be capable of switching the exposure time to two different exposure times (a first exposure time and a second exposure time longer than the first exposure time).
  • the control unit 14 sets the light emission amount of the light source 11 corresponding to the image region 21 determined by the determination unit 15 to be the detection target 15 as the first light emission amount, and is illuminated by the light source 11. It is comprised so that the exposure time of the imaging part 12 at the time of true depth-of-field imaging may be set to 1st exposure time. In addition, the control unit 14 sets the light emission amount of the light source 11 corresponding to the image region 21 determined by the determination unit 15 to be no detection target as the second light emission amount, and at the same time. It is comprised so that the exposure time of the imaging part 12 at the time of image pick-up of the reflected light may be set to 2nd exposure time.
  • movement of the imaging device 10 by Embodiment 13 is demonstrated.
  • the following processing is performed on each of the plurality of light sources 11a to 11d.
  • control part 14 sets the light emission amount of the light source 11 (light source 11 which is the object of this process, below same) to a 1st light emission amount (namely, "many"), and the imaging part 12 ) Is set to the first exposure time (ie, “short”).
  • the control unit 14 controls the exposure time (specifically, steps ST4001 and ST4004) to which the depth of field projected by the light source 11 that emits light at the preset light emission amounts (specifically, the light emission amounts set in steps ST4001, ST4004, and ST4005). Whether or not the image has been picked up by the image capturing unit 12 being exposed with the exposure time set in ST4005). For example, while the light source 11 emits light with a predetermined light emission amount, the control unit 14 performs N-times continuous imaging of the depth of field by the imaging unit 12 exposed at a predetermined exposure time and continues in time series.
  • N is an integer of 2 or more
  • the determination part 15 extracts the image area
  • the flow proceeds to step ST4004, otherwise, the flow proceeds to step ST4005.
  • step ST4003 When it is determined in step ST4003 that there is a detection target, the control unit 14 sets the light emission amount of the light source 11 to the first light emission amount (that is, "many”) and sets the exposure time of the imaging unit 12 to the first time. Set to exposure time (ie, "short”). Next, the process proceeds to step ST4006.
  • step ST4003 when it is determined in step ST4003 that there is no object to be detected, the control unit 14 sets the light emission amount of the light source 11 to the second light emission amount (that is, "low”) and simultaneously sets the exposure time of the imaging unit 12. The second exposure time (that is, " ⁇ ") is set. Next, the process proceeds to step ST4006.
  • the same effects as those in the first to fourth embodiments can be obtained. That is, the monitoring of the depth of field can be continuously performed while reducing the power consumption required for illumination of the depth of field.
  • the light emission amount of the light source 11 is set to the 1st light emission amount
  • the exposure time of the imaging part 12 is set to the 1st exposure time
  • the light emission amount of the light source 11 is set to the second light emission amount (light emission amount less than the first light emission amount) and the exposure time of the imaging unit 12 is reduced.
  • the exposure time of the imaging unit 12 is reduced.
  • step ST4001 the light emission amount of the light source 11 is set to the first light emission amount (i.e., "high"), and the exposure time of the imaging unit 12 is set to the first exposure time (i.e., "short”.
  • the controller 14 sets the light emission amount of the light source 11 to the second light emission amount (that is, “low”) at step ST4001 and sets the exposure time of the imaging unit 12. It may also be configured to set a second exposure time (ie, “ ⁇ ”).
  • the control in Embodiment 6 can be applied to the imaging device 10 according to Embodiment 10. That is, in the imaging device 10 according to the tenth embodiment, the plurality of light sources 11a to 11d may be configured to be able to change the light emission amounts, respectively. And the control part 14 of the image area 200 corresponding to the light source 11 which did not emit light at the time of imaging for acquiring the picked-up image 20 among the picked-up image 20 acquired by the imaging part 12 is carried out. It may be configured to set the light emission amount of the light source 11 based on the brightness. For example, the control unit 14 may be configured to perform the same operation as that of the control unit 14 in the sixth embodiment.
  • the control in Embodiments 7 and 8 can be applied to the imaging device 10 according to Embodiment 10. That is, the imaging device 10 according to the tenth embodiment may further include a setting unit 18.
  • each of the plurality of light sources 11a to 11d may be configured to be capable of switching the light emission amount into the light emission amount.
  • the control unit 14 selects the light emission amount of the light source 11 from among the plurality of light emission amounts in a predetermined order.
  • the light emission amount to be set for (11) is determined
  • the light field emitted by the light source 11 which has set the light emission amount of the light source 11 to the light emission amount to be set, and has lighted (lit) to the light emission amount to be set
  • the setting unit 18 emits light (lights up) at the time of imaging for acquiring the captured image 20 including the image area 200 determined by the determination unit 15 as the detection target. May be configured to determine the light emission amount to be set for the light source 11.
  • the control unit 14 and the setting unit 18 may be configured to perform the same operations as those of the control unit 14 and the setting unit 18 in the seventh and eighth embodiments.
  • control in Embodiment 9 can be applied to the imaging device 10 according to Embodiment 10. That is, in the imaging device 10 according to the tenth embodiment, the plurality of light sources 11a to 11d may be configured to switch the light emission amount into the first light emission amount and the second light emission amount (light emission amount less than the first light emission amount), respectively. . In addition, the imaging unit 12 may be configured to be capable of switching the exposure time between the first exposure time and the second exposure time (exposure time longer than the first exposure time).
  • the control unit 14 sets the light emission amount of the light source 11 corresponding to the image region 200 determined by the determination unit 15 to be the detection target 15 as the first light emission amount, and at the same time, By setting the exposure time of the imaging unit 12 at the time of imaging the projected light by the first exposure time, the determination of the light source 11 corresponding to the image region 200 determined by the determination unit 15 that there is no detection object
  • the light emission amount may be set to the second light emission amount, and the exposure time of the image capturing unit 12 at the time of imaging the light emitted by the light source 11 may be set to the second exposure time.
  • the control unit 14 may be configured to perform the same operation as that of the control unit 14 in the ninth embodiment.
  • the above-described imaging apparatus can continuously monitor the subject while reducing the power consumption required for illumination of the subject, and thus is useful as an imaging apparatus for imaging the subject and monitoring the subject.

Abstract

피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행한다. 복수의 광원은 피사계를 향해 발광한다. 촬상부는 피사계를 촬상하여 촬상 화상을 취득한다. 제어부는 복수의 광원 중 발광시키는 광원을 전환하는 발광 제어를 실행하면서 촬상부에 피사계를 촬상시킨다. 판정부는 촬상부에 의해 취득된 촬상 화상 중 촬상 화상의 일부이고, 또한 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정한다.

Description

촬상 장치 및 촬상 장치의 동작 방법
본 개시는 촬상 장치 및 촬상 장치의 동작 방법에 관한 것이다.
종래, 피사계를 촬상하여 피사계를 감시하는 촬상 장치가 알려져 있다. 예컨대, 특허 문헌 1(일본특허공개 2001－243475호 공보)에는, 촬상 수단에 의해 촬영된 화상 정보를 처리하여 인간의 존재 유무를 판정하는 화상 센서가 개시되어 있다.
상기와 같은 촬상 장치에서는, 피사계의 전 영역을 조명한 상태에서 피사계를 촬상하여 검출 대상(예컨대, 움직임이나 인간)의 유무를 판정하고 있다. 또한, 상기와 같은 촬상 장치에 있어서, 피사계의 조명에 필요한 소비 전력을 저감하기 위해, 피사계의 조명을 중단하는 것을 생각할 수 있다. 그러나, 피사계의 조명을 중단하면 피사계의 감시(검출 대상 유무의 판정)를 계속적으로 수행할 수 없게 된다.
따라서, 본 개시는 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있는 촬상 장치 및 촬상 장치의 동작 방법을 제공하는 것을 목적으로 한다.
이상과 같이, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
도 1a는 본 명세서의 제안 개념을 전체적으로 설명하기 위한 참고도이다.
도 1b는 복수의 광원중 하나 이상의 광원의 선택에 의해 화상 영역의 열 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1c는 발광하는 광원의 점등 시간과 소등 시간을 조절하여 화상 영역의 행 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1d는 화상 영역의 행 영역과 열 영역을 모두 제어하는 것을 설명하기 위한 참고도이다.
도 1e는 화상 영역의 행 영역과 열 영역을 모두 제어하는 구체 적인 예를 설명하기 위한 참고도이다.
도 1f는 개시된 제안에 따른 효과를 보여주는 참고도이다.
　　　도 2는 실시 형태 1에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 3a는 실시 형태 1에 의한 촬상 장치의 배치예를 나타낸 개략도이다.
　　　도 3b는 실시 형태 1에 있어서의 광원과 화상 영역과의 대응 관계에 대해 설명하기 위한 개념도이다.
　　　도 4는 실시 형태 1에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 5는 실시 형태 1에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
　　　도 6은 실시 형태 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 7은 실시 형태 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 8은 실시 형태 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 9는 실시 형태 2에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
　　　도 10은 실시 형태 2의 변형예 1에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 11은 실시 형태 2의 변형예 1에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
　　　도 12는 실시 형태 2의 변형예 2에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 13은 실시 형태 2의 변형예 2에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
　　　도 14는 실시 형태 3에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 15는 주목 영역과 인접 영역을 포함하는 후보 영역에 대해 설명하기 위한 개념도이다.
　　　도 16은 실시 형태 4에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 17은 대상물 영역에 대해 설명하기 위한 개념도이다.
　　　도 18은 실시 형태 4의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 19는 주목 영역과 인접 영역에 걸치는 대상물 영역에 대해 설명하기 위한 개념도이다.
　　　도 20은 실시 형태 5에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 21은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어에 대해 설명하기 위한 도면이다.
　　　도 22는 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(움직임 탐색 모드에 있어서의 제어)에 대해 설명하기 위한 도면이다.
　　　도 23은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(움직임 탐색 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
　　　도 24는 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(움직임 탐색 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
　　　도 25는 실시 형태 5의 움직임 탐색 모드에 있어서의 프레임간 차분에 대해 설명하기 위한 도면이다.
　　　도 26은 실시 형태 5에 있어서의 움직임 탐색 모드로부터 얼굴 인식 모드로의 천이에 대해 설명하기 위한 도면이다.
　　　도 27은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(얼굴 인식 모드에 있어서의 제어)에 대해 설명하기 위한 도면이다.
　　　도 28은 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(얼굴 인식 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
　　　도 29는 실시 형태 5에 있어서의 제어기에 의한 광원의 제어(얼굴 인식 모드에 있어서의 제어) 이외의 예에 대해 설명하기 위한 도면이다.
　　　도 30은 실시 형태 6에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 31은 실시 형태 6에 의한 촬상 장치의 동작에 대해 설명하기 위한 도면이다.
　　　도 32는 실시 형태 6에 있어서의 광원의 발광 동작을 나타내는 도면이다.
　　　도 33은 조명 없음 화상 및 조명 있음 화상의 예를 나타내는 도면이다.
　　　도 34는 실시 형태 6에 있어서의 제어기의 동작에 대해 설명하기 위한 도면이다.
　　　도 35는 실시 형태 6에 있어서의 광원의 동작에 대해 설명하기 위한 도면이다.
　　　도 36은 실시 형태 6에 있어서의 광원의 동작에 대해 설명하기 위한 도면이다.
　　　도 37은 실시 형태 6에 있어서의 제어기의 동작의 다른 예에 대해 설명하기 위한 도면이다.
　　　도 38은 실시 형태 7에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 39는 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 40은 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 41은 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 42는 실시 형태 7에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 43은 실시 형태 8에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 44는 실시 형태 8에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 45는 실시 형태 9에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 46은 실시 형태 9에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 47은 실시 형태 10에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 48은 실시 형태 10에 있어서의 광원과 촬상부와 촬상 화상과의 대응 관계에 대해 설명하기 위한 개념도이다.
　　　도 49는 실시 형태 10에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 50은 실시 형태 10에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
　　　도 51은 실시 형태 10의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 52는 실시 형태 10의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 53은 실시 형태 10의 변형예에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 54는 실시 형태 10의 변형예에 의한 촬상 장치에 있어서의 광원의 발광 패턴의 일예를 나타낸 타이밍 차트이다.
　　　도 55는 실시 형태 11에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 56은 실시 형태 11에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 57은 실시 형태 12에 의한 촬상 장치의 구성예를 나타낸 블록도이다.
　　　도 58은 실시 형태 12에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 59는 실시 형태 12에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
　　　도 60은 실시 형태 13에 의한 촬상 장치의 동작에 대해 설명하기 위한 흐름도이다.
본 개시의 일 실시 형태에 따른 촬상 장치는, 각각 피사계를 향해 발광하는 복수의 광원; 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부; 상기 복수의 광원 중 발광되는 광원을 전환하도록 상기 복수의 광원의 발광 제어를 실행하면서, 상기 피사계를 촬상하도록 상기 촬상부를 제어하는 제어부; 및 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상의 일부이며, 또한 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정하는 판정부;를 구비하고 있다.
상기 촬상 장치에서는, 복수의 광원 중 발광시키는 광원을 전환함으로써, 복수의 광원을 모두 계속적으로 발광시키는 경우(즉, 피사계의 전 영역을 계속적으로 조명하는 경우) 보다, 피사계의 조명에 필요한 소비 전력을 저감할 수 있다.
또한, 상기 촬상 장치에서는, 촬상 화상 중 그 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역은, 피사계에 있어서 광원에 의해 조명된 영역에 대응하고 있다. 따라서, 촬상 화상 중 상기의 화상 영역(즉, 피사계에 있어서 광원에 의해 조명된 영역에 대응되는 화상 영역)에서 검출 대상의 유무를 판정함으로써, 검출 대상 유무의 판정을 정확하게 수행할 수 있다.
또한, 상기 촬상 장치에서는, 복수의 광원 중 발광시키는 광원을 전환하면서 피사계의 촬상을 계속함으로써, 촬상 화상 중 판정부에 의한 판정 대상이 되는 화상 영역(즉, 피사계 중 판정의 대상이 되는 영역)을 전환할 수 있다. 이에 따라, 피사계의 감시(검출 대상 유무의 판정)를 계속적으로 수행할 수 있다.
일 실시예에 따라 상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서로 발광하도록 상기 발광 제어를 수행하고, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원의 발광 빈도가 높아지도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 상기 판정부에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 광원 중 하나 이상의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 발광할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 차례로 발광할 수 있다.
일 실시예에 따라 상기 촬상 장치는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물을 검출하는 검출부를 더 구비할 수 있다.
일 실시예에 따라 상기 검출부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역인 주목 영역 중 상기 판정부에 의해 검출 대상 있음으로 판정된 부위가 상기 주목 영역의 엣지부인 경우, 상기 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역을 포함하는 후보 영역으로부터 대상물을 검출할 수 있다.
일 실시예에 따라 상기 촬상 장치는 상기 촬상 화상으로부터 상기 촬상 화상의 일부이고, 또한 상기 검출부에 의해 검출된 대상물을 포함하는 대상물 영역을 추출하고, 상기 대상물 영역과 미리 등록된 조합 화상을 조합하여 상기 대상물을 식별하는 식별부를 더 구비할 수 있다.
일 실시예에 따라 상기 제어부는 상기 식별부에 의해 추출되는 대상물 영역이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역인 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역에 걸쳐 있는 경우, 상기 복수의 광원 중 상기 주목 영역 및 상기 인접 영역에 대응되는 광원을 발광시켜 상기 촬상부에 상기 피사계를 촬상시키고, 상기 식별부는 상기 주목 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 상기 주목 영역 및 상기 인접 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 이러한 조합 결과에 기초하여 상기 대상물을 식별할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고, 상기 제어부는 상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고, 상기 판정부는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역이고, 또한 상기 적어도 하나의 광원이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 상기 검출 대상의 유무를 판정할 수 있다.
일 실시예에 따라 상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서 및 점등 순서로 발광하도록 상기 발광 제어를 수행하고, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 빈도가 높아지도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제어부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 제1 발광 동작과 미리 정해진 발광 순서 및 점등 순서에 기초하여 상기 판정부에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 광원 중 하나의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는, 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 점등할 수 있다.
일 실시예에 따라 상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 차례로 점등할 수 있다.
일 실시예에 따라 상기 복수의 광원은 각각 발광량을 변경 가능하게 구성되고, 상기 제어부는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하지 않은 광원에 대응되는 화상 영역의 밝기에 기초하여 상기 광원의 발광량을 설정할 수 있다.
일 실시예에 따라 상기 촬상 장치는 설정부를 더 구비하고, 상기 복수의 광원은 각각 발광량을 복수의 발광량으로 전환 가능하게 구성되고, 상기 제어부는 상기 복수의 광원 중 발광시키는 광원에 대해 설정해야 할 발광량이 결정되지 않은 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제1 동작을 수행하고, 상기 광원에 대해 상기 설정해야 할 발광량이 결정되어 있는 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제2 동작을 수행하고, 상기 설정부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상을 취득하기 위한 촬상시에 발광하고 있는 광원의 발광량을 상기 광원에 대해 설정해야 할 발광량으로 결정할 수 있다.
일 실시예에 따라 상기 복수의 광원은 각각 발광량을 제1 발광량과 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고, 상기 촬상부는 그 노광 시간을 제1 노광 시간과 상기 제1 노광 시간 보다 긴 제2 노광 시간으로 전환 가능하게 구성되고, 상기 제어부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 판정부에 의해 검출 대상 없음으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고, 상기 제어부는 상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고, 상기 제어부는, 상기 복수의 광원중 발광된 광원 및 상기 발광된 광원이 점등되어 있는 기간에 기초해서, 상기 촬상부에 의해 취득된 촬상 화상 중 상기 미리 정해진 검출 대상의 유무를 판정할 상기 화상 영역을 결정할 수 있다.
　　　　　일 실시예에 따라 상기 촬상부에 의해 취득된 촬상 화상은 복수의 행 영역과 복수의 열 영역으로 구분되며, 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응하여 상기 복수의 열 영역중 하나의 열 영역이 결정되고, 상기 발광하는 광원이 점등되어 있는 기간에 대응하여 상기 복수의 행 영역중 하나의 행 영역이 결정될 수 있다.
　　　　다른 실시예에 따른 촬상 장치는, 피사계를 향해 발광하는 광원; 롤링 셔터 방식에 의해 구동되도록 구성되고, 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부; 및 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에 있어서, 상기 광원이 점등되어 있는 기간과 상기 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키는 제어부;를 구비할 수 있다.
일 실시예에 따라 상기 촬상 장치는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 광원이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 프레임간 차분을 실행함으로써 움직임 여부를 판정하는 판정부를 더 구비할 수 있다.
일 실시예에 따라 상기 촬상 장치는 식별부를 더 구비하고, 상기 제어부는 상기 판정부에 의해 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에 대응되는 기간에 있어서 보다 강한 광이 조사되도록, 상기 광원을 제어하고, 상기 식별부는 상기 판정부에 의해 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에서 얼굴 인식을 수행할 수 있다.
또 다른 실시예에 따른 촬상 장치는, 피사계를 향해 발광하는 광원; 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부; 및 상기 광원의 비발광시에 상기 촬상부에 의해 취득된 촬상 화상의 밝기에 기초하여 상기 광원의 발광량을 설정하는 제어부;를 구비할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 제어부는 펄스폭 변조에 의해 상기 광원의 발광량을 변화시킬 수 있다.
일 실시예에 따라 상기 광원은 적외광을 조사하도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 촬상 화상의 밝기는 상기 촬상부에 의해 취득된 촬상 화상 내의 전화소의 밝기의 평균값을 포함할 수 있다.
　　　　또 다른 실시예에 따른 촬상 장치는, 그 발광량을 복수의 발광량으로 전환 가능하게 구성된 광원; 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부; 상기 광원에 대해 설정해야 할 발광량이 결정되지 않은 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제1 동작을 수행하고, 상기 광원에 대해 상기 설정해야 할 발광량이 결정되어 있는 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제2 동작을 실시하는 제어부; 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하는 판정부; 및 상기 판정부에 의해 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 결정하는 설정부;를 구비할 수 있다.
일 실시예에 따라 상기 판정부는 상기 촬상부에 의해 취득된 복수의 촬상 화상을, 상기 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량으로 분류하고, 상기 발광량의 분류마다 촬상 화상에 있어서의 상기 검출 대상의 유무를 판정할 수 있다.
일 실시예에 따라 상기 설정부는 상기 제어부의 제2 동작에 의해 취득된 촬상 화상이 상기 판정부에 의해 검출 대상 없음으로 판정된 경우, 상기 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 하는 결정을 해제할 수 있다.
일 실시예에 따라 상기 광원은 그 발광량을 제1 및 제2 발광량으로 전환 가능하게 구성되고, 상기 제어부는, 상기 제1 동작에 있어서, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킨 후에, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제2 동작에 있어서, 상기 제1 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제2 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제1 및 제2 발광량이 모두 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 및 제2 발광량으로 교대로 전환하면서 상기 전환된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킬 수 있다.
또 다른 실시예에 따른 촬상 장치는, 그 발광량을 제1 발광량과, 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고, 피사계를 향해 발광하는 광원; 그 노광 시간을 제1 노광 시간과 상기 제1 노광 시간 보다 짧은 제2 노광 시간으로 전환 가능하게 구성되고, 상기 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부; 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하는 판정부; 및 상기 판정부에 의해 검출 대상 있음으로 판정된 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 판정부에 의해 검출 대상 없음으로 판정된 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정하는 제어부;를 구비할 수 있다.
또다른 실시예에 따라, 각각 피사계를 향해 발광하는 복수의 광원과, 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부를 이용하는 촬상 방법은, 상기 복수의 광원 중 발광시키는 광원을 전환하는 발광 제어를 실행하면서 상기 촬상부에 상기 피사계를 촬상시키는 제1 공정; 및 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상의 일부이고, 또한 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정하는 제2 공정;을 구비할 수 있다.
또 다른 실시예에 따라 롤링 셔터를 이용한 촬상 방법은, 광원에 의해 피사계에 광을 조사하는 제1 공정; 및 상기 롤링 셔터의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에 있어서 상기 광원이 점등되어 있는 기간과 상기 광원이 소등되어 있는 기간이 존재하도록, 상기 광원을 발광시키는 제2 공정;을 구비할 수 있다.
일 실시예에 따라 상기 촬상 방법은, 상기 광원이 점등되어 있는 기간에 대응되는 촬상 화상 내의 화상 영역에서 프레임간 차분을 실행함으로써 움직임 여부를 판정하는 제3 공정을 더 구비할 수 있다.
일 실시예에 따라 상기 촬상 방법은, 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에 대응되는 기간에 있어서 보다 강한 광이 조사되도록, 상기 광원을 제어하는 제4 공정; 및 움직임 있음으로 판정된 경우, 움직임 있음으로 판정된 화상 영역에서 얼굴 인식을 실시하는 제5 공정;을 더 구비할 수 있다.
다른 실시예에 따른 촬상 방법은, 광원에 의해 피사계에 광을 조사하는 제1 공정; 촬상부에 의해 상기 피사계를 촬상하여 촬상 화상을 취득하는 제2 공정; 및 상기 광원의 비발광시에 상기 촬상부에 의해 취득된 촬상 화상의 밝기에 기초하여 상기 광원의 발광량을 설정하는 제3 공정;을 구비할 수 있다.
일 실시예에 따라 상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 광원의 발광량은 펄스폭 변조에 의해 변화될 수 있다.
일 실시예에 따라 상기 광원은 적외광을 조사하도록 구성되어 있을 수 있다.
일 실시예에 따라 상기 촬상 화상의 밝기는 상기 촬상부에 의해 취득된 촬상 화상 내의 전화소의 밝기의 평균값을 포함할 수 있다.
다른 실시예에 따라 그 발광량을 복수의 발광량으로 전환 가능하게 구성된 광원과, 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부를 이용하는 촬상 방법은, 상기 광원에 대해 설정해야 할 발광량이 결정되어 있는지 여부를 판정하는 제1 공정; 상기 제1 공정에 있어서 상기 광원에 대해 설정해야 할 발광량이 결정되지 않은 것으로 판정된 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하고, 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 결정하는 제2 공정; 및 상기 제1 공정에 있어서 상기 복수의 발광량에 대해 설정해야 할 발광량이 결정되어 있다고 판정된 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제3 공정;을 구비할 수 있다.
일 실시예에 따라 상기 제2 공정에서는, 상기 촬상부에 의해 취득된 복수의 촬상 화상을, 상기 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량으로 분류하고, 상기 발광량의 분류마다 촬상 화상에 있어서의 상기 검출 대상의 유무를 판정할 수 있다.
일 실시예에 따라 상기 제3 공정에서는, 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하고, 검출 대상 없음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 상기 광원의 발광량을 상기 설정해야 할 발광량으로 하는 결정을 해제할 수 있다.
일 실시예에 따라 상기 광원은 그 발광량을 제1 및 제2 발광량으로 전환 가능하게 구성되고, 상기 제2 공정에서는, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킨 후에, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제3 공정에서는, 상기 제1 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정하여 상기 제1 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제2 발광량이 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정하여 상기 제2 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키고, 상기 제1 및 제2 발광량이 모두 상기 설정해야 할 발광량으로 결정되어 있는 경우, 상기 광원의 발광량을 상기 제1 및 제2 발광량으로 교대로 전환하면서 상기 전환된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시킬 수 있다.
　　　　다른 실시예에 따라 그 발광량을 제1 발광량과, 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고, 피사계를 향해 발광하는 광원과, 그 노광 시간을 제1 노광 시간과, 상기 제1 노광 시간 보다 긴 제2 노광 시간으로 전환 가능하게 구성되고, 상기 피사계를 촬상하여 촬상 화상을 취득하도록 구성된 촬상부를 이용한 촬상 방법은, 상기 촬상부에 의해 취득된 촬상 화상에서 검출 대상의 유무를 판정하는 제1 공정; 및 상기 제1 공정에 있어서 검출 대상 있음으로 판정된 경우, 상기 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 제1 공정에 있어서 검출 대상 없음으로 판정된 경우, 상기 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정하는 제2 공정;을 구비할 수 있다.
이하, 실시의 형태를 도면을 참조하여 상세히 설명한다. 또한, 도면에서 동일 또는 상당 부분에는 동일한 부호를 부여하고 그 설명은 반복하지 않는다.
〔전체적인 개념〕
피사계를 감시하고 촬상하는 장치에서, 밝은 곳에서도 어두운 곳에서도 사람 검지나 개인 식별을 할 수 있도록, 조명 장치를 갖춘 이미지 센서가 존재한다. 기존, 조명 장치는 화상 내에 휘도얼룩이 발생하지 않도록, 타이밍(Timing)이나 배광 특성을 제어하는 것이 개시되어 있다. 그러나, 사람의 검지 목적으로 피사계 전체를 균일하게 조명하는 것은, 조명 장치의 소비 전력의 관점에서 적절치 않다는 점이 있다. 특히, 소비 전력의 증대는 방열 기구 등, 장치의 소형화에 방해가 될 수 있다.
따라서, 본 명세서에서 제안하는 것은 피사계를 전체가 아니라 부분적으로 조명하거나 및/또는 피사계를 조명하는 시간도 전체 시간이 아니라 부분적으로 점등시간을 둠으로써, 피사계에 대응하는 화상 영역의 일부 영역을 촬상할 수 있도록 제어하자는 것이다.
도 1a는 본 명세서의 제안 개념을 전체적으로 설명하기 위한 참고도이다.
도 1a를 참조하면, 촬상 장치에 광원을 복수개 구비함으로써 피사계에 대응하는 화상 영역의 열 영역의 일부를 조명할 수 있다. 또한 광원이 점등되는 시간을 제어함으로써 화상 영역의 행 영역의 일부를 조명할 수 있다. 도 1a를 참조하면, 제안하는 촬상 장치는 i 개의 광원 L1, L2, …Li (i는 2이상의 정수)를 구비하고, 각 광원의 발광에 의해 피사계의 대응하는 일부가 조명될 수 있다. i개의 광원에 대응하여 i개의 열 영역으로 이루어진 화상 영역이 구성될 수 있다. 즉, 복수의 광원중 하나 이상의 광원을 선택적으로 발광시킴으로써 선택된 광원에 대응하는 하나 이상의 열 영역이 촬상될 수 있다. 또한 제안하는 촬상 장치는 광원을 하나의 프레임의 전 기간에서 점등시키는 것이 아니라 하나의 프레임의 일부 기간에서 점등 시킴으로써 그 일부 시간에 대응하는 피사계의 일부가 조명되게 할 수 있다. 예를 들어, 하나의 프레임 촬영 즉, 프레임의 첫번째 라인부터 마지막 라인까지의 촬영을 위한 광원의 전체 점등 시간을 T1, T2, …Tj (j는 2 이상의 정수)로 나누고, T1, …Tj 시간중 하나 이상의 시간 구간을 선택하여 광원을 점등함으로써 선택된 시간 구간에 대응하는 행 영역이 촬상될 수 있다. 또한 발광하는 광원의 개수와 광원의 점등 시간을 함께 제어함으로써 촬상되는 화상 영역의 행 영역 및 열 영역을 모두 선택할 수 있다.
도 1b는 복수의 광원중 하나 이상의 광원의 선택에 의해 화상 영역의 열 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1b를 참조하면, 예를 들어, 광원은 11a, 11b, 11c, 11d를 구비한다. 각 광원의 위치에 따라서 대응되는 화상 영역의 열 영역 1, 열 영역 2, 열 영역 3, 열 영역 4가 표시되어 있다. 광원 11a를 발광시키고 촬상부 12를 이용하여 촬상함으로써 화상 영역중 열 영역 1을 획득할 수 있다. 광원 11b를 발광시킴으로써 화상 영역중 열 영역 2를, 광원 11c를 발광시킴으로써 화상 영역중 열 영역 3을, 광원 11d를 발광시킴으로써 화상 영역중 열 영역 4를 획득할 수 있다.
이와 같이 광원을 병렬로 배치하고 특정한 광원만을 발광시킴으로써, 피사계를 세로로 분할한 부분 영역을 조명하고 대응하는 부분 영역에 대한 화상을 획득할 수 있다. 즉, 부분 영역을 획득하기 위한 일부 특정한 광원만을 발광시킴으로써 조명에 필요한 전력을 감소시킬 수 있다.
도 1c는 발광하는 광원의 점등 시간과 소등 시간을 조절하여 화상 영역의 행 영역을 제어하는 것을 설명하기 위한 참고도이다.
도 1c를 참조하면, 예를 들어, 광원은 11a, 11b, 11c, 11d를 포함한다. 행 영역을 제어하는 것의 설명의 편의상 광원 11a, 11b, 11c, 11d가 모두 함께 발광되는 것을 가정한다. 하나의 프레임의 촬영을 위해 광원들이 발광되는 시간 T1, T2, T3에 대응하여 화상 영역의 행 영역 1, 행 영역 2, 행 영역 3이 표시되어 있다. 광원들을 T1 동안 점등하고 T2, T3에서 소등함으로써, 화상 영역중 행 영역 1을 획득할 수 있다. 또한, 광원들을 T2 동안 점등하고 T1, T3에서 소등함으로써, 화상 영역중 행 영역 2를 획득할 수 있다. 또한, 광원들을 T3 동안 점등하고 T1, T2에서 소등함으로써, 화상 영역중 행 영역 3을 획득할 수 있다.
이와 같이, 롤링 셔터를 이용하여 노광 구간에 맞춰 발광 타이밍을 억제함으로써 피사계를 가로로 분할한 부분 영역을 조명할 수 있다. 피사계를 가로 분할한 부분 영역을 획득하기 위한 시간 만큼만 광원을 발광시킴으로써, 화상의 전 라인의 전 기간 점등에 비해 필요 전력을 한층 감소시킬 수 있다.
도 1d는 화상 영역의 행 영역과 열 영역을 모두 제어하는 것을 설명하기 위한 참고도이다.
도 1d에서 개시된 열 영역 제어 및 도 1c에서 개시된 행 영역 제어를 함께 이용함으로써 촬상 장치는 화상 영역의 행 영역 및 열 영역을 모두 제어할 수 있다.
즉, 병렬로 설치된 복수개의 광원들중 하나 이상을 발광 광원으로 선택함으로써 촬상될 화상의 열 영역을 선택하고, 또한 이 선택된 발광 광원의 발광 시간을 선택함으로써 촬상될 화상의 행 영역을 선택할 수 있다. 예를 들어, 도 1d를 참조하면, 광원이 4개 있고, 광원의 발광 시간을 3 구간으로 구분할 때, 화상 영역은 4개의 열 영역과 3개의 행 영역으로 이루어지는, 총 12개의 소 영역으로 구분될 수 있다. 따라서 촬상 장치에서 4개의 광원중 하나의 광원을 선택하고 3개의 시간 구간중 하나의 시간 구간을 선택함으로써 12개의 소 영역중 하나의 소 영역에 대응하는 피사계의 화상을 획득할 수 있다.
도 1e는 화상 영역의 행 영역과 열 영역을 모두 제어하는 구체적인 예를 설명하기 위한 참고도이다.
도 1e의 1000a를 참조하면, 발광 광원으로 4개의 광원 모두를 선택하고 시간 구간 T2 동안 발광킴으로써, 화상 영역중 행 영역 2에 대응하는 화상을 획득할 수 있다. 이에 의해 예를 들어 서 있는 사람의 얼굴 부분에 대한 화상을 획득할 수 있다.
도 1e의 1000b를 참조하면, 발광 광원으로 11b, 11c를 선택하고 전 시간 구간 T1, T2, T3 동안 발광시킴으로써, 화상 영역중 열 영역 2와 열 영역 3에 대응하는 화상을 획득할 수 있다. 이에 의해 예를 들어 서 있는 사람의 전신에 대한 화상을 획득할 있다.
도 1e의 1000c를 참조하면, 발광 광원으로 11b, 11c를 선택하고 시간 구간 T2 동안 발광시킴으로써, 화상 영역중 (행 영역 2,열 영역 2)와 (행 영역 2,열 영역 3) 에 대응하는 화상을 획득할 수 있다. 이에 의해 예를 들어 서 있는 사람의 얼굴 부분에 대한 화상을 얻을 수 있다.
이와 같이 본 명세서의 제안에 따르면, 피사계의 일부를 조명하는 것이 가능해진다. 피사계의 일부 영역에 대응하는 광원을 선택하고, 또한 대응하는 화상 라인의 노광 기간에 맞춰 조명함으로써, 검출 처리당 조명 시간을 단축함으로서 소비 전력을 감소시킬 수 있다.
도 1f는 개시된 제안에 따른 효과를 보여주는 참고도이다.
도 1f은, 예를 들어, 피사계를 세로로 4분할 때의 조명의 필요 전력을 전기간 점등과 비교한 것이다.
세로로 4분할된 피사계의 한 분할 영역에 대응하는 조명을 점등할 경우 필요전력은 전체 조명에 필요한 필요전력의 25% 이다.
타이밍 점등은, 1 프레임의 노광 기간의 10% 에서 15% 기간을 점등한다고 할 때, 이를 피사계 분할 점등과 조합하면, 필요전력은 2.5% 에서 4% 정도가 된다. 따라서, 피사계 영역을 복수의 광원을 이용하여 분할하고 또한 타이밍 점등을 수행함으로써 필요 전력을 상당히 감소시킬 수 있다.
사용자의 입퇴실 등 특히 인물의 전신이 이동하는 듯한 큰 움직임이 있을 때는 그다지 많은 전력을 조명에 사용할 필요가 없다. 또한 이하에서 자세히 설명되지만, 차분에 의한 움직임 검출에 의해 입퇴출을 감시함으로써, 이후 개인 식별 처리 타이밍과 조명할 필요가 있는 영역을 특정하는 것이 가능해진다. 또한 어두운 실내를 적외광으로 조명한 인물 화상을 기계 학습함으로 인해 실내 조명시와 동등한 개인 식별 성능을 달성할 수 있다.
이하에서는 전술한 개념을 실시예들을 이용하여 구체적으로 설명하기로 한다.
〔실시 형태 1〕
도 2는, 실시 형태 1에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 촬상 장치(10)는 피사계를 촬상하여 피사계를 감시하도록 구성되어 있다. 예컨대, 도 3a에 도시한 바와 같이, 촬상 장치(10)는 실내에 설치되는 전자 제품(도 3a의 예에서는, 플랫 패널 디스플레이)에 설치된다. 본 예에 있어서, 촬상 장치(10)는 복수(본 예에서는 4개)의 광원(11a~11d)와, 촬상부(12)와, 처리 회로(13)를 구비하고 있다. 또한, 이하의 설명에서는, 광원(11a~11d)을 “광원(11)”이라고 총칭한다.
〈광원〉
광원(11)은 피사계를 향해 발광하도록 구성되어 있다. 예컨대, 광원(11)은 발광 다이오드(LED)에 의해 구성될 수도 있고, 레이저 다이오드에 의해 구성될 수도 있다. 또한, 광원(11)으로부터 출사되는 광은 적외광일 수도 있고, 가시광선일 수도 있다.
또한, 도 3a에 도시한 바와 같이, 복수의 광원(11a~11d)은 촬상부(12)의 주변에 설치되어 있다. 그리고, 복수의 광원(11a~11d)은 피사계의 조명을 분담하여 수행하도록 구성되어 있다. 구체적으로, 복수의 광원(11a~11d) 각각은 피사계 중 그 광원(11)에 대응되는 일부의 영역을 조명하도록 구성되고, 복수의 광원(11a~11d)을 모두 발광시킨 경우에 피사계의 전 영역이 조명되도록 배치되어 있다. 본 예에서는, 복수의 광원(11a~11d)은 수평 방향으로 병설되어 있다.
〈촬상부〉
촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 예컨대, 촬상부(12)는 상보형 금속 산화막 반도체(CMOS)에 의해 구성될 수도 있고, 전하 결합 소자(CCD)에 의해 구성될 수도 있다.
〈광원과 화상 영역과의 대응 관계〉
도 3b에 도시한 바와 같이, 촬상 화상(20)에는, 복수(본 예에서는 4개)의 광원(11a~11d)에 각각 대응하는 복수(본 예에서는 4개)의 화상 영역(21a~21d)이 포함되어 있다. 또한, 이하의 설명에서는 화상 영역(21a~21d)을 “화상 영역(21)”이라고 총칭한다.
화상 영역(21)은 그 화상 영역(21)에 대응되는 광원(11)에 의해 조명되는 피사계의 일부 영역을 포함하고 있다. 본 예에서 화상 영역(21a)은 광원(11a)에 의해 조명되는 피사계의 일부 영역을 포함하고, 화상 영역(21b)은 광원(11b)에 의해 조명되는 피사계의 일부 영역을 포함하고, 화상 영역(21c)은 광원(11c)에 의해 조명되는 피사계의 일부 영역을 포함하고, 화상 영역(21d)은 광원(11d)에 의해 조명되는 피사계의 일부 영역을 포함하고 있다. 또한, 본 예에서는, 복수의 화상 영역(21a~21d)은 각각의 엣지부가 인접하는 화상 영역(21)의 엣지부와 중복되지 않도록 배치되어 있다.
〈처리 회로〉
처리 회로(13)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 예컨대, 처리 회로(13)는 CPU나 메모리 등에 의해 구성되어 있다. 또한, 본 예에 있어서 처리 회로(13)는 제어부(14)와 판정부(15)와 검출부(16)를 구비하고 있다.
《제어부》
제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환하는 발광 제어를 실행하면서 촬상부(12)에 피사계(발광시킨 광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 즉, 발광 제어에 있어서, 제어부(14)는 복수의 광원(11a~11d) 중에서 발광시키는 광원(11)을 선택하고, 그 선택된 광원(11)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다.
《판정부》
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)의 일부로서, 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)에 대응되는 화상 영역(21)에 대해서, 미리 정해진 검출 대상(본 예에서는 움직임)의 유무를 판정하도록 구성되어 있다. 판정부(15)는 화상 영역(21)에서 미리 정해진 검출 대상의 유무를 판정하도록 할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
《검출부》
검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물(본 예에서는 인간)을 검출하도록 구성되어 있다. 또한, 검출부(16)는 검출 결과를 외부로 출력하도록 구성되어 있다. 검출부(16)는 촬상 화상으로부터 미리 정해진 대상물을 검출할 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
〈동작〉
이어서, 도 4를 참조하여, 실시 형태 1에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 화상 영역(21a~21d)의 판정 순서(판정 대상이 되는 화상 영역(21)을 선택하는 순서)가 미리 정해져 있다. 즉, 광원(11) 및 화상 영역(21)의 선택 순서가 미리 정해져 있다. 구체적으로, 광원(11a)과 화상 영역(21a)이 첫번째로 선택되고, 광원(11b)과 화상 영역(21b)이 두번째로 선택되며, 광원(11c)과 화상 영역(21c)이 세번째로 선택되고, 광원(11d)과 화상 영역(21d)이 네번째로 선택되도록, 광원(11) 및 화상 영역(21)의 선택 순서가 미리 정해져 있다. 또한, 광원(11) 및 화상 영역(21)의 선택 순서에 기초하여 광원(11a~11d)과 화상 영역(21a~21d)에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 구체적으로, 광원(11a)과 화상 영역(21a)에 “1”이 할당되고, 광원(11b)과 화상 영역(21b)에 “2”가 할당되며, 광원(11c)과 화상 영역(21c)에 “3”이 할당되고, 광원(11d)과 화상 영역(21d)에 “4”가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역(21)의 번호를 나타내고 있다. 상한치(Kmax)는, 2 이상의 정수이고, 광원(11)의 개수(본 예에서는 4)에 해당한다.
《스텝 ST101》
우선, 제어부(14)는 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 광원(11) 및 화상 영역(21)(본 예에서는, 광원(11a) 및 화상 영역(21a))을 이번 처리의 대상이 되는 광원(11) 및 화상 영역(21)으로서 선택한다.
《스텝 ST102, ST103》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)(이번 처리의 대상이 되는 화상 영역(21))에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 예컨대, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)에 대응되는 광원(11)이 발광하고 있는 기간 중에 시계열적으로 연속되는 N매(N은 2 이상의 정수)의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST104》
이어서, 판정부(15)는 스텝 ST103에서 취득된 촬상 화상(20)으로부터 K번째의 화상 영역(21)을 추출한다. 예컨대, 판정부(15)는 스텝 ST103에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 K번째의 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(K번째의 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST105》
이어서, 판정부(15)는 스텝 ST104에서 추출된 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. K번째의 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST106으로 진행되고, 그렇지 않은 경우에는, 스텝 ST107로 진행된다.
예컨대, 판정부(15)는 스텝 ST104에서 취득된 부분 화상열을 구성하는 N개의 화상 영역(K번째의 화상 영역)으로부터 N－1개의 부분 차분 화상을 산출한다. 또한, X번째(X는 1 이상이고, 또한 N－1 이하의 정수)의 부분 차분 화상은, 부분 화상열을 구성하는 N개의 화상 영역 중 시계열에 있어서 X번째에 위치하는 촬상 화상에 포함되는 K번째의 화상 영역과 시계열에 있어서 X＋1번째에 위치하는 촬상 화상에 포함되는 K번째의 화상 영역과의 차분 화상에 해당한다. 이어서, 판정부(15)는 N－1개의 부분 차분 화상의 화소값을 화소마다 평균하여 차분 평균 화상(각각의 화소값이 N－1개의 화소값의 평균값을 나타낸 화상)을 산출한다. 그리고, 판정부(15)는 차분 평균 화상에 포함되는 복수의 화소값 중 미리 정해진 차분 문턱값을 상회하는 화소값의 개수의 점유 비율(차분 평균 화상에 포함되는 전 화소수에 대한 비율)이 미리 정해진 점유 비율 문턱값을 상회하는 경우, K번째의 화상 영역에 움직임(검출 대상)이 있는 것으로 판정하고, 그렇지 않은 경우, K번째의 화상 영역에 움직임(검출 대상)이 없다고 판정한다. 또한, 차분 문턱값 및 점유 비율 문턱값은, 예컨대 움직임이 있는 것으로 간주할 수 있을 때의 화소값 및 점유 비율로 각각 설정되어 있다.
《스텝 ST106》
이어서, 검출부(16)는 스텝 ST105에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 예컨대, 검출부(16)는, 비특허 문헌 1 “Navneetdalal and Bill Triggs, "Histograms of Oriented Gradients for Humandetection,"Proc. of CVPR2005, vol.1, pp. 886-893, 2005.”에 개시된 검출 수법(휘도 구배 히스토그램 특징의 기계 학습에 근거한 검출 수법)을 이용하여 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행하도록 구성될 수도 있다.
《스텝 ST107, ST108, ST109》
이어서, 제어부(14)는 미리 정해진 선택 순서에 근거하여, 다음 번의 처리 대상이 되는 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우에 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우에 변수 K를 1로 설정한다. 이어서, 스텝 ST110으로 진행된다.
즉, 제어부(14)는 이번의 처리 대상이 되어 있는 광원(11) 및 화상 영역(21)이 미리 정해진 선택 순서에 있어서 마지막에 선택되는 광원(11) 및 화상 영역(21)(본 예에서는, 광원(11d) 및 화상 영역(21d))인지 여부를 판정한다(스텝 ST107). 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)이 미리 정해진 선택 순서에 있어서 마지막에 선택되는 광원(11) 및 화상 영역(21)이 아닌 경우, 제어부(14)는 미리 정해진 선택 순서에 있어서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)의 다음에 선택될 화상 영역(21)을, 다음 번의 처리의 대상이 되는 광원(11) 및 화상 영역(21)으로서 선택한다(스텝 ST108). 한편, 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)이 미리 정해진 선택 순서에 있어서 마지막에 선택되는 광원(11) 및 화상 영역(21)인 경우, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 광원(11) 및 화상 영역(21)(본 예에서는, 광원(11a) 및 화상 영역(21a))을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)으로서 선택한다(스텝 ST109).
《스텝 ST110》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST102로 진행된다.
〈광원의 발광 패턴〉
도 5는 실시 형태 1에 있어서의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 5에 도시한 바와 같이, 실시 형태 1에서는, 미리 정해진 발광 순서(본 예에서는, 광원(11a, 11b, 11c, 11d)의 순서)로 복수의 광원(11a~11d)이 차례로 발광하도록, 발광 제어(발광시키는 광원(11)을 전환하기 위한 제어)가 수행된다.
〈실시 형태 1에 의한 효과〉
이상과 같이, 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환함으로써, 복수의 광원(11a~11d)의 전부를 계속적으로 발광시키는 경우(즉, 피사계의 전 영역을 계속적으로 조명하는 경우) 보다 피사계의 조명에 필요한 소비 전력을 저감할 수 있다.
또한, 촬상 화상(20) 중 그 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)에 대응되는 화상 영역(21)은, 피사계에 있어서 그 광원(11)에 의해 조명된 영역(피사계의 일부)에 대응되어 있다. 따라서, 촬상 화상(20) 중 상기의 화상 영역(21)(즉, 피사계에 있어서 광원(11)에 의해 조명된 영역에 대응되는 화상 영역(21))에 대해 검출 대상(본 예에서는 움직임)의 유무의 판정을 수행함으로써, 검출 대상 유무의 판정을 정확하게 수행할 수 있다.
또한, 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환하면서 피사계의 촬상을 계속함으로써, 촬상 화상(20) 중 판정부(15)에 의한 판정의 대상이 되는 화상 영역(21)(즉, 피사계 중 판정의 대상이 되는 영역)을 전환할 수 있다. 이에 따라, 피사계의 감시(검출 대상 유무의 판정)를 계속적으로 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상(본 예에서는 움직임) 있음으로 판정된 화상 영역(21)을 포함하는 촬상 화상(20)을 대상물 검출 처리(본 예에서는 사람 검출 처리)의 대상으로 함으로써, 대상물의 검출을 효율적으로 수행할 수 있다.
또한, 제어부(14)가 발광 제어에 있어서, 복수의 광원(11a~11d) 중에서 하나의 광원을 선택하여 발광시키는 경우를 예로 들었지만, 제어부(14)는 발광 제어에 있어서, 복수의 광원(11a~11d) 중에서 2 이상의 광원(11)(다만 모든 광원(11)은 아님)을 선택하여 동시에 발광시키도록 구성될 수도 있다.
〔실시 형태 2〕
실시 형태 2에 의한 촬상 장치(10)는 그 동작이 실시 형태 1에 의한 촬상 장치(10)의 동작과 다르다. 실시 형태 2에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)이 존재하지 않는 경우, 복수의 광원(11a~11d)은 미리 정해진 발광 순서로 발광하도록, 발광 제어(발광시키는 광원(11)을 전환하기 위한 제어)를 수행하고, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)이 존재하는 경우, 복수의 광원(11a~11d) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)에 대응되는 광원(11)의 발광 빈도가 높아지도록 발광 제어를 수행한다.
구체적으로, 실시 형태 2에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)이 존재하는 경우, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)에 대응되는 광원(11)이 발광하는 제1 발광 동작과, 미리 정해진 발광 순서에 기초하여 판정부(15)에 의해 검출 대상 있음으로 판정되지 않은 화상 영역(21)에 대응되는 광원(11) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록 발광 제어를 수행한다. 또한, 실시 형태 2의 기타 구성은 실시 형태 1과 동일하게 되어 있다.
〈동작〉
이어서, 도 6, 도 7, 도 8을 참조하여, 실시 형태 2에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 실시 형태 1과 마찬가지로, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 화상 영역(21a~21d)의 판정 순서(판정 대상이 되는 화상 영역(21)을 선택하는 순서)가 미리 정해져 있다. 구체적으로는, 광원(11a)과 화상 영역(21a)이 첫번째로 선택되고, 광원(11b)과 화상 영역(21b)이 두번째로 선택되며, 광원(11c)과 화상 영역(21c)이 세번째로 선택되고, 광원(11d)과 화상 영역(21d)이 네번째로 선택되도록, 광원(11) 및 화상 영역(21)의 선택 순서가 미리 정해져 있다. 또한, 광원(11) 및 화상 영역(21)의 선택 순서에 기초하여 광원(11a~11d)과 화상 영역(21a~21d)에 번호(선택 순서를 나타낸 번호)가 할당되어 있다.
《스텝 ST201》
우선, 스텝 ST101과 마찬가지로, 제어부(14)는 변수 K를 1로 설정한다.
《스텝 ST202》
이어서, 제어부(14)는 주목 영역의 존재 유무를 판정한다. 주목 영역은 판정부(15)에 의해 검출 대상(본 예에서는 움직임) 있음으로 판정된 화상 영역(21)에 해당한다. 주목 영역이 존재하지 않는 것으로 판정된 경우에는, 스텝 ST203으로 진행된다. 주목 영역이 존재하는 경우에는, 스텝 ST213으로 진행된다.
《스텝 ST203~ST206》
이어서, 스텝 ST102, ST103과 마찬가지로, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)(이번 처리의 대상이 되는 화상 영역(21))에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 스텝 ST104, ST105와 마찬가지로, 판정부(15)는 스텝 ST204에서 취득된 촬상 화상(20)으로부터 K번째의 화상 영역(21)을 추출하고, 그 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. K번째의 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST207로 진행되고, 그렇지 않은 경우에는, 스텝 ST209로 진행된다.
《스텝 ST207》
이어서, 제어부(14)는 스텝 ST206에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 주목 대상(즉, 주목 영역)으로 설정한다. 이어서, 스텝 ST208로 진행된다.
《스텝 ST208》
이어서, 스텝 ST106과 마찬가지로, 검출부(16)는 스텝 ST206에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다.
《스텝 ST209, ST210, ST211》
이어서, 스텝 ST107, ST108, ST109와 마찬가지로, 제어부(14)는 미리 정해진 선택 순서에 근거하여, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우에 변수 K를 1로 설정한다. 이어서, 스텝 ST212로 진행된다.
《스텝 ST212》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST202로 진행된다.
《스텝 ST213, ST214》
한편, 스텝 ST202에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(21)에 대응되는 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 구체적으로, 스텝 ST103과 마찬가지로, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(21)에 대응되는 광원(11)이 발광하는 기간 중에, 시계열적으로 연속되는 N매의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST215》
이어서, 판정부(15)는 스텝 ST214에서 취득된 촬상 화상(20)으로부터 주목 영역인 화상 영역(21)을 추출한다. 구체적으로, 스텝 ST104와 마찬가지로, 판정부(15)는 스텝 ST214에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 주목 영역인 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(주목 영역인 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST216》
이어서, 판정부(15)는 스텝 ST215에서 추출된 주목 영역인 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 또한, 검출 대상 유무의 판정 수법은 스텝 ST105의 판정 수법과 동일할 수도 있다. 주목 영역인 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST217로 진행되고, 그렇지 않은 경우에는, 스텝 ST218로 진행된다.
《스텝 ST217》
이어서, 검출부(16)는 스텝 ST216에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 또한, 대상물의 검출 수법은 스텝 ST106의 검출 수법과 동일할 수도 있다. 이어서, 스텝 ST219로 진행된다.
《스텝 ST218》
한편, 스텝 ST216에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(21)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST219로 진행된다.
《스텝 ST219》
이어서, 제어부(14)는 K번째의 화상 영역(21)이 주목 영역으로 설정되어 있는지 여부를 판정한다. K번째의 화상 영역(21)이 주목 영역으로 설정되어 있는 경우에는, 스텝 ST220으로 진행되고, 그렇지 않은 경우에는, 스텝 ST223으로 진행된다.
《스텝 ST220, ST221, ST222》
스텝 ST219에서 K번째의 화상 영역(21)이 주목 영역으로 설정되어 있다고 판정된 경우, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 이어서, 스텝 ST219로 진행된다.
《스텝 ST223~ST226》
한편, 스텝 ST219에서 K번째의 화상 영역(21)이 주목 영역으로 설정되지 않은 것으로 판정된 경우, 스텝 ST203, ST204와 마찬가지로, 제어부(14)는 복수의 광원(11a~11d) 중 K번째의 화상 영역(21)에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 스텝 ST205, ST206과 마찬가지로, 판정부(15)는 스텝 ST224에서 취득된 촬상 화상(20)으로부터 K번째의 화상 영역(21)을 추출하고, 그 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. K번째의 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST227로 진행되고, 그렇지 않은 경우에는, 스텝 ST229로 진행된다.
《스텝 ST227》
이어서, 스텝 ST207과 마찬가지로, 제어부(14)는 스텝 ST226에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 주목 대상(즉, 주목 영역)으로 설정한다. 이어서, 스텝 ST228로 진행된다.
《스텝 ST228》
이어서, 스텝 ST208과 마찬가지로, 검출부(16)는 스텝 ST226에서 검출 대상 있음으로 판정된 K번째의 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다.
《스텝 ST229, ST230, ST231》
이어서, 스텝 ST209, ST210, ST211과 마찬가지로, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 변수 K에 1을 가산하고, 변수 K가 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 이어서, 스텝 ST212로 진행된다.
〈광원의 발광 패턴〉
도 9는 실시 형태 2에서 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 9에서는, 광원(11a)이 주목 영역인 화상 영역(21)에 대응되고, 3개의 광원(11b, 11c, 11d)이 주목 영역이 아닌 3개의 화상 영역(21)에 각각 대응되고 있다. 도 9에 도시한 바와 같이, 실시 형태 2에서는, 주목 영역이 존재하는 경우, 주목 영역에 대응되는 광원(11)(도 9에서는, 광원(11a))이 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(21)에 대응되는 광원(11)(도 9에서는, 광원(11b, 11c, 11d)) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 도 9를 참조하면, 주목 영역에 대응되는 광원(11a)는 시간 구간 T1,T3,T5,T7,T9,T11 에서 발광함으로써, 2개의 시간 구간당 1개의 시간 구간 주기로 발광하고, 주목 영역에 대응되지 않은 광원(11b,11c,11d) 각각은 시간 구간 T2,T4,T6,T8,T10 에서 순차적으로 돌아가며 발광함으로써 각 광원(11b,11c,11d)은 6개의 시간 구간당 1개의 시간 구간 주기로 발광한다. 즉, 실시 형태 2에서는, 주목 영역이 존재하는 경우, 복수의 광원(11a~11d) 중 주목 영역에 대응되는 광원(11)의 발광 빈도가 높아지도록, 발광 제어가 수행된다.
또한, 실시 형태 2에서 주목 영역이 존재하지 않는 경우의 광원(11)의 발광 패턴의 일예는, 도 5에 도시한 발광 패턴이 된다. 도 5에 도시한 바와 같이, 실시 형태 2에서는, 주목 영역이 존재하지 않는 경우, 미리 정해진 발광 순서(본 예에서는, 광원(11a, 11b, 11c, 11d)의 순서)로 복수의 광원(11a~11d)이 차례로 발광하도록 발광 제어가 수행된다.
〈실시 형태 2에 의한 효과〉
이상과 같이, 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21))이 존재하는 경우, 복수의 광원(11a~11d) 중 주목 영역에 대응되는 광원(11)의 발광 빈도가 높아지도록, 복수의 광원(11a~11d) 중 발광시키는 광원(11)을 전환하는 발광 제어를 실행하면서 촬상부(12)에 피사계를 촬상시킴으로써, 주목 영역(검출 대상 있음으로 판정된 화상 영역(21))에 대해 검출 대상 유무의 판정을 중점적으로 수행할 수 있다. 이에 따라, 피사계 중 검출 대상이 있는 것으로 전망되는 영역을 중점적으로 감시할 수 있으므로, 피사계의 감시(검출 대상 유무의 판정)를 효과적으로 수행할 수 있다.
〔실시 형태 2의 변형예 1〕
또한, 실시 형태 2에 의한 촬상 장치(10)에 있어서, 복수의 화상 영역(21)이 주목 대상(즉, 주목 영역)으로 설정될 수도 있다. 그리고, 제어부(14)는 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)이 제1 발광 동작에서 동시에 발광하도록 발광 제어를 수행하도록 구성될 수도 있다.
〈동작〉
이어서, 도 10을 참조하여, 실시 형태 2의 변형예 1에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 2의 변형예 1에 의한 촬상 장치(10)에서는, 도 7에 도시한 동작을 대신하여, 도 10에 도시한 동작이 수행된다. 또한, 본 예에서는, 주목 영역의 판정 순서(판정 대상이 되는 주목 영역을 선택하는 순서)가 미리 정해져 있다. 그리고, 주목 영역의 선택 순서에 기초하여 복수의 주목 영역에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 L은 1 이상이고, 또한 상한치(Lmax) 이하의 정수이고, 처리의 대상이 되는 주목 영역의 번호를 나타내고 있다. 상한치(Lmax)는 2 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 주목 영역의 개수에 해당한다.
《스텝 ST301, ST302》
스텝 ST202에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 복수의 광원(11a~11d) 중 모든 주목 영역에 대응되는 모든 광원(11)을 동시에 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 구체적으로, 제어부(14)는 복수의 광원(11a~11d) 중 모든 주목 영역에 대응되는 모든 광원(11)이 동시에 발광하는 기간 중에, 시계열적으로 연속되는 N매의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST303》
이어서, 제어부(14)는 변수 L을 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 첫번째로 선택되는 주목 영역을 이번 처리의 대상이 되는 주목 영역으로서 선택한다.
《스텝 ST304》
이어서, 판정부(15)는 스텝 ST302에서 취득된 촬상 화상(20)으로부터 L번째의 주목 영역인 화상 영역(21)을 추출한다. 구체적으로 판정부(15)는 스텝 ST302에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 L번째의 주목 영역인 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(L번째의 주목 영역이 되는 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST305》
이어서, 판정부(15)는 스텝 ST304에서 추출된 L번째의 주목 영역인 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 또한, 검출 대상 유무의 판정 수법은 스텝 ST216의 판정 수법과 동일할 수도 있다. L번째의 주목 영역인 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST306으로 진행되고, 그렇지 않은 경우에는, 스텝 ST307로 진행된다.
《스텝 ST306》
이어서, 검출부(16)는 스텝 ST305에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 또한, 대상물(100)의 검출 수법은 스텝 ST217의 검출 수법과 동일할 수도 있다. 이어서, 스텝 ST308로 진행된다.
《스텝 ST307》
한편, 스텝 ST305에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(21)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST308로 진행된다.
《스텝 ST308》
이어서, 제어부(14)는 변수 L이 상한치(Lmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 주목 영역 중 처리의 대상으로서 선택되지 않은 주목 영역이 남아 있는지 여부를 판정한다. 변수 L이 상한치(Lmax)에 도달하지 않은 경우에는, 스텝 ST309로 진행되고, 변수 L이 상한치(Lmax)에 도달한 경우에는, 스텝 ST219로 진행된다.
《스텝 ST309》
스텝 ST308에서 변수 L이 상한치(Lmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 L에 1을 가산한다. 즉, 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 이번의 처리 대상으로 되어 있는 주목 영역의 다음에 선택되는 주목 영역을, 다음 번의 처리 대상이 될 주목 영역으로서 선택한다. 이어서, 스텝 ST304로 진행된다.
〈광원의 발광 패턴〉
도 11은 실시 형태 2의 변형예 1에서 복수의 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 11에서는 2개의 광원(11a, 11c)이 2개의 주목 영역인 2개의 화상 영역(21)에 각각 대응되고, 2개의 광원(11b, 11d)이 주목 영역이 아닌 2개의 화상 영역(21)에 각각 대응되어 있다. 도 11에 도시한 바와 같이, 실시 형태 2의 변형예 1에서는, 복수의 주목 영역이 존재하는 경우, 복수의 주목 영역에 각각 대응되는 복수의 광원(11)(도 11에서는, 광원(11a, 11c))이 동시에 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(21)에 대응되는 광원(11)(도 11에서는, 광원(11b, 11d)) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 도 11을 참조하면, 주목 영역에 대응되는 광원(11a, 11c)는 각각 시간 구간 T1,T3,T5,T7,T9,T11 에서 동시에 발광함으로써, 2개의 시간 구간당 1개의 시간 구간 주기로 발광하고, 주목 영역에 대응되지 않은 광원(11b,11d) 각각은 시간 구간 T2,T4,T6,T8,T10 에서 순차적으로 돌아가며 발광함으로써 각 광원(11b,11d)은 4개의 시간 구간당 1개의 시간 구간 주기로 발광한다.
〈실시 형태 2의 변형예 1에 의한 효과〉
이상과 같이, 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)을 제1 발광 동작에서 동시에 발광시킴으로써, 이러한 복수의 광원(11)을 제1 발광 동작에서 다른 타이밍으로 발광시키는 경우 보다 제1 발광 동작에 필요한 시간을 단축할 수 있다. 이에 따라, 촬상 시간을 단축할 수 있다.
〔실시 형태 2의 변형예 2〕
또는, 실시 형태 2에 의한 촬상 장치(10)에 있어서, 제어부(14)는 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)이 제1 발광 동작에서 차례로 발광하도록 발광 제어를 수행하도록 구성될 수도 있다.
〈동작〉
이어서, 도 12를 참조하여, 실시 형태 2의 변형예 2에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 2의 변형예 2에 의한 촬상 장치(10)에서는, 도 7에 도시한 동작을 대신하여, 도 12에 도시한 동작이 수행된다. 또한, 본 예에서는, 주목 영역의 판정 순서(판정 대상이 되는 주목 영역을 선택하는 순서)가 미리 정해져 있다. 그리고, 주목 영역의 선택 순서에 기초하여 복수의 주목 영역에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 L은 1 이상이고, 또한 상한치(Lmax) 이하의 정수이며, 처리의 대상이 되는 주목 영역의 번호를 나타내고 있다. 상한치(Lmax)는 2 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 주목 영역의 개수에 해당한다.
《스텝 ST401》
스텝 ST202에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 변수 L을 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 첫번째로 선택되는 주목 영역을 이번 처리의 대상이 되는 주목 영역으로서 선택한다.
《스텝 ST402, ST403》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 L번째의 주목 영역에 대응되는 광원(11)을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 구체적으로 제어부(14)는 복수의 광원(11a~11d) 중 L번째의 주목 영역에 대응되는 광원(11)이 발광하고 있는 기간 중에, 시계열적으로 연속되는 N매의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST404》
이어서, 제어부(14)는 스텝 ST403에서 취득된 촬상 화상(20)으로부터 L번째의 주목 영역인 화상 영역(21)을 추출한다. 구체적으로 판정부(15)는, 스텝 ST403에서 취득된 촬상 화상열을 구성하는 N매의 촬상 화상(20)의 각각으로부터 L번째의 주목 영역인 화상 영역(21)을 추출하고, 그 추출된 N개의 화상 영역(21)(L번째의 주목 영역이 되는 화상 영역(21))으로 이루어진 부분 화상열을 취득한다.
《스텝 ST405》
이어서, 판정부(15)는 스텝 ST404에서 추출된 L번째의 주목 영역인 화상 영역(21)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 또한, 검출 대상 유무의 판정 수법은 스텝 ST216의 판정 수법과 동일할 수도 있다. L번째의 주목 영역인 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST406에 진행되고, 그렇지 않은 경우에는, 스텝 ST407에 진행된다.
《스텝 ST406》
이어서, 검출부(16)는 스텝 ST405에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(21)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 또한, 대상물의 검출 수법은 스텝 ST217의 검출 수법과 동일할 수도 있다. 이어서, 스텝 ST408로 진행된다.
《스텝 ST407》
한편, 스텝 ST405에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(21)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST408로 진행된다.
《스텝 ST408》
이어서, 제어부(14)는 변수 L이 상한치(Lmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 주목 영역 중 처리의 대상으로서 선택되지 않은 주목 영역이 남아 있는지 여부를 판정한다. 변수 K가 상한치(Lmax)에 도달하지 않은 경우에는, 스텝 ST409로 진행되고, 변수 K가 상한치(Lmax)에 도달한 경우에는, 스텝 ST219로 진행된다.
《스텝 ST409》
스텝 ST408에서 변수 L이 상한치(Lmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 L에 1을 가산한다. 즉, 미리 정해진 선택 순서(주목 영역에 대한 판정 순서)에서 이번의 처리 대상으로 되어 있는 주목 영역의 다음에 선택되는 주목 영역을, 다음 번의 처리 대상이 될 주목 영역으로서 선택한다. 이어서, 스텝 ST402로 진행된다.
〈광원의 발광 패턴〉
도 13은 실시 형태 2의 변형예 2에서 복수의 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 13에서는 2개의 광원(11a, 11c)이 주목 영역인 2개의 화상 영역(21)에 각각 대응되고, 2개의 광원(11b, 11d)이 주목 영역이 아닌 2개의 화상 영역(21)에 각각 대응되고 있다. 도 13에 도시한 바와 같이, 실시 형태 2의 변형예 2에서는, 복수의 주목 영역이 존재하는 경우, 복수의 주목 영역에 각각 대응되는 복수의 광원(11)(도 13에서는, 광원(11a, 11c))이 차례로 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(21)에 대응되는 광원(11)(도 13에서는, 광원(11b, 11d)) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 도 13을 참조하면, 주목 영역에 대응되는 광원(11a, 11c)는 각각 시간 구간 T1,T2,T4,T5,T7,T8,T10,T11 에서 순서대로 발광함으로써, 각 광원(11a, 11c)는 3개의 시간 구간당 1개의 시간 구간 주기로 발광하고, 주목 영역에 대응되지 않은 광원(11b,11d) 각각은 시간 구간 T3,T6,T9,T12에서 순차적으로 돌아가며 발광함으로써 각 광원(11b,11d)은 6개의 시간 구간당 1개의 시간 구간 주기로 발광한다.
〈실시 형태 2의 변형예 2에 의한 효과〉
이상과 같이, 복수의 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(21))에 각각 대응하는 복수의 광원(11)을 제1 발광 동작에서 차례로 발광시킴으로써, 서로 인접하는 2개의 화상 영역(21)에 대응되는 2개의 광원(11)으로부터 동시에 출사된 광이 피사계에서 중복되는 것을 피할 수 있다. 이에 따라, 이러한 광의 중복에 기인하는 피사계의 조도의 변동을 방지할 수 있고, 피사계의 감시(검출 대상 유무의 판정)를 정확하게 수행할 수 있다.
〔실시 형태 3〕
실시 형태 3에 의한 촬상 장치(10)는, 그 동작이 실시 형태 1에 의한 촬상 장치(10)의 동작과 다르다. 실시 형태 3에 있어서, 검출부(16)는 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우, 주목 영역과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(21))을 포함하는 후보 영역(30)으로부터 대상물(100)을 검출하도록 구성되어 있다. 또한, 실시 형태 3의 기타 구성은 실시 형태 1과 동일하게 되어 있다.
〈동작〉
이어서, 도 14를 참조하여, 실시 형태 3에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 3에 의한 촬상 장치(10)에 있어서, 검출부(16)는 도 4에 도시한 스텝 ST106의 처리(대상물 검출 7처리)를 대신하여, 도 14에 도시한 처리를 수행하도록 구성되어 있다.
《스텝 ST501》
스텝 ST105에서 K번째의 화상 영역(21)에서 검출 대상(본 예에서는 움직임)이 있다고 판정된 경우, 검출부(16)는 주목 영역(즉, 판정부(15)에 의해 검출 대상 있음으로 판정된 K번째의 화상 영역(21))에서 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인지 여부를 판정한다. 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우에는, 스텝 ST502로 진행되고, 그렇지 않은 경우에는, 스텝 ST504로 진행된다.
《스텝 ST502》
이어서, 검출부(16)는 K번째의 화상 영역(21)인 주목 영역의 엣지부(검출 대상 있음으로 판정된 부위를 포함하는 엣지부)에 인접하는 화상 영역(21)인 인접 영역의 존재 유무를 판정한다. 인접 영역이 존재하는 경우에는, 스텝 ST503에 진행되고, 그렇지 않은 경우에는, 스텝 ST504로 진행된다.
《스텝 ST503》
이어서, 검출부(16)는 K번째의 화상 영역(21)인 주목 영역과 주목 영역의 엣지부에 인접하는 화상 영역(21)인 인접 영역을 포함하는 후보 영역(30)에 대해 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행한다. 예컨대, 도 15에 도시한 바와 같이, 주목 영역인 화상 영역(21a)의 우측의 엣지부에서 검출 대상(본 예에서는 움직임)이 있는 것으로 판정부(15)에 의해 판정되면, 검출부(16)는 화상 영역(21a)의 우단 엣지부에 인접하는 화상 영역(21b)을 인접 영역이 되는 화상 영역(21)으로 설정하고, 주목 영역인 화상 영역(21a)과 인접 영역인 화상 영역(21b)을 포함하는 후보 영역(30)에 대해 대상물 검출 처리를 수행한다. 또한, 대상물(100)의 검출 수법은, 스텝 ST106의 검출 수법과 동일할 수도 있다.
《스텝 ST504》
한편, 스텝 ST501에서 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부가 아닌 것으로 판정된 경우, 또는, 스텝 ST502에서 주목 영역의 엣지부에 인접하는 화상 영역(21)인 인접 영역이 존재하지 않는 것으로 판정된 경우, 검출부(16)는 주목 영역인 K번째의 화상 영역(21)에 대해서 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행한다. 또한, 대상물(100)의 검출 수법은, 스텝 ST106의 검출 수법과 동일할 수도 있다.
〈실시 형태 3에 의한 효과〉
이상과 같이, 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우, 주목 영역과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역)을 포함하는 후보 영역(30)으로부터 대상물(100)을 검출함으로써, 대상물 검출 처리에 있어서 주목 영역에 인접하는 인접 영역을 보조적으로 이용할 수 있다. 이에 따라, 주목 영역만을 대상물 검출 처리의 대상으로 하는 경우 보다 대상물(100)의 검출 정밀도를 향상시킬 수 있다.
〔실시 형태 4〕
도 16은 실시 형태 4에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 4에서는, 처리 회로(13)는, 도 1에 도시한 제어부(14)와 판정부(15)와 검출부(16)에, 추가적으로 식별부(17)를 구비하고 있다. 실시 형태 4의 기타 구성은, 실시 형태 1과 동일하게 되어 있다.
〈식별부〉
식별부(17)는 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 조합(照合) 화상을 조합하여 대상물(100)을 식별하도록 구성되어 있다. 식별부(17)는 이러한 동작을 위한 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
도 17에 도시한 바와 같이, 대상물 영역(40)은 촬상 화상(20)의 일부이고, 또한 검출부(16)에 의해 검출된 대상물(100)을 포함하는 영역(화상 영역)에 해당한다. 본 예에 있어서, 대상물(100)은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역(40)에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별을 수행한다. 또한, 식별부(17)는 식별 결과를 외부로 출력하도록 구성되어 있다.
또한, 식별부(17)는, 비특허 문헌 2 “Paul Viola and Michael Jones, "Rapid Objectdetection using a Boosted Cascade of Simple Features,"Proc. of CVPR2001, vol.1, pp. 511-518, 2001.”에 나타난 수법(휘도 분포의 비교에 따른 수법) 등을 이용하여 대상물 영역(40)을 추출하도록 구성될 수도 있다. 또한, 식별부(17)는 서포트 벡터 머신이나 상호 부분 공간법 등을 이용하여 조합 처리(대상물 영역(40)과 조합 화상과의 조합)를 수행하도록 구성될 수도 있다.
〈실시 형태 4에 의한 효과〉
이상과 같이, 촬상 화상(20)으로부터 대상물 영역(40)(촬상 화상(20)의 일부이고, 또한 검출부(16)에 의해 검출된 대상물(100)을 포함하는 영역)을 추출하며, 대상물 영역(40)과 미리 등록된 조합 화상을 조합하여 대상물(100)을 식별함으로써, 대상물(100)의 식별을 효율적으로 수행할 수 있다.
〔실시 형태 4의 변형예〕
또한, 실시 형태 4에 의한 촬상 장치(10)에 있어서, 제어부(14)는 식별부(17)에 의해 추출되는 대상물 영역(40)이 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21))과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(21))에 걸쳐 있는 경우, 복수의 광원(11a~11d) 중 주목 영역 및 인접 영역에 대응되는 광원(11)을 발광시켜 촬상부(12)에 피사계를 촬상시키도록 구성될 수도 있다. 또한, 식별부(17)는 주목 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제1 조합 화상)을 조합하고, 주목 영역 및 인접 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제2 조합 화상)을 조합하고, 이러한 조합 결과에 기초하여 대상물(100)을 식별하도록 구성될 수도 있다.
〈동작〉
이어서, 도 18을 참조하여, 실시 형태 4의 변형예에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 4의 변형예에 의한 촬상 장치(10)는, 도 4에 도시한 동작(감시 동작)과 병행하여 도 18에 도시한 동작을 수행하도록 구성되어 있다.
《스텝 ST601》
제어부(14)는 식별부(17)에 의해 추출되는 대상물 영역(40)이 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21))과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(21))에 걸쳐 있는지 여부를 판정한다. 대상물 영역(40)이 주목 영역과 인접 영역에 걸쳐 있는 경우에는, 스텝 ST602로 진행되고, 그렇지 않은 경우에는, 스텝 ST612로 진행된다.
《스텝 ST602, ST603, ST604》
이어서, 제어부(14)는 도 4에 도시한 동작(감시 동작)을 중단한다. 그리고, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역에 대응되는 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 식별부(17)는 스텝 ST603에서 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 제1 조합 화상을 조합한다. 또한, 제1 조합 화상은 주목 영역에 대응되는 절반이 광에 비추어지고 있지만, 인접 영역에 대응되는 나머지 절반이 광에 비추어지지 않은 상태의 대상물(100)(본 예에서는 인간의 얼굴)을 나타낸 화상이다.
예컨대, 도 19에 도시한 바와 같이, 주목 영역인 화상 영역(21a)의 엣지부에서 대상물(100)이 검출된 경우, 제어부(14)는 화상 영역(21a)에 대응되는 광원(11a)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다. 또한, 주목 영역인 화상 영역(21a)의 엣지부에 대상물(100)이 위치하고 있으므로, 광원(11a)을 발광시켜 촬상부(12)에 피사계를 촬상시킴으로써, 대상물(100) 중 화상 영역(21a)에 대응되는 부분이 비교적 밝아져 있지만, 화상 영역(21b)에 대응되는 부분이 비교적 어두워져 있는 상태로 촬상 화상(20)이 취득된다. 그리고, 식별부(17)는 촬상 화상(20)으로부터 추출한 대상물 영역(40)과, 화상 영역(21a)에 대응되는 절반(도 19에서는 좌반부)이 광에 비추어지고 있는데, 화상 영역(21b)에 대응되는 나머지 절반(도 19에서는 우반부)이 광에 비추어지지 않은 상태의 인간의 얼굴을 나타낸 제1 조합 화상을 조합한다.
《스텝 ST605, ST606, ST607》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역 및 인접 영역에 대응되는 복수의 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 식별부(17)는 스텝 ST605에서 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 제2 조합 화상을 조합한다. 또한, 제2 조합 화상은 전체적으로 주목 영역 및 인접 영역에 대응되는 복수의 광원에 의해 발광된 광에 비추어지고 있는 상태의 대상물(100)(본 예에서는 인간의 얼굴)을 나타낸 화상이다.
《스텝 ST608, ST609, ST610》
이어서, 제어부(14)는 복수의 광원(11a~11d) 중 인접 영역에 대응되는 복수의 광원을 발광시키고, 촬상부(12)에 피사계를 촬상시킨다. 이어서, 식별부(17)는 스텝 ST605에서 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 미리 등록된 제3 조합 화상을 조합한다. 또한, 제3 조합 화상은 주목 영역에 대응되는 절반(도 19에서는 좌반부)이 광에 비추어지고 있지 않지만, 인접 영역에 대응되는 나머지 절반(도 19에서는 우반부)이 광에 비추어지고 있는 상태의 대상물(100)(본 예에서는 인간의 얼굴)을 나타낸 화상이다.
예컨대, 도 19에 도시한 바와 같이, 주목 영역인 화상 영역(21a)의 엣지부에서 대상물(100)이 검출된 경우, 제어부(14)는 인접 영역인 화상 영역(21b)에 대응되는 광원(11b)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다. 또한, 주목 영역인 화상 영역(21a)의 엣지부에 대상물(100)이 위치하고 있으므로, 광원(11b)을 발광시켜 촬상부(12)에 피사계를 촬상시킴으로써, 대상물(100) 중 화상 영역(21a)에 대응되는 부분이 비교적 어두워져 있지만, 화상 영역(21b)에 대응되는 부분이 비교적으로 밝아져 있는 상태로 촬상 화상(20)이 취득된다. 그리고, 식별부(17)은, 촬상 화상(20)으로부터 추출한 대상물 영역(40)과, 화상 영역(21a)에 대응되는 절반(도 19에서는 좌반부)이 광에 비추어져 있지 않지만, 화상 영역(21b)에 대응되는 나머지 절반(도 19에서는 우반부)이 광에 비추어져 있는 상태의 인간의 얼굴을 나타낸 제3 조합 화상을 조합한다.
《스텝 ST611》
이어서, 식별부(17)는 스텝 ST604에서의 조합 결과와, 스텝 ST607에서의 조합 결과와, 스텝 ST610에서의 조합 결과에 기초하여 대상물(100)을 식별한다. 또한, 제어부(14)는 식별부(17)에 의한 식별 처리가 완료되면, 도 4에 도시한 동작(감시 동작)을 재개한다.
《스텝 ST612》
한편, 스텝 ST601에서 대상물 영역(40)이 주목 영역과 인접 영역에 걸쳐 있지 않은 것으로 판단된 경우, 식별부(17)는 주목 영역으로부터 대상물 영역(40)을 추출하고, 대상물 영역(40)과 제1 조합 화상을 조합한다. 또한, 식별부(17)는 대상물 영역(40)과 제1 조합 화상을 조합하는 대신, 대상물 영역(40)과 제2 조합 화상을 조합하도록 구성될 수도 있다.
《스텝 ST613》
이어서, 식별부(17)는 스텝 ST612에서의 조합 결과에 기초하여 대상물(100)을 식별한다.
〈실시 형태 4의 변형예에 의한 효과〉
이상과 같이, 주목 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 추출된 대상물 영역(40)에 관한 조합 결과(제1 조합 결과)와, 주목 영역 및 인접 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 추출된 대상물 영역(40)에 관한 조합 결과(제2 조합 결과)에 기초하여 대상물(100)을 식별함으로써, 제1 조합 결과에 의해서만 대상물(100)을 식별하는 경우 보다 대상물(100)의 식별 정밀도를 향상시킬 수 있다.
또한, 제1 및 제2 조합 결과에 더하여, 인접 영역에 대응되는 광원(11)이 발광하고 있을 때, 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 추출된 대상물 영역(40)에 관한 조합 결과(제3 조합 결과)를 대상물(100)의 식별에 이용함으로써, 대상물(100)의 식별 정밀도를 더욱 향상시킬 수 있다.
〔실시 형태 1~4의 총괄〕
이상의 설명에 있어서, 각각의 엣지부가 인접하는 화상 영역(21)의 엣지부와 중복되지 않도록 복수의 화상 영역(21a~21d)이 배치되어 있는 경우를 예로 들었는데, 복수의 화상 영역(21a~21d)은, 각각의 엣지부가 인접하는 화상 영역(21)의 엣지부와 중복 배치될 수도 있다.
또한, 이상의 설명에서는, 복수의 광원(11a~11d)이 수평 방향으로 병설되어 있는 경우를 예로 들었지만, 복수의 광원(11a~11d)의 배치는, 이에 한정되지 않는다. 예컨대, 복수의 광원(11a~11d)은 연직 방향으로 병설될 수도 있고, 촬상부(12)의 주위를 둘러싸는 원형으로 병설될 수도 있다.
또한, 이상의 설명에서는, 제어부(14)와 판정부(15)와 검출부(16)와 식별부(17)가 하나의 처리 회로(13)에 포함되어 있는 경우를 예로 들었지만, 제어부(14)와 판정부(15)와 검출부(16)와 식별부(17)는 2 이상의 처리 회로에 분산하여 포함될 수도 있다.
〔실시 형태 5〕
종래의 촬상 장치에는, 일본특허공개 2010－093729호 공보, 일본특허공개 2010－262224호 공보, 일본특허공개 2012－095214호 공보에 기재된 글로벌 셔터 또는 롤링 셔터를 이용하는 경우가 있다. 이들 특허 문헌은 모두 스트로브(광원)를 점등하여 촬상된 화면 내의 표시 불균일을 저감하는 것에 대해서만 언급하고 있다.
종래 기술은 화면 전체에 걸쳐 명암의 불균형이 발생하지 않도록 스트로브광(광원의 광)을 조사하는데 주안점을 둔다. 본원 발명자 등은 종래의 스트로브 조사(광원의 발광)에 의한 인물 검출은 스트로브(광원)에 의해 소비되는 전력을 무시할 수 없다는 문제를 발견하였다. 본원 발명자 등은 스트로브 점등(광원의 점등)에 의한 표시 불균일이 존재하더라도, 촬상된 화면 내의 일부를 이용하여 인물을 검출함으로써, 스트로브 점등(광원의 점등)에 필요한 전력 저감이 가능함을 발견하였다.
〈촬상 장치의 구조〉
도 20은 실시 형태 5에 의한 촬상 장치(10)의 개략도이다. 촬상 장치(10)는 광원(11)(스트로브)과, 촬상부(12)(촬상 소자)와, 제어기(13a)와, 검출기(13b)를 구비하고 있다. 촬상 장치(10)는, 예컨대, 후술하는 움직임 검출에 의해 촬상된 화면 내에 인물이 있는지를 판정하는 장치이다. 촬상 장치(10)는, 예컨대, 텔레비전과 같은 가전 제품의 일부로서 실현될 수 있다. 이 경우, 촬상 장치(10)는, 그 앞에 있는 사용자의 검출과, 사용자의 인식을 실시함으로써, 개인화된 서비스를 제공할 수 있다. 또한, 촬상 장치(10)는 사용자의 검출만을 수행하고, 사용자의 인식까지는 수행하지 않도록 구성될 수도 있다. 또한, 촬상 장치(10)는 건물 또는 부지의 감시 영역 내에 외부인이 들어가는 것을 발견하는 등 감시 카메라로서도 사용될 수 있다.
〈광원〉
광원(11)은 순간적으로 피사계(피사체)에 광을 조사하는 발광 소자이다. 광원(11)은 플래시라고도 불린다. 여기서, 피사계(피사체)에는, 감시 영역 내에 존재하는 검출 대상의 일예인 인물(예컨대, 외부인)과, 인물 이외의 물체(예컨대, 건물의 벽)가 포함된다. 광원(11)은, 예컨대, 크세논관, 발광 다이오드 등에 의해 실현될 수 있다. 광원(11)은 촬상부(12)로부터 타이밍 신호(TE)를 수취하고, 그 점등 타이밍을 촬상 타이밍과 동기시킨다. 이와 같이, 광원(11)은 피사계를 향해 발광하도록 구성되어 있다.
〈촬상부〉
촬상부(12)는 소정의 감시 영역을 촬상하는 이차원 평면 상에 매트릭스상으로 배치된 광 센서군을 포함하는 소자이다. 촬상부(12)는, 예컨대, 전하 결합 소자(CCD) 또는 상보형 금속 산화막 반도체(CMOS) 소자이다. 촬상부(12)는, 예컨대, 롤링 셔터를 이용하는 소자이다. 촬상부(12)의 프레임 레이트는, 예컨대, 60i(인터레이스)/초이다. 촬상부(12)의 앞에는 피사계(피사체)로부터의 광을 수취하기 위한 렌즈가 설치된다.
이와 같이, 촬상부(12)는, 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 또한, 본 예에 있어서, 촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성되어 있다. 구체적으로 촬상부(12)는 복수의 광 센서가 매트릭스상으로 배열된 수광면(미도시)을 가지고, 선두 라인인 1행째의 라인(행방향으로 배열된 2 이상의 광 센서에 의해 구성된 라인)으로부터 최종 라인인 n행째(N은 2 이상의 정수)의 라인을 향해 n개의 라인이 차례로 노광되도록 구성되어 있다.
〈제어기〉
제어기(13a)는 촬상부(12)의 노광 타이밍과 광원(11)의 점등 타이밍이 다음에 상술하는 관계를 갖도록 제어한다. 제어기(13a)는 촬상부(12)로부터 노광 타이밍을 나타내는 신호를 수취하고, 적절한 타이밍에 광원(11)을 점등하기 위한 트리거 신호(a)를 광원(11)에 출력한다. 제어기(13a)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 제어기(13a)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)로 실현될 수 있다.
이와 같이, 제어기(13a)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 또한, 본 예에 있어서, 제어기(13a)는 제어부(14)를 구비하고 있다. 제어부(14)는 광원(11)을 발광시켜 촬상부(12)에 피사계(발광시킨 광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 제어부(14)에 의한 동작에 대해서는, 후술한다.
〈검출기〉
검출기(13b)는 촬상부(12)로부터 출력된 화상을 나타내는 신호(P)를 받아, 촬상된 화면 내에 인물(대상물의 일예)이 존재하는지를 판정한다. 또한, 본 예에 있어서, 검출기(13b)는 촬상된 화면 내에, 감시 영역으로 들어가는 것을 허가받지 않은 외부인이 존재하는지를 판정한다. 그리고, 검출기(13b)는 판정의 결과를 나타내는 신호(U)를 출력한다. 또한, 검출기(13b)는 촬상 장치(10)의 외부에 설치될 수도 있다. 검출기(13b)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 검출기(13b)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)로 실현될 수 있다.
이와 같이, 검출기(13b)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)을 처리하도록 구성되어 있다. 또한, 본 예에 있어서, 검출기(13b)는 판정부(15), 검출부(16), 및 식별부(17)를 구비하고 있다.
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)에 있어서, 미리 정해진 검출 대상(본 예에서는 움직임)의 유무를 판정하도록 구성되어 있다. 검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상(신호(P)로 표시된 화상)으로부터 미리 정해진 대상물(본 예에서는 인간의 얼굴)을 검출하도록 구성되어 있다. 식별부(17)는 촬상 화상(신호(P)로 표시된 화상)으로부터 대상물 영역(검출부(16)에 의해 검출된 대상물을 포함하는 화상 영역)을 추출하고, 대상물 영역과 미리 등록된 조합 화상을 조합하여 대상물을 식별하도록 구성되어 있다. 본 예에 있어서, 대상물은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별(얼굴 인식)을 수행한다. 또한, 식별부(17)는 식별 결과(결과를 나타내는 신호(U))를 외부로 출력하도록 구성되어 있다. 또한, 판정부(15), 검출부(16), 식별부(17)에 의한 동작에 대해서는 후술한다.
〈촬상 장치의 동작〉
도 21은 실시 형태 5에서의 제어기(13a)에 의한 광원(11)의 제어를 나타낸다. 차트(2101)는 촬상부(12)의 노광과 광원(11)의 점등과의 타이밍을 나타낸다. 차트(2101)에 있어서, 종축은 촬상부(12)의 화면(광 센서가 매트릭스상으로 배열된 수광면) 내의 각각의 라인(L1~Ln)(합계 n개)을 나타내고, 횡축은 시간(t)을 나타낸다. 화면의 최초 라인(L1)은 시각 t0~t2 사이에 노광된다. 화면의 마지막 라인(Ln)은 시각 t1~t5 사이에 노광된다. 여기서, 시각 t1~t2 사이(즉, 전 라인 노광 기간(tAE))에 있어서, 촬상부(12)는 화면 내의 모든 라인을 노광한다. 광원(11)은 시각 t3~t4 사이(즉, 점등 기간(tL))에 점등한다. 환언하면, 광원(11)은 시각 t0~t3 사이(즉, 소등 기간(tA)) 및 시각 t4~t5 사이(즉, 소등 기간(tB))에서는 소등하고 있다.
개략도 2102는 촬상부(12) 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 개략도 2102에 있어서, 종축은 차트(2101)의 라인(L1~Ln)에 대응되고, 횡축은 화면(촬상 화상(20))의 수평 위치를 나타낸다. 라인(L1~La)은 노광 중에 광원(11)이 점등되지 않았으므로, 조사광의 강도는 제로이다. 라인(La~Lb)은 노광 중에 광원(11)이 점등되어 있는 기간이 아래의 라인으로 갈 수록 증가하므로, 조사광의 강도가 제로에서 최대로 증가한다. 라인 Lb~Ln는 노광 중에 광원(11)이 점등되어 있는 기간이 점등 기간(tL)의 전 기간(최대)이므로, 조사광의 강도도 최대로 일정하다.
제어기(13a)는 롤링 셔터의 모든 라인이 동시에 노광되고 있는 전 라인 노광 기간(tAE)을 제외한 기간 내에서 광원(11)이 점등되어 있는 점등 기간(tL)과, 광원(11)이 소등되어 있는 소등 기간(tA, tB)이 존재하도록 광원(11)을 점등한다. 이에 따라, 예컨대, 도 21의 개략도 2102에 도시한 바와 같이, 화면 하부(촬상 화상(20)의 하부)에 있어서의 광원(11)의 조사광의 강도를 최대로 하고, 화면 상부(촬상 화상(20)의 상부)에서의 광원(11)의 조사광의 강도를 제로로 할 수 있다. 그 결과, 동일한 전력량으로 광원(11)이 구동되는 것으로 하면, 화면 전체를 균일하게 조사하는 경우와 비교하여, 화면의 일부에 의해 강한 조사 광을 조사할 수 있다. 환언하면, 균일한 조사 보다 효율적으로, 즉 적은 전력으로, 화면의 일부에 광을 조사할 수 있고, 광원(11)에 의해 소비되는 전력을 저감할 수 있다.
〈움직임 탐색 모드 및 얼굴 인식 모드〉
실시 형태 5에 있어서, 촬상 장치(10)는 화면의 일부에만 광을 조사함으로써(즉, 전 라인 노광 기간을 제외한 기간 내에서 점등 기간과 소등 기간이 존재하도록 광원(11)을 점등), 광원(11)에 의한 소비 전력을 절약하면서, 감시 영역 내의 인물의 검출을 수행한다. 이 동작 모드를 움직임 탐색 모드라 한다. 움직임 탐색 모드에 있어서, 검출기(13b)는 광원(11)이 점등되어 있는 점등 기간(tL)에 대응되는 프레임 내의 영역(촬상 화상(20)의 일부이고, 또한 광원(11)의 점등 기간(tL)에 대응되는 화상 영역)에 대해, 예컨대 프레임간 차분을 실행함으로써 움직임 검출(검출 대상 유무의 판정)을 수행한다.
움직임 탐색 모드에 있어서, 만약 움직임이 검출되었다면, 촬상 장치(10)는 얼굴 인식 모드로 이행한다. 얼굴 인식 모드에 있어서, 제어기(13a)는 움직임이 검출된 영역에 대응되는 기간에, 보다 강한 광이 조사되도록, 광원(11)을 제어하고, 또한, 검출기(13b)는 움직임이 검출된 영역에 대해 얼굴 인식(대상물의 식별)을 수행한다.
움직임 탐색 모드에서는 비교적 약한 조사광으로 인물의 검출을 주로 수행하고, 일단 인물이 검출되면, 얼굴 인식 모드로, 보다 강한 조사광으로 얼굴 인식을 수행하여 외부인인지 허가된 사람인지를 판정한다. 이와 같이 2개의 모드를 전환함으로써, 전력을 절약하면서 인물 검출 및 얼굴 인식의 2가지 동작을 수행할 수 있다.
도 22는 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(움직임 탐색 모드에 있어서의 제어)를 나타낸다. 차트 2201은 촬상부(12)의 노광과 광원(11)의 점등과의 타이밍을 나타낸다. 차트 2202는, 프레임 기간(tF) 및 노광 기간(tE)의 개시 시각에 대응되는 동기 신호(VSync)와, 광원(11)의 점등 기간(tL)에 대응되는 스트로브 신호(Str)를 나타낸다. 차트 2201, 2202는, 연속되는 3개의 프레임 F1~F3만을 나타내는데, 실제 촬상 장치(10)의 동작시에는 움직임 탐색 모드가 계속되는 한, 연속적으로 프레임(촬상 화상)이 반복된다.
도 22에 도시된 바와 같이, 각각의 프레임에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다. 이에 따라, 촬상된 화면 내에서 동일한 부분(이 경우, 화면의 상단부 및 하단부)만이 광원(11)의 점등에 의해 광이 조사된다.
도 23은 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(움직임 탐색 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2301은, 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2302는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 약도 2302에 있어서, 종축은 차트 2301의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2301에 도시한 바와 같이, 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 따라서, 움직임 탐색 모드에서는, 조사 영역(301, 302)에서 움직임 검출을 수행하고, 인물의 존재를 검출한다.
도 24는 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(움직임 탐색 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2401은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2402는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 개략도 2402에 있어서, 종축은 차트 2401의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2401에 도시한 바와 같이, 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301)과, 비조사 영역(401, 402)이 생긴다. 따라서, 움직임 탐색 모드에서는 조사 영역(301)에서 움직임 검출을 수행하고, 인물의 존재를 검출한다.
도 25는 움직임 탐색 모드에 있어서의 프레임간 차분의 예를 나타낸다. 검출기(13b)는 광원(11)이 점등되어 있는 점등 기간(tL)에 대응되는 프레임 F1, F2 내의 영역(촬상 화상(20)의 일부이고, 또한 광원(11)의 점등 기간(tL)에 대응되는 화상 영역)에 대해, 프레임간 차분을 실행함으로써 움직임 검출을 수행한다. 프레임 F1, F2는 연속되는 2개의 프레임(촬상 화상(20))이다. 도 25에 도시한 바와 같이, 광원(11)을 점등함으로써, 프레임 F1에는 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 마찬가지로 프레임 F2에도 조사 영역(301, 302)과 비조사 영역(401)이 생긴다.
검출기(13b)는 프레임 F1의 조사 영역(301)과 프레임 F2의 조사 영역(301)과의 차분에 기초하여 움직임 검출을 수행한다. 여기서는, 시간의 경과에 따라 인물(대상물(100)의 일예)은 화면의 좌단으로부터 화면 중앙을 향해 이동하고 있다. 따라서, 프레임 F1의 조사 영역(301)과 프레임 F2의 조사 영역(301)과의 차분에 근거하면, 움직임이 있는 것으로 판정된다. 마찬가지로 검출기(13b)는 프레임 F1의 조사 영역(302)과 프레임 F2의 조사 영역(302)과의 차분에 기초하여 움직임 검출을 수행한다. 프레임 F1의 조사 영역(302)과 프레임 F2의 조사 영역(302)과의 차분에 근거하면, 움직임이 있는 것으로 판정된다.
도 26은 움직임 탐색 모드로부터 얼굴 인식 모드로의 천이를 나타낸다. 프레임 F1까지의 기간에 있어서, 조사 영역(301, 302)에 대해 움직임 탐색이 수행되고 있다. 프레임 F1에서 움직임이 검출되면, 프레임 F2에서는 얼굴 인식 모드로 천이한다. 얼굴 인식 모드에서는, 프레임 F2 내에서 인물의 얼굴(대상물(100)의 일예)이 존재할 가능성이 높은 영역에서 광원(11)의 광을 조사한다. 이는 광원(11)을, 예컨대 도 20의 점등 타이밍으로 제어함으로써 가능하다. 얼굴 인식 모드에서는 조사 영역(302)에서의 광원(11)의 광의 강도가 움직임 탐색 모드의 그것보다 더욱 강해지게 할 수도 있다. 그에 따라, 움직임 탐색 모드의 광원(11)에 의한 전력 소비를 저감시키면서, 얼굴 인식 모드에서는 더 강한 광원(11)의 광의 조사를 이용할 수 있다. 얼굴 인식 모드에서는, 인물의 얼굴부(대상물 영역(40)에 포함되는 인물의 얼굴)가 등록된 인물의 얼굴과의 일치 여부에 따라 외부인인지 허가된 사람인지를 판정한다.
도 27은 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(얼굴 인식 모드에 있어서의 제어)를 나타낸다. 차트 2701은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 차트 2702는 프레임 기간(tF) 및 노광 기간(tE)의 개시 시각에 대응되는 동기 신호(VSync)와, 광원(11)의 점등 기간(tL)에 대응되는 스트로브 신호(Str)를 나타낸다. 차트 2701, 2702는 연속되는 3개의 프레임 F1~F3만을 나타내는데, 실제의 촬상 장치(10)의 동작시에는 얼굴 인식 모드가 계속되는 한, 연속적으로 프레임(촬상 화상)이 반복된다.
도 27에 도시된 바와 같이, 각각의 프레임에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다. 이에 따라, 촬상된 화면 내에서 동일한 부분(이 경우는, 화면의 상부)만이 광원(11)의 점등에 의해 광이 조사된다.
도 28은 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(얼굴 인식 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2801은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2802는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 개략도 2802에 있어서, 종축은 차트 2801의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2801에 도시한 바와 같이, 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 본 예에서는, 조사 영역(301)에서 인물의 얼굴부(대상물(100)의 일예)가 존재할 가능성이 높다. 따라서, 조사 영역(301)에서 검출된 안부(대상물 영역(40)에 포함되는 인물의 얼굴)에 대해, 등록된 인물의 얼굴과의 일치 여부를 판정하고, 그에 따라 외부인인지 허가된 사람인지를 판정한다.
도 29는 실시 형태 5에 있어서의 제어기(13a)에 의한 광원(11)의 제어(얼굴 인식 모드에 있어서의 제어)의 다른 예를 나타낸다. 차트 2901은 촬상부(12)의 노광과, 광원(11)의 점등과의 타이밍을 나타낸다. 프레임 F1~F3에 있어서, 노광 기간(tE)에 대한 광원(11)의 점등 기간(tL)의 타이밍은 동일하다.
개략도 2902는 촬상부(12)의 화면 내의 광원(11)의 조사광의 강도 분포를 나타낸다. 약도 2902에 있어서, 종축은 차트 2901의 라인(L1~Ln)에 대응되고, 횡축은 화면의 수평 위치를 나타낸다. 차트 2901에 나타낸 바와 같이 광원(11)을 점등하면, 화면 내에는 광원(11)의 광의 조사 영역(301, 302)과, 비조사 영역(401)이 생긴다. 본 예에서는, 조사 영역(302)에서 인물의 얼굴부(대상물(100)의 일예)가 존재할 가능성이 높다. 따라서, 조사 영역(301)에서 검출된 안부(대상물 영역(40)에 포함되는 인물의 얼굴)에 대해, 등록된 인물의 얼굴과의 일치 여부를 판정하고, 그에 따라 외부인인지 허가된 사람인지를 판정한다.
또한, 실시 형태 5에 있어서, 노광 기간(예컨대, 도 3b의 노광 기간(tE))이 광원(11)의 점등 기간(예컨대, 도 3b의 점등 기간(tL))의 정수배가 되도록 광원(11)을 점등하면, 조사 영역의 조사광의 강도 불균일(화면 상에서 줄무늬로 보임)을 없앨 수 있다.
이상과 같이, 실시 형태 5에 의한 촬상 장치(10)에 있어서, 제어부(14)는, 촬상부(12)의 모든 라인이 동시에 노광되어 있는 기간(전 라인 노광 기간(tAE))을 제외하는 기간에서 광원(11)이 점등되어 있는 기간(점등 기간(tL))과 광원(11)이 소등되어 있는 기간(소등 기간(tA, TB))이 존재하도록 광원(11)을 발광시켜 촬상부(12)에 피사계를 촬상시킨다.
또한, 실시 형태 5에 의한 촬상 장치(10)에 있어서, 판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 광원(11)이 점등되어 있는 기간(점등 기간(tL))에 대응되는 화상 영역에서 프레임간 차분을 수행함으로써, 검출 대상(본 예에서는 움직임)의 유무를 판정한다.
또한, 광원(11)이 점등되어 있는 기간(점등 기간(tL))에 대응되는 화상 영역(조사 영역(301) 등)은, 촬상부(12)의 전 라인(n개의 라인) 중 광원(11)이 점등되어 있을 때 노광되어 있는 라인에서 촬상된 피사계의 일부 영역을 포함하고 있다. 즉, 점등 기간(tL)에 대응되는 화상 영역에 포함되는 피사계의 일부의 영역은, 점등 기간(tL)에 점등되어 있는 광원(11)에 의해 비추어지고 있다.
또한, 실시 형태 5에 의한 촬상 장치(10)에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음(본 예에서는 움직임 있음)으로 판정된 경우, 검출 대상 있음으로 판정된 화상 영역에 대응되는 기간(점등 기간(tL))에 있어서, 더욱 강한 광이 조사되도록, 광원(11)을 제어한다. 구체적으로 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 기간(점등 기간(tL))에 있어서의 광원(11)의 발광량이 판정부(15)에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 기간(점등 기간(tL))에 있어서의 광원(11)의 발광량 보다 강해지도록, 광원(11)을 제어한다. 여기서, 발광량은 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기)에 있어서 광원(11)으로부터 출사되는 광의 총량을 말하며, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다.
또한, 실시 형태 5에 의한 촬상 장치(10)에서는, 식별부(17)는 판정부(15)에 의해 검출 대상 있음(본 예에서는 움직임 있음)으로 판정된 경우, 검출 대상 있음으로 판정된 화상 영역에 있어서 대상물의 식별(본 예에서는 얼굴 인식)을 수행한다. 구체적으로 검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상으로부터 미리 정해진 대상물(본 예에서는 인간의 얼굴)을 검출하고, 식별부(17)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상으로부터 대상물 영역(검출부(16)에 의해 검출된 대상물을 포함하는 화상 영역)을 추출하고, 대상물 영역과 미리 등록된 조합 화상(본 예에서는 인간의 얼굴을 포함하는 화상)을 조합하여 대상물을 식별한다.
〔실시 형태 5의 총괄〕
본 개시에 의한 실시 형태에서 이용되는 어떠한 기능도, 하드웨어, 소프트웨어, 또는 그러한 조합을 이용하여 실현될 수 있다. 그러한 기능은 단일 프로세서에 의해 실현될 수도 있고, 또는 복수의 프로세서에 의해 실현될 수도 있다.
예컨대, 도 21 및 도 22에 도시한 촬상부(12)의 노광에 대한 광원(11)의 점등 타이밍은 시스템 대규모 집적 회로(LSI)에 의해 실현된다. 대체로서, 이러한 점등 타이밍은 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 다양한 기능을 실현하는 인스트럭션에 의해 실현된다.
〔실시 형태 6〕
종래의 촬상 장치에는, 롤링 셔터 방식의 카메라와 점멸 광원을 이용한 것이 있다(예컨대, 일본특허공개 2010－093729호 공보, 일본특허공개 2010－262224호 공보, 일본특허공개 2012－95214호 공보를 참조).
그러나, 상기 특허 문헌은 모두 점멸 광원을 이용하여 촬상할 때에 발생하는 화면 내의 가로 줄무늬 모야의 명암 차이를 해소하기 위한 방식을 말하는 것에 불과하다. 즉, 스트로브(광원)가 발광하지 않을 때 촬상한 화상의 밝기에 기초하여 스트로브 발광량(광원의 발광량)을 구하는 것에 대해서는 아무런 교시나 시사도 되어 있지 않다.
상기 과제를 감안하여, 본원 발명자 등은 스트로브(광원)가 발광하지 않을 때 촬상한 화상의 밝기에 기초하여 스트로브 발광량(광원의 발광량)을 구함으로써, 적정 노출을 실현하는 장치 및 방법을 고안하였다.
또한, 이하의 설명에 있어서, 노출이란 피사계(피사체)의 밝기에 따라, 촬상부(촬상 소자)에 해당되는 광량을 조절하여 노광하는 것을 의미한다. 촬상부에 의해 캡쳐된 피사계(피사체)의 밝기가 적절한 노출을 “적정 노출”이라고 한다. 노출이 부족해서 캡쳐된 피사계(피사체)의 밝기가 너무 어두운 경우를 “노출 언더”라고 한다. 노출이 너무 과도해서 캡쳐된 피사계(피사체)의 밝기가 너무 밝은 경우를 “노출 오버”라고 한다.
〈촬상 장치의 구조〉
도 30은 실시 형태 6에 의한 촬상 장치(10)의 개략도이다. 촬상 장치(10)는 광원(11)(스트로브), 촬상부(12)(촬상 소자), 제어기(13a), 및 검출기(13b)를 구비하고 있다. 촬상 장치(10)는, 예컨대 텔레비전과 같은 가전 제품에 포함되고, 예컨대 움직임 검출에 의해, 촬상된 화면 내에 사용자가 있는지를 판정한다. 촬상 장치(10)를 포함하는 가전 제품은 그 근방에 사용자가 있는지에 따라, 그 동작의 적어도 일부를 변화시킬 수 있다. 그에 따라 가전 제품은, 예컨대 보다 사용자 친화적인 동작을 실현할 수 있다.
〈광원〉
광원(11)은 순간적으로 피사계(피사체)에 광을 조사하는 발광 소자이다. 광원(11)은 플래시 라고도 불린다. 여기서, 피사계(피사체)에는 감시 영역 내에 존재하는 검출 대상의 일예인 인물(예컨대, 가전 제품의 사용자)과, 인물 이외의 물체(예컨대, 사용자에 대한 전경 또는 배경)가 포함된다.
광원(11)은 임의의 적절한 점멸 광원일 수 있고, 예컨대, 발광 다이오드(LED)이다. 대체로서 광원(11)은 레이저 다이오드이다. 광원(11)은, 예컨대 적외광을 조사하는데, 가시광선을 조사할 수도 있다. 즉, 광원(11)은 적외광을 조사하도록 구성될 수도 있고, 가시광선을 조사하도록 구성될 수도 있다. 광원(11)은 촬상부(12)로부터 노광 타이밍을 나타내는 타이밍 신호(tE)를 수취하고, 그 발광 타이밍을 촬상 타이밍과 동기시킨다.
이와 같이, 광원(11)은 피사계를 향해 발광하도록 구성되어 있다. 또한, 광원(11)은 그 발광량을 변경 가능하게 구성되어 있다. 여기서, 발광량은 소정 주기(예컨대, 프레임 주기) 내에서 광원(11)으로부터 출사되는 광의 총량이고, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다. 본 예에 있어서, 광원(11)은 그 발광 듀티비를 변경 가능하게 구성되고, 광원(11)의 발광 듀티비를 변경함으로써 광원(11)의 발광량을 변경할 수 있다. 또한, 발광 듀티비는 소정 주기 내에서의 점등 기간(광원(11)이 점등되어 있는 기간)의 비율이다.
〈촬상부〉
촬상부(12)는 이차원 평면 상에 매트릭스상으로 배치된 광 센서군을 포함하는 소자이다. 촬상부(12)는, 예컨대, 롤링 셔터를 이용하는 소자이다. 촬상부(12)는, 예컨대, 상보형 금속 산화막 반도체(CMOS) 소자인데, 이에 한정되지 않고, 전하 결합 소자(CCD)일 수도 있다. 촬상부(12)는 촬상 장치(10)를 포함하는 가전 제품 근방의 소정의 감시 영역을 촬상한다. 촬상부(12)의 프레임 레이트는, 예컨대, 30/초이다. 촬상부(12) 앞에는 피사체로부터의 광을 수취하기 위한 렌즈가 설치된다. 이와 같이, 촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다.
〈제어기〉
제어기(13a)는 촬상부(12)의 노광 타이밍과, 광원(11)의 발광 타이밍이 다음에 상술하는 관계를 갖도록 제어한다. 제어기(13a)는 촬상부(12)로부터 신호(P)를 수취하고, 듀티비를 나타내는 신호(DR)를 광원(11)에 출력한다. 제어기(13a)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 제어기(13a)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)에서 실현될 수 있다.
이와 같이, 제어기(13a)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 또한, 본 예에 있어서, 제어기(13a)는 제어부(14)를 구비하고 있다. 제어부(14)는 광원(11)을 발광시켜 촬상부(12)에 피사계(발광시킨 광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 제어부(14)에 의한 동작에 대해서는 후술한다.
〈검출기〉
검출기(13b)는 촬상부(12)로부터 출력된 화상을 나타내는 신호(P)를 수취하고, 촬상된 화면 내에 사용자(대상물의 일예)가 존재하는지를 판정한다. 검출기(13b)는 판정의 결과를 나타내는 검출 신호(U)를 출력한다. 또한, 검출기(13b)는 촬상 장치(10)의 외부에 설치될 수도 있다. 촬상 장치(10)가 검출기(13b)를 포함하는 경우, 촬상 장치(10)는 사용자 검출 장치로 불릴 수 있다. 검출기(13b)는 이러한 기능을 실현하는 집적 회로(IC)(예컨대, 주문형 집적 회로)로서 실현될 수 있다. 검출기(13b)는, 그 대체예로서 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 소프트웨어(프로그램, 인스트럭션 등)에서 실현될 수 있다.
이와 같이, 검출기(13b)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)을 처리하도록 구성되어 있다. 또한, 본 예에 있어서, 검출기(13b)는, 판정부(15), 검출부(16), 및 식별부(17)를 구비하고 있다.
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(신호(P)로 표시된 화상)에 있어서, 미리 정해진 검출 대상(본 예에서는 움직임)의 유무를 판정하도록 구성되어 있다. 검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상(신호(P)로 표시된 화상)으로부터 미리 정해진 대상물(본 예에서는 인간의 얼굴)을 검출하도록 구성되어 있다. 식별부(17)는 촬상 화상(신호(P)로 표시된 화상)으로부터 대상물 영역(검출부(16)에 의해 검출된 대상물을 포함하는 화상 영역)을 추출하고, 대상물 영역과 미리 등록된 조합 화상을 조합하여 대상물을 식별하도록 구성되어 있다. 본 예에 있어서, 대상물은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별(얼굴 인식)을 수행한다. 또한, 식별부(17)는 식별 결과(결과를 나타내는 신호(U))를 외부로 출력하도록 구성되어 있다.
〈촬상 장치의 개요〉
광원(11)이 비발광 상태에서, 촬상부(12)는 촬상하고, 화상 P(촬상 화상)을 제어기(13a)에 입력한다. 제어기(13a)는 화상 P 내의 화소의 평균 휘도(APL)를 산출하고, 평균 휘도(APL)에 기초하여 듀티비(DR)를 구하고, 듀티비(DR)를 광원(11)에 출력한다. 촬상부(12)는 노광 타이밍을 나타내는 타이밍 신호(tE)를 광원(11)에 출력한다.
광원(11)은 점등 상태와 소등 상태를 주기적으로 반복한다. 제어기(13a)는 광원(11)의 발광량을 듀티비(DR)에 기초하여 펄스폭 변조(PWM)에 의해 제어한다. 여기서, 듀티비(DR)는 점등 상태 및 소등 상태의 주기(즉, PWM 주기 TP)에 대한 점등 기간의 비율이다. 환언하면, 광원(11)의 발광량(PWM 주기 TP 내에서 광원(11)으로부터 출사되는 광의 총량)은, 제어기(13a)에 의해 출력되는 듀티비(DR)에 의해 제어된다. 이와 같이, 제어기(13a)(제어부(14))는 펄스폭 변조에 의해 광원(11)의 발광량을 변화시킨다.
광원(11)은 PWM 주기 TP의 정수배가 노광 기간(tE)과 동일해지도록 PWM 주기 TP를 설정하고, 입력된 듀티비(DR)에 기초하여 PWM 제어에 의해 발광한다.
촬상부(12)는 광원(11)이 발광하고 있는 기간에 화상의 취득을 수행하고, 화상 P(촬상 화상)을 출력한다. 화상 P은 후단에 배치되는 검출기(13b)에 입력된다. 검출기(13b)는 화상 P의 연속되는 프레임간의 차분에 기초하여 인물 검출을 수행한다. 예컨대, 검출기(13b)는 화상 P의 사람의 형상이나 얼굴의 형상을 검출하여 사람 검지를 수행할 수도 있다. 사람 검지에 더하여, 개인 인식 등을 수행할 수도 있다. 검출기(13b)는 검출 신호(U)를 출력한다. 검출 신호(U)를 수취하는 가전 제품(예컨대, 텔레비전)은 검출 신호(U)에 기초하여 그 동작의 적어도 일부를 변화시킬 수 있다. 따라서, 그러한 가전 제품은 가전 제품의 근방에 사용자가 있는지에 의존하여 동작을 변화시킬 수 있다. 예컨대, 사용자가 근처에 없는 경우, 가전 제품은 자동적으로 전원을 오프로 하는 등의 동작을 수행할 수 있다.
실시 형태 6에서는, 후술하는 바와 같이, 촬영 영역의 밝기에 적응하여 광원(11)의 발광량을 제어할 수 있다. 그 결과, 촬상 장치(10)는 적절한 밝기의 화상 P(촬상 화상(20))를 취득할 수 있다.
〈촬상 장치의 동작〉
도 31은 실시 형태 6에 의한 촬상 장치(10)의 동작을 나타내는 도면이다. 도 31의 종축은, 위로부터 순차적으로, 프레임 번호, 광원(11)에 있어서의 발광 펄스, 촬상부(12)에 있어서의 노광 기간을 나타내고, 도 31의 횡축은 시간(t)을 나타낸다. 촬상부(12)는, 전형적으로는 CMOS 촬상 소자와 같은 롤링 셔터를 이용한 소자이다. 도 31의 화상(P1~P5)에서 참조되는 평행 사변형은 각각 프레임 1~5에서의 노광 기간에 대응된다. 촬상부(12)가 롤링 셔터인 것에 기인하여 선두 라인으로부터 최종 라인에 이르는 각 라인의 노광 기간의 개시 시각은, 선두 라인의 노광 기간의 개시 시각에 대해 서서히 늦어지고 있다. 그 결과, 화상(P1~P5)의 노광 기간은, 도 31에서는 평행 사변형으로 나타난다. 당업자라면 알 수 있는 바와 같이, 촬상부(12)에 의해 얻어지는 화상은, 전형적으로 직사각형(정사각형을 포함)이다. 촬상부(12)는 롤링 셔터를 이용한 것에는 한정되지 않고, 글로벌 셔터를 이용한 것일 수도 있다. 즉, 촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성될 수도 있고, 글로벌 셔터 방식에 의해 구동되도록 구성될 수도 있다.
프레임 1(즉, 시각 t1~t2의 기간)에서는, 광원(11)을 발광시키지 않고, 촬상부(12)는 화상을 취득한다. 환언하면, 조명 없음 화상(촬상 화상(20))을 취득함으로써, 이른바 환경광의 밝기를 측정할 수 있다. 이어서 프레임 2(즉, 시각 t3~t4의 기간) 이후에는, 광원(11)을 발광시키고 촬상부(12)는 화상을 취득한다. 이에 따라 조명 있는 상태의 화상(촬상 화상(20))을 취득할 수 있다. 일예로서 시각 t1~t3의 기간의 길이는 33ms이고, 시각 t1~t2의 기간의 길이는 10ms이다.
도 31의 예에서는, 최초의 프레임 1에서 조명 없는 상태의 화상을 취득하고, 광원(11)의 듀티비(DR)를 산출하며, 그 듀티비(DR)를 프레임 2~5에서 이용한다. 또한, 이에 한정되지 않고, 정기적 또는 부정기적으로 조명 없는 상태의 화상을 취득하고, 광원(11)의 듀티비(DR)를 갱신할 수도 있다. 이에 따라, 환경의 밝기 변화에 따라 적절한 밝기의 조명을 할 수 있으므로, 적절한 밝기의 화상을 취득할 수 있다.
도 32는 실시 형태 6에서의 광원(11)의 발광 동작을 나타내는 도면이고, 도 31의 프레임 2에 대응되는 부분(즉, 시각 t3~t4의 기간)을 확대하여 나타낸다. 화상(P2)의 선두 라인의 노광 기간(tE)은 시각 t3~t32의 기간이다. 화상(P2)의 최종 라인의 노광 기간(tE)은 시각 t31~t32의 기간이다.
촬상부(12)의 라인 노광 기간(노광 기간(tE))이 광원(11)의 PWM 주기 TP의 4배가 되도록, PWM 주기 TP가 설정된다. 이 설정에 의하면, 선두 라인으로부터 최종 라인의 모든 라인도 PWM 주기 TP의 4배의 기간동안 노광된다. 그 때문에, 프레임 2의 모든 라인에 밝기를 균일하게 할 수 있다. 도 32는 노광 기간(tE)이 PWM 주기 TP의 4배인 예를 나타내는데, 이에 한정되지 않고, 노광 기간(tE)이 PWM 주기 TP의 N배(N은 1 이상의 정수)일 수 있다. 이에 따라 가로 줄무늬 모양의 휘도 마을의 발생을 방지할 수 있고, 그 결과, 균일한 촬영 화상을 취득 가능하다. 또한 모든 라인에서 밝기를 균일하게 하기 위해서는, 도 32의 프레임 2의 개시 시각과, 노광 기간(tE)의 개시 시각이 일치하지 않을 수 있다. 즉, 도 32에서는 광원(11)의 발광 기간과 촬상부(12)의 라인 노광이 동기되어 있는데, 이에 한정되지 않고, 광원(11)의 발광 기간과, 촬상부(12)의 라인 노광이 동기될 수도 있다.
도 33은, 도 31을 참조하여 설명한 조명 없는 상태의 화상 및 조명 있는 상태의 화상의 예를 나타내는 도면이다. 화상 P(10)(촬상 화상(20))는 조명 없는 상태의 화상의 예이고, 밝은 환경에서의 화상을 나타낸다. 예컨대, 낮의 외광이 들어오는 방안을 촬영한 경우를 나타낸다. 화상(P20)(촬상 화상(20))도, 조명 없는 상태의 화상을 나타내는 예이고, 어두운 환경에서의 화상을 나타낸다. 예컨대, 실내 조명을 켜지 않은 야간의 방안을 촬영한 경우를 나타낸다. 화상 P(30)(촬상 화상(20))은 조명 있는 상태의 화상을 나타내는 예이고, 최종적으로 취득하고자 하는 밝기의 화상을 나타낸다.
이러한 예에서는, 최종적으로 취득하고자 하는 화상 P(30)과 비교하면, 화상 P(10)는 조금 밝기가 부족하고, 화상(P20)는 크게 밝기가 부족하다.
〈광원의 발광량의 제어〉
도 34는 실시 형태 6에서의 제어기(13a)의 동작예를 설명하는 도면이다. 그래프의 횡축은, 조명 없는 상태의 화상의 평균 휘도(APL)를 나타내고, 종축은 광원(11)의 PWM 제어의 듀티비(DR)를 나타낸다. 도 34의 그래프는 평균 휘도(APL)가 작을수록 듀티비를 크게, 평균 휘도(APL)가 클수록 듀티비를 작게 제어한다. 즉, 어두운 환경에서는 조명을 밝게, 밝은 환경에서는 조명을 어둡게 하도록 제어한다. 환언하면, 실시 형태 6에서는, 광원이 발광되지 않을 때 촬상한 화상의 밝기에 기초하여 광원(11)의 발광량(본 예에서는, 듀티비)을 구하고, 그 발광량으로 촬상한다. 그 결과, 실시 형태 6에 의하면 적정 노출을 실현할 수 있고, 검출기(13b)에 의한 인물의 검출 정밀도가 보다 높아질 수 있다.
예컨대, 도 33에 도시한 화상 P(10)(밝은 환경의 화상)의 평균 휘도(APL)를 0.6으로 하면, 그 때의 듀티비(DR)는 0.4가 된다. 한편, 도 33에 도시한 화상(P20)(어두운 환경의 화상)의 평균 휘도(APL)를 0.2로 하면, 그 때의 듀티비(DR)는 0.8이 된다. 이와 같이 제어기(13a)는 조명 없음 화상 P의 평균 휘도(APL)에 기초하여 듀티비(DR)를 출력한다. 도 34의 평균 휘도(APL)와 듀티비(DR)와의 관계는 직선으로서 플롯된다.
도 35 및 도 36은, 실시 형태 6에서의 광원(11)의 동작을 설명하는 도면이다. 광원(11)은 제어기(13a)로부터 입력된 듀티비(DR)에 기초하여 PWM 제어에 의해 발광한다.
도 35는, 도 33에 도시한 화상 P(10)(밝은 환경에서의 조명 없음 화상)에 기초하여 산출한 듀티비(DR)=0.4에 기초하여 광원(11)이 발광하는 모습을 나타낸다. PWM 주기 TP에 대해, 점등 기간은 0.4 TP이고, 소등 기간은 0.6 TP이다.
도 36은, 도 33에 도시한 화상(P20)(어두운 환경에서의 조명 없음 화상)에 기초하여 산출한 듀티비(DR)=0.8에 기초하여 광원(11)이 발광하는 모습을 나타낸다. PWM 주기 TP에 대해, 점등 기간은 0.8 TP이고, 소등 기간은 0.2 TP이다.
도 35 및 도 36에 도시된 바와 같이, 어두운 환경에서는 조명을 밝게, 밝은 환경에서는 조명을 어둡게 하도록 제어한다. 이와 같이 하고, 도 33에 도시한 화상 P(30)(최종적으로 취득하고자 하는 원하는 밝기의 화상)을 취득할 수 있다.
도 37은 실시 형태 6에서의 제어기(13a)의 동작의 다른 예를 설명하는 도면이다. 도 34에서는, 직선적인 변환 특성의 예를 나타냈지만, 조명과 촬상부의 감도 특성에 따라, 도 37의 그래프 3701, 3702, 3703과 같은 비선형 변환 특성을 이용할 수도 있다.
이상과 같이, 실시 형태 6에 의한 촬상 장치(10)에 있어서, 제어부(14)는 광원(11)의 비발광시에 촬상부(12)에 의해 취득된 촬상 화상(20)의 밝기(본 예에서는, 촬상 화상(20) 내의 전화소의 밝기의 평균값)에 기초하여 광원(11)의 발광량을 설정한다. 구체적으로 제어부(14)는 광원(11)의 비발광시에 촬상부(12)에 의해 취득된 촬상 화상(20)의 밝기가 밝아짐에 따라 광원(11)의 발광량이 적어지도록, 광원(11)이 발광하지 않을 때 촬상부(12)에 의해 취득된 촬상 화상(20)의 밝기에 기초하여 광원(11)의 발광량을 설정한다.
〔실시 형태 6의 총괄〕
본 개시에 의한 실시 형태에서 이용되는 어떠한 기능도, 하드웨어, 소프트웨어, 또는 그러한 조합을 이용하여 실현될 수 있다. 그러한 기능은, 단일 프로세서에 의해 실현될 수도 있고, 또는 복수의 프로세서에 의해 실현될 수도 있다. 예컨대 도 30 및 도 31에 도시한 촬상 장치(10)의 기능은, 대규모 집적 회로(LSI)에 의해 실현된다. 대체로서 촬상 장치(10)의 기능은, 프로세서와, 프로세서에 결합된 메모리와, 메모리에 격납된 다양한 기능을 실현하는 인스트럭션에 의해 실현된다.
〔실시 형태 7, 8의 설명〕
종래, 피사계를 촬상하여 피사계를 감시하는 촬상 장치가 알려져 있다. 예컨대, 일본특허공개 2007－318673호 공보에는, 인터폰 장치 등에 부가하는 센서 부착의 센서 카메라가 개시되어 있다. 이 센서 카메라는 소정의 영역을 촬상하는 촬상 수단; 촬상 수단의 촬상 화상으로부터 이동 물체를 검지하는 화상 처리 수단; 촬상 화상 신호를 출력하는 수단; 주변의 밝기를 판단하는 밝기 판단 수단; 및 밝기 판단 수단이 판단하는 밝기가 일정 이하인 경우에 조명 수단을 점등시킴과 동시에, 조명 수단의 광량을 제어하는 밝기 제어 수단;을 구비하고 있다.
그러나, 상기와 같은 촬상 장치에서는, 대상까지의 거리가 짧은 경우에 광원의 발광량이 너무 많으면(예컨대, 발광 강도가 너무 강하면), 촬상에 의해 취득되는 촬상 화상의 휘도값이 포화되어 검출 대상 유무의 판정을 정확하게 수행할 수 없게 된다. 또한, 대상까지의 거리가 긴 경우에 광원의 발광량이 너무 적으면(예컨대, 발광 강도가 너무 약하면), 촬상에 의해 취득되는 촬상 화상의 휘도값이 너무 낮아서 검출 대상 유무의 판정을 정확하게 수행할 수 없게 된다. 이와 같이, 검출 대상의 유무를 판정에 적절한 발광 강도로 피사계를 촬상하는 것이 곤란하다. 또한, 광원의 발광량은, 소정 주기 내에서 광원으로부터 출사되는 광의 총량이고, 광원의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다.
따라서, 본 개시는 검출 대상 유무의 판정에 적절한 발광량(예컨대, 발광 강도)으로 피사계를 촬상할 수 있는 촬상 장치를 제공하는 것을 목적으로 한다.
〔실시 형태 7〕
도 38은 실시 형태 7에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 촬상 장치(10)는 피사계를 촬상하여 피사계를 감시하도록 구성되고, 예컨대, 실내에 설치되는 전자 제품(구체적인 예로는, 플랫 패널 디스플레이)에 설치된다. 본 예에 있어서, 촬상 장치(10)는 광원(11), 촬상부(12), 및 처리 회로(13)를 구비하고 있다.
〈광원〉
광원(11)은 피사계를 비추도록 구성되고, 그 발광 강도를 복수의 발광 강도로 전환 가능하게 구성되어 있다. 본 예에 있어서, 광원(11)은 그 발광 강도를 서로 다른 2개의 발광 강도(즉, “강(强)”과 ”약(弱)”)로 전환 가능하게 구성되어 있다. 예컨대, 광원(11)은 발광 다이오드(LED)에 의해 구성될 수도 있고, 레이저 다이오드에 의해 구성될 수도 있다. 또한, 광원(11)으로부터 출사되는 광은 적외광일 수도 있고, 가시광선일 수도 있다.
또한, 광원(11)의 발광 강도를 복수의 발광 강도에 전환함으로써, 광원(11)의 발광량을 복수의 발광량으로 전환할 수 있다. 여기서, 광원(11)의 발광량은 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기) 내에서 광원(11)으로부터 출사되는 광의 총량이고, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다. 즉, 광원(11)은 그 발광량을 전환 가능하게 구성되어 있다.
또한, 광원(11)의 서로 다른 2개의 발광 강도(즉, “강”과 “약”)는 광원(11)의 서로 다른 2개의 발광량(즉, “많음(多)”와 “적음(少)”)에 각각 대응되어 있다. 즉, 본 예에 있어서, 광원(11)은 그 발광량을 서로 다른 2개의 발광량(즉, “많음”와 “적음”)에 전환 가능하게 구성되어 있다.
이하에서는, 광원(11)이 발광 강도를 복수의 발광 강도로 전환 가능하게 구성되어 있는 경우(즉, 광원(11)의 발광 강도를 전환함으로써 광원(11)의 발광량을 전환하는 경우)를 예로 들어 설명한다.
〈촬상부〉
촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 예컨대, 촬상부(12)는 상보형 금속 산화막 반도체(CMOS)에 의해 구성될 수도 있고, 전하 결합 소자(CCD)에 의해 구성될 수도 있다.
〈처리 회로〉
처리 회로(13)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 예컨대, 처리 회로(13)는 CPU나 메모리 등에 의해 구성되어 있다. 또한, 본 예에서는 제어부(14), 판정부(15), 및 설정부(18)를 포함하고 있다.
《제어부》
제어부(14)는 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되지 않은 경우에 제1 동작을 수행하고, 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는 경우에 제2 동작을 수행하도록 구성되어 있다. 구체적으로, 제어부(14)는 복수의 발광 강도 중 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된 발광 강도가 있는지 여부를 판정하고, 설정해야 할 발광 강도로서 설정부(18)에 등록된 발광 강도가 없는 경우에 제1 동작을 수행하고, 설정해야 할 발광 강도로서 설정부(18)에 등록된 발광 강도가 있는 경우에 제2 동작을 수행하도록 구성될 수도 있다.
제1 동작에 있어서 제어부(14)는 광원(11)의 발광 강도를 복수의 발광 강도에 차례로 전환하면서, 그 전환된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 즉, 제1 동작에 있어서, 제어부(14)는 광원(11)의 발광 강도를 미리 정해진 순서로 복수의 발광 광도 중에서 선택된 발광 강도로 설정하고, 그 선택된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 제2 동작에 있어서 제어부(14)는 광원(11)의 발광 강도를 설정해야 할 발광 강도로 설정하고, 그 설정해야 할 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
본 예에 있어서, 제어부(14)는 제1 동작에 있어서, 다음과 같은 처리를 수행한다. 즉, 제어부(14)는 광원(11)의 발광 강도를 제1 발광 강도(예컨대, “강”)로 설정하여 제1 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨 후에, 광원(11)의 발광 강도를 제2 발광 강도(예컨대, “미만”)로 설정하여 제2 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
또한, 본 예에 있어서, 제어부(14)는 제2 동작에 있어서, 다음과 같은 처리를 수행한다. 즉, 제1 발광 강도(예컨대, “강”)가 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 제1 발광 강도로 설정하여 제1 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 제2 발광 강도(예컨대, “미만”)가 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 제2 발광 강도로 설정하여 제2 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 제1 및 제2 발광 강도가 모두 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 제1 및 제2 발광 강도로 교대로 전환하면서, 전환된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
또한, 제1 발광 강도(예컨대, “강”) 및 제2 발광 강도(예컨대, “약”)는, 제1 발광량(예컨대, “많음”) 및 제2 발광량(예컨대, “적음”)에 각각 대응되고 있다.
《판정부》
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상에 있어서 검출 대상(예컨대, 인간)의 유무를 판정하도록 구성되어 있다. 예컨대, 판정부(15)는, 비특허 문헌 1 “Navneetdalal and Bill Triggs, "Histograms of Oriented Gradients for Humandetection,"Proc. of CVPR2005, vol.1, pp. 886-893, 2005.”에 나타난 검출 수법(휘도 구배 히스토그램 특징의 기계 학습에 근거하는 검출 수법)을 이용하여 검출 대상 유무의 판정을 수행하도록 구성될 수도 있다. 또한, 판정부(15)는 검출 결과를 외부로 출력하도록 구성되어 있다.
《설정부》
설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 결정하도록 구성되어 있다. 구체적으로 설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도를 설정해야 할 발광 강도로 결정하여 설정부(18)(기억 영역)에 등록하도록 구성될 수도 있다.
또한, 설정부(18)는 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이고, 또한 판정부(15)에 의해 검출 대상 없음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도에 대해, 설정부(18)(기억 영역)에 있어서의 발광 강도의 등록(설정해야 할 발광 강도로서의 등록)을 삭제하도록 구성될 수도 있다. 설정부(18)는 위와 같은 동작을 위한 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.
〈동작〉
이어서, 도 39, 도 40, 도 41, 도 42를 참조하여, 실시 형태 7에 의한 촬상 장치(10)의 동작에 대해 설명한다. 또한, 도 39에 도시한 동작은, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 경우에 행해지는 동작(제1 동작)에 대응된다. 도 40에 도시한 동작은, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 도 41에 도시한 동작은, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 도 42에 도시한 동작은, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다.
《스텝 ST711, ST712》
발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 경우, 제어부(14)는 광원(11)의 발광 강도를 “강”으로 설정한다. 그리고, 제어부(14)는 발광 강도를 “강”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 구체적으로 제어부(14)는, 발광 강도를 “강”으로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에, 적어도 1매의 촬상 화상이 취득되도록, 적어도 1회의 촬상(피사계의 촬상)을 촬상부(12)에 실시하게 한다.
《스텝 ST713》
이어서, 판정부(15)는 스텝 ST712에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 결정한다. 구체적으로 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록한다. 이어서, 스텝 ST714로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 결정하지 않는다. 구체적으로 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록하지 않는다. 이어서, 스텝 ST717로 진행된다.
《스텝 ST714, ST715》
스텝 ST713에서 검출 대상이 있는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST716》
이어서, 판정부(15)는 스텝 ST715에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정한다. 구체적으로 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정된다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된다. 이어서, 스텝 ST721(도 40)로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정하지 않는다. 구체적으로 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록하지 않는다. 이에 따라, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된다. 이어서, 스텝 ST731(도 41)로 진행된다.
《스텝 ST717, ST718》
스텝 ST713에서 검출 대상이 없는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 구체적으로 제어부(14)는, 발광 강도를 “약”으로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에 적어도 1매의 촬상 화상이 취득되도록, 적어도 1회의 촬상(피사계의 촬상)을 촬상부(12)에 실시하게 한다.
《스텝 ST719》
이어서, 판정부(15)는 스텝 ST718에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된다. 이어서, 스텝 ST741(도 42)로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 결정하지 않는다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않는다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되지 않는다. 이어서, 스텝 ST711로 진행된다.
《스텝 ST721, ST722》
발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 “강”으로 설정하고, 발광 강도를 “강”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST723》
이어서, 판정부(15)는 스텝 ST722에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 발광 강도 “강”의 등록(설정해야 할 발광 강도로서의 등록)을 유지한다. 이어서, 스텝 ST724로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 발광 강도 “강”의 등록(설정해야 할 발광 강도로서의 등록)을 삭제한다. 이어서, 스텝 ST727로 진행된다.
《스텝 ST724, ST725》
스텝 ST723에서 검출 대상이 있는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST726》
이어서, 판정부(15)는 스텝 ST725에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 발광 강도 “약”의 등록(설정해야 할 발광 강도로서의 등록)을 유지한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되어 있는 상태가 유지된다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되어 있는 상태가 유지된다. 이어서, 스텝 ST721로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에 있어서의 발광 강도 “약”의 등록(설정해야 할 발광 강도로서의 등록)을 삭제한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되어 있는 상태가 된다. 이어서, 스텝 ST731(도 41)로 진행된다.
《스텝 ST727, ST728》
스텝 ST723에서 검출 대상이 없는 것으로 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST729》
이어서, 판정부(15)는 스텝 ST728에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 된다. 구체적으로는, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되어 있는 상태가 된다. 이어서, 스텝 ST741(도 42)로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 상태가 된다. 구체적으로는, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록되지 않은 상태가 된다. 스텝 ST711(도 39)로 진행된다.
《스텝 ST731, ST732》
발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 “강”으로 설정하고, 발광 강도를 “강”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST733》
이어서, 판정부(15)는 스텝 ST732에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “강”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 유지된다. 이어서, 스텝 ST731로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “강”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 상태가 된다. 이어서, 스텝 ST711(도 39)로 진행된다.
《스텝 ST741, ST742》
발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 경우, 제어부(14)는 광원(11)의 발광 강도를 “약”으로 설정하고, 발광 강도를 “약”으로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST743》
이어서, 판정부(15)는 스텝 ST742에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 유지한다. 이에 따라, 발광 강도 “강” 및 “약” 중 “약”만이 설정해야 할 발광 강도로 결정되어 있는 상태가 유지된다. 이어서, 스텝 ST741로 진행된다.
한편, 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우, 설정부(18)는 발광 강도 “약”을 설정해야 할 발광 강도로 하는 결정을 해제한다. 이에 따라, 발광 강도 “강” 및 “약”이 모두 설정해야 할 발광 강도로 결정되지 않은 상태가 된다. 이어서, 스텝 ST711(도 39)로 진행된다.
〈실시 형태 7에 의한 효과〉
이상과 같이, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되지 않은 경우, 복수의 발광 강도에 차례로 전환하면서 전환된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상하여 촬상 화상을 취득하는 제1 동작(즉, 광원(11)의 발광 강도를 미리 정해진 순서로 복수의 발광 광도 중에서 선택된 발광 강도로 설정하고, 선택된 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시키는 제1 동작)을 수행하고, 그 취득된 촬상 화상에서 검출 대상의 유무를 판정하고, 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도를 설정해야 할 발광 강도로 결정함으로써, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)를 결정할 수 있다.
그리고, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되어 있는 경우, 광원(11)의 발광 강도를 설정해야 할 발광 강도로 설정하고, 설정해야 할 발광 강도로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상하여 촬상 화상을 취득하는 제2 동작을 수행함으로써, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)로 피사계를 촬상할 수 있다.
또한, 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 그 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 하는 결정을 해제함으로써, 검출 대상 유무의 판정에 적합하지 않게 된 발광 강도(발광량)로 촬상을 정지할 수 있다.
〔실시 형태 8〕
실시 형태 8에 의한 촬상 장치(10)는, 그 동작이 실시 형태 1에 의한 촬상 장치(10)와 다르다. 또한, 광원(11)은 그 발광 강도를 2 이상의 발광 강도로 전환 가능하게 구성되어 있다. 즉, 광원(11)은 그 발광량을 2 이상의 발광량으로 전환 가능하게 구성되어 있다. 실시 형태 8의 기타 구성은, 실시 형태 7과 동일하게 되어 있다.
〈동작〉
이어서, 도 43 및 도 44를 참조하여, 실시 형태 8에 의한 촬상 장치(10)의 동작에 대해 설명한다. 또한, 도 43에 나타낸 동작은, 광원(11)에 대해 설정해야 할 발광 강도로 결정되지 않은 경우에 행해지는 동작(제1 동작)에 대응한다. 도 44에 도시한 동작은, 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 또한, 이하의 설명에 있어서, 변수 J는, 1 이상이고, 또한 상한치(Jmax) 이하의 정수이고, 처리의 대상이 되는 발광 강도의 번호(예컨대, 발광 강도의 힘의 단계를 나타낸 번호)를 나타내고 있다. 상한치(Jmax)는 2 이상의 정수이고, 광원(11)의 설정 가능한 발광 강도의 수(예컨대, 발광 강도의 변경 단계수)에 해당한다.
《스텝 ST751》
광원(11)에 대해 설정해야 할 발광 강도가 결정되지 않은 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광 강도를 이번 처리의 대상으로서 선택한다.
《스텝 ST752, ST753》
이어서, 제어부(14)는 광원(11)의 발광 강도를 J번째의 발광 강도로 설정한다. 그리고, 제어부(14)는 J번째의 발광 강도로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다. 구체적으로 제어부(14)는 J번째의 발광 강도로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에, 적어도 1매의 촬상 화상이 취득되도록, 적어도 1회의 촬상(피사계의 촬상)을 촬상부(12)에 실시하게 한다.
《스텝 ST754》
이어서, 판정부(15)는 스텝 ST753에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST755로 진행되고, 그렇지 않은 경우에는, 스텝 ST756으로 진행된다.
《스텝 ST755》
이어서, 설정부(18)는 스텝 ST754에서 검출 대상 있음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(즉, 스텝 ST752에서 광원(11)의 이번 발광 강도로 설정된 J번째의 발광 강도)를 설정해야 할 발광 강도로 결정한다. 구체적으로 설정부(18)는 J번째의 발광 강도를 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록한다. 이어서, 스텝 756으로 진행된다.
《스텝 ST756》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 발광 강도 중에 처리의 대상으로서 상기 선택되지 않은 발광 강도가 남아 있는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST757로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST758로 진행된다.
《스텝 ST757》
스텝 ST757에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 즉, 제어부(14)는 복수의 발광 강도 중에서 아직도 선택되지 않은 발광 강도를 다음 번의 처리 대상으로서 선택한다. 이어서, 스텝 ST752로 진행된다.
《스텝 ST758》
스텝 ST757에서 변수 J가 상한치(Jmax)에 도달하였다고 판정된 경우, 제어부(14)는 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는지 여부를 판정한다. 구체적으로 제어부(14)는 복수의 발광 강도 중 설정해야 할 발광 강도로서 설정부(18)(기억 영역)에 등록된 발광 강도가 있는지 여부를 판정한다. 설정해야 할 발광 강도가 결정되어 있는 경우에는, 스텝 ST761로 진행되고, 그렇지 않은 경우에는, 스텝 ST751로 진행된다.
《스텝 ST761》
광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광 강도를 이번 처리의 대상으로서 선택한다.
《스텝 ST762》
이어서, 제어부(14)는 J번째의 발광 강도(즉, 이번의 처리 대상으로 되어 있는 발광 강도)가 설정해야 할 발광 강도로 결정되어 있는지 여부를 판정한다. J번째의 발광 강도가 설정해야 할 발광 강도로 결정되지 않은 경우에는, 스텝 ST763으로 진행되고, J번째의 발광 강도가 설정해야 할 발광 강도로 결정되어 있는 경우에는, 스텝 ST765로 진행된다.
《스텝 ST763》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST764로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST761로 진행된다.
《스텝 ST764》
스텝 ST763에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST762로 진행된다.
《스텝 ST765, ST766》
스텝 ST762에서 J번째의 발광 강도가 설정해야 할 발광 강도로 결정되어 있다고 판정된 경우, 제어부(14)는 광원(11)의 발광 강도를 J번째의 발광 강도로 설정한다. 그리고, 제어부(14)는 J번째의 발광 강도로 설정된 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
《스텝 ST767》
이어서, 판정부(15)는 스텝 ST766에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 없는 것으로 판정된 경우에는, 스텝 ST768로 진행되고, 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST770으로 진행된다.
《스텝 ST768》
이어서, 설정부(18)는 스텝 ST767에서 검출 대상 없음으로 판정된 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(즉, 스텝 ST765에서 광원의 이번 발광 강도로서 설정된 J번째의 발광 강도)를 설정해야 할 발광 광도로 하는 결정을 해제한다. 구체적으로 설정부(18)는 설정부(18)(기억 영역)에서의 J번째의 발광 강도의 등록(설정해야 할 발광 강도로서의 등록)을 삭제한다. 이어서, 스텝 ST769로 진행된다.
《스텝 ST769》
이어서, 제어부(14)는 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있는지 여부를 판정한다. 설정해야 할 발광 강도가 결정되어 있는 경우에는, 스텝 ST770으로 진행되고, 그렇지 않은 경우에는, 스텝 ST751로 진행된다.
《스텝 ST770, ST771》
스텝 ST769에서 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있다고 판정된 경우, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST762로 진행된다. 한편, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST761로 진행된다.
〈실시 형태 8에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 7과 마찬가지로, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되지 않은 경우, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)를 결정할 수 있고, 광원(11)에 대해 설정해야 할 발광 강도(발광량)가 결정되어 있는 경우, 검출 대상 유무의 판정에 적절한 발광 강도(발광량)로 피사계를 촬상할 수 있다.
또한, 실시 형태 7과 마찬가지로, 제어부(14)의 제2 동작에 의해 취득된 촬상 화상이 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 그 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)를 설정해야 할 발광 강도로 하는 결정을 해제함으로써, 검출 대상 유무의 판정에 적합하지 않게 된 발광 강도(발광량)로 촬상을 정지할 수 있다.
〔실시 형태 7, 8의 총괄〕
또한, 이상의 설명에 있어서, 판정부(15)는 시계열에 있어서 연속적(또는 이산적)으로 미치는 복수의 촬상 화상에 기초하여 검출 처리(검출 대상 유무의 판정)를 수행하도록 구성될 수도 있다. 이 경우, 판정부(15)는 촬상부(12)에 의해 취득된 복수의 촬상 화상을, 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광 강도(발광량)로 분류하고, 발광 강도의 분류마다 그 분류에 속하는 복수의 촬상 화상에 기초하여 검출 대상의 유무를 판정하도록 구성되어 있는 것이 바람직하다. 이와 같이 구성함으로써, 발광 강도(발광량)의 분류마다 복수의 촬상 화상에 기초하여 검출 대상의 유무를 판정하고, 그 판정 결과에 기초하여 검출 대상 유무의 판정에 적절한 발광 강도(발광량)를 적절히 결정할 수 있다.
또한, 이상의 설명에 있어서, 판정부(15)에 있어서의 검출 대상은 인간에 한정되지 않고, 예컨대, 동체(動體)의 움직임일 수도 있다.
또한, 이상의 설명에서는, 제어부(14)와 판정부(15)와 설정부(18)가 하나의 처리 회로(13)에 포함되어 있는 경우를 예로 들었지만, 제어부(14)와 판정부(15)와 설정부(18)는 2 이상의 처리 회로로 분산하여 포함될 수도 있다.
또한, 이상의 설명에서는, 광원(11)이 발광 강도를 전환 가능하게 구성되어 있는 경우(즉, 광원(11)의 발광 강도를 전환함으로써 광원(11)의 발광량을 전환하는 경우)를 예로 들었지만, 광원(11)은 그 발광 듀티비를 복수의 발광 듀티비에 전환 가능하게 구성될 수도 있다. 여기서, 발광 듀티비는 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기) 내에 있어서의 점등 기간(광원(11)이 점등되어 있는 기간)의 비율이다. 이와 같이 구성한 경우도, 광원(11)의 발광 듀티비를 전환함으로써, 광원(11)의 발광량을 전환할 수 있다.
〔실시 형태 9〕
도 45는 실시 형태 9에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 촬상 장치(10)는 피사계를 촬상하여 피사계를 감시하도록 구성되고, 예컨대, 실내에 설치되는 전자 제품(구체적인 예로서는, 플랫 패널 디스플레이)에 설치된다. 본 예에 있어서, 촬상 장치(10)는 광원(11), 촬상부(12), 및 처리 회로(13)를 구비하고 있다.
〈광원〉
광원(11)은 피사계를 비추도록 구성되어 있다. 또한, 광원(11)은 그 발광량을 변경 가능하게 구성되어 있다. 구체적으로 광원(11)은 그 발광 강도 및 발광 듀티비의 적어도 한편을 변경 가능하게 구성되어 있다. 여기서, 발광량은 소정 주기(예컨대, 1매의 촬상 화상을 취득하기 위해 필요한 프레임 주기)에서 광원(11)으로부터 출사되는 광의 총량이고, 광원(11)의 발광 강도를 시간으로 적산하여 얻어지는 양에 해당한다. 발광 듀티비는 소정 주기 내에서의 점등 기간(광원(11)이 점등되어 있는 기간)의 비율이다. 예컨대, 광원(11)은 발광 다이오드(LED)에 의해 구성될 수도 있고, 레이저 다이오드에 의해 구성될 수도 있다. 또한, 광원(11)으로부터 출사되는 광은, 적외광일 수도 있고, 가시광선일 수도 있다.
본 예에 있어서, 광원(11)은 그 발광량을 서로 다른 2개의 발광량(제1 발광량과 제1 발광량 보다 적은 제2 발광량)으로 전환 가능하게 구성되어 있다. 구체적으로 광원(11)은 그 발광 강도를 서로 다른 2개의 발광 강도(제1 발광 강도와 제1 발광 강도 보다 약한 제2 발광 강도)로 전환 가능하게 구성될 수도 있다. 또는, 광원(11)은 그 발광 듀티비를 서로 다른 2개의 발광 듀티비(제1 발광 듀티비와 제1 발광 듀티비 보다 작은 제2 발광 듀티비)로 전환 가능하게 구성될 수도 있다.
〈촬상부〉
촬상부(12)는 피사계를 촬상하여 촬상 화상을 취득하도록 구성되어 있다. 또한, 촬상부(12)는 그 노광 시간을 변경 가능하게 구성되어 있다. 구체적으로 촬상부(12)는 그 노광 시간을 서로 다른 2개의 노광 시간(제1 노광 시간과 제1 노광 시간 보다 긴 제2 노광 시간)으로 전환 가능하게 구성되어 있다. 예컨대, 촬상부(12)는 상보형 금속 산화막 반도체(CMOS)에 의해 구성될 수도 있고, 전하 결합 소자(CCD)에 의해 구성될 수도 있다. 또한, 촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성될 수도 있고, 글로벌 셔터 방식에 의해 구동되도록 구성될 수도 있다.
〈처리 회로〉
처리 회로(13)는 광원(11) 및 촬상부(12) 등의 촬상 장치(10)의 각 부를 제어하도록 구성되어 있다. 예컨대, 처리 회로(13)는 CPU나 메모리 등에 의해 구성되어 있다. 또한, 본 예에서는, 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)를 구비하고 있다.
《제어부》
제어부(14)는 광원(11)을 발광시켜 촬상부(12)에 피사계(광원(11)에 의해 조명된 피사계)를 촬상시키도록 구성되어 있다. 또한, 제어부(14)는 판정부(15)에 의한 판정 결과에 따라 광원(11)의 발광량 및 촬상부(12)의 노광 시간을 전환하도록 구성되어 있다.
《판정부》
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상에 있어서 검출 대상(예컨대, 움직임)의 유무를 판정하도록 구성되어 있다.
《검출부》
검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 촬상 화상으로부터 미리 정해진 대상물(예컨대, 인간의 얼굴)을 검출하도록 구성되어 있다. 예컨대, 검출부(16)는, 비특허 문헌 1 “Navneetdalal and Bill Triggs, "Histograms of Oriented Gradients for Humandetection,"Proc. of CVPR2005, vol.1, pp. 886-893, 2005.”에 도시된 검출 수법(휘도 구배 히스토그램 특징의 기계 학습에 근거하는 검출 수법)을 이용하여 대상물 검출 처리(본 예에서는, 사람 검출 처리)를 수행하도록 구성될 수도 있다.
《식별부》
식별부(17)는 촬상부(12)에 의해 취득된 촬상 화상으로부터 대상물 영역을 추출하고, 대상물 영역과 미리 등록된 조합 화상을 조합하여 대상물을 식별하도록 구성되어 있다. 또한, 대상물 영역은 촬상 화상의 일부이고, 또한 검출부(16)에 의해 검출된 대상물을 포함하는 영역(화상 영역)에 해당한다. 예컨대, 대상물은 인간의 얼굴이고, 조합 화상은 인간의 얼굴을 포함하는 얼굴 화상이며, 식별부(17)는 대상물 영역에 포함되는 인간의 얼굴과 미리 등록된 인간의 얼굴을 조합하여 개인 식별을 수행한다. 또한, 식별부(17)는 식별 결과를 외부로 출력하도록 구성되어 있다.
예컨대, 식별부(17)는, 비특허 문헌 2 “Paul Viola and Michael Jones, "Rapid Objectdetection using a Boosted Cascade of Simple Features,"Proc. of CVPR2001, vol.1, pp. 511-518, 2001.”에 나타난 수법(휘도 분포의 비교에 따른 수법) 등을 이용하여 대상물 영역을 추출하도록 구성될 수도 있다. 또한, 식별부(17)는 서포트 벡터 머신이나 상호 부분 공간법 등을 이용하여 조합 처리(대상물 영역과 조합 화상과의 조합)를 수행하도록 구성될 수도 있다.
〈동작〉
이어서, 도 46을 참조하여, 실시 형태 9에 의한 촬상 장치(10)의 동작에 대해 설명한다.
《스텝 ST801》
우선, 제어부(14)는 광원(11)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다.
《스텝 ST802》
이어서, 제어부(14)는 미리 설정된 발광량(구체적으로, 스텝 ST801, ST804, ST805에서 설정된 발광량)으로 광원(11)을 발광시킨다. 또한, 제어부(14)는 미리 설정된 노광 시간(구체적으로, 스텝 ST801, 스텝 ST804, ST805에서 설정된 노광 시간)으로 촬상부(12)를 노광시켜 촬상부(12)에 피사계(광원(11)에 의해 비추어진 피사계)를 촬상시킨다.
예컨대, 제어부(14)는 광원(11)이 미리 설정된 발광량으로 발광하고 있는 기간 중에, 시계열적으로 연속되는 N매(N은 2 이상의 정수)의 촬상 화상으로 이루어진 촬상 화상열이 취득되도록, 촬상부(12)(미리 설정된 노광 시간에 노광시킨 촬상부(12))에 피사계의 촬상을 N회 연속 실행하게 한다.
《스텝 ST803》
이어서, 판정부(15)는 스텝 ST803에서 취득된 촬상 화상에서 검출 대상의 유무를 판정한다. 촬상 화상에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST804로 진행되고, 그렇지 않은 경우에는, 스텝 ST805로 진행된다.
예컨대, 판정부(15)는 스텝 ST803에서 취득된 촬상 화상열을 구성하는 N개의 촬상 화상으로부터 N－1개의 차분 화상을 산출한다. 또한, X번째(X는 1 이상이고, 또한 N－1 이하의 정수)의 차분 화상은, 촬상 화상열을 구성하는 N개의 촬상 화상 중 시계열에 있어서 X번째에 위치하는 촬상 화상과 시계열에 있어서 X＋1번째에 위치하는 촬상 화상과의 차분 화상에 해당한다. 이어서, 판정부(15)는, N－1개의 차분 화상의 화소값을 화소마다 평균하여 차분 평균 화상(각각의 화소값이 N－1개의 화소값의 평균값을 나타낸 화상)을 산출한다. 그리고, 판정부(15)는 차분 평균 화상에 포함되는 복수의 화소값 중 미리 정해진 차분 문턱값을 상회하는 화소값의 개수의 점유 비율(차분 평균 화상에 포함되는 전 화소수에 대한 비율)이 미리 정해진 점유 비율 문턱값을 상회하는 경우, 촬상 화상에 움직임(검출 대상)이 있는 것으로 판정하고, 그렇지 않은 경우, 촬상 화상에 움직임(검출 대상)이 없다고 판정한다. 또한, 차분 문턱값 및 점유 비율 문턱값은, 예컨대, 움직임이 있는 것으로 간주할 수 있을 때의 화소값 및 점유 비율로 각각 설정되어 있다.
《스텝 ST804》
스텝 ST105에서 검출 대상 있음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제1 발광량(즉, “많음”)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다. 이어서, 스텝 ST806으로 진행된다.
《스텝 ST805》
한편, 스텝 ST105에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제2 발광량(즉, “적음”)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺(長)”)으로 설정한다. 이어서, 스텝 ST806으로 진행된다.
《스텝 ST806》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST802로 진행된다.
이와 같이, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정하고, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제2 발광 강도(제1 발광량 보다 적은 발광량)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정하도록 구성되어 있다.
〈촬상 화상의 밝기와 광원의 발광량과 촬상부의 노광 시간과의 관계〉
촬상 화상의 밝기(휘도값)는 광원(11)의 발광량과 촬상부(12)의 노광 시간에 의존하고 있다. 구체적으로는, 광원(11)의 발광량이 많아질수록 촬상 화상의 밝기가 높아지고, 광원(11)의 발광량이 적어질수록 촬상 화상의 밝기가 낮아지는 경향이 있다. 또한, 촬상부(12)의 노광 시간이 길어질수록 촬상 화상의 밝기가 높아지고, 촬상부(12)의 노광 시간이 짧아질수록 촬상 화상의 밝기가 낮아지는 경향이 있다.
〈실시 형태 9에 의한 효과〉
이상과 같이, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정함으로써, 광원(11)의 발광량이 항상 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정되고, 촬상부(12)의 노광 시간이 항상 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정되어 있는 경우 보다 촬상부(12)에 의한 피사계의 촬상을 신속하게 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 광원(11)의 발광량을 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정함으로써, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우(즉, 광원(11)의 발광량이 제1 발광량으로 설정되어 촬상부(12)의 노광 시간이 제1 노광 시간으로 설정되어 있는 경우) 보다, 광원(11)의 발광량을 낮춤과 동시에, 촬상부(12)의 노광 시간을 길게 할 수 있다. 이에 따라, 광원(11)의 소비 전력을 저감할 수 있다. 또한, 광원(11)의 발광량을 저하시키는 것 만으로 촬상부(12)의 노광 시간을 길게 함으로써, 광원(11)의 발광량의 저하에 기인하는 촬상 화상의 밝기의 저하를 보상할 수 있다.
〔실시 형태 9의 총괄〕
이상의 설명에서는, 스텝 ST801에서 광원(11)의 발광량을 제1 발광량(즉, “많음”)로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정하는 경우를 예로 들었지만, 제어부(14)는 스텝 ST801에서 광원(11)의 발광량을 제2 발광량(즉, “적음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺”)으로 설정하도록 구성될 수도 있다.
또한, 이상의 설명에서는, 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)가 하나의 처리 회로(13)에 포함되어 있는 경우를 예로 들었지만, 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)는 2 이상의 처리 회로로 분산하여 포함될 수도 있다.
〔실시 형태 10〕
도 47은 실시 형태 10에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 10에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)와 동일한 구성을 가지고 있다. 또한, 실시 형태 10에 의한 촬상 장치(10)는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 실시하는 것이 가능하다. 또한, 실시 형태 10에서는, 촬상부(12), 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)는 다음과 같이 구성되어 있다.
촬상부(12)는 롤링 셔터 방식에 의해 구동되도록 구성되어 있다. 구체적으로 촬상부(12)는 복수의 광 센서가 매트릭스상으로 배열된 수광면(미도시)을 가지고, 선두 라인인 1행째의 라인(행방향으로 배열된 2 이상의 광 센서에 의해 구성된 라인)으로부터 최종 라인인 n행째(N은 2 이상의 정수)의 라인을 향해 n개의 라인이 차례로 노광되도록 구성되어 있다.
제어부(14)는 발광 제어에 있어서, 촬상부(12)의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에서 복수의 광원(11a~11d) 중 발광시키는 광원(11)이 점등되어 있는 기간과 광원(11)(발광시키는 광원(11))이 소등되어 있는 기간이 존재하도록 광원(11)을 발광시킨다.
판정부(15)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)에 대응되는 화상 영역이고, 또한 광원(11)이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 검출 대상의 유무를 판정하도록 구성되어 있다.
검출부(16)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물(100)(본 예에서는 인간)을 검출하도록 구성되어 있다.
식별부(17)는 촬상 화상(20)으로부터 대상물 영역(40)(촬상 화상(20)의 일부이고, 또한 검출부(16)에 의해 검출된 대상물(100)을 포함하는 영역)을 추출하고, 대상물 영역(40)으로 미리 등록된 조합 화상을 조합하여 대상물(100)을 식별하도록 구성되어 있다.
〈광원과 촬상부와 촬상 화상(20)과의 대응 관계〉
이어서, 도 48을 참조하여, 광원(11)과 촬상부(12)와 촬상 화상(20)과의 관계에 대해 설명한다.
촬상부(12)는 그 수광면에서 매트릭스상으로 배열된 광 센서의 행방향이 제1 방향(예컨대, 수평 방향)이 되고, 광 센서의 열방향이 제1 방향과 직교하는 제2 방향(예컨대, 상하 방향)이 되도록 설치된다. 복수의 광원(11)(본 예에서는 4개의 광원(11a~11d))은, 제1 방향(예컨대, 수평 방향)에 병설되고, 촬상부(12)의 수광면과 대향하는 피사계의 조명을 분담하여 수행하도록 구성되어 있다. 또한, 복수의 광원(11)은 각각 점등 기간을 복수의 점등 기간(tL)(본 예에서는 2개의 점등 기간(t25, t26))으로 전환 가능하게 구성되어 있다.
또한, 촬상 화상(20)에는 매트릭스상으로 배열된 복수의 화상 영역(본 예에서는 2행 4열에 배열된 8개의 화상 영역(25a~25d, 26a~26d))이 포함되어 있다. 이하의 설명에서는, 화상 영역(25a~25d, 26a~26d)의 총칭을 “화상 영역(200)”이라고 기재한다. 그리고, 복수의 광원(11)은 복수의 화상 영역열(열방향으로 배열된 2 이상의 화상 영역(200))에 각각 대응되고, 복수의 점등 기간(tL)은 복수의 화상 영역행(행방향으로 배열된 2 이상의 화상 영역(200))에 각각 대응되어 있다.
또한, 복수의 화상 영역행은 촬상부(12)의 복수의 라인군(연속되는 2 이상의 라인에 의해 구성된 라인군)에 각각 대응되어 있다. 즉, 화상 영역행은 그 화상 영역행에 대응되는 촬상부(12)의 라인군에 의해 촬상된 피사계의 일부를 포함하고 있다. 또한, 복수의 점등 기간(tL)은 복수의 화상 영역행에 각각 대응되어 있다. 따라서, 복수의 점등 기간(tL)은 촬상부(12)의 복수의 라인군에 각각 대응되어 있다. 그리고, 점등 기간(tL)은 그 점등 기간(tL)에 대응되는 촬상부(12)의 라인군의 노광 기간(tE)과 중복되도록 설정되어 있다. 즉, 점등 기간(tL)에서 광원(11)을 점등시킴으로써, 그 점등 기간(tL)에 대응되는 촬상부(12)의 라인군의 노광 중에 광원(11)을 점등시켜 피사계를 비출 수 있고, 광원(11)에 의해 비추어진 피사계의 일부를 촬상부(12)의 라인군(그 점등 기간(tL)에 대응되는 라인군)에서 촬상할 수 있다.
본 예에서는, 점등 기간(t25)는, 촬상부(12)의 선두 라인인 1행째의 라인(L1)으로부터 중앙에 위치하는 m행째(m은 1 보다 크고 n 보다 작은 정수, 본 예에서는 n/2에 가까운 수)의 라인까지의 m개의 라인군(즉, 전반 라인군)에 대응되고, 점등 기간(t26)은 m＋1행째의 라인으로부터 최종 라인인 n행째의 라인(Ln)까지의 n－m개의 라인군(즉, 후반 라인군)에 대응되어 있다.
또한, 소정 기간(예컨대, 프레임 기간)의 개시 타이밍에 대한 점등 기간의 지연 시간(개시 지연 시간)이나 점등 기간의 길이를 변경함으로써, 점등 기간에 대응되는 촬상부(12)의 라인군을 변경하는 것이 가능하다. 본 예에서는, 점등 기간(t26)의 지연 시간(tD2)는 점등 기간(t26)의 지연 시간(tD1) 보다 길어져 있다. 또한, 점등 기간(t26)의 길이는 점등 기간(t25)의 길이와 동일해져 있다.
〈동작〉
이어서, 도 49를 참조하여, 실시 형태 10에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 4개의 화상 영역열의 선택 순서가 미리 정해져 있다. 구체적으로는, 광원(11a)과 화상 영역열(화상 영역(25a, 26a))이 첫번째로 선택되고, 광원(11b)과 화상 영역열(화상 영역(25b, 26b))이 두번째로 선택되고, 광원(11c)과 화상 영역열(화상 영역(25c, 26c))이 세번째로 선택되고, 광원(11d)과 화상 영역열(화상 영역(25d, 26d))이 네번째로 선택되도록, 광원(11) 및 화상 영역열의 선택 순서가 미리 정해져 있다. 또한, 광원(11) 및 화상 영역열의 선택 순서에 기초하여 광원(11a~11d)과 4개의 화상 영역열에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 구체적으로는, 광원(11a)과 화상 영역열(화상 영역(25a, 26a))에 “1”이 할당되고, 광원(11b)과 화상 영역열(화상 영역(25b, 26b))에 “2”가 할당되고, 광원(11c)과 화상 영역(화상 영역(25c, 26c))에 “3”이 할당되고, 광원(11d)과 화상 영역열(화상 영역(25d, 26d))에 “4”가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역열의 번호를 나타내고 있다. 상한치(Kmax)는 2 이상의 정수이고, 광원(11)의 개수에 해당한다.
또한, 본 예에서는, 점등 기간(t25, t26)의 선택 순서가 미리 정해지고, 2개의 화상 영역행의 선택 순서가 미리 정해져 있다. 구체적으로는, 점등 기간(t25)과 화상 영역행(25a, 25b, 25c, 25d)이 첫번째로 선택되고, 점등 기간(t26)과 화상 영역행(26a, 26b, 26c, 26d)이 두번째로 선택되도록, 점등 기간 및 화상 영역행의 선택 순서가 미리 정해져 있다. 또한, 점등 기간 및 화상 영역행의 선택 순서에 기초하여 점등 기간(t25, t26)과 2개의 화상 영역행에 번호(선택 순서를 나타낸 번호)가 할당되어 있다. 구체적으로는, 점등 기간(t25)과 화상 영역행(25a, 25b, 25c, 25d)에 “1”이 할당되고, 점등 기간(t26)과 화상 영역행(26a, 26b, 26c, 26d)에 “2”가 할당되어 있다. 또한, 이하의 설명에 있어서, 변수 M은 1 이상이고, 또한 상한치(Mmax) 이하의 정수이고, 처리의 대상이 되는 점등 기간 및 화상 영역행의 번호를 나타내고 있다. 상한치(Mmax)는 2 이상의 정수이고, 점등 기간의 개수에 해당한다.
《스텝 ST1001》
우선, 제어부(14)는 변수 M을 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 점등 기간과 화상 영역행(본 예에서는 점등 기간(t25)과 화상 영역행(25a, 25b, 25c, 25d))을 이번 처리의 대상이 되는 점등 기간과 화상 영역행으로서 선택한다.
《스텝 ST1002》
이어서, 제어부(14)는 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에 있어서 첫번째로 선택되는 광원(11)과 화상 영역열(본 예에서는 광원(11a)과 화상 영역열(25a, 26a))을 이번 처리의 대상이 되는 광원(11)과 화상 영역열로서 선택한다.
《스텝 ST1003》
이어서, 제어부(14)는 K번째의 광원(11)을 m번째의 점등 기간에서 점등시켜 촬상부(12)에 피사계를 촬상시킨다.
《스텝 ST1004》
이어서, 판정부(15)는 스텝 ST1003에서 취득된 촬상 화상(20)으로부터 m행째에서 K번째의 화상 영역(200)을 추출한다.
《스텝 ST1005》
이어서, 판정부(15)는 스텝 ST1004에서 추출된 m행째에서 K번째의 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1006으로 진행되고, 그렇지 않은 경우에는, 스텝 ST1007로 진행된다.
《스텝 ST1006》
이어서, 검출부(16)는 스텝 ST105에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다.
《스텝 ST1007》
이어서, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 이번 처리 대상으로 되어 있는 광원(11) 및 화상 영역열이 미리 정해진 선택 순서에서 마지막에 선택되는 광원(11) 및 화상 영역열인지 여부를 판정한다. 변수 K가 상한치(Kmax)에 도달하지 않은 경우에는, 스텝 ST1008로 진행되고, 변수 K가 상한치(Kmax)에 도달한 경우에는, 스텝 ST1009로 진행된다.
《스텝 ST1008》
스텝 ST1008에서 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 제어부(14)는 변수 K에 1을 가산한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역열의 다음에 선택되는 광원(11) 및 화상 영역열을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역열로서 선택한다. 이어서, 스텝 ST1003으로 진행된다.
《스텝 ST1009》
한편, 스텝 ST1008에서 변수 M이 상한치(Mmax)에 도달하지 않은 경우, 제어부(14)는 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 이번의 처리 대상으로 되어 있는 점등 기간 및 화상 영역행이 미리 정해진 선택 순서에서 마지막에 선택되는 점등 기간 및 화상 영역행인지 여부를 판정한다. 변수 M이 상한치(Mmax)에 도달하지 않은 경우에는, 스텝 ST1010으로 진행되고, 변수 M이 상한치(Mmax)에 도달한 경우에는, 스텝 ST1011로 진행된다.
《스텝 ST1010》
스텝 ST1009에서 변수 M이 상한치(Mmax)에 도달하지 않은 경우, 제어부(14)는 변수 M에 1을 가산한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 점등 기간 및 화상 영역행의 다음에 선택되는 점등 기간 및 화상 영역행을, 다음 번의 처리 대상이 될 점등 기간 및 화상 영역행으로서 선택한다. 이어서, 스텝 ST1002로 진행된다.
《스텝 ST1011》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST1001로 진행된다.
〈광원의 발광 패턴〉
도 50은 실시 형태 10에서의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 50에 도시한 바와 같이, 실시 형태 10에서는, 미리 정해진 발광 순서(본 예에서는, 광원(11a, 11b, 11c, 11d)의 순서)로 발광시키는 광원(11)이 선택된다. 그리고, 미리 정해진 선택 순서(본 예에서는, 점등 기간(t25, t26)의 순서)로 광원(11)의 점등 기간이 선택된다. 또한, 도 50에서는, 촬상 화상(20)에 포함되는 8개의 화상 영역(200) 중 처리의 대상이 되는 화상 영역(200)에 해칭되어 있다.
〈실시 형태 10에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 1~4에 의한 효과와 동일한 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 촬상부(12)의 모든 라인이 동시에 노광되는 기간을 제외한 기간 내에서 복수의 광원(11a~11d) 중 발광시키는 광원(11)이 점등되어 있는 기간과 광원(11)(발광시키는 광원(11))이 소등되어 있는 기간이 존재하도록 발광 제어에서 광원(11)을 발광시킴으로써, 광원(11)에서의 소비 전력을 저감할 수 있다.
〔실시 형태 10의 변형예〕
또한, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)이 존재하지 않는 경우, 복수의 광원(11a~11d)이 미리 정해진 발광 순서 및 점등 순서로 발광하도록, 발광 제어(발광시키는 광원(11)을 전환하기 위한 제어)를 수행하고, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)이 존재하는 경우, 복수의 광원(11a~11d) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 광원(11)이 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 점등 기간에 있어서 점등하는 빈도가 높아지도록, 발광 제어를 수행하도록 구성될 수도 있다.
예컨대, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)이 존재하는 경우, 제1 발광 동작과 제2 발광 동작이 교대로 실행되도록, 발광 제어를 수행하도록 구성될 수도 있다. 제1 발광 동작에서는, 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 광원(11)이 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 점등 기간에 점등한다. 제2 발광 동작에서는, 미리 정해진 발광 순서 및 점등 순서에 기초하여 판정부(15)에 의해 검출 대상 있음으로 판정되지 않은 화상 영역(200)에 대응되는 광원(11) 중 하나의 광원(11)이 발광한다.
〈동작〉
이어서, 도 51, 도 52, 도 53을 참조하여, 실시 형태 10의 변형예에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서도, 광원(11a~11d)의 발광 순서(발광시키는 광원(11)을 선택하는 순서)가 미리 정해지고, 4개의 화상 영역열의 선택 순서가 미리 정해져 있다. 또한, 점등 기간(t25, t26)의 선택 순서가 미리 정해지고, 2개의 화상 영역행의 선택 순서가 미리 정해져 있다. 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역열의 번호를 나타내고 있다. 상한치(Kmax)는 2 이상의 정수이고, 광원(11)의 개수에 해당된다. 변수 M은 1 이상이고, 또한 상한치(Mmax) 이하의 정수이며, 처리의 대상이 되는 점등 기간 및 화상 영역행의 번호를 나타내고 있다. 상한치(Mmax)는 2 이상의 정수이고, 점등 기간의 개수에 해당한다.
《스텝 ST1101》
우선, 제어부(14)는 변수 M을 1로 설정하고, 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 첫번째로 선택되는 점등 기간과 화상 영역행을, 이번 처리의 대상이 되는 점등 기간과 화상 영역행으로서 선택하고, 미리 정해진 선택 순서에서 첫번째로 선택되는 광원(11)과 화상 영역열을, 이번 처리의 대상이 되는 광원(11)과 화상 영역열로서 선택한다.
《스텝 ST1102》
이어서, 제어부(14)는 주목 영역의 존재 유무를 판정한다. 주목 영역은 판정부(15)에 의해 검출 대상(본 예에서는 움직임) 있음으로 판정된 화상 영역(200)에 해당한다. 주목 영역이 존재하지 않는 것으로 판정된 경우에는, 스텝 ST1103으로 진행된다. 주목 영역이 존재하는 경우에는, 스텝 ST1201(도 52)에 진행된다.
《스텝 ST1103》
스텝 ST1102에서 주목 영역이 존재하지 않는 것으로 판정된 경우, 제어부(14)는 모든 광원(11a~11d)을 m번째의 점등 기간에 점등시켜 촬상부(12)에 피사계를 촬상시킨다.
《스텝 ST1104》
이어서, 제어부(14)는 변수 K를 1로 설정한다.
《스텝 ST1105, ST1106》
이어서, 스텝 ST1003, ST1004와 마찬가지로, 판정부(15)는 스텝 ST1103에서 취득된 촬상 화상(20)으로부터 m행째에서 K번째의 화상 영역(200)을 추출하고, 그 추출된 m행째에서 K번째의 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. m행째에서 K번째의 화상 영역(200)에서 검출 대상이 없는 것으로 판정된 경우에는, 스텝 ST1107로 진행되고, m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1112로 진행된다.
《스텝 ST1107》
이어서, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역열이 미리 정해진 선택 순서에서 마지막에 선택되는 광원(11) 및 화상 영역열인지 여부를 판정한다. 변수 K가 상한치(Kmax)에 도달하지 않은 경우에는, 스텝 ST1108로 진행되고, 변수 K가 상한치(Kmax)에 도달한 경우에는, 스텝 ST1109로 진행된다.
《스텝 ST1108》
스텝 ST1008에서 변수 K가 상한치(Kmax)에 도달하지 않은 경우, 제어부(14)는 변수 K에 1을 가산한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역열의 다음에 선택되는 광원(11) 및 화상 영역열을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역열로서 선택한다. 이어서, 스텝 ST1105로 진행된다.
《스텝 ST1109, ST1110, ST1111》
이어서, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 될 점등 기간 및 화상 영역행을 선택한다. 구체적으로 제어부(14)는, 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정하고, 변수 M이 상한치(Mmax)에 도달하지 않은 경우에 변수 M에 1을 가산하고, 변수 M이 상한치(Mmax)에 도달한 경우, 변수 M을 1로 설정한다. 이어서, 스텝 ST1103으로 진행된다.
《스텝 ST1112》
스텝 ST1106에 대해 m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우, 제어부(14)는 스텝 ST1106에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 주목 대상(즉, 주목 영역)으로 설정한다.
《스텝 ST1113》
이어서, 스텝 ST1006과 마찬가지로, 검출부(16)는 스텝 ST1112에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 이어서, 스텝 ST1114로 진행된다.
《스텝 ST1114》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST1102로 진행된다.
《스텝 ST1201》
한편, 스텝 ST1102에서 주목 영역이 존재하는 것으로 판정한 경우, 제어부(14)는 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(200)에 대응되는 광원(11)을, 복수의 점등 기간(t25, t26) 중 주목 영역인 화상 영역(200)에 대응되는 점등 기간에 발광시켜 촬상부(12)에 피사계를 촬상시킨다.
《스텝 ST1202》
이어서, 판정부(15)는 스텝 ST1201에서 취득된 촬상 화상(20)으로부터 주목 영역인 화상 영역(200)을 추출한다.
《스텝 ST1203》
이어서, 판정부(15)는 스텝 ST1202에서 추출된 주목 영역인 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. 주목 영역인 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1204로 진행되고, 그렇지 않은 경우에는, 스텝 ST1205로 진행된다.
《스텝 ST1204》
이어서, 검출부(16)는 스텝 ST1203에서 검출 대상 있음으로 판정된 주목 영역인 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 이어서, 스텝 ST1206으로 진행된다.
《스텝 ST1205》
한편, 스텝 ST1203에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 검출 대상 없음으로 판정된 주목 영역인 화상 영역(200)을 주목 대상(즉, 주목 영역)으로부터 제외한다. 이어서, 스텝 ST1206으로 진행된다.
《스텝 ST1206》
이어서, 제어부(14)는 m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되어 있는지 여부를 판정한다. m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되어 있는 경우에는, 스텝 ST1207로 진행되고, 그렇지 않은 경우에는, 스텝 ST1213(도 53)으로 진행된다.
《스텝 ST1207~ST1212》
스텝 ST1206에 대해 m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되어 있다고 판정된 경우, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 되는 화상 영역(200)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우에 변수 K에 1을 가산하고, 변수 M이 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 또한, 변수 K를 1로 설정한 경우, 제어부(14)는 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정하고, 변수 M이 상한치(Mmax)에 도달하지 않은 경우에 변수 M에 1을 가산하고, 변수 M이 상한치(Mmax)에 도달한 경우, 변수 M을 1로 설정한다. 이어서, 스텝 ST1206에 진행된다.
《스텝 ST1213, ST1214, ST1215》
한편, 스텝 ST1206에 대해 m행째에서 K번째의 화상 영역(200)이 주목 영역으로 설정되지 않은 것으로 판정된 경우, 제어부(14)는, 복수의 광원(11a~11d) 중 주목 영역인 화상 영역(200)에 대응되는 광원(11)을, 복수의 점등 기간(t25, t26) 중 주목 영역인 화상 영역(200)에 대응되는 점등 기간에 발광시켜 촬상부(12)에 피사계를 촬상시킨다. 이어서, 판정부(15)는 스텝 ST1213에서 취득된 촬상 화상(20)으로부터 m행째에서 K번째의 화상 영역(200)을 추출하고, 그 추출된 m행째에서 K번째의 화상 영역(200)에서 검출 대상(본 예에서는 움직임)의 유무를 판정한다. m행째에서 K번째의 화상 영역(200)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST1216으로 진행되고, 그렇지 않은 경우에는, 스텝 ST1218로 진행된다.
《스텝 ST1216》
이어서, 제어부(14)는 스텝 ST1215에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 주목 대상(즉, 주목 영역)으로 설정한다.
《스텝 ST1217》
이어서, 검출부(16)는 스텝 ST1215에서 검출 대상 있음으로 판정된 m행째에서 K번째의 화상 영역(200)을 포함하는 촬상 화상(20)으로부터 대상물(100)(본 예에서는 인간)을 검출한다. 이어서, 스텝 ST1218로 진행된다.
《스텝 ST1218~ST1223》
이어서, 제어부(14)는 미리 정해진 선택 순서에 기초하여, 다음 번의 처리 대상이 되는 화상 영역(200)을 선택한다. 구체적으로 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정하고, 변수 K가 상한치(Kmax)에 도달하지 않은 경우에 변수 K에 1을 가산하고, 변수 M이 상한치(Kmax)에 도달한 경우, 변수 K를 1로 설정한다. 또한, 변수 K를 1로 설정한 경우, 제어부(14)는 변수 M이 상한치(Mmax)에 도달하였는지 여부를 판정하고, 변수 M이 상한치(Mmax)에 도달하지 않은 경우에 변수 M에 1을 가산하고, 변수 M이 상한치(Mmax)에 도달한 경우, 변수 M을 1로 설정한다. 이어서, 스텝 ST1114(도 51)에 진행된다.
〈광원의 발광 패턴〉
도 54는 실시 형태 10의 변형예에서 주목 영역이 존재하는 경우의 광원(11)의 발광 패턴의 일예를 나타내고 있다. 도 54에서는, 촬상 화상(20)에 포함되는 8개의 화상 영역(200) 중 1행째에 제1 번째의 화상 영역(25a)이 주목 영역으로 설정되고, 그 외의 7개의 화상 영역(200)이 주목 영역으로 설정되어 있지 않다. 도 54에 도시한 바와 같이, 실시 형태 10의 변형예에서는, 주목 영역에 대응되는 광원(11a)이 주목 영역에 대응되는 점등 기간(t25)에서 점등하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 주목 영역이 아닌 화상 영역(200)에 대응되는 광원(11) 중 하나의 광원(11)이 발광하는 제2 발광 동작이 교대로 실행되도록, 발광 제어가 수행된다. 또한, 도 54에서는, 촬상 화상(20)에 포함되는 8개의 화상 영역(200) 중 처리의 대상이 되는 화상 영역(200)이 해칭되어 있다.
〈실시 형태 10의 변형예에 의한 효과〉
이상과 같이, 주목 영역(검출 대상 있음으로 판정된 화상 영역(200))에 대해 검출 대상 유무의 판정을 중점적으로 수행할 수 있다. 이에 따라, 피사계 중 검출 대상이 있는 것으로 전망되는 영역을 중점적으로 감시할 수 있으므로, 피사계의 감시(검출 대상 유무의 판정)를 효과적으로 수행할 수 있다.
또한, 실시 형태 10의 변형예에 의한 촬상 장치(10)에 있어서, 복수의 화상 영역(200)이 주목 대상(즉, 주목 영역)으로 설정될 수도 있다.
그리고, 제어부(14)는 복수의 주목 영역(상세하게는, 판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(200)이고 동일한 점등 기간(tL)에 대응되는 복수의 화상 영역(200))에 각각 대응되는 복수의 광원(11)이 제1 발광 동작에서 동시에 발광(점등)하도록 발광 제어를 수행하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 2의 변형예 1에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또는, 제어부(14)는 복수의 주목 영역(상세하게는, 판정부(15)에 의해 검출 대상 있음으로 판정된 복수의 화상 영역(200)이고 동일한 점등 기간(tL)에 대응되는 복수의 화상 영역(200))에 각각 대응되는 복수의 광원(11)이 제1 발광 동작에서 차례로 발광(점등)하도록 발광 제어를 수행하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 2의 변형예 2에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
〔실시 형태 10의 기타 변형예〕
또한, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 검출부(16)는 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)) 중 판정부(15)에 의해 검출 대상 있음으로 판정된 부위가 주목 영역의 엣지부인 경우, 주목 영역과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(200))을 포함하는 후보 영역(30)으로부터 대상물(100)을 검출하도록 구성될 수도 있다. 예컨대, 검출부(16)는 실시 형태 3에서의 검출부(16)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또한, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 제어부(14)는 식별부(17)에 의해 추출되는 대상물 영역(40)이 주목 영역(판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200))과 인접 영역(주목 영역의 엣지부에 인접하는 화상 영역(200))에 걸쳐 있는 경우, 복수의 광원(11a~11d) 중 주목 영역 및 인접 영역에 대응되는 광원(11)을 발광(점등)시켜 촬상부(12)에 피사계를 촬상시키도록 구성될 수도 있다. 그리고, 식별부(17)는 주목 영역에 대응되는 광원(11)이 발광(점등)하고 있을 때 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제1 조합 화상)을 조합하고, 주목 영역 및 인접 영역에 대응되는 광원(11)이 발광(점등)하고 있을 때 촬상부(12)에 의해 취득된 촬상 화상(20)으로부터 대상물 영역(40)을 추출하여 대상물 영역(40)과 조합 화상(제2 조합 화상)을 조합하고, 이러한 조합 결과에 기초하여 대상물(100)을 식별하도록 구성될 수도 있다. 예컨대, 제어부(14) 및 식별부(17)는 실시 형태 4의 변형예에서의 제어부(14) 및 식별부(17)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
〔실시 형태 11〕
도 55는 실시 형태 11에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 11에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)와 동일한 구성을 가지고 있다. 또한, 실시 형태 11에 의한 촬상 장치(10)는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 실시하는 것이 가능하다.
또한, 실시 형태 11에 있어서, 복수의 광원(11a~11d)은 각각 발광량을 변경 가능하게 구성되어 있다. 또한, 제어부(14)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하지 않은 광원(11)에 대응되는 화상 영역(21)의 밝기(예컨대, 평균 휘도)에 기초하여 그 광원(11)의 발광량을 설정하도록 구성되어 있다.
또한, 실시 형태 11에 의한 촬상 장치(10)에서는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작에 더하여, 도 56에 도시한 동작이 수행된다.
〈동작〉
이어서, 도 56을 참조하여, 실시 형태 11에 의한 촬상 장치(10)의 동작에 대해 설명한다. 본 예에서는, 광원(11a~11d) 및 화상 영역(21a~21d)에 대해 설정 처리의 대상이 되는 순서가 미리 정해져 있다. 또한, 이하의 설명에 있어서, 변수 K는 1 이상이고, 또한 상한치(Kmax) 이하의 정수이며, 처리의 대상이 되는 광원(11) 및 화상 영역(21)의 번호를 나타내고 있다. 상한치(Kmax)는 2 이상의 정수이고, 광원(11)의 개수(본 예에서는 4)에 해당한다.
《스텝 ST2001》
우선, 제어부(14)는 모든 광원(11a~11d)을 발광시키지 않고 촬상부(12)에 피사계(광원(11)에 의해 조명되지 않은 피사계)를 촬상시킨다.
《스텝 ST2002》
이어서, 제어부(14)는 변수 K를 1로 설정한다. 즉, 제어부(14)는 미리 정해진 선택 순서에서 첫번째로 선택되는 광원(11) 및 화상 영역(21)(예컨대, 광원(11a) 및 화상 영역(21a))을, 이번 처리의 대상이 되는 광원(11) 및 화상 영역(21)으로서 선택한다.
《스텝 ST2003》
이어서, 제어부(14)는 스텝 ST2001에서 취득된 촬상 화상으로부터 K번째의 화상 영역(21)을 추출한다. 그리고, 제어부(14)는 K번째의 화상 영역(21)의 밝기에 기초하여 K번째의 화상 영역(21)에 대응되는 광원(11)(K번째의 광원(11))의 발광량을 설정한다. 구체적으로 제어부(14)는, K번째의 화상 영역(21)의 밝기가 높아짐에 따라 K번째의 광원(11)의 발광량이 적어지도록, K번째의 화상 영역(21)의 밝기에 기초하여 K번째의 광원(11)의 발광량을 설정한다.
《스텝 ST2004》
이어서, 제어부(14)는 변수 K가 상한치(Kmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 광원(11) 중 처리의 대상이 되지 않은 광원(11)(발광량이 설정되지 않은 광원(11))이 남아 있는지 여부를 판정한다. 변수 K가 상한치(Kmax)에 도달하지 않은 경우에는, 스텝 ST2005로 진행되고, 변수 K가 상한치(Kmax)에 도달한 경우에는, 처리를 종료한다.
《스텝 ST2005》
스텝 ST2004에서 변수 K가 상한치(Kmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 K에 1을 가산한다. 즉, 미리 정해진 선택 순서에서 이번의 처리 대상으로 되어 있는 광원(11) 및 화상 영역(21)의 다음에 선택되는 광원(11) 및 화상 영역(21)을, 다음 번의 처리 대상이 될 광원(11) 및 화상 영역(21)으로서 선택한다. 이어서, 스텝 ST2003으로 진행된다.
〈실시 형태 11에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 1~4에 의한 효과와 같은 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하지 않은 광원(11)에 대응되는 화상 영역(21)의 밝기에 기초하여 그 광원(11)의 발광량을 설정할 수 있다. 이에 따라, 화상 영역(21)의 밝기가 적절한 밝기가 되도록 광원(11)의 발광량을 설정할 수 있다.
〔실시 형태 12〕
도 57은 실시 형태 12에 의한 촬상 장치(10)의 구성예를 나타내고 있다. 실시 형태 12에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)와 동일한 구성을 가지고 있다. 또한, 실시 형태 12에 의한 촬상 장치(10)는 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 실시하는 것이 가능하다. 또한, 실시 형태 12에 있어서, 처리 회로(13)는 제어부(14), 판정부(15), 검출부(16), 및 식별부(17)에, 설정부(18)를 더 구비하고 있다. 또한, 실시 형태 12에 있어서, 복수의 광원(11a~11d), 제어부(14), 및 설정부(18)는 다음과 같이 구성되어 있다.
복수의 광원(11a~11d)은 각각이 발광량을 복수의 발광량으로 전환 가능하게 구성되어 있다.
제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되지 않은 경우에 제1 동작을 수행하도록 구성되어 있다. 제1 동작에 있어서, 제어부(14)는 광원(11)(복수의 광원(11a~11d) 중 발광시키는 광원(11))의 발광량을 미리 정해진 순서로 복수의 발광량 중에서 선택된 발광량으로 설정하고, 그 선택된 발광량으로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
또한, 제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우에 제2 동작을 수행하도록 구성되어 있다. 제2 동작에 있어서, 제어부(14)는 광원(복수의 광원(11a~11d) 중 발광시키는 광원(11))의 발광량을 설정해야 할 발광량으로 설정하고, 그 설정해야 할 발광량으로 발광시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시킨다.
설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)을 포함하는 촬상 화상(20)을 취득하기 위한 촬상시에 발광하고 있는 광원(11)의 발광량을, 그 광원(11)에 대해 설정해야 할 발광량으로 결정한다.
〈동작〉
이어서, 도 58, 도 59를 참조하여, 실시 형태 12에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 12에 의한 촬상 장치(10)에서는, 복수의 광원(11a~11d)의 각각에 대해 이하의 처리가 수행된다. 또한, 도 58에 도시한 동작은 광원(11)에 대해 설정해야 할 발광량으로 결정되지 않은 경우에 행해지는 동작(제1 동작)에 대응된다. 도 59에 도시한 동작은 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우에 행해지는 동작(제2 동작)에 대응된다. 또한, 이하의 설명에 있어서, 변수 J는 1 이상이고, 또한 상한치(Jmax) 이하의 정수이며, 처리의 대상이 되는 발광량의 번호(예컨대, 발광량의 단계를 나타낸 번호)를 나타내고 있다. 상한치(Jmax)는 2 이상의 정수이고, 광원(11)의 설정 가능한 발광량의 수(예컨대, 발광량의 변경 단계수)에 해당한다.
《스텝 ST3001》
광원(11)(본 처리의 대상으로 하고 있는 광원(11), 이하 동일)에 대해 설정해야 할 발광량이 결정되지 않은 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광량을 이번 처리의 대상으로서 선택한다.
《스텝 ST3002》
이어서, 제어부(14)는 광원(11)의 발광량을 J번째의 발광량으로 설정한다.
《스텝 ST3003》
이어서, 제어부(14)는 J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상되었는지 여부를 판정한다. 예컨대, 제어부(14)는 J번째의 발광량으로 설정된 광원(11)에 의해 피사계가 비추어지고 있는 기간 중에, 적어도 1회의 촬상(피사계의 촬상)이 촬상부(12)에 의해 행해지고 적어도 1매의 촬상 화상이 취득되었는지 여부를 판정한다. J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상된 경우에는, 스텝 ST3004로 진행되고, 그렇지 않은 경우에는, 스텝 ST3003을 반복한다.
《스텝 ST3004》
이어서, 판정부(15)는 스텝 ST3003에서 취득된 촬상 화상으로부터 광원(11)에 대응되는 화상 영역(21)을 추출하고, 그 추출된 화상 영역(21)에서 검출 대상의 유무를 판정한다. 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST3005로 진행되고, 그렇지 않은 경우에는, 스텝 ST3006으로 진행된다.
《스텝 ST3005》
이어서, 설정부(18)는 스텝 ST3004에서 검출 대상 있음으로 판정된 화상 영역(21)을 포함하는 촬상 화상을 취득하기 위한 촬상시의 광원(11)의 발광량을, 본 광원(11)에 대해 설정해야 할 발광량으로 결정한다. 즉, 설정부(18)는 스텝 ST3002에서 광원(11)의 이번 발광량으로 설정된 J번째의 발광량을, 본 광원(11)에 대해 설정해야 할 발광량으로 결정한다. 구체적으로 설정부(18)는 J번째의 발광량을 광원(11)에 대해 설정해야 할 발광량으로서 설정부(18)(기억 영역)에 등록한다. 이어서, 스텝 ST3006으로 진행된다.
《스텝 ST3006》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 즉, 제어부(14)는 복수의 발광량 중에 처리의 대상으로서 선택되지 않은 발광량이 남아 있는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST3007로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST3008로 진행된다.
《스텝 ST3007》
스텝 ST3006에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 즉, 제어부(14)는 복수의 발광량 중에서 아직도 선택되지 않은 발광량을 다음 번의 처리 대상으로서 선택한다. 이어서, 스텝 ST3002로 진행된다.
《스텝 ST3008》
한편, 스텝 ST3006에서 변수 J가 상한치(Jmax)에 도달한 것으로 판정된 경우, 제어부(14)는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는지 여부를 판정한다. 구체적으로 제어부(14)는 광원(11)에서 복수의 발광량 중 설정해야 할 발광량으로서 설정부(18)(기억 영역)에 등록된 발광량이 있는지 여부를 판정한다. 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우에는, 스텝 ST3101(도 59)로 진행되고, 그렇지 않은 경우에는, 스텝 ST3001로 진행된다.
《스텝 ST3101》
광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우, 제어부(14)는 변수 J를 1로 설정한다. 즉, 제어부(14)는 첫번째의 발광량을 이번 처리의 대상으로서 선택한다.
《스텝 ST3102》
이어서, 제어부(14)는 광원(11)에 대해 J번째의 발광량(즉, 이번의 처리 대상으로 되어 있는 발광량)이 설정해야 할 발광량으로 결정되어 있는지 여부를 판정한다. J번째의 발광량이 설정해야 할 발광량으로 결정되지 않은 경우에는, 스텝 ST3103으로 진행되고, J번째의 발광량이 설정해야 할 발광량으로 결정되어 있는 경우에는, 스텝 ST3105로 진행된다.
《스텝 ST3103》
이어서, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우에는, 스텝 ST3104로 진행되고, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST3101로 진행된다.
《스텝 ST3104》
스텝 ST3103에서 변수 J가 상한치(Jmax)에 도달하지 않은 것으로 판정된 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST3102로 진행된다.
《스텝 ST3105》
한편, 스텝 ST3102에 있어서, 광원(11)에 대해 J번째의 발광량이 설정해야 할 발광량으로 결정되어 있다고 판정된 경우, 제어부(14)는 광원(11)의 발광량을 J번째의 발광량으로 설정한다.
《스텝 ST3106》
이어서, 제어부(14)는 J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상되었는지 여부를 판정한다. J번째의 발광량으로 설정된 광원(11)에 의해 비추어진 피사계가 촬상부(12)에 촬상된 경우에는, 스텝 ST3107로 진행되고, 그렇지 않은 경우에는, 스텝 ST3106을 반복한다.
《스텝 ST3107》
이어서, 판정부(15)는 스텝 ST3106에서 취득된 촬상 화상(20)으로부터 광원(11)에 대응되는 화상 영역(21)을 추출하고, 그 추출된 화상 영역(21)에서 검출 대상의 유무를 판정한다. 화상 영역(21)에서 검출 대상이 없는 것으로 판정된 경우에는, 스텝 ST3108으로 진행되고, 화상 영역(21)에서 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST3110으로 진행된다.
《스텝 ST3108》
이어서, 설정부(18)는 스텝 ST3107에서 검출 대상 없음으로 판정된 화상 영역(21)을 포함하는 촬상 화상(20)을 취득하기 위한 촬상시의 광원(11)의 발광량(즉, 스텝 ST3105에서 광원(11)의 이번의 발광량으로서 설정된 J번째의 발광량)을 설정해야 할 발광량으로 하는 결정을 해제한다. 구체적으로 설정부(18)는 광원(11)에 대해 설정부(18)(기억 영역)에서의 J번째의 발광량의 등록(설정해야 할 발광량으로서의 등록)을 삭제한다. 이어서, 스텝 ST3109로 진행된다.
《스텝 ST3109》
이어서, 제어부(14)는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는지 여부를 판정한다. 설정해야 할 발광량이 결정되어 있는 경우에는, 스텝 ST3110으로 진행되고, 그렇지 않은 경우에는, 스텝 ST3001(도 58)로 진행된다.
《스텝 ST3110, ST3111》
스텝 ST3109에서 광원(11)에 대해 설정해야 할 발광 강도가 결정되어 있다고 판정된 경우, 제어부(14)는 변수 J가 상한치(Jmax)에 도달하였는지 여부를 판정한다. 변수 J가 상한치(Jmax)에 도달하지 않은 경우, 제어부(14)는 변수 J에 1을 가산한다. 이어서, 스텝 ST3102로 진행된다. 한편, 변수 J가 상한치(Jmax)에 도달한 경우에는, 스텝 ST3101로 진행된다.
〈실시 형태 12에 의한 효과〉
이상과 같이 구성한 경우에도, 실시 형태 1~4에 의한 효과와 동일한 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 광원(11)에 대해 설정해야 할 발광량이 결정되지 않은 경우, 검출 대상 유무의 판정에 적절한 발광량을 결정할 수 있고, 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우, 검출 대상 유무의 판정에 적절한 발광량으로 피사계를 촬상할 수 있다.
〔실시 형태 13〕
실시 형태 13에 의한 촬상 장치(10)는, 도 16에 도시한 실시 형태 4에 의한 촬상 장치(10)과 동일한 구성을 가지고 있다. 또한, 실시 형태 13에 의한 촬상 장치(10)는, 실시 형태 1~4에 의한 촬상 장치(10)의 동작과 동일한 동작을 수행할 수 있다. 또한, 실시 형태 3에서는, 복수의 광원(11a~11d), 촬상부(12), 및 제어부(14)는 다음과 같이 구성되어 있다.
복수의 광원(11a~11d)은 각각이 발광량을 서로 다른 2개의 발광량(제1 발광량과, 제1 발광량 보다 적은 제2 발광량)으로 전환 가능하게 구성되어 있다.
촬상부(12)는 그 노광 시간을 서로 다른 2개의 노광 시간(제1 노광 시간과, 제1 노광 시간 보다 긴 제2 노광 시간)으로 전환 가능하게 구성되어 있다.
제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(21)에 대응되는 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정하도록 구성되어 있다. 또한, 제어부(14)는 판정부(15)에 의해 검출 대상 없음으로 판정된 화상 영역(21)에 대응되는 광원(11)의 발광량을 제2 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제2 노광 시간으로 설정하도록 구성되어 있다.
〈동작〉
이어서, 도 60을 참조하여, 실시 형태 13에 의한 촬상 장치(10)의 동작에 대해 설명한다. 실시 형태 12에 의한 촬상 장치(10)에서는, 복수의 광원(11a~11d)의 각각에 대해 이하의 처리가 수행된다.
《스텝 ST4001》
우선, 제어부(14)는 광원(11)(본 처리의 대상으로 하고 있는 광원(11), 이하 동일)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다.
《스텝 ST4002》
이어서, 제어부(14)는 미리 설정된 발광량(구체적으로, 스텝 ST4001, ST4004, ST4005에서 설정된 발광량)으로 발광하고 있는 광원(11)에 의해 비추어진 피사계가 미리 설정된 노광 시간(구체적으로, 스텝 ST4001, ST4004, ST4005에서 설정된 노광 시간)으로 노광하고 있는 촬상부(12)에 촬상되었는지 여부를 판정한다. 예컨대, 제어부(14)는 광원(11)이 미리 설정된 발광량으로 발광하고 있는 기간 중에, 미리 설정된 노광 시간에 노광시킨 촬상부(12)에 의해 피사계의 촬상이 N회 연속 수행되어 시계열적으로 연속되는 N매(N은 2 이상의 정수)의 촬상 화상(20)으로 이루어진 촬상 화상열이 취득되었는지 여부를 판정한다. 미리 설정된 발광량으로 발광하고 있는 광원(11)에 의해 비추어진 피사계가 미리 설정된 노광 시간으로 노광하고 있는 촬상부(12)에 촬상된 경우에는, 스텝 ST4003으로 진행되고, 그렇지 않은 경우에는, 스텝 ST4002를 반복한다.
《스텝 ST4003》
이어서, 판정부(15)는 스텝 ST4002에서 취득된 촬상 화상(20)으로부터 광원(11)에 대응되는 화상 영역(21)을 추출하고, 그 추출된 화상 영역(21)에서 검출 대상의 유무를 판정한다. 화상 영역(21)에 검출 대상이 있는 것으로 판정된 경우에는, 스텝 ST4004로 진행되고, 그렇지 않은 경우에는, 스텝 ST4005로 진행된다.
《스텝 ST4004》
스텝 ST4003에서 검출 대상 있음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정한다. 이어서, 스텝 ST4006으로 진행된다.
《스텝 ST4005》
한편, 스텝 ST4003에서 검출 대상 없음으로 판정된 경우, 제어부(14)는 광원(11)의 발광량을 제2 발광량(즉, “적음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺”)으로 설정한다. 이어서, 스텝 ST4006으로 진행된다.
《스텝 ST4006》
이어서, 처리를 종료하는 경우에는, 처리를 종료하고, 처리를 계속하는 경우에는, 스텝 ST4002로 진행된다.
〈실시 형태 13에 의한 효과〉
이상과 같이 구성한 경우도, 실시 형태 1~4에 의한 효과와 동일한 효과를 얻을 수 있다. 즉, 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우, 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정함으로써, 광원(11)의 발광량이 항상 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정되어 촬상부(12)의 노광 시간이 항상 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정되어 있는 경우 보다 촬상부(12)에 의한 피사계의 촬상을 신속히 수행할 수 있다.
또한, 판정부(15)에 의해 검출 대상 없음으로 판정된 경우, 광원(11)의 발광량을 제2 발광량(제1 발광량 보다 적은 발광량)으로 설정함과 동시에 촬상부(12)의 노광 시간을 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 설정함으로써, 판정부(15)에 의해 검출 대상 있음으로 판정된 경우(즉, 광원(11)의 발광량이 제1 발광량으로 설정되어 촬상부(12)의 노광 시간이 제1 노광 시간으로 설정되어 있는 경우) 보다 광원(11)의 발광량을 낮출 수 있음과 더불어, 촬상부(12)의 노광 시간을 길게 할 수 있다. 이에 따라, 광원(11)의 소비 전력을 저감할 수 있다. 또한, 광원(11)의 발광량을 저하시키고, 한편 촬상부(12)의 노광 시간을 길게 함으로써, 광원(11)의 발광량 저하에 기인하는 촬상 화상의 밝기의 저하를 보상할 수 있다.
또한, 이상의 설명에서는, 스텝 ST4001에서 광원(11)의 발광량을 제1 발광량(즉, “많음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제1 노광 시간(즉, “짧음”)으로 설정하는 경우를 예로 들었지만, 제어부(14)는 스텝 ST4001에서 광원(11)의 발광량을 제2 발광량(즉, “적음”)으로 설정함과 동시에, 촬상부(12)의 노광 시간을 제2 노광 시간(즉, “긺”)으로 설정하도록 구성될 수도 있다.
〔그 밖의 실시 형태〕
또한, 이상의 실시 형태 및 변형예를 적절히 조합하여 수행할 수도 있다. 이상의 실시 형태 및 변형예는, 본질적으로 바람직한 예시로서, 이 개시, 그 적용물, 또는 그 용도의 범위를 제한하는 것을 의도하는 것은 아니다.
예컨대, 실시 형태 10에 의한 촬상 장치(10)에 대해 실시 형태 6에서의 제어를 적용할 수도 있다. 즉, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 복수의 광원(11a~11d)은 각각 발광량을 변경 가능하게 구성될 수도 있다. 그리고, 제어부(14)는 촬상부(12)에 의해 취득된 촬상 화상(20) 중 촬상 화상(20)을 취득하기 위한 촬상시에 발광하지 않은 광원(11)에 대응되는 화상 영역(200)의 밝기에 기초하여 광원(11)의 발광량을 설정하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 6에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또한, 실시 형태 10에 의한 촬상 장치(10)에 대해 실시 형태 7, 8에서의 제어를 적용할 수도 있다. 즉, 실시 형태 10에 의한 촬상 장치(10)는 설정부(18)를 더 구비할 수도 있다. 또한, 복수의 광원(11a~11d)은 각각 발광량을 복수의 발광량으로 전환 가능하게 구성될 수도 있다. 또한, 제어부(14)는 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되지 않은 경우, 그 광원(11)의 발광량을 미리 정해진 순서로 복수의 발광량 중에서 선택된 발광량으로 설정하여 선택된 발광량으로 발광(점등)시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시키는 제1 동작을 수행하고, 복수의 광원(11a~11d) 중 발광시키는 광원(11)에 대해 설정해야 할 발광량이 결정되어 있는 경우, 그 광원(11)의 발광량을 설정해야 할 발광량으로 설정하고, 설정해야 할 발광량으로 발광(점등)시킨 광원(11)에 의해 비추어진 피사계를 촬상부(12)에 촬상시키는 제2 동작을 수행하도록 구성될 수도 있다. 그리고, 설정부(18)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)을 포함하는 촬상 화상(20)을 취득하기 위한 촬상시에 발광(점등)하고 있는 광원(11)의 발광량을, 그 광원(11)에 대해 설정해야 할 발광량으로 결정하도록 구성될 수도 있다. 예컨대, 제어부(14) 및 설정부(18)는, 실시 형태 7, 8에서의 제어부(14) 및 설정부(18)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
또한, 실시 형태 10에 의한 촬상 장치(10)에 대해 실시 형태 9에서의 제어를 적용할 수도 있다. 즉, 실시 형태 10에 의한 촬상 장치(10)에 있어서, 복수의 광원(11a~11d)은 각각 발광량을 제1 발광량과 제2 발광량(제1 발광량 보다 적은 발광량)으로 전환 가능하게 구성될 수도 있다. 또한, 촬상부(12)는, 그 노광 시간을 제1 노광 시간과 제2 노광 시간(제1 노광 시간 보다 긴 노광 시간)으로 전환 가능하게 구성될 수도 있다. 그리고, 제어부(14)는 판정부(15)에 의해 검출 대상 있음으로 판정된 화상 영역(200)에 대응되는 광원(11)의 발광량을 제1 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제1 노광 시간으로 설정하고, 판정부(15)에 의해 검출 대상 없음으로 판정된 화상 영역(200)에 대응되는 광원(11)의 발광량을 제2 발광량으로 설정함과 동시에, 그 광원(11)에 의해 비추어진 피사계 촬상시의 촬상부(12)의 노광 시간을 제2 노광 시간으로 설정하도록 구성될 수도 있다. 예컨대, 제어부(14)는 실시 형태 9에서의 제어부(14)의 동작과 동일한 동작을 수행하도록 구성될 수도 있다.
상술한 내용에는 본 발명의 다양한 예가 포함된다. 본 발명의 기재 목적으로는, 요소나 순서를 생각할 수 있는 모든 조합을 기재하는 것이 당연하나 불가능한 것으로서, 당업자라면 본 발명이 많은 새로운 조합 및 배열이 가능함을 알 수 있을 것이다. 따라서 본 발명은 특허 청구의 범위의 정신 및 범위에 들어가는 그러한 개변, 변경 및 변형예를 모두 포함하도록 의도된다.
이상 설명한 바와 같이, 상술한 촬상 장치는 피사계의 조명에 필요한 소비 전력을 저감하면서 피사계의 감시를 계속적으로 수행할 수 있으므로, 피사계를 촬상하여 피사계를 감시하는 촬상 장치 등으로서 유용하다.

Claims (20)

  1. 각각이 피사계를 향해 발광하는 복수의 광원;
    상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부;
    상기 복수의 광원 중 발광되는 광원을 전환하도록 상기 복수의 광원의 발광 제어를 실행하면서, 상기 피사계를 촬상하도록 상기 촬상부를 제어하는 제어부; 및
    상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상의 일부이며, 또한 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정하는 판정부;를 구비하고 있는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서로 발광하도록 상기 발광 제어를 수행하고,
    상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원의 발광 빈도가 높아지도록 상기 발광 제어를 수행하는 것을 특징으로 하는 촬상 장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 발광하는 제1 발광 동작과 미리 정해진 발광 순서에 기초하여 상기 판정부에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 광원 중 하나 이상의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행하는 것을 특징으로 하는 촬상 장치.
  4. 제3항에 있어서,
    상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 발광하는 것을 특징으로 하는 촬상 장치.
  5. 제3항에 있어서,
    상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 차례로 발광하는 것을 특징으로 하는 촬상 장치.
  6. 제1항 에 있어서,
    상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상으로부터 미리 정해진 대상물을 검출하는 검출부를 더 구비하는 것을 특징으로 하는 촬상 장치.
  7. 제6항에 있어서,
    상기 검출부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역인 주목 영역 중 상기 판정부에 의해 검출 대상 있음으로 판정된 부위가 상기 주목 영역의 엣지부인 경우, 상기 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역을 포함하는 후보 영역으로부터 대상물을 검출하는 것을 특징으로 하는 촬상 장치.
  8. 제6항에 있어서,
    상기 촬상 화상으로부터 상기 촬상 화상의 일부이고, 또한 상기 검출부에 의해 검출된 대상물을 포함하는 대상물 영역을 추출하고, 상기 대상물 영역과 미리 등록된 조합 화상을 조합하여 상기 대상물을 식별하는 식별부를 더 구비하는 것을 특징으로 하는 촬상 장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 식별부에 의해 추출되는 대상물 영역이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역인 주목 영역과 상기 주목 영역의 엣지부에 인접하는 화상 영역인 인접 영역에 걸쳐 있는 경우, 상기 복수의 광원 중 상기 주목 영역 및 상기 인접 영역에 대응되는 광원을 발광시켜 상기 촬상부에 상기 피사계를 촬상시키고,
    상기 식별부는 상기 주목 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 상기 주목 영역 및 상기 인접 영역에 대응되는 광원이 발광하고 있을 때 상기 촬상부에 의해 취득된 촬상 화상으로부터 상기 대상물 영역을 추출하여 상기 대상물 영역과 상기 조합 화상을 조합하고, 이러한 조합 결과에 기초하여 상기 대상물을 식별하는 것을 특징으로 하는 촬상 장치.
  10. 제1항에 있어서,
    상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고,
    상기 제어부는 상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고,
    상기 판정부는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역이고, 또한 상기 적어도 하나의 광원이 점등되어 있는 기간에 대응되는 화상 영역에 있어서 상기 검출 대상의 유무를 판정하는 것을 특징으로 하는 촬상 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하지 않는 경우, 상기 복수의 광원이 미리 정해진 발광 순서 및 점등 순서로 발광하도록 상기 발광 제어를 수행하고,
    상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 복수의 광원 중 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 빈도가 높아지도록 상기 발광 제어를 수행하는 것을 특징으로 하는 촬상 장치.
  12. 제11항에 있어서,
    상기 제어부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역이 존재하는 경우, 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원이 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 점등 기간에 있어서 점등하는 제1 발광 동작과 미리 정해진 발광 순서 및 점등 순서에 기초하여 상기 판정부에 의해 검출 대상 있음으로 판정되지 않은 화상 영역에 대응되는 광원 중 하나의 광원이 발광하는 제2 발광 동작이 교대로 실행되도록 상기 발광 제어를 수행하는 것을 특징으로 하는 촬상 장치.
  13. 제12항에 있어서,
    상기 제1 발광 동작에서는, 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 동시에 점등하는 것을 특징으로 하는 촬상 장치.
  14. 제12항에 있어서,
    상기 제1 발광 동작에서는 상기 판정부에 의해 검출 대상 있음으로 판정된 복수의 화상 영역에 각각 대응되는 복수의 광원이 차례로 점등하는 것을 특징으로 하는 촬상 장치.
  15. 제1항에 있어서,
    상기 복수의 광원은 각각 발광량을 변경 가능하게 구성되고,
    상기 제어부는 상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상을 취득하기 위한 촬상시에 발광하지 않은 광원에 대응되는 화상 영역의 밝기에 기초하여 상기 광원의 발광량을 설정하는 것을 특징으로 하는 촬상 장치.
  16. 제1항에 있어서,
    설정부를 더 구비하고,
    상기 복수의 광원은 각각 발광량을 복수의 발광량으로 전환 가능하게 구성되고,
    상기 제어부는 상기 복수의 광원 중 발광시키는 광원에 대해 설정해야 할 발광량이 결정되지 않은 경우, 상기 광원의 발광량을 미리 정해진 순서로 상기 복수의 발광량 중에서 선택된 발광량으로 설정하여 상기 선택된 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제1 동작을 수행하고, 상기 광원에 대해 상기 설정해야 할 발광량이 결정되어 있는 경우, 상기 광원의 발광량을 상기 설정해야 할 발광량으로 설정하여 상기 설정해야 할 발광량으로 발광시킨 상기 광원에 의해 비추어진 피사계를 상기 촬상부에 촬상시키는 제2 동작을 수행하고,
    상기 설정부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역을 포함하는 촬상 화상을 취득하기 위한 촬상시에 발광하고 있는 광원의 발광량을 상기 광원에 대해 설정해야 할 발광량으로 결정하는 것을 특징으로 하는 촬상 장치.
  17. 제1항에 있어서,
    상기 복수의 광원은 각각 발광량을 제1 발광량과 상기 제1 발광량 보다 적은 제2 발광량으로 전환 가능하게 구성되고,
    상기 촬상부는 그 노광 시간을 제1 노광 시간과 상기 제1 노광 시간 보다 긴 제2 노광 시간으로 전환 가능하게 구성되고,
    상기 제어부는 상기 판정부에 의해 검출 대상 있음으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제1 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제1 노광 시간으로 설정하고, 상기 판정부에 의해 검출 대상 없음으로 판정된 화상 영역에 대응되는 광원의 발광량을 상기 제2 발광량으로 설정함과 동시에 상기 광원에 의해 비추어진 피사계 촬상시의 상기 촬상부의 노광 시간을 상기 제2 노광 시간으로 설정하는 것을 특징으로 하는 촬상 장치.
  18. 제1항에 있어서,
    　　　　상기 촬상부는 롤링 셔터 방식에 의해 구동되도록 구성되고,
    상기 제어부는 상기 발광 제어에 있어서, 상기 촬상부의 모든 라인이 동시에 노광되는 기간을 제외한 기간 동안 상기 복수의 광원 적어도 하나의 광원이 점등되어 있는 기간과 상기 적어도 하나의 광원이 소등되어 있는 기간이 존재하도록 상기 광원을 발광시키고,
    상기 제어부는, 상기 복수의 광원중 발광된 광원 및 상기 발광된 광원이 점등되어 있는 기간에 기초해서, 상기 촬상부에 의해 취득된 촬상 화상 중 상기 미리 정해진 검출 대상의 유무를 판정할 상기 화상 영역을 결정하는 것을 특징으로 하는 촬상 장치.
  19. 제 18항에 있어서,
    　　　　　상기 촬상부에 의해 취득된 촬상 화상은 복수의 행 영역과 복수의 열 영역으로 구분되며,
    　　　　　상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응하여 상기 복수의 열 영역중 하나의 열 영역이 결정되고,
    　　　　　상기 발광하는 광원이 점등되어 있는 기간에 대응하여 상기 복수의 행 영역중 하나의 행 영역이 결정되는 것을 특징으로 하는 촬상 장치.
  20. 각각 피사계를 향해 발광하는 복수의 광원과, 상기 피사계를 촬상하여 촬상 화상을 취득하는 촬상부를 이용하는 촬상 방법으로서,
    상기 복수의 광원 중 발광시키는 광원을 전환하는 발광 제어를 실행하면서 상기 촬상부에 상기 피사계를 촬상시키는 제1 공정; 및
    상기 촬상부에 의해 취득된 촬상 화상 중 상기 촬상 화상의 일부이고, 또한 상기 촬상 화상을 취득하기 위한 촬상시에 발광하는 광원에 대응되는 화상 영역에서 미리 정해진 검출 대상의 유무를 판정하는 제2 공정;을 구비하는 것을 특징으로 하는 촬상 방법.
PCT/KR2016/014436 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법 WO2017099517A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680072566.2A CN108370413B (zh) 2015-12-11 2016-12-09 成像设备及用于成像设备的操作方法
KR1020187011306A KR102642925B1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법
EP16873382.2A EP3367663B1 (en) 2015-12-11 2016-12-09 Imaging device and operation method for imaging device
US15/778,483 US11044403B2 (en) 2015-12-11 2016-12-09 Imaging device that continuously monitor a subject while reducing power consumption needed to illuminate the subject

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2015241748 2015-12-11
JP2015-241748 2015-12-11
JP2015243739 2015-12-15
JP2015-243739 2015-12-15
JP2015-253407 2015-12-25
JP2015253407 2015-12-25
JP2015257027 2015-12-28
JP2015-257027 2015-12-28
JP2016-223449 2016-11-16
JP2016223449A JP2017121041A (ja) 2015-12-11 2016-11-16 撮像装置

Publications (1)

Publication Number Publication Date
WO2017099517A1 true WO2017099517A1 (ko) 2017-06-15

Family

ID=59013814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/014436 WO2017099517A1 (ko) 2015-12-11 2016-12-09 촬상 장치 및 촬상 장치의 동작 방법

Country Status (1)

Country Link
WO (1) WO2017099517A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454341A (zh) * 2017-07-28 2017-12-08 信利光电股份有限公司 一种多光源拍图的切换方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243475A (ja) 2000-02-25 2001-09-07 Secom Co Ltd 画像センサ
JP2007318673A (ja) 2006-05-29 2007-12-06 Matsushita Electric Works Ltd センサカメラ
US20090262189A1 (en) * 2008-04-16 2009-10-22 Videoiq, Inc. Energy savings and improved security through intelligent lighting systems
JP2010093729A (ja) 2008-10-10 2010-04-22 Sony Corp 撮像装置及び撮像方法
JP2010262224A (ja) 2009-05-11 2010-11-18 Panasonic Corp カメラおよびｌｅｄ点灯制御方法
JP2011049788A (ja) * 2009-08-26 2011-03-10 Panasonic Electric Works Co Ltd 撮像装置
KR101052803B1 (ko) * 2011-01-05 2011-07-29 김도연 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템
JP2012095214A (ja) 2010-10-28 2012-05-17 Canon Inc 撮像装置
JP2013226394A (ja) * 2012-03-28 2013-11-07 Fujifilm Corp 撮像装置、及びこれを備える内視鏡装置
JP2015173344A (ja) * 2014-03-11 2015-10-01 三菱電機株式会社 物体認識装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243475A (ja) 2000-02-25 2001-09-07 Secom Co Ltd 画像センサ
JP2007318673A (ja) 2006-05-29 2007-12-06 Matsushita Electric Works Ltd センサカメラ
US20090262189A1 (en) * 2008-04-16 2009-10-22 Videoiq, Inc. Energy savings and improved security through intelligent lighting systems
JP2010093729A (ja) 2008-10-10 2010-04-22 Sony Corp 撮像装置及び撮像方法
JP2010262224A (ja) 2009-05-11 2010-11-18 Panasonic Corp カメラおよびｌｅｄ点灯制御方法
JP2011049788A (ja) * 2009-08-26 2011-03-10 Panasonic Electric Works Co Ltd 撮像装置
JP2012095214A (ja) 2010-10-28 2012-05-17 Canon Inc 撮像装置
KR101052803B1 (ko) * 2011-01-05 2011-07-29 김도연 카메라를 이용한 지능형 조명제어 및 사건/사고 관리시스템
JP2013226394A (ja) * 2012-03-28 2013-11-07 Fujifilm Corp 撮像装置、及びこれを備える内視鏡装置
JP2015173344A (ja) * 2014-03-11 2015-10-01 三菱電機株式会社 物体認識装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NAVNEETDALAL; BILL TRIGGS: "Histograms of Oriented Gradients for Human Detection", PROC. OF CVPR, vol. 1, 2005, pages 886 - 893
PAUL VIOLA; MICHAEL JONES: "Rapid Object Detection using a Boosted Cascade of Simple Features", PROC. OF CVPR2001, vol. 1, 2001, pages 511 - 518
See also references of EP3367663A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454341A (zh) * 2017-07-28 2017-12-08 信利光电股份有限公司 一种多光源拍图的切换方法及系统
CN107454341B (zh) * 2017-07-28 2020-02-21 信利光电股份有限公司 一种多光源拍图的切换方法及系统

Similar Documents

Publication Publication Date Title
WO2016104988A1 (ko) 이동 단말기, 오디오 출력장치, 및 이를 구비하는 오디오 출력 시스템
WO2016167552A1 (ko) 인체 착용 장치 및 이의 동작 방법
WO2016056787A1 (en) Display device and method of controlling the same
WO2021033933A1 (en) Display apparatus and control method thereof
WO2012086966A9 (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
WO2018101776A1 (en) Apparatus and method for controlling light
WO2015111840A1 (ko) 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
WO2014196724A1 (ko) 벽걸이형 플렉시블 디스플레이
EP3161398A1 (en) Refrigerator and controlling method thereof
WO2019117409A1 (ko) 중앙 서버 및 이를 포함하는 공연 시스템
WO2016171512A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
WO2018128489A1 (ko) 듀얼 렌즈 구동 장치, 듀얼 카메라 모듈 및 광학기기
WO2016036015A1 (en) Refrigerator and controlling method thereof
WO2016171506A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
EP2436239A2 (en) Led driver
WO2020149619A1 (ko) 비디오 월
WO2016093534A1 (ko) 플리커 성능이 개선된 led 구동회로 및 이를 포함하는 led 조명장치
WO2020060235A1 (ko) 카메라 장치
WO2020085873A1 (ko) 카메라, 및 이를 구비하는 단말기
WO2017099517A1 (ko) 촬상 장치 및 촬상 장치의 동작 방법
WO2016143993A1 (en) A lighting control apparatus and method thereof
WO2019168323A1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
WO2022103236A1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
WO2022231173A1 (ko) 복수 자기 센서들을 이용한 주행 정보 인식 방법 및 장치
WO2021137630A1 (en) Display apparatus and method of controlling the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16873382

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20187011306

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE