JPWO2019049458A1 - 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム - Google Patents

撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム Download PDF

Info

Publication number
JPWO2019049458A1
JPWO2019049458A1 JP2019540773A JP2019540773A JPWO2019049458A1 JP WO2019049458 A1 JPWO2019049458 A1 JP WO2019049458A1 JP 2019540773 A JP2019540773 A JP 2019540773A JP 2019540773 A JP2019540773 A JP 2019540773A JP WO2019049458 A1 JPWO2019049458 A1 JP WO2019049458A1
Authority
JP
Japan
Prior art keywords
imaging
period
image pickup
light
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019540773A
Other languages
English (en)
Other versions
JP6872028B2 (ja
Inventor
智紀 増田
智紀 増田
仁史 桜武
仁史 桜武
長谷川 亮
亮 長谷川
小林 誠
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019049458A1 publication Critical patent/JPWO2019049458A1/ja
Application granted granted Critical
Publication of JP6872028B2 publication Critical patent/JP6872028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

被写体を短時間且つ高速にて連続して撮像する場合でも、各撮像で得られる撮像画像の明るさを適正化することのできる撮像制御装置、これを備える撮像装置、撮像制御方法、及び撮像制御プログラムを提供する。電子機器30は、撮像装置10A,10B,10Cによって被写体Hの撮像を順番に行わせ、且つ各撮像が行われている撮像期間において発光装置20A,20B,20Cから補助光を発光させる。電子機器30は、撮像装置10Aの発光期間FL1と撮像装置10Bの撮像期間TS2との重複期間において発光装置20Aから発光される補助光の発光量に基づいて、撮像装置10Bの発光期間FL2の補助光の発光量を制御し、撮像装置10Bの発光期間FL2と撮像装置10Cの撮像期間TS3との重複期間において発光装置20Bから発光される補助光の発光量に基づいて、撮像装置10Cの発光期間FL3の補助光の発光量を制御する。

Description

本発明は、撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムに関する。
動物又は昆虫等の動きのある被写体を撮像するために、複数台の撮像装置によって被写体を撮像することが行われている。
例えば、特許文献1には、発光装置を含む複数台の撮像装置によって被写体を連続して撮像するシステムが記載されている。このシステムでは、各撮像装置の撮像時において、他の撮像装置に搭載される発光装置からの補助光が干渉しないように、各発光装置の発光期間を重複させない制御がなされている。
また、特許文献2には、発光装置を含む複数台の撮像装置によって被写体を同時に撮像するシステムが記載されている。このシステムでは、各撮像装置が、他の撮像装置の発光装置の発光条件等に基づいて、自装置の発光装置の発光条件又は自装置の露出条件を微調整することにより、他の撮像装置に搭載された発光装置からの補助光による露出への影響をなくすようにしている。
この特許文献2に記載のシステムでは、発光条件又は露出条件の微調整を繰り返しても適正な露出が実現できない場合には、複数台の撮像装置による撮像のタイミングをずらすことにより、他の撮像装置の発光装置からの補助光による露出への影響をなくすようにしている。
国際公開WO2016/031359号公報 特開2016−058995号公報
複数台の撮像装置によって被写体を連続して撮像し、各撮像時に補助光を発光させる場合には、各撮像時における露光時間が短く、且つ撮像の間隔が短いと、ある撮像時に発光された補助光の発光期間と、その次の撮像が行われる期間とが重複することになる。このため、各撮像が適正露出で行われなくなる。
特許文献1に記載のシステムは、補助光の発光期間が次の撮像時の露光期間と重複しないように制御している。また、特許文献2には、複数台の撮像装置によって連続して撮像を行う場合に、補助光の発光期間が次の撮像時の露光期間と重複しないように制御することが記載されている。
しかし、各撮像時における露光時間と、撮像の間隔とがそれぞれ非常に短くなると、補助光の発光期間と露光期間とを重複させない制御が不可能となる場合がある。特許文献1,2では、このような場合のことは想定されていない。
本発明は、上記事情に鑑みてなされたものであり、被写体を短時間且つ高速にて連続して撮像する場合でも、各撮像において得られる撮像画像の明るさを適正化することのできる撮像制御装置、この撮像制御装置を備える撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。
本発明の撮像制御装置は、撮像素子により被写体の撮像を連続して複数回行わせ、且つ上記複数回の上記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行う撮像制御部を備え、上記複数回の上記撮像期間は非重複であり、上記撮像期間にて開始される上記補助光の発光期間の終了タイミングは、その撮像期間の終了タイミングよりも後ろであり、時系列で隣り合う2つの上記撮像期間のうちの先に行われる上記撮像期間を第一の撮像期間とし、上記2つの上記撮像期間のうちの後に行われる上記撮像期間を第二の撮像期間とし、上記第一の撮像期間において開始される上記発光期間のうちの上記第二の撮像期間と重複する重複期間において発光される上記補助光の発光量に基づいて、上記第二の撮像期間にて開始される上記発光期間の上記補助光の発光量、又は上記第二の撮像期間における撮像感度を制御する撮像条件制御部を更に備えるものである。
本発明の撮像装置は、上記撮像制御装置を備えるものである。
本発明の撮像制御方法は、撮像素子により被写体の撮像を連続して複数回行わせ、且つ上記複数回の上記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行う撮像制御ステップを備え、上記複数回の上記撮像期間は非重複であり、上記撮像期間にて開始される上記補助光の発光期間の終了タイミングは、その撮像期間の終了タイミングよりも後ろであり、時系列で隣り合う2つの上記撮像期間のうちの先に行われる上記撮像期間を第一の撮像期間とし、上記2つの上記撮像期間のうちの後に行われる上記撮像期間を第二の撮像期間とし、上記第一の撮像期間において開始される上記発光期間のうちの上記第二の撮像期間と重複する重複期間において発光される上記補助光の発光量に基づいて、上記第二の撮像期間にて開始される上記発光期間の上記補助光の発光量、又は上記第二の撮像期間における撮像感度を制御する撮像条件制御ステップを更に備えるものである。
本発明の撮像制御プログラムは、コンピュータに、撮像制御ステップと撮像条件制御ステップとを実行させるための撮像制御プログラムであって、上記撮像制御ステップは、撮像素子により被写体の撮像を連続して複数回行わせ、且つ上記複数回の上記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行うステップであり、上記複数回の上記撮像期間は非重複であり、上記撮像期間にて開始される上記補助光の発光期間の終了タイミングは、その撮像期間の終了タイミングよりも後ろであり、時系列で隣り合う2つの上記撮像期間のうちの先に行われる上記撮像期間を第一の撮像期間とし、上記2つの上記撮像期間のうちの後に行われる上記撮像期間を第二の撮像期間とし、上記撮像条件制御ステップは、上記第一の撮像期間において開始される上記発光期間のうちの上記第二の撮像期間と重複する重複期間において発光される上記補助光の発光量に基づいて、上記第二の撮像期間にて開始される上記発光期間の上記補助光の発光量、又は上記第二の撮像期間における撮像感度を制御するステップである。
本発明によれば、被写体を短時間且つ高速にて連続して撮像する場合でも、各撮像において得られる撮像画像の明るさを適正化することのできる撮像制御装置、この撮像制御装置を備える撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
被写体Hを連続して複数回撮像するための撮像システム100の概略構成を示す図である。 図1に示す撮像システム100における撮像装置10Aの内部構成を示す図である。 図1に示す撮像システム100における撮像装置10Bの内部構成を示す図である。 図1に示す撮像システム100における撮像装置10Cの内部構成を示す図である。 図1に示す撮像システム100における電子機器30の内部構成を示す図である。 図5に示す電子機器30の制御部31の機能ブロック図である。 図6に示す撮像条件制御部31Bによる撮像条件の設定動作を説明するためのフローチャートである。 図7に示すステップS4の処理後の時点における第一の設定情報、第二の設定情報、及び第三の設定情報に基づく連続撮像の動作例を示すタイミングチャートである。 図7に示すステップS6における補助光の発光量の調整方法の一例を説明するための図である。 図6に示す撮像条件制御部31Bによる撮像条件の設定動作の変形例を説明するためのフローチャートである。 図10に示すステップS6aにおける撮像感度の調整方法の一例を説明するための図である。 図6に示す撮像条件制御部31Bによる撮像条件の設定動作の変形例を説明するためのフローチャートである。 図6に示す撮像条件制御部31Bによる撮像条件の設定動作の変形例を説明するためのフローチャートである。 マニュアルモード時における図6に示す制御部31の機能ブロックを示す図である。 図1に示す撮像システム100の変形例である撮像システム100Aの構成を示す図である。 図1に示す撮像システム100の変形例である撮像システム100Bの構成を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、被写体Hを連続して複数回撮像するための撮像システム100の概略構成を示す図である。
撮像システム100は、補助光を発光する発光装置20Aを含む撮像装置10Aと、補助光を発光する発光装置20Bを含む撮像装置10Bと、補助光を発光する発光装置20Cを含む撮像装置10Cと、電子機器30と、を備える。
撮像装置10Aと撮像装置10Bと撮像装置10Cは、それぞれの撮像レンズの光軸が被写体Hに向けられた状態にて、異なる場所に設置されている。
撮像装置10Aと撮像装置10Bと撮像装置10Cは、それぞれ、デジタルカメラ又はスマートフォン等の撮像機能を有する電子機器である。
電子機器30は、スマートフォン、タブレット端末、又はパーソナルコンピュータ等の電子機器である。
撮像システム100は、昆虫等の被写体Hを、補助光を発光させながら連続して複数回撮像するためのものであり、電子機器30からの指令に基づいて、撮像装置10A、撮像装置10B、及び撮像装置10Cが、順次、被写体Hを撮像する。つまり、この指令に基づいて、被写体Hが連続して3回撮像される。
また、撮像装置10Aによる被写体Hの撮像期間においては発光装置20Aが補助光を発光し、撮像装置10Bによる被写体Hの撮像期間においては発光装置20Bが補助光を発光し、撮像装置10Cによる被写体Hの撮像期間においては発光装置20Cが補助光を発光する。これにより、各撮像時の露出が適正に制御されるようになっている。
図2は、図1に示す撮像システム100における撮像装置10Aの内部構成を示す図である。
撮像装置10Aは、撮像レンズを含む撮像光学系11と、撮像光学系11を通して被写体を撮像する撮像素子12と、撮像素子12を駆動する駆動部13と、撮像素子12から出力される撮像信号を処理する信号処理回路を含むアナログフロントエンド(AFE)14と、電子機器30を含む外部機器と通信を行うための通信インタフェース(I/F)15と、AFE14にて処理後の撮像信号をデジタル信号処理して撮像画像データを生成する画像処理部16と、キセノン光源又はLED(Light Emitting Diode)等の半導体光源等から補助光を発光する発光装置20Aと、全体を統括制御するシステム制御部18Aと、を備える。
撮像素子12は、光電変換素子を含む画素が複数個、二次元状に配列された撮像面を有する。撮像素子12は、全ての画素において露光を同時に開始し、この露光を同時に終了して被写体を撮像することのできる、所謂グローバルシャッタ対応の撮像素子である。
AFE14は、撮像素子12の画素から出力される撮像信号にゲインを乗じてこの撮像信号を増幅する増幅回路と、増幅後の撮像信号をデジタル信号に変換する変換回路と、を含んでいる。撮像素子12による撮像時の撮像感度(いわゆるISO感度)は、この増幅回路に設定されるゲインによって決められる。
システム制御部18Aは、駆動部13を介して撮像素子12を駆動し、撮像素子12によって被写体を撮像させる。
本実施形態において“撮像”とは、撮像素子12の撮像面にある全ての画素の露光を同時に開始し、所定の時間経過後に、全ての画素にてその露光を同時に終了することを言う。撮像素子12によって撮像が行われる期間(画素の露光が行われている期間)を撮像期間といい、この撮像期間の長さを露光時間という。
システム制御部18Aは、撮像素子12による被写体Hの撮像期間において、発光装置20Aから補助光を発光させる。システム制御部18Aは、この撮像期間の開始タイミングと、発光装置20Aの補助光の発光期間の開始タイミングと、を一致させる。
発光装置20Aの補助光の発光期間とは、十分な量の補助光が発光装置20Aから発光されているとみなせる期間であり、具体的には、補助光の発光量が予め決めた閾値よりも大きくなっている期間のことを言う。
システム制御部18Aは、電子機器30から送信されてきて通信I/F15にて受信された第一の設定情報に基づいて、撮像素子12による被写体Hの撮像期間の長さと、AFE14の増幅回路のゲイン(撮像感度)と、発光装置20Aの補助光の発光期間の長さと、この発光期間中の補助光の発光量と、を制御する。
この第一の設定情報には、撮像装置10Aの撮像素子12によって撮像を行う撮像期間の長さである露光時間、その撮像における撮像感度、この撮像期間中に開始させる補助光の発光期間の長さである発光時間、及びこの発光期間における補助光の発光量の情報が含まれている。
図3は、図1に示す撮像システム100における撮像装置10Bの内部構成を示す図である。
撮像装置10Bは、システム制御部18Aがシステム制御部18Bに変更され、発光装置20Aが発光装置20Bに変更された点を除いては、撮像装置10Aと同じ構成である。
発光装置20Bは、発光装置20Aと同じ構成であり、システム制御部18Bからの指令によって補助光を発光させる。
システム制御部18Bは、駆動部13を介して撮像素子12を駆動し、撮像素子12によって被写体Hを撮像させる。
システム制御部18Bは、撮像素子12による被写体Hの撮像期間において、発光装置20Bから補助光を発光させる。システム制御部18Bは、この撮像期間の開始タイミングと、発光装置20Bの補助光の発光期間の開始タイミングと、を一致させる。
発光装置20Bの補助光の発光期間とは、十分な量の補助光が発光装置20Bから発光されているとみなせる期間であり、具体的には、補助光の発光量が上述した閾値よりも大きくなっている期間のことを言う。
システム制御部18Bは、電子機器30から送信されてきて通信I/F15にて受信された第二の設定情報に基づいて、撮像素子12による被写体Hの撮像期間の長さと、AFE14の増幅回路のゲイン(撮像感度)と、発光装置20Bの補助光の発光期間の長さと、この発光期間中の補助光の発光量と、を制御する。
この第二の設定情報には、撮像装置10Bの撮像素子12によって撮像を行う撮像期間の長さである露光時間、その撮像における撮像感度、この撮像期間中に開始させる補助光の発光期間の長さである発光時間、及びこの発光期間における補助光の発光量の情報が含まれている。
図4は、図1に示す撮像システム100における撮像装置10Cの内部構成を示す図である。
撮像装置10Cは、システム制御部18Aがシステム制御部18Cに変更され、発光装置20Aが発光装置20Cに変更された点を除いては、撮像装置10Aと同じ構成である。
発光装置20Cは、発光装置20Aと同じ構成であり、システム制御部18Cからの指令によって補助光を発光させる。
システム制御部18Cは、駆動部13を介して撮像素子12を駆動し、撮像素子12によって被写体Hを撮像させる。
システム制御部18Cは、撮像素子12による被写体Hの撮像期間において、発光装置20Cから補助光を発光させる。システム制御部18Cは、この撮像期間の開始タイミングと、発光装置20Cの補助光の発光期間の開始タイミングと、を一致させる。
発光装置20Cの補助光の発光期間とは、十分な量の補助光が発光装置20Cから発光されているとみなせる期間であり、具体的には、補助光の発光量が上述した閾値よりも大きくなっている期間のことを言う。
システム制御部18Cは、電子機器30から送信されてきて通信I/F15にて受信された第三の設定情報に基づいて、撮像素子12による被写体Hの撮像期間の長さと、AFE14の増幅回路のゲイン(撮像感度)と、発光装置20Cの補助光の発光期間の長さと、この発光期間中の補助光の発光量と、を制御する。
この第三の設定情報には、撮像装置10Cの撮像素子12によって撮像を行う撮像期間の長さである露光時間、その撮像における撮像感度、この撮像期間中に開始させる補助光の発光期間の長さである発光時間、及びこの発光期間における補助光の発光量の情報が含まれている。
なお、第一の設定情報、第二の設定情報、及び第三の設定情報の各々に含まれる露光時間の情報は、全て同じ値に設定される。また、第一の設定情報、第二の設定情報、及び第三の設定情報の各々に含まれる撮像感度の情報は、全て同じ値に設定される。また、第一の設定情報、第二の設定情報、及び第三の設定情報の各々に含まれる発光時間の情報は、全て同じ値に設定される。
図5は、図1に示す撮像システム100における電子機器30の内部構成を示す図である。
電子機器30は、全体を統括制御する制御部31と、操作部32と、メモリ33と、通信インタフェース(I/F)34と、を備える。
制御部31は、撮像システム100全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
なお、図2に示したシステム制御部18A、図3に示したシステム制御部18B、及び図4に示したシステム制御部18Cも、それぞれ、ハードウェア的な構造は、各種のプロセッサである。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
制御部31は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)により構成されてもよい。
操作部32は、制御部31に対して各種情報を入力するためのインタフェースであり、表示装置と一体化されたタッチパネル又は物理的なボタン等によって構成される。
メモリ33は、制御部31のワークメモリとしてのRAM(Random Accsess Memory)、及び制御部31が実行するプログラム等が記録されたROM(Read only memory)等を含む。
通信I/F34は、撮像装置10A、撮像装置10B、及び撮像装置10Cの各々の通信I/F15との間で通信を行うためのインタフェースである。
図6は、図5に示す電子機器30の制御部31の機能ブロック図である。
図6に示すように、制御部31は、メモリ33のROMに記憶された撮像制御プログラムを含むプログラムを実行することで、撮像制御部31A及び撮像条件制御部31Bを備える撮像制御装置として機能する。
撮像制御部31Aは、撮像装置10Aの撮像素子12と、撮像装置10Bの撮像素子12と、撮像装置10Cの撮像素子12とにより、被写体Hの撮像を順番に行わせる。
また、撮像制御部31Aは、撮像装置10Aの撮像素子12による被写体Hの撮像期間において発光装置20Aから補助光を発光させ、撮像装置10Bの撮像素子12による被写体Hの撮像期間において発光装置20Bから補助光を発光させ、撮像装置10Cの撮像素子12による被写体Hの撮像期間において発光装置20Cから補助光を発光させる。
具体的には、撮像制御部31Aは、上述した第一の設定情報を撮像装置10Aに送信し、上述した第二の設定情報を撮像装置10Bに送信し、上述した第三の設定情報を撮像装置10Cに送信した状態にて、撮像装置10A、撮像装置10B、撮像装置10Cの順に、一定間隔にて、撮像及び発光開始を指示する指示信号を送信する。
この指示信号を受けた撮像装置10Aのシステム制御部18Aは、撮像素子12による被写体Hの撮像期間を開始させる。システム制御部18Aは、この撮像期間の長さを、第一の設定情報に含まれる露光時間に制御する。
また、この指示信号を受けたシステム制御部18Aは、この撮像期間の開始と同時に、発光装置20Aによる補助光の発光を開始させる。システム制御部18Aは、この補助光の発光時間を、第一の設定情報に含まれる発光時間に制御する。
更に、システム制御部18Aは、発光装置20Aに入力する電力を調整することにより、この補助光の発光期間において発光装置20Aから発光させる補助光の発光量を、第一の設定情報に含まれる発光量に制御する。
この指示信号を受けた撮像装置10Bのシステム制御部18Bは、撮像素子12による被写体Hの撮像期間を開始させる。システム制御部18Bは、この撮像期間の長さを、第二の設定情報に含まれる露光時間に制御する。
また、この指示信号を受けたシステム制御部18Bは、この撮像期間の開始と同時に、発光装置20Bによる補助光の発光を開始させる。システム制御部18Bは、この補助光の発光時間を、第二の設定情報に含まれる発光時間に制御する。
更に、システム制御部18Bは、発光装置20Bに入力する電力を調整することで、この補助光の発光期間において発光装置20Bから発光させる補助光の発光量を、第二の設定情報に含まれる発光量に制御する。
この指示信号を受けた撮像装置10Cのシステム制御部18Cは、撮像素子12による被写体Hの撮像期間を開始させる。システム制御部18Cは、この撮像期間の長さを、第三の設定情報に含まれる露光時間に制御する。
また、この指示信号を受けたシステム制御部18Cは、この撮像期間の開始と同時に、発光装置20Cによる補助光の発光を開始させる。システム制御部18Cは、この補助光の発光時間を、第三の設定情報に含まれる発光時間に制御する。
更に、システム制御部18Cは、発光装置20Cに入力する電力を調整することにより、この補助光の発光期間において発光装置20Cから発光させる補助光の発光量を、第三の設定情報に含まれる発光量に制御する。
この指示信号を送信する間隔が、撮像装置10A、撮像装置10B、及び撮像装置10Cの順にて連続して行われる3回の撮像期間の間隔(以下、連続撮像の間隔とも言う)に相当する。この連続撮像の間隔は、予め決められた固定値であってもよいし、操作部32を介してユーザから設定された値であってもよい。
撮像条件制御部31Bは、この連続撮像の間隔と、第一の設定情報、第二の設定情報、及び第三の設定情報に含まれる露光時間、発光時間、補助光の発光量、及び撮像感度と、を連続撮像時の撮像条件として設定する。
図7は、図6に示す撮像条件制御部31Bによる撮像条件の設定動作を説明するためのフローチャートである。
まず、撮像条件制御部31Bは、連続撮像の間隔と、第一の設定情報、第二の設定情報、及び第三の設定情報の各々に含まれる露光時間を、予め決められた固定値又は操作部32を介してユーザから指定された値に設定する(ステップS1)。
次に、撮像条件制御部31Bは、ステップS1にて設定した露光時間にて適正露出を得るために必要な連続撮像の各撮像期間における補助光の発光量と撮像感度を決定する(ステップS2)。
次に、撮像条件制御部31Bは、ステップS2にて決定した発光量に基づいて、この発光量を得るために必要な補助光の発光期間の長さ(発光時間)を決定する(ステップS3)。
発光装置20A,20B,20Cによる補助光の出力特性は既知であるため、発光量が分かれば、その発光量を実現するために必要な発光時間を求めることができる。
次に、撮像条件制御部31Bは、ステップS2とステップS3にて決定した撮像感度、発光量、及び発光時間を、第一の設定情報、第二の設定情報、及び第三の設定情報の各々に含まれる撮像感度、発光量、及び発光時間の情報として設定する(ステップS4)。
次に、撮像条件制御部31Bは、ステップS3にて決定した発光時間が、ステップS1にて設定した連続撮像の間隔よりも長いか否かを判定する(ステップS5)。
ステップS3にて決定した発光時間が、ステップS1にて設定した連続撮像の間隔よりも長い場合には、連続して行われる3回の撮像期間のうちの2回目以降の撮像期間は、その撮像期間の直前に行われる撮像期間において開始された補助光の発光期間と重複する期間を有することになる。
図8は、図7に示すステップS4の処理後の時点における第一の設定情報、第二の設定情報、及び第三の設定情報に基づく連続撮像の動作例を示すタイミングチャートである。
図8に示す“第一の設定情報”の横には、第一の設定情報に基づいて行われる撮像装置10Aの動作として、撮像装置10Aによる被写体Hの撮像期間TS1と、この撮像期間TS1の開始と同時に開始される発光装置20Aの補助光の発光期間FL1とが示されている。
図8に示す“第二の設定情報”の横には、第二の設定情報に基づいて行われる撮像装置10Bの動作として、撮像装置10Bによる被写体Hの撮像期間TS2と、この撮像期間TS2の開始と同時に開始される発光装置20Bによる補助光の発光期間FL2とが示されている。
図8に示す“第三の設定情報”の横には、第三の設定情報に基づいて行われる撮像装置10Cの動作として、撮像装置10Cによる被写体Hの撮像期間TS3と、この撮像期間TS3の開始と同時に開始される発光装置20Cによる補助光の発光期間FL3とが示されている。
図8に示す撮像期間TS1,TS2,TS3の各々の長さは、ステップS1にて設定された露光時間となっている。
図8に示す発光期間FL1,FL2,FL3の各々の長さは、ステップS3にて決定された発光時間となっている。
図8に示す撮像期間TS1と撮像期間TS2との間の時間(時刻t1と時刻t2の間の時間)と、撮像期間TS2と撮像期間TS3との間の時間(時刻t2と時刻t4の間)は、それぞれ、連続撮像の間隔であり、ステップS1にて設定された値となっている。
図8に示す例では、撮像期間TS1と撮像期間TS2との間隔よりも発光期間FL1の時間が長くなっており、撮像期間TS2と撮像期間TS3との間隔よりも発光期間FL2の時間が長くなっている。
図8において、時系列で隣り合う2つの撮像期間のうちの先に行われる撮像期間を第一の撮像期間とし、この2つの撮像期間のうちの後に行われる撮像期間を第二の撮像期間とすると、第一の撮像期間において開始される発光期間には、第二の撮像期間と重複する重複期間が生じている。
例えば、発光期間FL1には、撮像期間TS2と重複する重複期間(時刻t2と時刻t3の間の期間)が生じている。また、発光期間FL2には、撮像期間TS3と重複する重複期間(時刻t4と時刻t5の間の期間)が生じている。
このように、連続撮像の間隔よりも発光時間が長くなって重複期間が生じる場合(ステップS5:YES)には、撮像条件制御部31Bは、この重複期間において発光される補助光の発光量に基づいて、図8に示した発光期間FL2における補助光の発光量(第二の設定情報における発光量の情報)と、発光期間FL3における補助光の発光量(第三の設定情報における発光量の情報)をそれぞれ調整し(ステップS6)、調整後に設定動作を終了する。
発光時間が連続撮像の間隔以下となっており重複期間が生じない場合(ステップS5:NO)には、撮像条件制御部31Bは設定動作を終了する。
図9は、図7に示すステップS6における補助光の発光量の調整方法の一例を説明するための図である。
撮像条件制御部31Bは、図8に示す3回の撮像期間のうちの最初の撮像期間TS1にて開始される発光期間FL1の補助光の発光量のうちの撮像期間TS1にて撮像装置10Aの撮像素子12が受光する光量を目標値とする。
例えば、図9に示すように、発光期間FL1において発光される補助光の発光量を“Q1”とし、このうちの90%が撮像期間TS1において撮像装置10Aの撮像素子12に受光されることにより、撮像期間TS1において適正露出が得られるものとする。この例では、上記の目標値は“0.9×Q1”となる。
そして、この例では、図9に示すように、発光期間FL1における補助光の発光量“Q1”のうちの10%(“0.1×Q1”)が、撮像期間TS2との重複期間において発光される補助光の発光量となる。
なお、補助光の発光量“Q1”のうちの何%が、撮像期間TS1において撮像装置10Aの撮像素子12に受光されるかは、撮像期間TS1の長さと、発光期間FL1の長さと、発光装置20Aの出力特性によって求めることができる。
また、補助光の発光量“Q1”のうち、撮像期間TS2との重複期間において発光される補助光の発光量がどの程度となるかは、この重複期間の長さと発光装置20Aの出力特性によって求めることができる。
この重複期間の長さは、図7のステップS1にて設定された連続撮像の間隔と、図7のステップS3において決定された発光時間との差から求めることができる。
なお、図7に示す撮像条件の設定動作例では、撮像条件制御部31Bが、ステップS2とステップS3の処理によって発光時間を決定しているが、この発光時間を予め決められた固定値としたり、ユーザが手動で設定した値にしたりすることも可能である。
撮像条件制御部31Bは、撮像期間TS2において開始される発光期間FL2の補助光の発光量“Q2”を、その発光量“Q2”のうちの撮像期間TS2において撮像装置10Bの撮像素子12に受光される光量“Q2a”と、発光期間FL1のうちの上記の重複期間において発光された補助光の発光量(=“0.1×Q1”)との合計値が上記の目標値(=“0.9×Q1”)と一致する条件を満たす値に設定する。
つまり、撮像条件制御部31Bは、光量“Q2a”が“0.8×Q1”となるように、発光期間FL2における補助光の発光量“Q2”を決定する。図9の例では、発光量“Q2”が“0.82×Q1”として設定されている。
同様にして、撮像条件制御部31Bは、撮像期間TS3において開始される発光期間FL3の補助光の発光量“Q3”を、その発光量“Q3”のうちの撮像期間TS3において撮像装置10Cの撮像素子12に受光される光量“Q3a”と、発光期間FL2のうちの撮像期間TS3との重複期間において発光された補助光の発光量(=“Q2”−“Q2a”=0.02×Q1)との合計値が上記の目標値(=“0.9×Q1”)と一致する条件を満たす値に設定する。
つまり、撮像条件制御部31Bは、発光量“Q3a”が“0.88×Q1”となるように、発光期間FL3における補助光の発光量“Q3”を決定する。図9の例では、発光量“Q3”が“0.93×Q1”として設定されている。
図7に示す撮像条件の設定動作によって、連続撮像の各撮像期間に行われる発光期間における補助光の発光量が制御される。
以上のように、各発光期間FL1,FL2,FL3における補助光の発光量を設定することにより、撮像期間TS1,TS2,TS3のいずれにおいても、撮像素子12が受光する補助光の光量が目標値となる。このため、被写体を短時間且つ高速にて連続して撮像する場合でも、各撮像において得られる撮像画像の明るさを適正化することができる。
電子機器30の撮像条件制御部31Bは、図7に示すステップS6において、第二の設定情報及び第三の設定情報に含まれる補助光の発光量を調整する代わりに、第二の設定情報及び第三の設定情報に含まれる撮像感度を調整することにより、撮像画像の明るさの適正化を図ってもよい。
図10は、図6に示す撮像条件制御部31Bによる撮像条件の設定動作の変形例を説明するためのフローチャートである。
図10は、ステップS6がステップS6aに変更された点を除いては、図7に示すフローチャートと同じである。図10において図7と同じ処理には同一符号を付して説明を省略する。
ステップS5の判定がYESの場合には、撮像条件制御部31Bは、重複期間において発光される補助光の発光量に基づいて、図8に示した撮像期間TS2における撮像感度(第二の設定情報における撮像感度の情報)と、撮像期間TS3における撮像感度(第三の設定情報における撮像感度の情報)をそれぞれ調整し(ステップS6a)、設定動作を終了する。
図11は、図10に示すステップS6aにおける撮像感度の調整方法の一例を説明するための図である。
撮像条件制御部31Bは、図8に示す3回の撮像期間のうちの最初の撮像期間TS1にて開始される発光期間FL1における補助光の発光量のうちの撮像期間TS1にて撮像装置10Aの撮像素子12が受光する光量を目標値とする。
例えば、図11に示すように、発光期間FL1において発光される補助光の発光量を“Q1”とし、このうちの90%が撮像期間TS1において撮像装置10Aの撮像素子12に受光されることにより、撮像期間TS1において適正露出が得られるものとする。この例では、上記の目標値は“0.9×Q1”となる。
そして、この例では、図11に示すように、発光期間FL1における補助光の発光量“Q1”のうちの10%(“0.1×Q1”)が、撮像期間TS2との重複期間において発光される補助光の発光量となる。
図10に示す撮像条件の設定動作例では、各発光期間における発光量を同じにしている。このため、撮像期間TS2において開始される発光期間FL2における補助光の発光量は“Q1”であり、この発光量“Q1”のうちの撮像期間TS2にて撮像素子12に受光される光量は、上記の目標値“0.9×Q1”となる。
また、発光期間FL2における補助光の発光量“Q1”のうちの10%(“0.1×Q1”)が、撮像期間TS3との重複期間において発光される補助光の発光量となる。
同様に、撮像期間TS3において開始される発光期間FL3における補助光の発光量も“Q1”であり、この発光量“Q1”のうちの撮像期間TS3にて撮像素子12に受光される光量は、上記の目標値“0.9×Q1”となる。
撮像条件制御部31Bは、撮像期間TS2において開始される発光期間FL2における補助光の発光量“Q1”のうちの撮像期間TS2にて撮像装置10Bの撮像素子12に受光される光量“0.9×Q1”と、撮像期間TS1において開始された発光期間FL1のうちの撮像期間TS2との重複期間において発光された補助光の光量“0.1×Q1”との合計値に対する上記目標値の比(=0.9)を求め、この比を、撮像期間TS1において設定する撮像感度の設定値に乗じた値を、撮像期間TS2における撮像感度とする。
同様に、撮像条件制御部31Bは、撮像期間TS3において開始される発光期間FL3における補助光の発光量“Q1”のうちの撮像期間TS3にて撮像装置10Cの撮像素子12に受光される光量“0.9×Q1”と、撮像期間TS2において開始された発光期間FL2のうちの撮像期間TS3との重複期間において発光された補助光の光量“0.1×Q1”との合計値に対する上記目標値の比(=0.9)を求め、この比を、撮像期間TS1において設定する撮像感度の設定値に乗じた値を、撮像期間TS3における撮像感度とする。
このような調整により、撮像期間TS2と撮像期間TS3においては、撮像期間TS1と比較して、撮像素子12が“0.1×Q1”の発光量を多く受光するものの、この発光量を多く受光する分、撮像感度が撮像期間TS1に対して0.9倍に設定される。このため、各撮像期間TS1,TS2,TS3の撮像によって得られる撮像画像の明るさを揃えることができる。
図12は、図6に示す撮像条件制御部31Bによる撮像条件の設定動作の変形例を説明するためのフローチャートである。
図12は、ステップS1とステップS2の間にステップS10が追加され、更に、ステップS11〜ステップS13が追加された点を除いては、図7に示すフローチャートと同じである。図12において図7と同じ処理には同一符号を付して説明を省略する。
ステップS1の後、撮像条件制御部31Bは、発光装置20Aによって補助光を発光させることのできる最大の発光時間の情報を、撮像装置10Aのシステム制御部18Aから取得し、ステップS1にて設定した連続撮像の間隔が、この最大の発光時間以上となるか否かを判定する(ステップS10)。
発光装置20Aと発光装置20Bと発光装置20Cは同じ構成のため、この最大の発光時間の情報はシステム制御部18B又はシステム制御部18Cから取得されてもよい。
ステップS10の判定がNOの場合には、上述した重複期間が発生する可能性があり、ステップS6の処理が必要になる可能性がある。このため、撮像条件制御部31Bは、ステップS2以降の処理を行う。
一方、ステップS10の判定がYESの場合には、上述した重複期間が生じることはない。このため、撮像条件制御部31Bは、ステップS11以降の処理を行う。
ステップS11は、ステップS2の処理と同じ内容である。ステップS12は、ステップS3の処理と同じ内容である。ステップS13は、ステップS4の処理と同じ内容である。
このステップS11〜ステップS13の処理により、第一の設定情報、第二の設定情報、及び第三の設定情報に含まれる発光量の情報は同一となる。したがって、この第一の設定情報、第二の設定情報、及び第三の設定情報に基づいて行われる連続撮像において、各発光期間における補助光の発光量は同一に制御される。
以上のように、図12に示す撮像条件の設定動作によれば、ステップS5及びステップS6の処理を行う必要がない場合には、ステップS11〜ステップS13の処理のみが行われる。このため、制御部31の処理量を低減して消費電力を減らすことができる。
図13は、図6に示す撮像条件制御部31Bによる撮像条件の設定動作の変形例を説明するためのフローチャートである。
図13は、ステップS6がステップS6aに変更された点を除いては、図12に示すフローチャートと同じである。図13において図12と同じ処理には同一符号を付して説明を省略する。
ステップS10の判定がNOの場合には、ステップS6aの処理が必要になる可能性がある。このため、撮像条件制御部31Bは、ステップS2以降の処理を行う。
一方、ステップS10の判定がYESの場合には、上述した重複期間が生じることはない。このため、撮像条件制御部31Bは、ステップS11以降の処理を行う。
このステップS11〜ステップS13の処理により、第一の設定情報、第二の設定情報、及び第三の設定情報に含まれる撮像感度の情報は同一となる。したがって、この第一の設定情報、第二の設定情報、及び第三の設定情報に基づいて行われる連続撮像において、各撮像期間における撮像感度は同一に制御される。
以上のように、図13に示す撮像条件の設定動作によれば、ステップS5及びステップS6aの処理を行う必要がない場合には、ステップS11〜ステップS13の処理のみが行われる。このため、制御部31の処理量を低減して消費電力を減らすことができる。
ここまでの説明では、上述した重複期間が生じる場合(撮像期間の間隔よりも発光時間が長くなる場合)に、第一の設定情報、第二の設定情報、及び第三の設定情報に含まれる発光量又は撮像感度が撮像条件制御部31Bによって調整されるものとした。しかし、電子機器30において、この調整を行わないマニュアルモードを選択できるようにしてもよい。
図14は、マニュアルモード時における図6に示す制御部31の機能ブロックを示す図である。図14において図6と同じ構成には同一符号を付して説明を省略する。
図14に示すように、制御部31は、メモリ33のROMに記憶された撮像制御プログラムを含むプログラムを実行することにより、撮像制御部31A、撮像条件制御部31B、情報取得部31C、発光期間決定部31D、及び報知部31Eを備える撮像制御装置として機能する。
情報取得部31Cは、連続撮像の間隔の情報と、連続撮像時の各撮像期間の長さ(露光時間)の情報とが操作部32から入力されると、これらの情報を取得する。
発光期間決定部31Dは、情報取得部31Cにより取得された露光時間にて適正露出を得るために必要な連続撮像の各撮像期間における補助光の発光量と撮像感度を決定し、この決定した発光量に基づいて、この発光量を得るために必要な補助光の発光期間の長さ(発光時間)を決定する。
マニュアルモードにおいて、撮像条件制御部31Bは、情報取得部31Cにより取得された連続撮像の間隔を撮像条件として設定し、更に、情報取得部31Cにより取得された露光時間と、発光期間決定部31Dにより決定された発光量、発光時間、及び撮像感度を、第一の設定情報、第二の設定情報、及び第三の設定情報の各々に含まれる露光時間、発光量、発光時間、及び撮像感度として設定する。
つまり、マニュアルモードにおいては、撮像制御部31Aが、情報取得部31Cにより取得された連続撮像の間隔と、情報取得部31Cにより取得された露光時間と、発光期間決定部31Dにより決定された発光量、発光時間、及び撮像感度と、に基づいて、撮像装置10A,10B,10Cに連続して撮像を実行させる。
報知部31Eは、情報取得部31Cによって取得された連続撮像の間隔の情報及び撮像期間の長さの情報に基づいて、連続撮像の撮像期間のうちの2回目以降の撮像期間の開始タイミングを求め、この2回目以降の撮像期間の開始タイミングが、その撮像期間の1つ前の撮像期間にて開始される発光期間の終了タイミングよりも前になる場合(上述した重複期間が生じる場合)に、電子機器30に搭載されるスピーカ又は表示装置等の出力装置を用いて、重複期間が発生することを報知する。
このように、マニュアルモードにおいては、撮像条件制御部31Bによる上述した発光量又は撮像感度の調整は行われない。このため、報知部31Eによって重複期間の発生が報知されることにより、ユーザは、入力した間隔及び露光時間に基づく連続撮像で得られる撮像画像に明るさの変化が生じ得るのを認識することができる。
したがって、この報知を受けたユーザは、連続撮像の間隔と露光時間の一方又は両方を調整することにより、重複期間をなくした状態での連続撮像を行うことが可能となり、マニュアルモードにおいても、撮像画像の明るさを適正化することができる。
ここまでは、電子機器30の制御部31が、撮像条件の設定を行い、各撮像装置10A,10B,10Cを制御して連続撮像を行うものとしたが、これに限らない。例えば、撮像システム100は、図15又は図16に示す構成に変形することもできる。
図15は、図1に示す撮像システム100の変形例である撮像システム100Aの構成を示す図である。
撮像システム100Aは、撮像装置10Aと、撮像装置10Bと、撮像装置10C、とを備える。そして、撮像装置10Aが、撮像装置10B及び撮像装置10Cを制御可能に構成されている。
撮像システム100Aでは、撮像装置10Aのシステム制御部18Aが電子機器30の制御部31と同じ機能を持つ。つまり、システム制御部18Aが撮像制御装置として機能する。
そして、撮像装置10Aのシステム制御部18Aが、第一の設定情報、第二の設定情報、及び第三の設定情報を生成し、これらの情報に基づいて、撮像装置10A、撮像装置10B、及び撮像装置10Cを制御して、被写体Hの連続撮像を行う。
撮像システム100Aによれば電子機器30が不要になるため、システム構築に要するコストを削減することができる。
図16は、図1に示す撮像システム100の変形例である撮像システム100Bの構成を示す図である。
撮像システム100Bは、撮像装置10Aと、発光装置20Bと、発光装置20Cと、を備える。そして、撮像装置10Aのシステム制御部18Aが、発光装置20Bと発光装置20Cを制御可能に構成されている。
撮像システム100Bでは、撮像装置10Aのシステム制御部18Aが電子機器30の制御部31と同じ機能を持つ。そして、撮像装置10Aのシステム制御部18Aが、第一の設定情報、第二の設定情報、及び第三の設定情報を生成し、これらの情報に基づいて、自装置の撮像素子12によって被写体Hを連続して3回撮像し、この3回の撮像が行われる撮像期間において、自装置の発光装置20A、発光装置20B、及び発光装置20Cを制御して、補助光を発光させる。
撮像システム100Bによれば電子機器30と撮像装置10Bと撮像装置10Cが不要になるため、システム構築に要するコストを削減することができる。
図1に示す撮像システム100と図15に示す撮像システム100Aは、被写体Hを連続して3回撮像する場合を例にしているが、連続撮像の回数は2回又は4回以上であってもよく、その場合には、発光装置を搭載する撮像装置の数を2つ又は4つ以上とすればよい。
同様に、図16に示す撮像システム100Bにおいて、被写体Hを連続して2回又は4回以上撮像する場合には、撮像装置10Aと通信可能な外部の発光装置の数を1つ又は3つ以上とすればよい。
本発明によれば、被写体を短時間且つ高速にて連続して撮像する場合でも、各撮像で得られる撮像画像の明るさを適正化することのできる撮像制御装置、この撮像制御装置を備える撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
以上のように、本明細書には以下の事項が開示されている。
(1) 撮像素子により被写体の撮像を連続して複数回行わせ、且つ上記複数回の上記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行う撮像制御部を備え、上記複数回の上記撮像期間は非重複であり、上記撮像期間にて開始される上記補助光の発光期間の終了タイミングは、その撮像期間の終了タイミングよりも後ろであり、時系列で隣り合う2つの上記撮像期間のうちの先に行われる上記撮像期間を第一の撮像期間とし、上記2つの上記撮像期間のうちの後に行われる上記撮像期間を第二の撮像期間とし、上記第一の撮像期間において開始される上記発光期間のうちの上記第二の撮像期間と重複する重複期間において発光される上記補助光の発光量に基づいて、上記第二の撮像期間にて開始される上記発光期間の上記補助光の発光量、又は上記第二の撮像期間における撮像感度を制御する撮像条件制御部を更に備える撮像制御装置。
(2) (1)記載の撮像制御装置であって、上記複数回の上記撮像期間のうちの最初の上記撮像期間にて開始される上記発光期間の上記補助光の発光量のうち上記最初の上記撮像期間にて上記撮像素子が受光する光量を目標値とし、上記撮像条件制御部は、上記第二の撮像期間において開始される上記発光期間の上記補助光の発光量を、その発光量のうちの上記第二の撮像期間にて上記撮像素子に受光される光量と、上記第一の撮像期間において開始された上記発光期間のうちの上記重複期間において発光された補助光の光量との合計値が上記目標値と一致する条件を満たす値に制御する撮像制御装置。
(3) (1)記載の撮像制御装置であって、上記複数回の上記撮像期間のうちの最初の上記撮像期間にて開始される上記発光期間の上記補助光の発光量のうち上記最初の上記撮像期間にて上記撮像素子に受光される光量を目標値とし、上記撮像条件制御部は、上記第二の撮像期間において開始される上記発光期間の上記補助光の発光量のうちの上記第二の撮像期間にて上記撮像素子に受光される光量と、上記第一の撮像期間において開始された上記発光期間のうちの上記重複期間において発光された補助光の光量との合計値、に対する上記目標値の比を、上記最初の上記撮像期間における上記撮像感度に乗じた値を、上記第二の撮像期間中の上記撮像感度とする撮像制御装置。
(4) (1)〜(3)のいずれか1つに記載の撮像制御装置であって、上記撮像条件制御部は、上記撮像期間の長さと、上記複数回の上記撮像期間の間隔とに基づいて、上記重複期間を求める撮像制御装置。
(5) (1)〜(4)のいずれか1つに記載の撮像制御装置であって、上記撮像条件制御部は、上記発光装置によって補助光を発光させることのできる最大の時間の情報を取得し、上記撮像期間の間隔が上記最大の時間以上の場合には、上記複数回の上記撮像期間の各々において発光させる上記補助光の発光量と、上記複数回の上記撮像の各々の撮像感度を、それぞれ一定値に制御する撮像制御装置。
(6) (1)〜(5)のいずれか1つに記載の撮像制御装置であって、操作部から入力された上記撮像期間の間隔の情報及び上記撮像期間の長さの情報を取得する情報取得部と、上記撮像期間の長さの情報に基づいて、上記複数回の上記撮像期間の各々にて開始される上記発光期間の長さを決定する発光期間決定部と、を備え、上記撮像制御部は、上記撮像期間の間隔の情報、上記撮像期間の長さの情報、及び上記発光期間の長さに基づいて上記連続撮像制御を行うモードを有し、上記撮像期間の間隔の情報及び上記撮像期間の長さの情報に基づいて、上記複数回の上記撮像期間のうちの2回目以降の上記撮像期間の開始タイミングを求め、上記2回目以降の上記撮像期間の開始タイミングが、その撮像期間の1つ前の上記撮像期間にて開始される上記発光期間の終了タイミングよりも前になる場合に報知する報知部を更に備える撮像制御装置。
(7) (1)〜(6)のいずれか1つに記載の撮像制御装置を備える撮像装置。
(8) 撮像素子により被写体の撮像を連続して複数回行わせ、且つ上記複数回の上記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行う撮像制御ステップを備え、上記複数回の上記撮像期間は非重複であり、上記撮像期間にて開始される上記補助光の発光期間の終了タイミングは、その撮像期間の終了タイミングよりも後ろであり、時系列で隣り合う2つの上記撮像期間のうちの先に行われる上記撮像期間を第一の撮像期間とし、上記2つの上記撮像期間のうちの後に行われる上記撮像期間を第二の撮像期間とし、上記第一の撮像期間において開始される上記発光期間のうちの上記第二の撮像期間と重複する重複期間において発光される上記補助光の発光量に基づいて、上記第二の撮像期間にて開始される上記発光期間の上記補助光の発光量、又は上記第二の撮像期間における撮像感度を制御する撮像条件制御ステップを更に備える撮像制御方法。
(9) (8)記載の撮像制御方法であって、上記複数回の上記撮像期間のうちの最初の上記撮像期間にて開始される上記発光期間の上記補助光の発光量のうち上記最初の上記撮像期間にて上記撮像素子が受光する光量を目標値とし、上記撮像条件制御ステップでは、上記第二の撮像期間において開始される上記発光期間の上記補助光の発光量を、その発光量のうちの上記第二の撮像期間にて上記撮像素子に受光される光量と、上記第一の撮像期間において開始された上記発光期間のうちの上記重複期間において発光された補助光の光量との合計値が上記目標値と一致する条件を満たす値に制御する撮像制御方法。
(10) (8)記載の撮像制御方法であって、上記複数回の上記撮像期間のうちの最初の上記撮像期間にて開始される上記発光期間の上記補助光の発光量のうち上記最初の上記撮像期間にて上記撮像素子に受光される光量を目標値とし、上記撮像条件制御ステップでは、上記第二の撮像期間において開始される上記発光期間の上記補助光の発光量のうちの上記第二の撮像期間にて上記撮像素子に受光される光量と、上記第一の撮像期間において開始された上記発光期間のうちの上記重複期間において発光された補助光の光量との合計値、に対する上記目標値の比を、上記最初の上記撮像期間における上記撮像感度に乗じた値を、上記第二の撮像期間中の上記撮像感度とする撮像制御方法。
(11) (8)〜(10)のいずれか1つに記載の撮像制御方法であって、上記撮像条件制御ステップでは、上記撮像期間の長さと、上記複数回の上記撮像期間の間隔とに基づいて、上記重複期間を求める撮像制御方法。
(12) (8)〜(11)のいずれか1つに記載の撮像制御方法であって、上記撮像条件制御ステップでは、上記発光装置によって補助光を発光させることのできる最大の時間の情報を取得し、上記撮像期間の間隔が上記最大の時間以上の場合には、上記複数回の上記撮像期間の各々において発光させる上記補助光の発光量と、上記複数回の上記撮像の各々の撮像感度を、それぞれ一定値に制御する 撮像制御方法。
(13) (8)〜(12)のいずれか1つに記載の撮像制御方法であって、操作部から入力された上記撮像期間の間隔の情報及び上記撮像期間の長さの情報を取得する情報取得ステップと、上記撮像期間の長さの情報に基づいて、上記複数回の上記撮像期間の各々にて開始される上記発光期間の長さを決定する発光期間決定ステップと、上記撮像期間の間隔の情報、上記撮像期間の長さの情報、及び上記発光期間の長さに基づいて上記連続撮像制御を行うステップと、上記撮像期間の間隔の情報及び上記撮像期間の長さの情報に基づいて、上記複数回の上記撮像期間のうちの2回目以降の上記撮像期間の開始タイミングを求め、上記2回目以降の上記撮像期間の開始タイミングが、その撮像期間の1つ前の上記撮像期間にて開始される上記発光期間の終了タイミングよりも前になる場合に報知する報知ステップと、を備える撮像制御方法。
(14) コンピュータに、撮像制御ステップと撮像条件制御ステップとを実行させるための撮像制御プログラムであって、上記撮像制御ステップは、撮像素子により被写体の撮像を連続して複数回行わせ、且つ上記複数回の上記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行うステップであり、上記複数回の上記撮像期間は非重複であり、上記撮像期間にて開始される上記補助光の発光期間の終了タイミングは、その撮像期間の終了タイミングよりも後ろであり、時系列で隣り合う2つの上記撮像期間のうちの先に行われる上記撮像期間を第一の撮像期間とし、上記2つの上記撮像期間のうちの後に行われる上記撮像期間を第二の撮像期間とし、上記撮像条件制御ステップは、上記第一の撮像期間において開始される上記発光期間のうちの上記第二の撮像期間と重複する重複期間において発光される上記補助光の発光量に基づいて、上記第二の撮像期間にて開始される上記発光期間の上記補助光の発光量、又は上記第二の撮像期間における撮像感度を制御するステップである撮像制御プログラム。
100、100A、100B 撮像システム
10A、10B、10C 撮像装置
20A、20B、20C 発光装置
30 電子機器
H 被写体
11 撮像光学系
12 撮像素子
13 駆動部
14 アナログフロントエンド
15 通信インタフェース
16 画像処理部
18A、18B、18C システム制御部
31 制御部
31A 撮像制御部
31B 撮像条件制御部
31C 情報取得部
31D 発光期間決定部
31E 報知部
32 操作部
33 メモリ
34 通信インタフェース
TS1、TS2、TS3 撮像期間
FL1、FL2、FL3 発光期間

Claims (14)

  1. 撮像素子により被写体の撮像を連続して複数回行わせ、且つ前記複数回の前記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行う撮像制御部を備え、
    前記複数回の前記撮像期間は非重複であり、
    前記撮像期間にて開始される前記補助光の発光期間の終了タイミングは、当該撮像期間の終了タイミングよりも後ろであり、
    時系列で隣り合う2つの前記撮像期間のうちの先に行われる前記撮像期間を第一の撮像期間とし、前記2つの前記撮像期間のうちの後に行われる前記撮像期間を第二の撮像期間とし、
    前記第一の撮像期間において開始される前記発光期間のうちの前記第二の撮像期間と重複する重複期間において発光される前記補助光の発光量に基づいて、前記第二の撮像期間にて開始される前記発光期間の前記補助光の発光量、又は前記第二の撮像期間における撮像感度を制御する撮像条件制御部を更に備える撮像制御装置。
  2. 請求項1記載の撮像制御装置であって、
    前記複数回の前記撮像期間のうちの最初の前記撮像期間にて開始される前記発光期間の前記補助光の発光量のうち前記最初の前記撮像期間にて前記撮像素子が受光する光量を目標値とし、
    前記撮像条件制御部は、前記第二の撮像期間において開始される前記発光期間の前記補助光の発光量を、当該発光量のうちの前記第二の撮像期間にて前記撮像素子に受光される光量と、前記第一の撮像期間において開始された前記発光期間のうちの前記重複期間において発光された補助光の光量との合計値が前記目標値と一致する条件を満たす値に制御する撮像制御装置。
  3. 請求項1記載の撮像制御装置であって、
    前記複数回の前記撮像期間のうちの最初の前記撮像期間にて開始される前記発光期間の前記補助光の発光量のうち前記最初の前記撮像期間にて前記撮像素子に受光される光量を目標値とし、
    前記撮像条件制御部は、前記第二の撮像期間において開始される前記発光期間の前記補助光の発光量のうちの前記第二の撮像期間にて前記撮像素子に受光される光量と、前記第一の撮像期間において開始された前記発光期間のうちの前記重複期間において発光された補助光の光量との合計値、に対する前記目標値の比を、前記最初の前記撮像期間における前記撮像感度に乗じた値を、前記第二の撮像期間中の前記撮像感度とする撮像制御装置。
  4. 請求項1〜3のいずれか1項記載の撮像制御装置であって、
    前記撮像条件制御部は、前記撮像期間の長さと、前記複数回の前記撮像期間の間隔とに基づいて、前記重複期間を求める撮像制御装置。
  5. 請求項1〜4のいずれか1項記載の撮像制御装置であって、
    前記撮像条件制御部は、前記発光装置によって補助光を発光させることのできる最大の時間の情報を取得し、前記撮像期間の間隔が前記最大の時間以上の場合には、前記複数回の前記撮像期間の各々において発光させる前記補助光の発光量と、前記複数回の前記撮像の各々の撮像感度を、それぞれ一定値に制御する撮像制御装置。
  6. 請求項1〜5のいずれか1項記載の撮像制御装置であって、
    操作部から入力された前記撮像期間の間隔の情報及び前記撮像期間の長さの情報を取得する情報取得部と、
    前記撮像期間の長さの情報に基づいて、前記複数回の前記撮像期間の各々にて開始される前記発光期間の長さを決定する発光期間決定部と、を備え、
    前記撮像制御部は、前記撮像期間の間隔の情報、前記撮像期間の長さの情報、及び前記発光期間の長さに基づいて前記連続撮像制御を行うモードを有し、
    前記撮像期間の間隔の情報及び前記撮像期間の長さの情報に基づいて、前記複数回の前記撮像期間のうちの2回目以降の前記撮像期間の開始タイミングを求め、前記2回目以降の前記撮像期間の開始タイミングが、当該撮像期間の1つ前の前記撮像期間にて開始される前記発光期間の終了タイミングよりも前になる場合に報知する報知部を更に備える撮像制御装置。
  7. 請求項1〜6のいずれか1項記載の撮像制御装置を備える撮像装置。
  8. 撮像素子により被写体の撮像を連続して複数回行わせ、且つ前記複数回の前記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行う撮像制御ステップを備え、
    前記複数回の前記撮像期間は非重複であり、
    前記撮像期間にて開始される前記補助光の発光期間の終了タイミングは、当該撮像期間の終了タイミングよりも後ろであり、
    時系列で隣り合う2つの前記撮像期間のうちの先に行われる前記撮像期間を第一の撮像期間とし、前記2つの前記撮像期間のうちの後に行われる前記撮像期間を第二の撮像期間とし、
    前記第一の撮像期間において開始される前記発光期間のうちの前記第二の撮像期間と重複する重複期間において発光される前記補助光の発光量に基づいて、前記第二の撮像期間にて開始される前記発光期間の前記補助光の発光量、又は前記第二の撮像期間における撮像感度を制御する撮像条件制御ステップを更に備える撮像制御方法。
  9. 請求項8記載の撮像制御方法であって、
    前記複数回の前記撮像期間のうちの最初の前記撮像期間にて開始される前記発光期間の前記補助光の発光量のうち前記最初の前記撮像期間にて前記撮像素子が受光する光量を目標値とし、
    前記撮像条件制御ステップでは、前記第二の撮像期間において開始される前記発光期間の前記補助光の発光量を、当該発光量のうちの前記第二の撮像期間にて前記撮像素子に受光される光量と、前記第一の撮像期間において開始された前記発光期間のうちの前記重複期間において発光された補助光の光量との合計値が前記目標値と一致する条件を満たす値に制御する撮像制御方法。
  10. 請求項8記載の撮像制御方法であって、
    前記複数回の前記撮像期間のうちの最初の前記撮像期間にて開始される前記発光期間の前記補助光の発光量のうち前記最初の前記撮像期間にて前記撮像素子に受光される光量を目標値とし、
    前記撮像条件制御ステップでは、前記第二の撮像期間において開始される前記発光期間の前記補助光の発光量のうちの前記第二の撮像期間にて前記撮像素子に受光される光量と、前記第一の撮像期間において開始された前記発光期間のうちの前記重複期間において発光された補助光の光量との合計値、に対する前記目標値の比を、前記最初の前記撮像期間における前記撮像感度に乗じた値を、前記第二の撮像期間中の前記撮像感度とする撮像制御方法。
  11. 請求項8〜10のいずれか1項記載の撮像制御方法であって、
    前記撮像条件制御ステップでは、前記撮像期間の長さと、前記複数回の前記撮像期間の間隔とに基づいて、前記重複期間を求める撮像制御方法。
  12. 請求項8〜11のいずれか1項記載の撮像制御方法であって、
    前記撮像条件制御ステップでは、前記発光装置によって補助光を発光させることのできる最大の時間の情報を取得し、前記撮像期間の間隔が前記最大の時間以上の場合には、前記複数回の前記撮像期間の各々において発光させる前記補助光の発光量と、前記複数回の前記撮像の各々の撮像感度を、それぞれ一定値に制御する撮像制御方法。
  13. 請求項8〜12のいずれか1項記載の撮像制御方法であって、
    操作部から入力された前記撮像期間の間隔の情報及び前記撮像期間の長さの情報を取得する情報取得ステップと、
    前記撮像期間の長さの情報に基づいて、前記複数回の前記撮像期間の各々にて開始される前記発光期間の長さを決定する発光期間決定ステップと、
    前記撮像期間の間隔の情報、前記撮像期間の長さの情報、及び前記発光期間の長さに基づいて前記連続撮像制御を行うステップと、
    前記撮像期間の間隔の情報及び前記撮像期間の長さの情報に基づいて、前記複数回の前記撮像期間のうちの2回目以降の前記撮像期間の開始タイミングを求め、前記2回目以降の前記撮像期間の開始タイミングが、当該撮像期間の1つ前の前記撮像期間にて開始される前記発光期間の終了タイミングよりも前になる場合に報知する報知ステップと、を備える撮像制御方法。
  14. コンピュータに、撮像制御ステップと撮像条件制御ステップとを実行させるための撮像制御プログラムであって、
    前記撮像制御ステップは、撮像素子により被写体の撮像を連続して複数回行わせ、且つ前記複数回の前記撮像の各々が行われている撮像期間において発光装置から補助光を発光させる連続撮像制御を行うステップであり、
    前記複数回の前記撮像期間は非重複であり、
    前記撮像期間にて開始される前記補助光の発光期間の終了タイミングは、当該撮像期間の終了タイミングよりも後ろであり、
    時系列で隣り合う2つの前記撮像期間のうちの先に行われる前記撮像期間を第一の撮像期間とし、前記2つの前記撮像期間のうちの後に行われる前記撮像期間を第二の撮像期間とし、
    前記撮像条件制御ステップは、前記第一の撮像期間において開始される前記発光期間のうちの前記第二の撮像期間と重複する重複期間において発光される前記補助光の発光量に基づいて、前記第二の撮像期間にて開始される前記発光期間の前記補助光の発光量、又は前記第二の撮像期間における撮像感度を制御するステップである撮像制御プログラム。
JP2019540773A 2017-09-08 2018-06-15 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム Active JP6872028B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017173371 2017-09-08
JP2017173371 2017-09-08
PCT/JP2018/022890 WO2019049458A1 (ja) 2017-09-08 2018-06-15 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2019049458A1 true JPWO2019049458A1 (ja) 2020-10-08
JP6872028B2 JP6872028B2 (ja) 2021-05-19

Family

ID=65633654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540773A Active JP6872028B2 (ja) 2017-09-08 2018-06-15 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

Country Status (4)

Country Link
US (1) US10798308B2 (ja)
JP (1) JP6872028B2 (ja)
CN (1) CN111066317B (ja)
WO (1) WO2019049458A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956551B2 (en) * 2022-05-31 2024-04-09 Microsoft Technology Licensing, Llc Systems and methods for camera exposure controlled strobing lights

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134711A (ja) * 2003-10-31 2005-05-26 Casio Comput Co Ltd 電子カメラにおけるストロボ発光装置
JP2010134045A (ja) * 2008-12-02 2010-06-17 Nikon Corp スピードライト発光制御装置、カメラ、撮影システム及びスピードライト発光制御用のプログラム
JP2016058995A (ja) * 2014-09-12 2016-04-21 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7605852B2 (en) * 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
EP2878255B1 (en) * 2012-07-24 2018-10-31 Olympus Corporation Control device and imaging system
US9560284B2 (en) * 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
JP2014165621A (ja) * 2013-02-25 2014-09-08 Jvc Kenwood Corp 監視装置及び監視装置の制御方法
WO2016031359A1 (ja) * 2014-08-29 2016-03-03 ソニー株式会社 制御装置、制御方法、及びプログラム
CN105934942B (zh) * 2014-09-05 2019-09-24 奥林巴斯株式会社 摄像装置和处理装置
US10313600B2 (en) * 2015-10-13 2019-06-04 Canon Kabushiki Kaisha Imaging device capable of simultaneously capturing of a motion image and a static image and imaging method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134711A (ja) * 2003-10-31 2005-05-26 Casio Comput Co Ltd 電子カメラにおけるストロボ発光装置
JP2010134045A (ja) * 2008-12-02 2010-06-17 Nikon Corp スピードライト発光制御装置、カメラ、撮影システム及びスピードライト発光制御用のプログラム
JP2016058995A (ja) * 2014-09-12 2016-04-21 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Also Published As

Publication number Publication date
US20200204719A1 (en) 2020-06-25
US10798308B2 (en) 2020-10-06
WO2019049458A1 (ja) 2019-03-14
CN111066317B (zh) 2021-07-27
JP6872028B2 (ja) 2021-05-19
CN111066317A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
JP2019054536A (ja) 電子機器
JP2011097141A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US10609265B2 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
JP7410675B2 (ja) 撮像装置及びその制御方法
JP6872028B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
JP2017112409A (ja) 撮像装置および方法
US10999521B2 (en) Imaging device and control method therefor
US9900531B2 (en) Photographing apparatus and method for the light leakage correction
KR20130005883A (ko) 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11212448B2 (en) Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus
JP2009100252A (ja) 撮像装置
JP2015171139A (ja) 固体撮像装置及び適正露出の推定方法
JP2013118474A (ja) 撮像装置及び撮像装置の制御方法
US10212357B2 (en) Imaging apparatus and control method to realize accurate exposure
KR101153388B1 (ko) 카메라 모듈 및 그의 노출 제어 방법
JP7266102B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP6720721B2 (ja) 画像データ取得システム
WO2023037901A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20220078321A1 (en) Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium
JP2011071796A (ja) 撮像装置およびその画質調整方法
JP2010062975A (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP6028365B2 (ja) 撮像装置及びプログラム
WO2023037787A1 (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210416

R150 Certificate of patent or registration of utility model

Ref document number: 6872028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250