JP7271188B2 - 制御装置、撮像装置、制御方法、および、プログラム - Google Patents

制御装置、撮像装置、制御方法、および、プログラム Download PDF

Info

Publication number
JP7271188B2
JP7271188B2 JP2019002255A JP2019002255A JP7271188B2 JP 7271188 B2 JP7271188 B2 JP 7271188B2 JP 2019002255 A JP2019002255 A JP 2019002255A JP 2019002255 A JP2019002255 A JP 2019002255A JP 7271188 B2 JP7271188 B2 JP 7271188B2
Authority
JP
Japan
Prior art keywords
light source
point light
focus
region
source region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019002255A
Other languages
English (en)
Other versions
JP2020112635A (ja
Inventor
広明 栗栖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019002255A priority Critical patent/JP7271188B2/ja
Priority to US16/715,246 priority patent/US11277554B2/en
Publication of JP2020112635A publication Critical patent/JP2020112635A/ja
Application granted granted Critical
Publication of JP7271188B2 publication Critical patent/JP7271188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、オートフォーカス制御を行う撮像装置に関する。
従来、コントラスト評価値を用いてオートフォーカス制御(コントラスト方式AF制御)を行う撮像装置が知られている。コントラスト方式AF制御では、夜景や点光源などの低輝度環境における明るい被写体に対してコントラスト評価値を取得すると、ピントが合うフォーカス位置とは異なるフォーカス位置にもコントラスト評価値の極大値が検出される。その結果、ピントが合う位置とは異なる位置で合焦する偽合焦と呼ばれる状態が生じ得る。
特許文献1には、AF枠ごとに点光源領域を検出し、点光源領域を検出した場合には輝度レベルが最も高いAF枠の明るさが適正になるように露出設定を変更する撮像装置が開示されている。
特開2007-65048号公報
しかしながら、特許文献1に開示された撮像装置では、点光源領域とは異なる位置にユーザがピントを合わせたい主被写体が存在する場合、主被写体の信号レベルが低くなりピント精度が低下する。
そこで本発明は、点光源領域が存在する場合でも主被写体に高精度にピントを合わせることが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することを目的とする。
本発明の一側面としての制御装置は、画像において点光源領域が存在するか否かを判定する判定手段と、フォーカスレンズを移動しながら前記画像から順次取得された評価値に基づいてフォーカス制御を行うフォーカス制御手段とを有し、前記判定手段は、前記画像の第一の領域および前記第一の領域よりも外側の第二の領域のそれぞれにおいて前記点光源領域が存在するか否かを判定し、前記フォーカス制御手段は、前記点光源領域が前記第一の領域に存在するか、または前記点光源領域が前記第二の領域にのみ存在するかに応じて、前記フォーカス制御の方式を変更し、前記点光源領域が前記第一の領域に存在する場合、被写体の輝度によらず高域フィルタ処理を行い、前記点光源領域が前記第二の領域にのみ存在する場合、前記被写体の輝度に応じて前記高域フィルタ処理、または、低域フィルタ処理を行う
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記制御装置とを有する。
本発明の他の側面としての制御方法は、画像において点光源領域が存在するか否かを判定する判定ステップと、フォーカスレンズを移動しながら前記画像から順次取得された評価値に基づいてフォーカス制御を行うフォーカス制御ステップとを有し、前記判定ステップにおいて、前記画像の第一の領域および前記第一の領域よりも外側の第二の領域のそれぞれにおいて前記点光源領域が存在するか否かを判定し、前記フォーカス制御ステップにおいて、前記点光源領域が前記第一の領域に存在するか、または前記点光源領域が前記第二の領域にのみ存在するかに応じて、フォーカス制御の方式を変更し、前記点光源領域が前記第一の領域に存在する場合、被写体の輝度によらず高域フィルタ処理を行い、前記点光源領域が前記第二の領域にのみ存在する場合、前記被写体の輝度に応じて前記高域フィルタ処理、または、低域フィルタ処理を行う
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、点光源領域が存在する場合でも主被写体に高精度にピントを合わせることが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
各実施例における撮像装置のブロック図である。 各実施例における撮像動作を示すフローチャートである。 各実施例における点光源による偽合焦の説明図である。 各実施例における点光源判定処理を示すフローチャートである。 実施例1におけるAF枠の設定および点光源判定処理の説明図である。 各実施例におけるAF動作を示すフローチャートである。 各実施例における枠内の被写体の出入り判定の説明図である。 実施例2におけるAF枠の設定の説明図である。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、図1を参照して、本発明の実施例1における撮像装置101の構成について説明する。図1は、撮像装置101のブロック図である。撮像装置101は、レンズユニット(撮像光学系)111を有する。なお本実施例において、撮像装置101はレンズユニット111と一体的に構成されているが、これに限定されるものではない。本発明は、撮像装置(カメラ本体)と、カメラ本体に着脱可能なレンズユニット(交換レンズ)とを備えて構成された撮像システムにも適用可能である。
レンズユニット111は、固定レンズ112、絞り113、および、フォーカスレンズ114を備えて構成される。レンズ制御部117は、絞り駆動部115を用いて絞り113を駆動することにより、絞り113の開口径を調整して撮影時の光量調節を行う。またレンズ制御部117は、フォーカス駆動部116を用いてレンズユニット111のフォーカスレンズ114を駆動する駆動量を決定する。そしてレンズ制御部117は、フォーカス駆動部116を用いてフォーカスレンズ114を光軸OAに沿った方向(光軸方向)に駆動することにより、焦点を調節する(フォーカス制御を行う)。フォーカス駆動部116によるフォーカスレンズ114の移動制御により、自動焦点調節制御(AF制御)が実現される。フォーカスレンズ114は、焦点調節用レンズであり、図1には単レンズで簡略的に示されているが、通常、複数のレンズで構成される。絞り駆動部115およびフォーカス駆動部116は、レンズ制御部117により制御される。
レンズユニット111を介して入射した光束は撮像素子121の受光面上に結像し、撮像素子121により電気信号に変換される。撮像素子121は、レンズユニット111を介して形成された被写体像(光学像)を光電変換する光電変換素子であり、CCDセンサやCMOSセンサにより構成される。光電変換素子に蓄積された信号電荷は、タイミングジェネレータ122が出力する駆動パルスに基づいて、信号電荷に応じた電圧信号として撮像素子121から順次読み出される。
CDS/AGC/ADコンバータ123は、撮像素子121から読み出された撮像信号および焦点検出用信号に対し、リセットノイズを除去するための相関二重サンプリング、センサゲインの調節、および、信号のデジタル化を行う。CDS/AGC/ADコンバータ123は、撮像信号を撮像信号処理部124に、焦点検出用信号を焦点検出用信号処理部125にそれぞれ出力する。焦点検出用信号とは、被写体のコントラストを示すコントラスト評価値や、枠内の所定値以上の出力画素数を示す高輝度画素数である。焦点検出用信号処理部125は、撮像画面内で焦点検出を行う焦点検出領域の設定や配置を行う。本実施例では、焦点検出領域として横7枠、縦5枠の合計35枠を設定しているが、枠数の数や配置はこれに限定されるものではない。
撮像信号処理部124は、CDS/AGC/ADコンバータ123から出力された撮像信号を、バス131を介してSDRAM136に格納する。SDRAM136に格納された画像信号は、バス131を介して表示制御部132により読み出され、表示部133に表示される。また、撮像信号の記録を行う動作モードにおいて、SDRAM136に格納された画像信号は、記録媒体制御部134により記録媒体135に記録される。
ROM137は、カメラ制御部(制御装置)141が実行する制御プログラムおよび制御に必要な各種データ等を格納している。フラッシュROM138は、ユーザ設定情報等の撮像装置101の動作に関する各種設定情報等を格納している。
139はAFやAE等の撮影スタンバイ動作(撮影準備)を行うためのスイッチ(SW1)、140はスイッチ(SW1)の操作後、撮影を行うためのスイッチ(SW2)である。AEとは自動露光制御である。カメラ制御部141は、一時的にSDRAM136に蓄積された画像データの画素信号の大きさに基づき、絞り113、撮像素子121の蓄積時間、CDS/AGC/ADコンバータ123のゲインの設定値、およびタイミングジェネレータ122の設定値を決定する。またカメラ制御部141は、合焦位置を検出するためのフォーカス駆動(スキャン動作)や合焦位置までのフォーカス駆動のためにフォーカスレンズ114の駆動量(フォーカス駆動量)をレンズ制御部117に伝達する。そしてレンズ制御部117は、フォーカス駆動量をフォーカス駆動部116に伝えることで自動焦点調節を実現することができる。
本実施例において、カメラ制御部141は、判定手段141aおよびフォーカス制御手段141bを有する。判定手段141aは、画像(画像信号)において点光源(点光源領域)が存在するか否かを判定する。フォーカス制御手段141bは、フォーカスレンズ114を移動しながら画像から順次取得された評価値(コントラスト評価値)に基づいてフォーカス制御を行う。またフォーカス制御手段141bは、点光源領域の位置に基づいてフォーカス制御の方式を変更する。
次に、図2を参照して、本実施例における撮像装置101の撮像動作について説明する。図2は、撮像動作を示すフローチャートである。図2の各ステップは、主に、カメラ制御部141の指令に従って実行される。
まずステップS201において、カメラ制御部141は、スイッチ(SW1)139が押されているか否かを判定する。スイッチ(SW1)139が押されていない場合、ステップS201を繰り返す。一方、スイッチ(SW1)139が押されている場合、ステップS202に進む。ステップS202において、カメラ制御部141は、AF用のAE(AF前AE)を行う。
続いてステップS203において、カメラ制御部141は点光源判定を行う。なお、点光源判定の詳細は後述する。続いてステップS204において、カメラ制御部141はAF動作を行う。なお、AF動作の詳細は後述する。続いてステップS205において、カメラ制御部141は、スイッチ(SW2)140が押されているか否かを判定する。スイッチ(SW2)が押されていない場合、ステップS207に進む。ステップS207において、カメラ制御部141は、スイッチ(SW1)139が押されているか否かを判定する。スイッチ(SW1)139が押されていない場合、ステップS201に戻る。一方、スイッチ(SW1)139が押されている場合、ステップS205に戻る。
一方、ステップS205にてスイッチ(SW2)140が押されている場合、ステップS206に進む。ステップS206において、カメラ制御部141は、撮影画像を取得するための本露光用AEを行う。続いてステップS208において、カメラ制御部141は撮影処理を行い、本フローを終了する。
次に、図3を参照して、点光源(点光源被写体、点光源領域)に対して偽合焦する原因について説明する。図3は、点光源による偽合焦の説明図である。点光源判定処理(図2のステップS203)は、AF枠(焦点検出領域)内に点光源(点光源領域)が存在するか否かを判定する処理である。カメラ制御部141は、点光源が存在すると判定した場合、AFの方式を点光源AFに切り替えることにより、点光源が存在するシーンでも高精度にピントを合わせることができる。点光源AFとは、合焦位置を探すスキャン動作の際のフォーカス駆動範囲を所定の範囲(例えば無限側)に限定することである。
図3(a)に示される撮影シーンにおいて、細線で示される301は7×5枠のAF枠、太線で示される302は点光源が存在するAF枠である。この撮影シーンにおいてスキャン動作を行った場合、右上のAF枠303のコントラスト評価値の変化は図3(b)に示されるようになる。図3(b)において、横軸はフォーカス位置(数値が大きい(右側)ほど至近方向に進み、数値が小さい(左側)ほど無限方向に進む)、縦軸は焦点検出用信号処理部125により取得されるコントラスト評価値である。中心線304はこの撮影シーンにおけるベストピント位置(合焦位置)である。しかし、点光源が至近にぼけるとコントラスト評価値が大きくなる傾向があるため、中心線305のようなコントラスト評価値の偽山が出現する。AF動作では基本的に至近側の被写体を優先させるため、点光源に対して中心線305のピーク位置にピントを合わせて偽合焦する。そこで本実施例では、フォーカス駆動範囲(フォーカスレンズ114の可動範囲)を所定の範囲(第一の可動範囲)306に制限してスキャン動作を実施することにより、中心線305にピントが合うことを回避する。
しかし、図3(c)に示されるような撮影シーンでは、ユーザがピントを合わせたい被写体にピントを合わせることができない。図3(c)の撮影シーンにおいて、左上のAF枠307、308に点光源が存在し、中央近傍に主被写体309が存在している。図3(d)は、図3(c)の撮影シーンにおける中央のAF枠310のコントラスト評価値の変化を示す。図3(d)において、横軸はフォーカス位置、縦軸はコントラスト評価値をそれぞれ示す。図3(c)の撮影シーンでは、図3(a)と同様に点光源が存在するため、フォーカス駆動範囲を所定の範囲(第一の可動範囲)311に狭めている(制限している)。しかし、所定の範囲311には主被写体309のピント位置(合焦位置)312が含まれない。このため、ピントが合わずに非合焦やボケ合焦となる。
そこで本実施例において、カメラ制御部141は、点光源が存在するAF枠の位置に応じてスキャン動作の方法(AF制御の方式)を変更する。すなわちカメラ制御部141は、図3(e)に示されるように7×5枠のAF枠301のうち中央の5×3枠に第一の領域313を設定する。そしてカメラ制御部141は、第一の領域313に点光源が存在する場合、スキャン動作のフォーカス駆動範囲を所定の範囲に制限してピントを合わせる(点光源AF)。一方、カメラ制御部141は、第一の領域の外側(AF枠301のうち第一の領域313を除く領域、すなわち第二の領域)にのみ点光源が存在する場合、点光源が存在するAF枠の結果を使用せずにピントを合わせる(点光源除外AF)。これにより、点光源が存在するAF枠による偽合焦を防ぐことができる。この処理により、周辺のAF枠の外乱によって中央近傍の主被写体にピントが合わないという課題を解決することが可能となる。
次に、図4および図5を参照して、点光源判定処理(ステップS203)について説明する。図4は、点光源判定処理を示すフローチャートである。図4の各ステップは、主に、カメラ制御部141により実行される。図5は、AF枠の設定および点光源判定処理の説明図である。
まずステップS401において、カメラ制御部141は、Bv値が所定の閾値BvTh以上であるか否かを判定する。Bv値は、被写体の輝度を示す値(輝度値)である。カメラ制御部141は、撮像素子121により取得された信号量に基づいてBv値を算出する。基本的に点光源に対してピントを適切に合わせることができない撮影シーンは、暗い環境に明るい被写体が存在するシーンであることが多い。このため、ステップS401にてBv値が所定の閾値BvThよりも小さい場合、ステップS402に進む。一方、ステップS401にてBv値が所定の閾値BvTh以上である場合、仮に点光源が存在しても偽合焦する可能性が低いため、カメラ制御部141は点光源判定処理を行うことなくステップS403に進む。ステップS403において、カメラ制御部141は、点光源AF_FLAGをFALSEにして本フローを終了する。
ステップS402において、カメラ制御部141は、各枠(AF枠)に対して高輝度画素数を取得する。ここで、枠[i、j]は、図5(a)に示されるように左上の枠501を基準として垂直方向にi番目、水平方向にj番目の枠を意味する。また、高輝度画素数は、所定以上の信号出力(輝度値が所定の輝度値以上)の画素数である。図5(b)は、点光源(点光源領域)502がAF枠503内に存在する撮影シーンを示している。図5(c)は、図5(b)の撮影シーンにおけるAF枠503の信号出力値と画素数との関係を示す。図5(c)において、横軸は信号出力値、縦軸は画素数をそれぞれ示す。AF枠503のうち点光源502の領域は明るいが、AF枠503のうち点光源502以外の領域は暗い。このため、図5(c)に示されるように信号出力値は二極化している。
続いて、図4のステップS404において、カメラ制御部141は、高輝度画素数(信号出力閾値504を超える画素数505の合計)が所定の閾値HCThを超えるか否かを判定する。ステップS404にて高輝度画素数が所定の閾値HCThよりも大きい場合、カメラ制御部141は枠[i、j]に点光源(点光源領域)が存在すると判定し、ステップS405に進む。ステップS405において、カメラ制御部141は、ValidFrame[i、j]をFALSEにする。ValidFrameとは、AF枠として有効な枠か否かを示す配列である。一方、ステップS404にて高輝度画素数が所定の閾値HCThよりも小さい場合、カメラ制御部141は枠[i、j]に点光源が存在しないと判定し、ステップS406に進む。ステップS406において、カメラ制御部141は、ValidFrame[i、j]をTRUEにする。
続いてステップS407において、カメラ制御部141は、全ての枠に関して点光源判定が終了したか否かを判定する。まだ点光源判定を行っていない枠が存在する場合、ステップS402に戻り、カメラ制御部141は次の枠に関して点光源判定を行う。一方、全ての枠に関して点光源判定が終了した場合、ステップS408に進む。
ステップS408において、カメラ制御部141は、点光源が検出された(点光源が存在する)枠の数および位置を判定する。すなわちカメラ制御部141は、前述のように第一の領域に点光源が存在するか否かに応じて、点光源AFを行うか否かを判定する。
従来、ValidFrame[i、j]=FALSEを満たす枠が1枠以上存在する場合、ステップS408からステップS409に進み、点光源AF_FLAGをTRUEにして点光源AFを行っていた。一方、本実施例では、ValidFrame[i、j]=FALSEを満たす枠(点光源が存在する枠)が所定の領域(第一の領域)に存在する場合、ステップS408からステップS409に進み、点光源AF_FLAGをTRUEにして点光源AFを行う。なお本実施例において、所定の領域(第一の領域)を複数のAF枠のうち中央部の5×3枠としているが、これに限定されるものではない。画角に対する比率に応じて所定の領域を設定し、または、被写体の位置に応じて所定の領域を設定してもよい。一方、ステップS408にて点光源が存在する枠が所定の領域に存在しない場合、ステップS403に進む。ステップS403において、カメラ制御部141は、点光源AF_FLAGをFALSEにして本フローを終了する。
次に、図6を参照して、AF動作(ステップS204)について説明する。図6は、AF動作を示すフローチャートである。図6の各ステップは、主に、カメラ制御部141により実行される。
まずステップS601において、カメラ制御部141は、スキャン動作を行うためにスキャン開始位置にフォーカスレンズ114を移動させる。本実施例では、無限側のレンズ端をスキャン開始位置としているが、これに限定されるものではなく、直前のピント位置や至近側のレンズ端を開始位置としてもよい。
続いてステップS602において、カメラ制御部141は、点光源_FLAGを確認する。点光源_FLAGは、図4のフローチャートで示される点光源判定処理(ステップS203)により決定されている。点光源_FLAGがTRUEの場合、点光源AFを実施するためにステップS603に進む。ステップS603において、カメラ制御部141は、焦点検出用信号処理部125において高域フィルタ(第一の帯域の周波数成分を抽出するフィルタ)を設定する。高域フィルタを設定することにより、空間周波数が高域である成分を取得することができる。このとき、ノイズの影響を受けやすくなるが、点光源に対するピント精度は向上する。
続いてステップS604において、カメラ制御部141は、領域限定スキャンを行う。領域限定スキャンは、前述のように、至近側までコントラスト評価値を取得することなく、スキャン範囲を無限側の所定の範囲に制限して行われるスキャンである。本実施例において、所定の領域(制限領域)は、被写体距離に換算して予めROM137に記憶しておく。ただし、所定の領域は、被写体距離に基づく領域に限定されるものではなく、他の方法で決定してもよい。
続いてステップS605において、カメラ制御部141は、コントラスト評価値のピーク検出を行う。このときカメラ制御部141は、ValidFrameの結果によらず、全てのAF枠に対してピーク検出をする。ピーク検出は、コントラスト評価値の極大値近傍の評価値を使用して、最もコントラストが大きくなるフォーカス位置を算出する処理である。またカメラ制御部141は、ステップS605において、算出したコントラスト評価値のピークのレベルや山形状の傾きに基づいて、ピークの信頼性を判定する。
続いてステップS606において、カメラ制御部141は、点光源が枠の内外を出入りしているか否かを判定する。図7を参照して、枠内の被写体(点光源)の出入り判定について説明する。図7は、枠内の被写体(点光源)の出入り判定の説明図である。
図7(a)は、点光源(点光源領域)701に対してスキャン動作を実施している際に至近側にボケた場合の画像である。図7(a)において、702は中央のAF枠、703はAF枠702に隣接するAF枠をそれぞれ示している。図7(b)は、AF枠703においてスキャン動作を行っている間のコントラスト評価値の変化すグラフである。図7(b)において、横軸はフォーカス位置、縦軸はコントラスト評価値をそれぞれ示す。図7(c)は、AF枠703内の最大輝度値の変化を示すグラフである。図7(c)において、横軸はフォーカス位置、縦軸はAF枠内の最高輝度値をそれぞれ示す。
点光源701は、ピントが合っている場合に比べて、ボケると輝度が明るい面積が大きくなる傾向がある。このため、図7(a)に示されるように、AF枠702に存在する点光源701がボケると、隣接するAF枠703に入り込む。このときコントラスト評価値は、図7(b)中の破線704の位置でピークとなり、コントラストが大きくなったと誤判定するとボケたまま合焦してしまう。そこで本実施例において、カメラ制御部141は、図7(c)に示されるようにAF枠内の最高輝度値705を取得する。そしてカメラ制御部141は、最高輝度値の最大値と最小値との差分が所定の値以上の場合、該当のAF枠の信頼性を低くする処理を行う。この処理により、枠内に点光源701が入っても、偽合焦を防ぐことができる。
続いて、図6のステップS607において、カメラ制御部141は、ステップS605、S606にて判定された信頼性がOKとなったAF枠(信頼性が所定の信頼性よりも高いAF枠)の中から最も至近側にピーク位置を算出したAF枠を選択する。そしてカメラ制御部141は、選択したAF枠に関するピーク位置をフォーカスレンズ114の目標位置とする。続いてステップS608において、カメラ制御部141は、レンズ制御部117およびフォーカス駆動部116を介して、フォーカスレンズ114の目標位置にフォーカスレンズ114を駆動させ、AF動作を終了する。
次に、点光源AFを行わない場合の処理について説明する。ステップS602にて点光源_FLAGがFALSEの場合、ステップS609に進む。ステップS609において、カメラ制御部141は、Bv値(輝度)に応じた空間周波数のフィルタを設定する。すなわちカメラ制御部141は、Bv値に応じて、明るい場合にはAFの精度を高めるために高域フィルタ(第一の帯域を抽出するフィルタ)を設定し、暗い場合にはノイズの影響を軽減するために低域フィルタ(第二の帯域を抽出するフィルタ)を設定する。
続いてステップS610において、カメラ制御部141は、現在のフォーカスレンズ114がゾーンの境界にあるか否かを判定する。ここでゾーンとは、スキャン動作の処理時間を短縮する仕組みで、フォーカスレンズ114の可動範囲を複数に分割した領域である。フォーカスレンズ114がゾーンの境界にない場合、ステップS612に進む。一方、フォーカスレンズ114がゾーンの境界にある場合、ステップS611に進む。ステップS611において、カメラ制御部141はゾーン更新判定を行う。ゾーン更新判定では、カメラ制御部141は、既に信頼性OKのコントラスト評価値のピークを検出しているか否か、および、コントラスト評価値が次のゾーンに向けてのぼり止まっているか否かを判定する。ステップS613において、ゾーンの境界において、まだ信頼性OKのピークを見つけていない場合や、コントラスト評価値がのぼり止まっている場合、カメラ制御部141はゾーン更新を行うと判定し、ステップS612に進む。一方、前述の条件を満たさない場合、ステップS613にてカメラ制御部141はゾーン更新をしないと判定し、ステップS614に進む。
ステップS614において、カメラ制御部141は、ValidFrameがTRUEを満たすAF枠に対してピーク検出を行う。本実施例では、所定の領域(中央5×3枠)以外のAF枠のみにおいて点光源を検出した場合、そのAF枠はValidFrameがFALSEとなるため、そのAF枠ではピーク検出を行わない。その後、ステップS607に進み、カメラ制御部141は最終的なフォーカス位置を決定する。
ステップS610にてフォーカスレンズ114がゾーンの境界にない、またはステップS612にてゾーン更新をすると判定された場合、ステップS612に進む。ステップS612において、カメラ制御部141は、現在のフォーカスレンズ114の位置(フォーカス位置)がスキャン終了位置か否かを判定する。本実施例において、スキャン終了位置は至近側のレンズ端である。現在のフォーカス位置がスキャン終了位置である場合、ステップS607に進む。一方、まだスキャン終了位置まで到達していない場合、ステップS615に進む。ステップS615において、カメラ制御部141はフォーカスレンズ114を所定量駆動し、ステップS610に戻る。
本実施例によれば、点光源による偽合焦を回避しつつ、ピントを合わせたい被写体に高精度にピントを合わせることができる 。
次に、図8を参照して、本発明の実施例2について説明する。本実施例は、AF枠の設定方法の点で実施例1と異なる。なお、本実施例における撮像装置は、実施例1にて図1を参照して説明した構成と同様であるため、その説明を省略する。また、AF動作の処理フローについても、図2、図4、および、図6を参照して説明した実施例1と同様であるため、その説明を省略する。
本実施例では、ユーザがAF枠を1点で設定した場合のAF枠設定モードにおける点光源対策について説明する。図8は、低輝度の被写体に対してAF枠を1点で設定した場合のAF枠を示す図である。801は実際に画面に表示されるAF枠である。AF枠801の周辺の破線で示されるAF枠802は、AF枠801の補助枠である。低輝度の際には、信号レベルが下がりノイズが増えてピント精度が低下する。そこで本実施例では、補助枠を使用することでAFの精度を高める。具体的には、信頼性の高い補助枠(AF枠802)の結果をAF枠801の結果と合成してAF結果を出力することにより、AFの精度を高めることができる。
以下、設定するAF枠が異なることによる本実施例と実施例1との処理の差異について説明する。具体的には、その差異は二点ある。一点目は、点光源判定をする際に設定する第一の領域である。二点目は、被写体の枠の出入り判定の方法である。
まず、点光源判定をする際の第一の領域に関して説明する。図4のステップS402において、枠[i、j]は図8に示されるように左上の枠を原点として割り当てる。本実施例において、カメラ制御部141は、図4のステップS408の判定(点光源検出枠数判定)を行う第一の領域を、中央のAF枠801のみに設定する。すなわちカメラ制御部141は、AF枠801で点光源を検出した場合、ステップS409に進む。ステップS409において、カメラ制御部141は、点光源AF_FLAGをTRUEにする。一方、カメラ制御部141は、AF枠801で点光源が検出されない場合、光源AF_FLAGをFALSEにする。
次に、枠内の被写体の出入り判定について説明する。本実施例では、図6のステップS606における枠内の被写体の出入り判定の際に、中央のAF枠801を判定の対象外とする。その理由は、以下の通りである。本実施例では、前述のように中央のAF枠801で点光源が検出された場合にのみステップS602でYesとなるため、ステップS606に進む条件は、予め中央のAF枠801に点光源が存在するシーンである。最初に点光源があるAF枠では新たに点光源が入ってきてもコントラスト評価値は大きく変動せず、偽合焦する確率が低いと考えられる。このため本実施例では、中央のAF枠801を枠の出入り判定の対象から外す。
本実施例によれば、1点のAF枠設定時において点光源による偽合焦を回避しつつ、ピントを合わせたい被写体に高精度にピントを合わせることができる。
このように各実施例において、制御装置(カメラ制御部141)は、判定手段141aおよびフォーカス制御手段141bを有する。判定手段は、画像(画像信号)において点光源領域が存在するか否かを判定する。フォーカス制御手段は、フォーカスレンズ114を移動しながら画像から順次取得された評価値(コントラスト評価値)に基づいてフォーカス制御を行う。またフォーカス制御手段は、点光源領域の位置に基づいてフォーカス制御の方式を変更する。
好ましくは、判定手段は、画像の第一の領域(313)および第一の領域よりも外側の第二の領域のそれぞれにおいて点光源領域が存在するか否かを判定する。フォーカス制御手段は、点光源領域が第一の領域に存在するか、または点光源領域が第二の領域にのみ存在するかに応じて、フォーカス制御の方式を変更する。より好ましくは、フォーカス制御手段は、点光源領域が第一の領域に存在する場合、評価値を順次取得する際のフォーカスレンズの可動範囲を第一の可動範囲(所定の範囲)に設定(制限)する。一方、フォーカス制御手段は、点光源領域が第二の領域にのみ存在する場合、フォーカスレンズの可動範囲を第一の可動範囲よりも広い第二の可動範囲に設定する(可動範囲を制限しない)。より好ましくは、フォーカス制御手段は、焦点距離に基づいて第一の可動範囲を設定する。また好ましくは、第一の可動範囲は、第二の可動範囲のうち無限側の所定の範囲(所定の範囲306、311)である。
好ましくは、第一の領域は、全ての焦点検出領域を含む全体領域(AF枠301)よりも内側にある。また好ましくは、フォーカス制御手段は、主被写体が存在する焦点検出領域を第一の領域として設定する。また好ましくは、フォーカス制御手段は、点光源領域が第一の領域に存在する場合、第一の帯域の周波数成分を抽出するフィルタを用いてフィルタ処理を行う。一方、フォーカス制御手段は、点光源領域が第二の領域にのみ存在する場合、被写体の輝度に応じて、第一の帯域または第二の帯域の周波数成分を抽出するフィルタを選択してフィルタ処理を行う。
好ましくは、フォーカス制御手段は、フォーカスレンズの焦点状態(合焦状態)を検出するための複数の焦点検出領域を設定し、複数の焦点検出領域の中から評価値を取得する主枠を選択する。そしてフォーカス制御手段は、点光源領域が第二の領域にのみ存在する場合、複数の焦点検出領域のうち点光源領域の位置に対応する枠を主枠の候補から除外する。また好ましくは、フォーカス制御手段は、評価値に基づいて決定された合焦位置の信頼性を判定する。そしてフォーカス制御手段は、点光源領域が第一の領域に存在する場合、複数の焦点検出領域のうち信頼性が高いと判定された焦点検出領域の中からフォーカスレンズの目標位置を決定する。一方、フォーカス制御手段は、点光源領域が第二の領域にのみ存在する場合、点光源領域が存在せず、かつ信頼性が高いと判定された焦点検出領域の中から、目標位置を決定する。また好ましくは、フォーカス制御手段は、点光源領域が第一の領域に存在する場合であって、焦点検出領域における最高輝度値の最大値と最小値との差分が所定の値以上の場合、焦点検出領域の信頼性を低くする。
好ましくは、判定手段は、画像の所定の領域(焦点検出領域)に含まれる総画素数に対する、所定の輝度値よりも高い輝度値(所定のレベル以上の信号)を有する画素数の割合に基づいて、点光源領域が存在するか否かを判定する。より好ましくは、判定手段は、画素数の割合が所定の割合以上である場合、点光源領域が存在すると判定する。より好ましくは、判定手段は、被写体の輝度に基づいて所定の割合を変更する。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施例によれば、点光源が存在する場合でも主被写体に高精度にピントを合わせることが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
141 カメラ制御部(制御装置)
141a 判定手段
141b フォーカス制御手段

Claims (16)

  1. 画像において点光源領域が存在するか否かを判定する判定手段と、
    フォーカスレンズを移動しながら前記画像から順次取得された評価値に基づいてフォーカス制御を行うフォーカス制御手段と、を有し、
    前記判定手段は、前記画像の第一の領域および前記第一の領域よりも外側の第二の領域のそれぞれにおいて前記点光源領域が存在するか否かを判定し、
    前記フォーカス制御手段は、
    前記点光源領域が前記第一の領域に存在するか、または前記点光源領域が前記第二の領域にのみ存在するかに応じて、前記フォーカス制御の方式を変更し、
    前記点光源領域が前記第一の領域に存在する場合、被写体の輝度によらず高域フィルタ処理を行い、
    前記点光源領域が前記第二の領域にのみ存在する場合、前記被写体の輝度に応じて前記高域フィルタ処理、または、低域フィルタ処理を行うことを特徴とする制御装置。
  2. 前記フォーカス制御手段は、
    前記点光源領域が前記第一の領域に存在する場合、前記評価値を順次取得する際の前記フォーカスレンズの可動範囲を第一の可動範囲に設定し、
    前記点光源領域が前記第二の領域にのみ存在する場合、前記フォーカスレンズの前記可動範囲を前記第一の可動範囲よりも広い第二の可動範囲に設定することを特徴とする請求項1に記載の制御装置。
  3. 前記フォーカス制御手段は、焦点距離に基づいて前記第一の可動範囲を設定することを特徴とする請求項2に記載の制御装置。
  4. 前記第一の可動範囲は、前記第二の可動範囲のうち無限側の所定の範囲であることを特徴とする請求項2または3に記載の制御装置。
  5. 前記第一の領域は、全ての焦点検出領域を含む全体領域よりも内側にあることを特徴とする請求項1乃至4のいずれか1項に記載の制御装置。
  6. 前記フォーカス制御手段は、主被写体が存在する焦点検出領域を前記第一の領域として設定することを特徴とする請求項1乃至5のいずれか1項に記載の制御装置。
  7. 前記フォーカス制御手段は、
    前記点光源領域が前記第一の領域に存在する場合、第一の帯域の周波数成分を抽出するフィルタを用いて前記高域フィルタ処理を行い、
    前記点光源領域が前記第二の領域にのみ存在する場合、前記被写体の輝度に応じて、前記第一の帯域または第二の帯域の周波数成分を抽出するフィルタを選択して前記高域フィルタ処理または前記低域フィルタ処理を行うことを特徴とする請求項1乃至6のいずれか1項に記載の制御装置。
  8. 前記フォーカス制御手段は、
    前記フォーカスレンズの焦点状態を検出するための複数の焦点検出領域を設定し、
    前記複数の焦点検出領域の中から前記評価値を取得する主枠を選択し、
    前記点光源領域が前記第二の領域にのみ存在する場合、前記複数の焦点検出領域のうち前記点光源領域の位置に対応する枠を前記主枠の候補から除外することを特徴とする請求項1乃至7のいずれか1項に記載の制御装置。
  9. 前記フォーカス制御手段は、
    前記評価値に基づいて決定された合焦位置の信頼性を判定し、
    前記点光源領域が前記第一の領域に存在する場合、複数の焦点検出領域のうち前記信頼性が高いと判定された焦点検出領域の中から前記フォーカスレンズの目標位置を決定し、
    前記点光源領域が前記第二の領域にのみ存在する場合、前記点光源領域が存在せず、かつ前記信頼性が高いと判定された焦点検出領域の中から、前記目標位置を決定することを特徴とする請求項1乃至8のいずれか1項に記載の制御装置。
  10. 前記フォーカス制御手段は、前記点光源領域が前記第一の領域に存在する場合であって、前記複数の焦点検出領域のうち最高輝度値の最大値と最小値との差分が所定の値以上となる焦点検出領域が存在する場合、前記焦点検出領域に関して判定された前記信頼性を低くすることを特徴とする請求項9に記載の制御装置。
  11. 前記判定手段は、前記画像の所定の領域に含まれる総画素数に対する、所定の輝度値よりも高い輝度値を有する画素数の割合に基づいて、前記点光源領域が存在するか否かを判定することを特徴とする請求項1乃至10のいずれか1項に記載の制御装置。
  12. 前記判定手段は、前記画素数の前記割合が所定の割合以上である場合、前記点光源領域が存在すると判定することを特徴とする請求項11に記載の制御装置。
  13. 前記判定手段は、被写体の輝度に基づいて前記所定の割合を変更することを特徴とする請求項12に記載の制御装置。
  14. 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
    請求項1乃至13のいずれか1項に記載の制御装置と、を有することを特徴とする撮像装置。
  15. 画像において点光源領域が存在するか否かを判定する判定ステップと、
    フォーカスレンズを移動しながら前記画像から順次取得された評価値に基づいてフォーカス制御を行うフォーカス制御ステップと、を有し、
    前記判定ステップにおいて、前記画像の第一の領域および前記第一の領域よりも外側の第二の領域のそれぞれにおいて前記点光源領域が存在するか否かを判定し、
    前記フォーカス制御ステップにおいて、
    前記点光源領域が前記第一の領域に存在するか、または前記点光源領域が前記第二の領域にのみ存在するかに応じて、前記フォーカス制御の方式を変更し、
    前記点光源領域が前記第一の領域に存在する場合、被写体の輝度によらず高域フィルタ処理を行い、
    前記点光源領域が前記第二の領域にのみ存在する場合、前記被写体の輝度に応じて前記高域フィルタ処理、または、低域フィルタ処理を行うことを特徴とする制御方法。
  16. 請求項15に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
JP2019002255A 2019-01-10 2019-01-10 制御装置、撮像装置、制御方法、および、プログラム Active JP7271188B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019002255A JP7271188B2 (ja) 2019-01-10 2019-01-10 制御装置、撮像装置、制御方法、および、プログラム
US16/715,246 US11277554B2 (en) 2019-01-10 2019-12-16 Control apparatus, imaging apparatus, control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019002255A JP7271188B2 (ja) 2019-01-10 2019-01-10 制御装置、撮像装置、制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2020112635A JP2020112635A (ja) 2020-07-27
JP7271188B2 true JP7271188B2 (ja) 2023-05-11

Family

ID=71516901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019002255A Active JP7271188B2 (ja) 2019-01-10 2019-01-10 制御装置、撮像装置、制御方法、および、プログラム

Country Status (2)

Country Link
US (1) US11277554B2 (ja)
JP (1) JP7271188B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202011524D0 (en) * 2020-07-24 2020-09-09 Mo Sys Engineering Ltd Camera focus control
CN112333903B (zh) * 2020-10-28 2023-04-07 浙江大华技术股份有限公司 灯光场景下的聚焦方法及装置
CN112911153B (zh) * 2021-02-01 2023-03-24 浙江大华技术股份有限公司 一种聚焦处理方法及装置
JP2022188985A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN114422693B (zh) * 2022-01-14 2024-05-03 山东云海国创云计算装备产业创新中心有限公司 一种对焦方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013024886A (ja) 2011-07-14 2013-02-04 Sanyo Electric Co Ltd 撮像装置
JP2015108778A (ja) 2013-12-05 2015-06-11 キヤノン株式会社 撮像装置及びその制御方法
JP2015125196A5 (ja) 2013-12-25 2017-02-09

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4588583B2 (ja) 2005-08-29 2010-12-01 富士フイルム株式会社 撮影装置およびフォーカス制御方法
JP2007108412A (ja) * 2005-10-13 2007-04-26 Casio Comput Co Ltd オートフォーカス装置及びそのプログラム
JP5271165B2 (ja) * 2009-06-15 2013-08-21 富士フイルム株式会社 撮影装置および撮影制御方法
KR101630306B1 (ko) * 2010-02-04 2016-06-14 삼성전자주식회사 자동 초점 조절 장치 및 방법과 상기 방법을 기록한 기록 매체
WO2013038504A1 (ja) * 2011-09-13 2013-03-21 株式会社日立製作所 撮像装置
JP2013130762A (ja) * 2011-12-22 2013-07-04 Sony Corp 撮像装置、その制御方法およびプログラム
JP2013160919A (ja) * 2012-02-06 2013-08-19 Hitachi Ltd 画像信号処理装置及び画像信号処理方法
JP6172428B2 (ja) * 2012-06-15 2017-08-02 株式会社リコー 撮像装置および撮像方法
JP6272015B2 (ja) * 2013-12-25 2018-01-31 キヤノン株式会社 焦点調節装置及び方法及び撮像装置
JP2017173480A (ja) * 2016-03-23 2017-09-28 株式会社 日立産業制御ソリューションズ フォーカス制御装置、撮像装置及びフォーカス制御方法
JP6936930B2 (ja) * 2016-10-28 2021-09-22 Omデジタルソリューションズ株式会社 撮像装置および焦点調節方法
JP2019215489A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 撮像装置および焦点調節方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013024886A (ja) 2011-07-14 2013-02-04 Sanyo Electric Co Ltd 撮像装置
JP2015108778A (ja) 2013-12-05 2015-06-11 キヤノン株式会社 撮像装置及びその制御方法
JP2015125196A5 (ja) 2013-12-25 2017-02-09

Also Published As

Publication number Publication date
US20200228721A1 (en) 2020-07-16
JP2020112635A (ja) 2020-07-27
US11277554B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
JP7271188B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
JP5780756B2 (ja) 焦点調節装置及び方法
JP5618712B2 (ja) 自動焦点調節装置および撮像装置
JP2008170508A (ja) 撮像装置
JP3902492B2 (ja) 撮像装置
JP6548437B2 (ja) 焦点調節装置、その制御方法、および制御プログラム、並びに撮像装置
JP4922768B2 (ja) 撮像装置、焦点自動調節方法
US9769376B2 (en) Imaging device, imaging device body, and lens barrel
JP6838894B2 (ja) 焦点調節装置、その制御方法及びプログラム
JP2016142999A (ja) 撮像装置及びその制御方法
JP7086551B2 (ja) 撮像装置及びその制御方法
US8488048B2 (en) Image pickup apparatus for finding in-focus direction based on focus signal and control method for the image pickup apparatus
JP2021063976A (ja) 焦点検出装置及びその制御方法、プログラム、記憶媒体
US10747089B2 (en) Imaging apparatus and control method of the same
JP2016142924A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN111630427A (zh) 摄像装置、摄像方法及程序
US10911660B2 (en) Control apparatus, imaging apparatus, control method, and storage medium
JP7023673B2 (ja) 焦点調節装置、焦点調節方法、及び撮像装置
JP5159295B2 (ja) 自動焦点調節装置および撮像装置
JP2006243745A (ja) 自動焦点検出装置
JP2015118338A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6191131B2 (ja) 撮像装置
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
JP7254592B2 (ja) 焦点検出装置及びその制御方法
JP6929140B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R151 Written notification of patent or utility model registration

Ref document number: 7271188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151