JP6554658B2 - 撮像装置及びカメラボディ - Google Patents

撮像装置及びカメラボディ Download PDF

Info

Publication number
JP6554658B2
JP6554658B2 JP2015108773A JP2015108773A JP6554658B2 JP 6554658 B2 JP6554658 B2 JP 6554658B2 JP 2015108773 A JP2015108773 A JP 2015108773A JP 2015108773 A JP2015108773 A JP 2015108773A JP 6554658 B2 JP6554658 B2 JP 6554658B2
Authority
JP
Japan
Prior art keywords
focus lens
focus
digital camera
lens
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015108773A
Other languages
English (en)
Other versions
JP2016035556A (ja
Inventor
本庄 謙一
謙一 本庄
順二 高畑
順二 高畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015108773A priority Critical patent/JP6554658B2/ja
Priority to US14/811,108 priority patent/US9736352B2/en
Publication of JP2016035556A publication Critical patent/JP2016035556A/ja
Application granted granted Critical
Publication of JP6554658B2 publication Critical patent/JP6554658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Focusing (AREA)

Description

オートフォーカス機能を搭載した撮像装置に関する。
特許文献1には、デジタルカメラに搭載された加速度センサを用いて使用者の手振れによるデジタルカメラの変位を検知すること、デジタルカメラの変位に応じてフォーカスレンズを移動させることにより、デジタルカメラが被写体に近づいたり遠のいたりしたときに生じる合焦ずれを補正することで光軸方向における手振れを補正することが開示されている。
特開2007−293144号公報
本開示は、使用者が所望の被写体に対してカメラの光軸方向の変位を生じさせた場合においても迅速に合焦状態になるようにオートフォーカス(Auto Focus(以下、AFと称する))を動作させることが可能な撮像装置を提供することを目的とする。
本開示の撮像装置は、本体と、本体内に設けられ、被写体を撮像して画像を生成する撮像部と、光軸方向に移動可能で、画像の合焦状態を調整するフォーカスレンズと、画像の合焦評価値を検出する評価値検出部と、本体の光軸方向の移動方向及び移動量を検出する移動検出部と、フォーカスレンズの移動を制御する制御部と、を備える。制御部は、移動検出部で検出された本体の光軸方向の移動方向及び評価値検出部で検出された合焦評価値に基づいて、フォーカスレンズを移動させる方向を判断する。
本開示によれば、使用者が所望の被写体に対してカメラの光軸方向の変位を生じさせた場合においても短時間で合焦状態になるようにAFを動作させることが可能な撮像装置を提供することができる。
実施の形態1に係るデジタルカメラの電気的構成図 実施の形態1に係るデジタルカメラの背面図 従来のシングルAFの動作説明図 従来のシングルAFの動作フローチャート 実施の形態1に係る光軸方向振れ補正の動作説明図 実施の形態1に係る光軸方向振れ補正の動作フローチャート 実施の形態1に係る光軸方向振れ補正の動作原理図 実施の形態2に係るデジタルカメラの電気的構成図
(実施の形態1)
本実施の形態に係る撮像装置は、使用者の手振れによってカメラが光軸方向に前後して、被写体がカメラに対して近づいたり遠のいたりした状態でも高速に合焦し、かつ合焦精度を確保することを可能にする。まず、本実施の形態の撮像装置をデジタルカメラ100に適用した場合について説明する。
〔1−1.構成〕
実施の形態1に係るデジタルカメラ100の電気的構成および背面の構成を、図1,図2を用いて説明する。
〔1−1−1.デジタルカメラの電気的構成〕
図1にデジタルカメラ100の電気的構成図を示す。
デジタルカメラ100は、光学系110を介して形成された被写体像をCCDイメージセンサ120で撮像する。CCDイメージセンサ120は撮像した被写体像に基づく画像データを生成する。撮像により生成された画像データはAFE(Analog Front End:前処理部)121や画像処理部130において各種処理を施される。画像データはフラッシュメモリ160やメモリカード192に記憶される。記憶された画像データは、使用者による操作部180の操作を受け付けて液晶ディスプレイ(Liquid Crystal Display:LCD)170上に再生表示される。
コントローラ150は、デジタルカメラ100全体の動作を統括制御する。コントローラ150は、プログラム等の情報を格納するROM(Read Only Memory)や、プログラム等の情報を処理するCPU(Central Processing Unit)などにより構成される。ROMは、シングルAF、光軸方向振れ補正等のAF制御に関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムを格納している。本実施の形態においては、光軸方向振れ補正に関する動作について詳細を後述する。なお、ROMはコントローラ150の内部構成である必要はなく、コントローラ150の外部に備わったものでもよい。また、コントローラ150は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。
光学系110は、フォーカスレンズ111やズームレンズ112等により構成される。図示していないが、光学系110は、光学式手振れ補正レンズOIS(Optical Image Stabilizer)を含んでいてもよい。なお、光学系110を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
フォーカスレンズ111は焦点距離の調節に用いられる。フォーカスレンズモータ113は、コントローラ150から通知される制御信号に従ってフォーカスレンズ111を光軸方向に駆動する。フォーカスレンズ111を駆動するための制御信号は、ズームレンズ112の移動に伴う被写体像のフォーカス状態の変化を補償するための制御信号や、後述する光軸方向振れ補正のための制御信号を含む。また、フォーカスレンズモータ113は、コントローラ150からフォーカスレンズ111の位置を固定する旨の制御信号を受けると、該位置にフォーカスレンズ111を固定する。
ズームレンズ112は拡大縮小倍率の調節に用いられる。ズームレンズモータ114は、コントローラ150から通知される制御信号に従ってズームレンズ112を光軸方向に駆動する。ズームレンズ112を駆動するための制御信号は、使用者の操作部180の操作に応じて、コントローラ150が生成する。なお、ズームレンズモータ114は必須の構成ではなく、使用者のマニュアル操作に応じてズームレンズ112が光軸方向に移動する構成としてもよい。
CCDイメージセンサ120は光学系110を通して集光された光を電気信号に変換する。CCDイメージセンサ120の受光面には多数のフォトダイオードが2次元的に配列されている。被写体からの光は光学系110を通過したのちにCCDイメージセンサ120上の受光面に結像される。受光面は、被写体からの光を光電効果により電荷に変換して蓄える。各受光面で蓄えられた電荷は垂直CCDおよび水平CCDによってアンプ(図示せず)に転送され、画像信号が生成される。CCDイメージセンサ120は、一定時間ごとに新しいフレームの画像データを生成する。なお、CCDイメージセンサ120に代えて、例えばCMOSイメージセンサやNMOSイメージセンサなど、他の撮像素子を用いても良い。
AFE121は、CCDイメージセンサ120で生成された画像信号に対して、相関二重サンプリング、ゲイン調整等の処理を実行する。また、アナログ形式の画像データからデジタル形式の画像データへの変換を施す。その後、AFE121は画像データを画像処理部130に出力する。
画像処理部130は、画像データに対して各種処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。また、これらの一部を欠く構成としてもよい。画像処理部130は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。またコントローラ150などとともに1つの半導体チップで構成してもよい。
バッファメモリ140は、画像処理部130やコントローラ150のワークメモリとして機能する記憶手段である。バッファメモリ140はDRAM(Dynamic Random Access Memory)などで実現できる。
フラッシュメモリ160は、画像データ等を記憶するための内部メモリとして機能する。コントローラ150は、画像処理部130で処理される画像データをフラッシュメモリ160あるいはメモリカード192に記憶する。
カードスロット191は、メモリカード192を着脱可能な接続手段である。カードスロット191は、メモリカード192を電気的及び機械的に接続可能である。また、カードスロット191は、メモリカード192を制御する機能を備えてもよい。
メモリカード192は、内部にフラッシュメモリ等の記憶部を備えた外部メモリである。メモリカード192は、画像処理部130で処理される画像データなどのデータを記憶可能である。本実施の形態では、外部メモリの一例としてメモリカード192を示すが、本開示はこれには限らない。例えば、光ディスク等の記憶媒体を外部メモリとしてもよい。
液晶ディスプレイ170は、画像処理部130にて処理された画像データに基づく画像を表示する。液晶ディスプレイ170が表示する画像には、スルー画像や記憶画像がある。スルー画像は、CCDイメージセンサ120により一定時間ごとに生成される新しいフレームの画像を連続して表示する画像である。液晶ディスプレイ170に表示されるスルー画像を参照することにより、使用者は被写体の構図を確認しながら撮影できる。記憶画像は、メモリカード192やフラッシュメモリ160に記憶された画像である。液晶ディスプレイ170は、使用者の操作に応じて、すでに記憶した画像データに基づく画像を表示する。また、液晶ディスプレイ170は、画像の他、デジタルカメラ100の設定条件等を表示可能である。なお、液晶方式、プラズマ方式、有機EL方式に限定されず、画像データを表示するディスプレイであれば本実施の形態に適用可能である。
操作部180は、デジタルカメラ100の外装に備わっているボタン状やスライド状のもの、あるいは液晶ディスプレイ170に触れて操作するタッチパネル式のものを含む。デジタルカメラ100は、使用者による操作部180の操作を受け付けて種々の動作を実行する。
加速度センサ190はデジタルカメラ100の光軸方向の加速度を検知するために用いられる。この加速度センサ190の出力信号(すなわち加速度情報)はコントローラ150に送られる。コントローラ150では、加速度情報を1回積分あるいは2回積分を行い、速度情報あるいは位置情報に変換される。この変換された速度情報あるいは位置情報に基づいて後述するようにフォーカスレンズ111を移動制御することによって、光軸方向の手振れ補正を行う。なお、コントローラ150からは加速度センサ190に各種設定を行う情報を送る場合も考えられる。
〔1−1−2.デジタルカメラの背面および上面の構成〕
デジタルカメラ100の背面および上面の構成を説明する。図2は、デジタルカメラ100の背面図である。
デジタルカメラ100の本体101の背面および上面には、電源スイッチ184、レリーズ釦181、ズームダイヤル182、十字釦185、中央釦183等が備えられる。これらは図1で示した操作部180に対応する。
電源スイッチ184は、デジタルカメラ100の電力供給状態をオン(ON)状態とオフ(OFF)状態とに切り替える。電源スイッチ184がON状態になると、デジタルカメラ100の各構成要素は電力を供給される。
レリーズ釦181は、二段階の押下釦である。以下、レリーズ釦181の一段階目の押下を「半押し」と呼ぶ。また、レリーズ釦181の二段階目の押下を「全押し」と呼ぶ。使用者がレリーズ釦181を半押しすると、コントローラ150は、被写体に合焦させるためにAF制御を実行する。被写体に合焦されると、コントローラ150はフォーカスレンズ111の位置を固定するよう制御する。また、後述するように光軸方向の振れに対してコントローラ150は被写体への合焦状態を維持するためにフォーカスレンズ111を移動制御し続けることもある。また、使用者がレリーズ釦181を全押しすると、コントローラ150は全押しのタイミングに応じて撮像した画像データをメモリカード192等に記憶する。
ズームダイヤル182は、被写体を広角で撮ったり、望遠で撮ったりと拡大縮小倍率の調節をすることができる。使用者によるズームダイヤル182の操作に応じて、コントローラ150は、ズームレンズ112を移動するための制御信号を生成する。
十字釦185は、上釦、右釦、下釦および左釦を含む。十字釦185を押下すると、押下した釦に対応した方向に、液晶ディスプレイ170に表示されたカーソル表示の選択項目を移動したりする。中央釦183は、液晶ディスプレイ170で表示されているカーソル表示の選択項目を決定するための押下釦である。
CCDイメージセンサ120、AFE121及び画像処理部130は、撮像部の一例である。コントローラ150は、評価値検出部及び制御部の一例である。加速度センサ190は、移動検出部の一例である。デジタルカメラ100は、撮像装置の一例である。
〔1−2.動作〕
本実施の形態に係るデジタルカメラ100の各種動作を、図3〜7を用いて説明する。デジタルカメラ100の動作を説明するに際して、まずは従来のAF動作について説明する。
〔1−2−1.従来のAF動作〕
一般的にデジタルカメラでは、シングルAFなどのAF動作が行われる。AF動作とは、フォーカスレンズを光軸方向に移動させてCCDイメージセンサにレンズを通した被写体像を合焦状態で結像させる動作である。
図3は、従来のシングルAFの動作説明図である。図3において、縦軸はCCDイメージセンサから得られた画像情報に基づいて算出されたコントラスト値を示す。以下では、コントラスト値のことをAF評価値とも称する。なお、コントラスト値及びAF評価値は、合焦評価値の一例である。AF評価値は、画像データを構成する輝度信号の高周波成分を積算することによりコントラスト値として得られる。図3において、横軸はフォーカスレンズの位置を示す。デジタルカメラは、近側から遠側にフォーカスレンズ位置を移動させることによって、AF評価値のレベルを変化させることができる。このとき、図3に示すように、コントラスト値がピーク(合焦値)を示すフォーカスレンズの位置が、CCDイメージセンサに光学系を通した被写体像が合焦状態で結像させられた位置となる。
従来のデジタルカメラでは、コントラスト値がピークとなるフォーカスレンズ位置を探索する場合に、図3の「動作1」に示すように一旦フォーカスレンズを移動させてコントラスト値の変化をモニタする必要がある。「動作1」では、デジタルカメラはフォーカスレンズを所定の方向(図3では、近側)に移動する。この予め決められた初期移動の方向によって、図3では、本来はコントラスト値のピークが遠側に存在するにも係わらず近側にフォーカスレンズが移動してしまう。従って、図3に示す移動を行うデジタルカメラは、AF制御の際のフォーカスレンズの移動に関して無駄な動作を行うことになる。
デジタルカメラは、「動作1」を行っている間、画像のコントラスト値をモニタリングしている。「動作1」の後、コントラスト値が低下していることが分かってから、「動作2」に示すように、フォーカスレンズの移動を反転してコントラスト値のピークが存在している遠側にフォーカスレンズを移動させることになる。
次に、「動作3」に示すように、デジタルカメラは、フォーカスレンズを遠側に移動し続けてコントラスト値のピークを越えたことをモニタリングする。すなわち、デジタルカメラは、コントラスト値が上昇から下降に転じたことをモニタリングし、コントラスト値がピークを越えたことを検知する。コントラスト値がピークを越えたことを検知すると、デジタルカメラは、「動作4」に示すようにフォーカスレンズの移動を反転させて、「動作3」において検知したコントラスト値がピークとなるフォーカスレンズの位置にフォーカスレンズを移動する。これにより、デジタルカメラはCCDイメージセンサにレンズを通した被写体像を合焦状態で結像させることができる。
図4は、従来のシングルAFの動作フローチャートである。図3を用いて先に説明したシングルAFの動作を図4のフローチャートを用いて説明する。
まず、デジタルカメラは、レリーズ釦の半押し操作を受け付けたら、シングルAFの動作開始を行い(ステップS0)、フォーカスレンズを所定の方向(図3、図4では近側)へ移動させる(ステップS1)。ここまでは図3で説明した「動作1」に相当する。
次にデジタルカメラは、コントラスト値を検知して(ステップS2)、コントラスト値が上昇したかどうかを判定する(ステップS3)。そして、デジタルカメラは、コントラスト値が下降したと判定した場合(ステップS3のNo)にはステップS41に進み、フォーカスレンズを遠側へ移動させる。すなわち、デジタルカメラは、この場合にフォーカスレンズの移動方向を反転させる。ここまでは図3で説明した「動作2」に相当する。
さらに、デジタルカメラは、ステップS2に戻ってコントラスト値を検知し、またステップS3においてコントラスト値が上昇したかどうかを判定する。そして、デジタルカメラはコントラスト値が上昇したと判定した場合(ステップS3のYes)にはステップS40に進み、フォーカスレンズを遠側へ継続して移動させる。さらに、デジタルカメラは、ステップS5においてコントラスト値を検知し、コントラスト値が上昇したかどうかを判定する(ステップS6)。コントラスト値が上昇したと判定した場合(ステップS6のYes)には、デジタルカメラはステップS40、S5およびS6の動作を繰り返す。ここまでは図3で説明した「動作3」に相当する。
一方、ステップS6においてコントラスト値が下降したと判定した場合(ステップS6のNo)には、デジタルカメラはステップS7に進み、合焦位置を計算して、フォーカスレンズを合焦位置に移動させ(ステップS8)、シングルAFの動作を終了する(ステップS9)。ここまでは図3で説明した「動作4」に相当する。
しかしながら、従来のデジタルカメラにおけるシングルAFの動作においては、ここで説明したように、「動作1」から「動作2」に至るフォーカスレンズの移動を反転させる無駄な動作を行う場合がある。そのため、従来のデジタルカメラでは、CCDイメージセンサにレンズを通した被写体像を合焦状態で結像させるまでに時間が掛かるという課題があった。
〔1−2−2.光軸方向振れ補正〕
本実施の形態に係るデジタルカメラ100は、光軸方向の移動情報を用いて、短時間でAF動作を行う。このような制御を以下では光軸方向振れ補正と称する。
AF動作は、画像データが生成されるごとに算出されるコントラスト値に基づいて実行される。コントラスト値に基づいて、コントローラ150は、フォーカスレンズ111を移動させる方向および、被写体像の合焦状態を判断する。シングルAFの動作については、先の項において説明した従来のAF動作と同様であるのでここでは省略する。
まず、光軸方向振れ補正の概要について説明する。図5は、光軸方向振れ補正の動作説明図である。光軸方向振れ補正は、加速度センサ190から得られるデジタルカメラ100の光軸方向の移動情報と、コントラスト値の変化情報を用いて合焦制御を行うことを指す。また、本実施の形態に係るデジタルカメラ100は、フォーカスレンズ111として正のパワーを有するレンズ群を採用している。従って、フォーカスレンズ111を繰り込むことで被写体側の合焦点がデジタルカメラ100から離れる方向に移動する。また、デジタルカメラ100は、フォーカスレンズ111を繰り出すことで被写体側の合焦点がデジタルカメラ100に近づく方向に移動する。図5(A)〜(D)に示すパターンA〜Dには、(1)被写体に対するデジタルカメラ100の移動方向、(2)コントラスト値の変化、(3)合焦のためにフォーカスレンズ111の移動させる方向、をそれぞれ示している。
図5(A)のパターンAは、(1)デジタルカメラ100が被写体に近づく方向に移動し、かつ、(2)コントラスト値が上昇している場合(合焦点が被写体に近づいている場合)を示す。この場合、図5(A)のパターンAに示すように、被写体とデジタルカメラ100の間に合焦点が存在するので、CCDイメージセンサ120にレンズを通した被写体像が合焦するためには、フォーカスレンズ111の位置を遠側に移動させる必要がある。従って、パターンAにおいては、デジタルカメラ100は(3)フォーカスレンズ111を繰り込む方向に移動させることによって、被写体像が合焦する方向にフォーカスレンズ111を確実に移動させることができる。
図5(B)のパターンBは、(1)デジタルカメラ100が被写体に近づく方向に移動し、かつ、(2)コントラスト値が下降している場合(合焦点が被写体から離れている場合)を示す。この場合、図5(B)のパターンBに示すように、合焦点とデジタルカメラ100の間に被写体が存在するので、CCDイメージセンサ120にレンズを通した被写体像が合焦するためには、フォーカスレンズ111の位置を近側に移動させる必要がある。従って、パターンBにおいては、デジタルカメラ100は(3)フォーカスレンズ111を繰り出す方向に移動させることによって、被写体像が合焦する方向にフォーカスレンズ111を確実に移動させることができる。
図5(C)のパターンCは、(1)デジタルカメラ100が被写体から遠のく方向に移動し、かつ、(2)コントラスト値が下降している場合(合焦点が被写体から離れている場合)を示す。この場合、図5(C)のパターンCに示すように、被写体とデジタルカメラ100の間に合焦点が存在するので、CCDイメージセンサ120にレンズを通した被写体像が合焦するためには、フォーカスレンズ111の位置を遠側に移動させる必要がある。従って、パターンCにおいては、デジタルカメラ100は(3)フォーカスレンズ111を繰り込む方向に移動させることによって、被写体像が合焦する方向にフォーカスレンズ111を確実に移動させることができる。
図5(D)のパターンDは、(1)デジタルカメラ100が被写体から遠のく方向に移動し、かつ、(2)コントラスト値が上昇している場合(合焦点が被写体に近づいている場合)を示す。この場合、図5(D)のパターンDに示すように、合焦点とデジタルカメラ100の間に被写体が存在するので、CCDイメージセンサ120にレンズを通した被写体像が合焦するためには、フォーカスレンズ111の位置を近側に移動させる必要がある。従って、パターンDにおいては、デジタルカメラ100は(3)フォーカスレンズ111を繰り出す方向に移動させることによって、被写体像が合焦する方向にフォーカスレンズ111を確実に移動させることができる。
上記で説明したパターンA〜Dにおいて、デジタルカメラ100は、コントラスト値と加速度情報に基づいて、被写体と合焦点の位置関係及びデジタルカメラ100の移動方向を検知することができる。これにより、デジタルカメラ100はAF動作の際のフォーカスレンズ111の初期移動方向(移動させる方向)を知ることができる。すなわち、従来のAF動作の様にフォーカスレンズ111の初期移動方向が、被写体から合焦点が離れる方向になること(図3に示す「動作1」)を防ぎ、短時間で被写体像を合焦させることができる。
次に、光軸方向振れ補正の動作について説明する。図6は、光軸方向振れ補正の動作フローチャートである。まず、デジタルカメラ100は、レリーズ釦181の半押し操作を受け付けたら、光軸方向振れ補正の動作を開始する(ステップS10)。そして、デジタルカメラ100は、CCDイメージセンサ120から出力される画像情報に基づいてコントラスト値を検知し、加速度センサ190から出力される加速度情報に基づいてデジタルカメラ100の加速度を検知する(ステップS11)。
次のステップS12では、加速度センサ190から得られる情報に基づいて、デジタルカメラ100が被写体に近づく方向に移動しているか遠のく方向に移動しているかを判定する。デジタルカメラ100が被写体に近づく方向に移動していると判定された場合(ステップS12のYes)にはステップS130に進み、デジタルカメラ100が被写体から遠のく方向に移動していると判定された場合(ステップS12のNo)には、ステップS131に進む。デジタルカメラ100がフォーカスレンズ111を移動させていなくても、デジタルカメラ100の本体101が光軸方向に移動すると、被写体との距離が変化するため、被写体の合焦状態を示すコントラスト値が変化する。そして、ステップS130およびステップS131において、コントラスト値が上昇したか下降したかを判定する。
ステップS130でコントラスト値が上昇した場合(ステップS130のYes)、ステップS140に進み、フォーカスレンズ111の繰り込み(パターンA)を行う。ステップS130でコントラスト値が下降した場合(ステップS130のNo)、ステップS141に進み、フォーカスレンズ111の繰り出し(パターンB)を行う。ステップS131でコントラスト値が上昇した場合(ステップS131のYes)、ステップS142に進み、フォーカスレンズ111の繰り出し(パターンD)を行う。ステップS131でコントラスト値が下降した場合(ステップS131のNo)、ステップS143に進み、フォーカスレンズ111の繰り込み(パターンC)を行う。
このように、デジタルカメラ100は、光軸方向振れ補正として、図5(A)〜(D)のパターンA,B,C,Dに場合分けを行って、各々のステップS140,S141,S143,S142に応じた方向にフォーカスレンズ111の移動を行う。ステップS15では、デジタルカメラ100はフォーカスレンズ111の移動を継続する。そして、デジタルカメラ100は、ステップS16ではCCDイメージセンサ120から出力された画像情報に基づいてコントラスト値を検知し、ステップS17においてコントラスト値が上昇したか下降したかを判定する。ステップS15、S16及びS17はコントラスト値がピークとなるフォーカスレンズ111の位置を検知するための処理であり、ステップS17においてコントラスト値が上昇している場合(ステップS17のYes)には、ステップS15に戻り、デジタルカメラ100はフォーカスレンズ111の移動を継続する。
ステップS17においてコントラスト値が下降したと判定した場合(ステップS17のNo)には、デジタルカメラ100はコントラスト値がピークを越えたと判定する。ステップS18では、デジタルカメラ100はコントラスト値がピークとなるフォーカスレンズ111の位置を合焦位置として計算して求める。ステップS19では、デジタルカメラ100はフォーカスレンズ111を合焦位置に移動させる。ステップS20では、加速度センサ190から出力される光軸方向の加速度情報から加速度を検知し、ステップS21では、検知された加速度を基にフォーカスレンズ111を移動させる量(移動量)を計算して求める。ステップS22では、ステップS21において求めたフォーカスレンズ111の移動量を基にしてフォーカスレンズ111の移動を行う。
なお、フォーカスレンズ111の移動量は、加速度を2回積分することで得られるデジタルカメラ100の光軸方向の移動量から求めることができる。また、加速度を1回積分することで求まるデジタルカメラ100の速度情報を基にしてフォーカスレンズ111の移動量を算出してもよい。また、上記ステップS19でフォーカスレンズ111を合焦位置に一旦移動させているが、ステップS19ではフォーカスレンズ111を移動させず、ステップS22で最終的にフォーカスレンズ111を合焦位置に移動させることもできる。
ステップS23においてデジタルカメラ100はレリーズ釦181を全押しされたかどうかを判定し、レリーズ釦181が全押しされていない場合(ステップS23のNo)にはステップS241に進む。ステップS241では、レリーズ釦181の半押しが解除されたかどうかを判定し、レリーズ釦181の半押しが解除されていないと判定された場合(ステップS241のNo)には、先のステップS20の処理に戻る。すなわち、レリーズ釦181の半押し状態が継続された場合には、ステップS20の加速度を検知することと、ステップS21のフォーカスレンズ111を移動させる量(移動量)を計算することと、ステップS22のフォーカスレンズ111を移動させる処理が繰り返し行われることになる。
ステップS241にて、レリーズ釦181の半押しが解除されたと判定されたとき(ステップS241のYes)には、デジタルカメラ100は光軸方向振れ補正の動作を終了する(ステップS25)。また、ステップS23においてレリーズ釦181が全押しされたと判定された場合(ステップS23のYes)には、デジタルカメラ100は、ステップS240においてCCDイメージセンサ120から得られた画像データをメモリカード192等に記憶するなどの撮影処理を行い、光軸方向振れ補正の動作を終了する(ステップS25)。
図7は本実施の形態に係る光軸方向振れ補正の動作原理図である。図7において横軸は時間を表し、縦軸は光軸方向の移動距離(移動量)を表し、上方向を繰り出し方向とした。また、図7の実線はフォーカスレンズ111の光軸方向の移動量を示し、破線はデジタルカメラ100の光軸方向の移動量を示す。なおここでは、デジタルカメラ100そのものの光軸方向の動き(移動量X)に対する被写体像の結像位置の光軸方向の移動は、フォーカスレンズ111を同じ移動量Xだけ移動させることで相殺することができると仮定する。すなわち、被写体像が結像している状態(合焦状態)からデジタルカメラ100の光軸方向の移動量Xを生じたとしても、フォーカスレンズ111を光軸方向へ移動量Xだけ移動することによって合焦状態を保持することができる。従って、図7におけるデジタルカメラ100の光軸方向の動きの軌跡とフォーカスレンズ111の動きの軌跡とが一致していれば、合焦状態を保持していると考える。
レリーズ釦181が半押し操作を受け付けたら、デジタルカメラ100は光軸方向振れ補正を開始する。図7に示す期間T1に行われる動作は、図6を用いて説明したステップS10からS19までの処理内容に相当する。具体的には以下に示す動作である。デジタルカメラ100は、コントラスト値とデジタルカメラ100の移動情報とを用いて、デジタルカメラ100の移動方向が被写体に近づく方向か遠のく方向かを判定する。当該判定結果に基づいて、デジタルカメラ100はCCDイメージセンサ120にレンズを通して被写体像が結像する方向(合焦する方向)にフォーカスレンズ111を移動させる。次に、デジタルカメラ100はフォーカスレンズ111を同じ方向(合焦する方向)に移動させた状態で、引き続きコントラスト値を検知し、コントラスト値が上昇している状態から下降したことを判定するとコントラスト値がピークを越えたと判定する。コントラスト値がピークを越えたと判定すると、デジタルカメラ100はコントラスト値がピークとなるフォーカスレンズ111の位置を合焦位置として算出し、フォーカスレンズ111を合焦位置に移動させる。
次に、図7に示す期間T2に行われる動作は、図6を用いて説明したステップS20からS25までの処理内容に相当する。具体的には以下に示す動作である。デジタルカメラ100は、光軸方向の加速度情報に基づいてフォーカスレンズ111を移動させる量(移動量)を計算し、フォーカスレンズ111を移動させる。なお、フォーカスレンズ111の移動量は、加速度を2回積分することで得られるデジタルカメラ100の光軸方向の移動量から求めることができる。レリーズ釦181の半押し状態が継続されている場合には、加速度センサ190から出力される加速度情報に基づいてフォーカスレンズ111の移動量を計算して求め、フォーカスレンズ111を移動させる処理を継続して行う。レリーズ釦181が全押しされた場合にはCCDイメージセンサ120から得られた画像データをメモリカード192等に記憶するなどの撮影処理を行って光軸方向振れ補正の動作を終了する。なお、レリーズ釦181の半押しが解除されたと判定されたときには、撮影処理を行わずに光軸方向振れ補正の動作を終了する。
〔1−3.まとめ〕
実施の形態1に係るデジタルカメラ100は、使用者が所望の被写体に対してカメラの光軸方向の変位を生じさせた場合においても短時間で合焦状態になるようにAFを動作させることが可能となる。
(実施の形態2)
実施の形態2では、レンズ交換可能なデジタルカメラに対して本開示の光軸方向振れ補正を適用した場合について説明する。
〔2−1.構成〕
図8に、実施の形態2に係るデジタルカメラ400の概略構成図を示す。なお、実施の形態2においては、レンズ交換可能なデジタルカメラ400について説明するが、各構成要素において実施の形態1と同様の働きをするものに関しては、実施の形態1と同じ符号を付与し、説明を省略する。
デジタルカメラ400のカメラボディ300は、その本体301に交換レンズ200を着脱可能である。カメラボディ300は、ボディマウント310と、カメラコントローラ320を備える。交換レンズ200は、レンズコントローラ240と、フラッシュメモリ242と、レンズマウント250を備える。ここで、図8に示すズームレンズ112は手動により駆動される構成を有するが、実施の形態1と同様にズームレンズモータ114により駆動されてもよい。
ボディマウント310は、交換レンズ200のレンズマウント250と機械的及び電気的に接続可能である。ボディマウント310は、レンズマウント250を介して、交換レンズ200との間で、コマンドやデータを送受信可能である。ボディマウント310は、カメラコントローラ320から受信した種々の制御信号を、レンズマウント250を介してレンズコントローラ240に送信する。また、ボディマウント310は、電源から受けた電力を、レンズマウント250を介して交換レンズ200全体に供給する。
カメラコントローラ320は、レリーズ釦181等の操作部材からの指示に応じて、CCDイメージセンサ120等の各部の動作を制御することで、カメラボディ300と交換レンズ200を含むカメラシステム全体の動作を制御する。カメラコントローラ320は、ボディマウント310を通じて交換レンズ200に制御指示を出すことができる。ここで、カメラコントローラ320は、実施の形態1の図1で示すAFE121、画像処理部130及びバッファメモリ140の機能を備えて構成されるが、カメラボディ300は、カメラコントローラ320とは別に、AFE121、画像処理部130及びバッファメモリ140を備えてもよい。カメラコントローラ320は、評価値検出部及び制御部の一例である。
レンズコントローラ240は、カメラコントローラ320からの制御信号に基づいて、交換レンズ200全体の動作を制御する。また、レンズコントローラ240は、レンズの位置を検出する位置検出センサ(図示せず)などから信号を受信して、カメラコントローラ320に送信する。レンズコントローラ240は、カメラコントローラ320との送受信の際には、レンズマウント250及びボディマウント310を介して行う。
レンズマウント250は、カメラボディ300のボディマウント310と機械的及び電気的に接続可能である。レンズマウント250は、ボディマウント310を介して、カメラボディ300との間で、コマンドやデータを送受信可能である。レンズマウント250は、レンズコントローラ240から受信した種々の制御信号を、ボディマウント310を介してカメラコントローラ320に送信する。以下では、ボディマウント310とレンズマウント250を介して行われる、カメラボディ300と交換レンズ200との間の通信をBL通信(Body−Lens通信)と称する。
〔2−2.動作〕
次に、実施の形態2におけるデジタルカメラ400は、実施の形態1のデジタルカメラ100と同様に光軸方向振れ補正の動作を行うことができる。
具体的には、デジタルカメラ400では、図6に示すステップS10からステップS130,S131までの動作をカメラボディ300が行う。即ち、カメラコントローラ320は、加速度センサ190が検出した情報に基づいて、本体301の光軸方向の移動方向を判定し(ステップS12)、その移動に伴って生じる合焦状態を示すコントラスト値の変化を判定する(ステップS130、S131)。そして、カメラボディ300はフォーカスレンズ111を移動する方向及び量を決定する。フォーカスレンズ111を移動させる方向及び量を決定する方法については、実施の形態1と同様であるとして説明を省略する。
レンズコントローラ240は、BL通信によって得たフォーカスレンズ111の移動方向及び移動量の情報に基づいてフォーカスレンズモータ113を制御し、フォーカスレンズ111を移動させる(図6のステップS140〜S143)。レンズコントローラ240は、フォーカスレンズ111の実際の移動量、移動方向に関する情報を、BL通信を用いてカメラコントローラ320に送信する。
カメラコントローラ320は、レンズコントローラ240から得られるフォーカスレンズ111の移動量をモニタリングする。一方、カメラコントローラ320は、CCDイメージセンサ120から得られる画像のコントラスト値についてもモニタリングし、コントラスト値がピークを越えたか否かを検知している。カメラコントローラ320が、コントラスト値がピークを越えたことを検知すると(図6のS17におけるNo)、合焦状態でのフォーカスレンズ111の位置を計算し、レンズコントローラ240にBL通信によって通知する。
レンズコントローラ240は、カメラコントローラ320から合焦位置に対応したフォーカスレンズ111の位置情報を受け取ると、フォーカスレンズ111の移動方向を反転し、合焦位置へ移動させる(ステップS19)。その他の動作については、BL通信を用いることを除いて実施の形態1と同様であるとして説明を省略する。
〔2−3.まとめ〕
実施の形態2に係るデジタルカメラ400は、交換レンズ200とカメラボディ300とを含み、BL通信を用いて光軸方向振れ補正を行うことが可能である。実施の形態2に係るデジタルカメラ400は、使用者が所望の被写体に対してカメラの光軸方向の変位を生じさせた場合においても短時間で合焦状態になるようにAFを動作させることが可能となる。
なお、上記では、図8に示すように、加速度センサ190がカメラボディ300に搭載される例を説明したが、加速度センサ190は交換レンズ200に搭載されてもよい。この場合、加速度センサ190から出力される加速度情報は、BL通信を用いてカメラボディ300のカメラコントローラ320に受け渡され、本実施の形態において説明した光軸方向振れ補正が行われる。
(他の実施の形態)
実施の形態1及び2においては、使用者が十字釦185と中央釦183を操作して光軸方向振れ補正の動作モードに移行し、使用者がレリーズ釦181を半押しして光軸方向振れ補正が動作するものとしたが、光軸方向振れ補正が、使用者がレリーズ釦181を半押しする前から動作(常時動作)してもかまわない。また、マクロレンズを用いたり、近接撮影を行ったりしていることを制御部が検知して、光軸方向振れ補正の動作モードに自動で移行させてもよい。また、使用者がデジタルカメラをパンニングしたり被写体の様子が変化したりするなどしてコントラスト値が変化したことを制御部が検知すると、光軸方向振れ補正の動作モードに自動で移行させてもよい。
また、実施の形態1及び2においてはフォーカスレンズ111を凸レンズのイメージで説明したが、他の凸レンズと組み合わせてフォーカスレンズを凹レンズのイメージで表してもよい。この場合には、凹レンズのフォーカスレンズの移動方向は実施の形態1及び2において説明した凸レンズのフォーカスレンズ111の移動方向に対して逆向きになる。
また、実施の形態1及び2においては、使用者がレリーズ釦181を半押ししてから全押しするまでの間に、光軸方向振れ補正を1度行うものとしたが、本開示はこれに限定されるものではない。光軸方向振れ補正を行った後、レリーズ釦181が全押しされるまでの間に、所定時間ごとに光軸方向振れ補正を行うものとしてもよい。または、光軸方向振れ補正を行った後、レリーズ釦181が全押しされるまでの間に、所定量以上デジタルカメラ又はフォーカスレンズが移動した際に、再度光軸方向振れ補正を行うものとしてもよい。
また、実施の形態1及び2においては、コントラスト値をもとに合焦評価値を算出するものとしたが、本開示はこれに限定されるものではない。DFD(Depth From Defocus)等を用いた被写体距離情報をもとに合焦評価値を算出するようにしてもよい。実施の形態1及び2では、合焦評価値としてコントラスト値を用いていたため、合焦評価値の上昇または下降を以て合焦評価をしていたが、被写体距離情報を用いる場合は、被写体距離情報としての合焦評価値が所定の値(所定の距離)の付近にあるか否かによって合焦評価を行うようにしても構わない。
また、実施の形態1及び2においては、デジタルカメラは光軸方向振れ補正を用いてオートフォーカスを行うものとしたが、本開示はこれに限定されるものではない。使用者がマニュアルフォーカスで撮影している際に、デジタルカメラの光軸方向の移動と、画像の合焦評価値に基づいてフォーカスレンズの駆動方向を決定し、液晶ディスプレイ等にフォーカスレンズの駆動方向を表示するようにしても構わない。このようにすることで、マニュアルフォーカス撮影時においても、使用者はフォーカスレンズの適切な駆動方向を知ることができる。
本開示は、デジタルカメラ、ムービーカメラ、カメラ付携帯電話等のオートフォーカス装置を搭載した撮像装置に適用可能である。
100、400 デジタルカメラ
101、301 本体
111 フォーカスレンズ
112 ズームレンズ
113 フォーカスレンズモータ
114 ズームレンズモータ
120 CCDイメージセンサ
130 画像処理部
150 コントローラ
160、242 フラッシュメモリ
170 液晶ディスプレイ
180 操作部
181 レリーズ釦
182 ズームダイヤル
190 加速度センサ
200 交換レンズ
240 レンズコントローラ
250 レンズマウント
300 カメラボディ
310 ボディマウント
320 カメラコントローラ

Claims (5)

  1. 本体と、
    前記本体内に設けられ、被写体を撮像して画像を生成する撮像部と、
    光軸方向に移動可能で、前記画像の合焦状態を調整するフォーカスレンズと、
    前記画像の合焦評価値を検出する評価値検出部と、
    前記本体の光軸方向の移動方向及び移動量を検出する移動検出部と、
    前記フォーカスレンズの移動を制御する制御部と、を備え、
    前記制御部は、
    前記移動検出部で検出された前記本体の光軸方向の移動方向および前記評価値検出部で検出された前記合焦評価値の変化に基づいて、前記フォーカスレンズを前記光軸方向に対して移動させる方向を判断する、撮像装置。
  2. 前記フォーカスレンズを移動させる方向は、被写体側の合焦点が被写体に近づく方向である、
    請求項1に記載の撮像装置。
  3. 前記制御部は、
    前記移動検出部で検出された、前記本体の光軸方向の移動量に基づいて、前記フォーカスレンズを移動させる量を算出する、
    請求項1に記載の撮像装置。
  4. フォーカスレンズを含む交換レンズを着脱可能なカメラボディであって、
    本体と、
    前記本体内に設けられ、被写体を撮像して画像を生成する撮像部と、
    前記画像の合焦評価値を検出する評価値検出部と、
    前記本体の光軸方向の移動方向及び移動量を検出する移動検出部と、
    前記交換レンズに対して、前記フォーカスレンズの移動を指示する制御部と、を備え、
    前記制御部は、
    前記移動検出部で検出された前記本体の光軸方向の移動方向及び前記評価値検出部で検出された前記合焦評価値の変化に基づいて、前記交換レンズに対して前記フォーカスレンズの前記光軸方向の移動方向を指示する、カメラボディ。
  5. 前記フォーカスレンズの移動方向は、被写体側の合焦点が被写体に近づく方向である、
    請求項4に記載のカメラボディ。
JP2015108773A 2014-08-04 2015-05-28 撮像装置及びカメラボディ Active JP6554658B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015108773A JP6554658B2 (ja) 2014-08-04 2015-05-28 撮像装置及びカメラボディ
US14/811,108 US9736352B2 (en) 2014-08-04 2015-07-28 Imaging apparatus and camera body

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014158318 2014-08-04
JP2014158318 2014-08-04
JP2015108773A JP6554658B2 (ja) 2014-08-04 2015-05-28 撮像装置及びカメラボディ

Publications (2)

Publication Number Publication Date
JP2016035556A JP2016035556A (ja) 2016-03-17
JP6554658B2 true JP6554658B2 (ja) 2019-08-07

Family

ID=55181387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015108773A Active JP6554658B2 (ja) 2014-08-04 2015-05-28 撮像装置及びカメラボディ

Country Status (2)

Country Link
US (1) US9736352B2 (ja)
JP (1) JP6554658B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11796831B2 (en) 2018-12-17 2023-10-24 Semiconductor Components Industries, Llc Methods and system for position stabilization
JP7208822B2 (ja) 2019-02-22 2023-01-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08334677A (ja) 1995-06-05 1996-12-17 Fuji Photo Optical Co Ltd カメラの自動焦点検出装置
US7693405B2 (en) * 2005-11-25 2010-04-06 Seiko Epson Corporation Image pickup device, method of controlling image pickup device, and recording medium
JP4905048B2 (ja) * 2005-11-25 2012-03-28 セイコーエプソン株式会社 撮像装置、撮像装置の制御方法および制御プログラム
JP4876550B2 (ja) * 2005-11-25 2012-02-15 セイコーエプソン株式会社 撮像装置、制御方法および制御プログラム
JP2007293144A (ja) 2006-04-27 2007-11-08 Canon Inc 光学機器
JP5072764B2 (ja) * 2008-08-01 2012-11-14 キヤノン株式会社 光学機器及びカメラシステム
JP2011081186A (ja) 2009-10-07 2011-04-21 Olympus Imaging Corp 撮像装置
JP5800611B2 (ja) * 2011-07-07 2015-10-28 オリンパス株式会社 撮影装置

Also Published As

Publication number Publication date
US9736352B2 (en) 2017-08-15
JP2016035556A (ja) 2016-03-17
US20160037053A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
US10136064B2 (en) Image processing apparatus and method of controlling image processing apparatus
US10694109B2 (en) Imaging apparatus
JP5563163B2 (ja) 撮像装置および撮像方法
US20140198244A1 (en) Focus aid system
JP6154081B2 (ja) 撮影装置、撮影装置本体、及びレンズ鏡筒
JP6598028B2 (ja) 撮像装置
US11159726B2 (en) Lens apparatus, camera, control method, and storage medium
JP2016080918A (ja) 像振れ補正装置及びその制御方法
JP6040422B2 (ja) 撮像装置
US11037277B2 (en) Image processing apparatus, imaging apparatus, lens apparatus, and image processing method
US10554891B2 (en) Image stabilization apparatus, image stabilization method, image capturing apparatus, image capturing system and non-transitory storage medium
JP6554658B2 (ja) 撮像装置及びカメラボディ
JP7289055B2 (ja) 撮像装置
JP6168827B2 (ja) 像振れ補正装置および光学機器
WO2019146164A1 (ja) 撮像装置、撮像方法、及びプログラム
US10536642B2 (en) Image stabilization apparatus that corrects for image blurring, control method therefor, image pickup apparatus, and storage medium
JP6624789B2 (ja) 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2009063896A (ja) 撮像装置
JP2010190913A (ja) 自動合焦機能を有する撮像装置
JP2011008061A (ja) オートフォーカス装置
JP2009188879A (ja) デジタルカメラ
JP2008020528A (ja) 撮像装置
JP2017097083A (ja) レンズ装置、および撮像装置
JP6539115B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP5619227B2 (ja) 撮像装置及び該撮像装置の制御方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R151 Written notification of patent or utility model registration

Ref document number: 6554658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151