JPWO2020175655A1 - 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム - Google Patents

撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム Download PDF

Info

Publication number
JPWO2020175655A1
JPWO2020175655A1 JP2021502386A JP2021502386A JPWO2020175655A1 JP WO2020175655 A1 JPWO2020175655 A1 JP WO2020175655A1 JP 2021502386 A JP2021502386 A JP 2021502386A JP 2021502386 A JP2021502386 A JP 2021502386A JP WO2020175655 A1 JPWO2020175655 A1 JP WO2020175655A1
Authority
JP
Japan
Prior art keywords
lens
image
imaging device
threshold value
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021502386A
Other languages
English (en)
Other versions
JP7027609B2 (ja
Inventor
史憲 入江
宏輔 栗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020175655A1 publication Critical patent/JPWO2020175655A1/ja
Application granted granted Critical
Publication of JP7027609B2 publication Critical patent/JP7027609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

高い像ぶれ性能を実現しながら撮像画質の品質を向上させることのできる撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供する。
デジタルカメラ(1)のシステム制御部(18)は、撮像素子(11)から出力される撮像画像の像ぶれを、撮像素子(11)を移動させることにより補正する像ぶれ補正部(18A)と、レンズ装置(20)の光軸Kに垂直な方向における防振レンズ(33)の位置を取得するレンズ位置取得部(18B)と、を備える。像ぶれ補正部(18A)は、レンズ位置取得部(18B)により取得された防振レンズ(33)の位置に基づいて、撮像素子の(11)の可動範囲Rを制御する。

Description

本発明は、撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに関する。
撮像光学系を通して被写体を撮像する撮像素子を備えた撮像装置、又はこのような撮像装置に装着して用いられるレンズ装置には、装置が振動することによって生じる撮像画像のぶれ(以下、像ぶれという)を補正するための像ぶれ補正機能を有するものがある。
特許文献1には簡易な手法によって防振用光学系の偏心による像面上での歪曲収差の形状変化をも考慮した精度のよい歪曲収差補正を行うことができるカメラシステム及びカメラ本体が記載されている。交換レンズは、防振用光学系とぶれ量取得部とぶれ補正制御部とを具備し、カメラ本体は、歪曲収差補正部を具備する。歪曲収差補正部は撮像光学系の歪曲収差を補正する為の歪曲収差補正情報と、防振用光学系の駆動量に応じた像面上での歪曲収差の形状と光軸と撮像画像の画像中心とのずれ量に応じた像面上での歪曲収差の形状との相関関係を示す関数とを含む第1のレンズ情報を取得し、前記関数を用いて光軸と撮像画像の画像中心とのずれ量を変換して変換ずれ量を算出し、歪曲収差補正情報と、変換ずれ量とに基づいて撮像画像に対して歪曲収差補正を行う。
特許文献2には2つの防振機構を使い分けて手振れを防止した広角撮影を行う撮像装置が記載されている。撮像装置は、レンズを移動して手振れを補正する第1防振部を制御する第1防振制御部と、撮像素子を移動して手振れを補正する第2防振部を制御する第2防振制御部と、少なくとも前記第1防振制御部または第2防振制御部のいずれかによって広角撮影用に撮影範囲の移動が行われ、移動された撮影範囲で順次撮影された複数の画像に基づき、広角画像を生成する広角画像生成部と、前記第1防振部及び第2防振部を、前記手振れ補正に使用するかあるいは前記撮影範囲の移動に使用するかの設定を行う設定部とを備える。
日本国特開2017−195516号公報 日本国特開2016−090973号公報
本発明は、高い像ぶれ補正性能を実現しながら撮像画質の品質を向上させることのできる撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することを目的とする。
本発明の一実施形態である撮像装置の制御装置は、防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御装置であって、上記撮像素子から出力される撮像画像の像ぶれを、上記撮像素子を移動させることにより、又は、上記撮像素子の受光面における上記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正部と、上記レンズ装置の光軸に垂直な方向における上記防振レンズの位置を取得するレンズ位置取得部と、を備え、上記像ぶれ補正部は、上記レンズ位置取得部により取得された上記防振レンズの上記位置に基づいて、上記撮像素子の可動範囲又は上記取得範囲の可動範囲を制御するものである。
本発明の一実施形態である撮像装置は、上記撮像装置の制御装置と、上記撮像素子と、を備えるものである。また、本発明の一実施形態である撮像装置は、上記撮像装置の制御装置と、上記防振レンズの位置を検出する位置検出部と、上記防振レンズと、を備えるものである。
本発明の一実施形態である撮像装置の制御方法は、防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御方法であって、上記撮像素子から出力される撮像画像の像ぶれを、上記撮像素子を移動させることにより、又は、上記撮像素子の受光面における上記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正ステップと、上記レンズ装置の光軸に垂直な方向における上記防振レンズの位置を取得するレンズ位置取得ステップと、を備え、上記像ぶれ補正ステップは、上記レンズ位置取得ステップにより取得された上記防振レンズの上記位置に基づいて、上記撮像素子の可動範囲又は上記取得範囲の可動範囲を制御するものである。
本発明の一実施形態である撮像装置の制御プログラムは、防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるための制御プログラムであって、上記制御方法は、上記撮像素子から出力される撮像画像の像ぶれを、上記撮像素子を移動させることにより、又は、上記撮像素子の受光面における上記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正ステップと、上記レンズ装置の光軸に垂直な方向における上記防振レンズの位置を取得するレンズ位置取得ステップと、を備え、上記像ぶれ補正ステップは、上記レンズ位置取得ステップにより取得された上記防振レンズの上記位置に基づいて、上記撮像素子の可動範囲又は上記取得範囲の可動範囲を制御するものである。
本発明によれば、高い像ぶれ性能を実現しながら撮像画質の品質を向上させることのできる撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラの概略構成を示す図である。 図1に示すデジタルカメラ1のシステム制御部18の機能ブロック図である。 図1に示すデジタルカメラ1における像ぶれ補正の原理説明図である。 図1に示すデジタルカメラ1における像ぶれ補正の原理説明図である。 システム制御部18の別の構成例を示す機能ブロック図である。 図5に示すシステム制御部18による像ぶれ補正動作を説明するためのフローチャートである。 図5に示すシステム制御部18による像ぶれ補正動作の変形例を説明するためのフローチャートである。 図5に示すシステム制御部18による像ぶれ補正動作の更に別の変形例を説明するためのフローチャートである。 本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。 図9に示すスマートフォン200の構成を示すブロック図である。
防振レンズを移動させることで像ぶれ補正を行う方式(以下、適宜「レンズシフト補正」と称する)と、撮像素子を移動させることで像ぶれ補正を行う方式(以下、適宜「センサシフト補正」と称する)とを併用する撮像装置においては、撮像素子の受光面に結像される被写体像が防振レンズと共に移動する。ところが、特許文献1、2では、レンズシフト補正による防振レンズの移動位置に関係なく、撮像素子をレンズ装置の光軸に関して対称な一定の狭い可動範囲内で移動させてセンサシフト補正を行っているため、センサシフト補正により画質を保証できる範囲が狭い。このため、防振レンズの位置によっては像ぶれ補正性能が十分に発揮されず、撮像画像の品質が低下してしまう。なお、同様の課題は、レンズシフト補正と、撮像素子の受光面における撮像画像の取得範囲を移動させることで像ぶれ補正を行う方式(以下、適宜「電子式補正」と称する)とを併用する場合にも生じ得る。特許文献1、2では、このような課題は認識されていない。以下では、この課題を解決できる撮像装置の一実施形態について説明する。
図1は、本発明の撮像装置の一実施形態であるデジタルカメラ1の概略構成を示す図である。
デジタルカメラ1は、カメラ本体10とレンズ装置20を備える。レンズ装置20は、カメラ本体10に着脱可能なものであってもよいし、カメラ本体10に固定されるものであってもよい。
レンズ装置20は、撮像光学系30とレンズ制御部40とを有する。
撮像光学系30は、撮像レンズ31と、撮像レンズ駆動機構32と、防振レンズ33と、防振レンズ駆動機構34と、を有する。また、撮像光学系30は、図示しない絞り機構を備えている。
撮像レンズ31は、撮像光学系30の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。撮像レンズ31は、撮像レンズ駆動機構32により駆動される。撮像レンズ駆動機構32は、レンズ制御部40からの撮像レンズ制御信号Sig1に基づいて、撮像レンズ31を光軸方向に移動させる。撮像レンズ31が光軸方向に移動することで焦点調節が行われる。
防振レンズ33は、像ぶれを補正するためのレンズである。防振レンズ33は、防振レンズ駆動機構34により駆動される。防振レンズ駆動機構34は、レンズ制御部40からの防振レンズ制御信号Sig2に基づいて、レンズ装置20の光軸Kと直交する方向に防振レンズ33を移動させる。防振レンズ33がレンズ装置20の光軸Kと直交する方向に移動することで光学的に像ぶれが補正される。
防振レンズ駆動機構34は、防振レンズ33の移動位置を検出するためのレンズ位置検出センサ35を有している。レンズ位置検出センサ35には、例えばホール素子等が用いられる。レンズ位置検出センサ35は、防振レンズ33の移動位置に応じた位置検出信号Sig3を出力する。位置検出信号Sig3は、レンズ制御部40に入力される。
レンズ制御部40は、後述する動き検出センサ17によって検出されたデジタルカメラ1の動き情報Mと、位置検出信号S3とに基づいて、防振レンズ33の移動を制御するための防振レンズ制御信号Sig2を出力する。
また、レンズ制御部40は、位置検出信号Sig3に基づいて、防振レンズ33の移動位置を示す位置情報Pを出力する。位置情報Pは、位置検出信号Sig3又は防振レンズ制御信号Sig2に置き換えられてもよい。位置情報Pは、カメラ本体10に入力される。
カメラ本体10は、撮像素子11と、撮像素子移動機構12と、アナログフロントエンド(AFE)13と、撮像素子駆動部14と、画像処理部15と、メモリ16と、動き検出センサ17と、システム制御部18と、を備える。
撮像素子11は、撮像光学系30を通して被写体を撮像するものである。撮像素子11は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementaly Metal Oxide Semiconductor)イメージセンサ等により構成される。
撮像素子移動機構12は、撮像素子11を撮像光学系30の光軸Kに垂直な面にて移動させる機構である。
AFE13は、撮像素子11から出力される撮像信号に対し相関二重サンプリング処理及びデジタル変換処理等を行う信号処理回路を含む。
画像処理部15は、AFE13にて処理後の撮像信号をデジタル信号処理してJPEG(Joint Photographic Experts Group)形式等の撮像画像データを生成する。画像処理部15により生成された画像データはメモリ16に記録される。
動き検出センサ17は、デジタルカメラ1の動きを検出するためのセンサである。動き検出センサ17は、加速度センサ又は角速度センサ、或いはこれら両方等によって構成される。なお、動き検出センサ17はレンズ装置20に設けられていてもよい。
システム制御部18は、撮像素子駆動部14とAFE13とを制御して、撮像素子11によって被写体を撮像させ、被写体像に応じた撮像信号を撮像素子11から出力させる。その際、システム制御部18は、動き検出センサ17によって検出されたデジタルカメラ1の動き情報M及びレンズ制御部40からの位置情報Pに基づいて、撮像素子移動機構12を制御する。
システム制御部18は、デジタルカメラ1全体を統括制御するものであり、ハードウェア的な構造は、プログラムを実行して処理を行う各種のプロセッサである。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部18は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
図2は、図1に示すデジタルカメラ1のシステム制御部18の機能ブロック図である。システム制御部18は、制御プログラムを実行することで、像ぶれ補正部18A及びレンズ位置取得部18Bとして機能する。
レンズ位置取得部18Bは、レンズ制御部40からの位置情報Pに基づいて、レンズ装置20の光軸Kに垂直な方向における防振レンズ33の位置を取得するレンズ位置検出処理を行う。
像ぶれ補正部18Aは、撮像素子11から出力される撮像画像の像ぶれを、センサシフト補正すなわち、撮像素子11を可動範囲R内で移動させることにより補正する像ぶれ補正処理を行う。その際、像ぶれ補正部18Aは、レンズ制御部40からの位置情報Pに基づいて、センサシフト補正のための撮像素子11の可動範囲Rを制御する。
図3及び図4は、デジタルカメラ1における像ぶれ補正の原理説明図である。図3及び図4には、デジタルカメラ1の振動不発生時の防振レンズ33、撮像素子11、及び可動範囲Rが一点鎖線で示され、デジタルカメラ1の振動発生時の防振レンズ33、撮像素子11、可動範囲R、及び最大可動範囲Rmaxが実線で示されている。また、図3及び図4には、デジタルカメラ1の振動不発生時の被写体像Imが二点鎖線で示され、デジタルカメラ1の振動発生時の被写体像Imが実線で示されている。
被写体像Imは、レンズ装置20によって画質を保証することのできる範囲内にある像である。この被写体像Imが撮像素子11の受光面に結像する状態であれば、この被写体像Imの撮像画像は、周辺にて歪みのない画像となり、画質は保証される。つまり、被写体像Imの撮像素子11の受光面の位置における光軸Kと直交する方向の幅が、レンズ装置20によって画質を保証することのできる画質保証範囲となる。
像ぶれ補正部18Aは、撮像素子11の最大可動範囲Rmaxのうちの一部の範囲を、センサシフト補正のための撮像素子11の可動範囲Rとする。最大可動範囲Rmaxは、撮像素子移動機構12によって撮像素子11を移動させることのできる機械的な限界の範囲である。像ぶれ補正部18Aは、レンズ制御部40からの位置情報Pとレンズ装置20の光学情報とに基づいて可動範囲Rを決定する。具体的には、像ぶれ補正部18Aは、位置情報Pに基づいて、レンズ装置20の現時点での画質保証範囲を認識し、その画質保証範囲を可動範囲Rとして決定する。
仮に、可動範囲Rの制御が行われない場合、センサシフト補正のための撮像素子11の可動範囲Rは、光軸Kに関して対称な一定の範囲(図3、図4中の一点鎖線にて示された可動範囲R)となる。この場合、センサシフト補正により画質を保証できる範囲は、最大可動範囲Rmaxよりも狭い範囲に限定されることになる。
図3に示すように、レンズシフト補正のために防振レンズ33が一点鎖線の位置から例えば下方に移動すると、画質保証範囲が防振レンズ33と共に下方に移動する。この場合、像ぶれ補正部18Aは、防振レンズ33の移動位置、すなわち位置情報Pに基づいて、レンズ装置20の画質保証範囲を認識し、この画質保証範囲が撮像素子11の可動範囲Rとなるように、可動範囲Rを下方に移動させるように撮像素子移動機構12を制御する。
図4に示すように、レンズシフト補正のために防振レンズ33が一点鎖線の位置から例えば上方に移動すると、レンズ装置20の画質保証範囲が防振レンズ33と共に上方に移動する。この場合、像ぶれ補正部18Aは、防振レンズ33の移動位置、すなわち位置情報Pに基づいて、レンズ装置20の画質保証範囲を認識し、この画質保証範囲が撮像素子11の可動範囲Rとなるように、可動範囲Rを上方に移動させるように撮像素子移動機構12を制御する。
このように、レンズシフト補正のための防振レンズ33の移動位置に応じて、最大可動範囲Rmax内にて撮像素子11の可動範囲Rを移動させ、その可動範囲R内で撮像素子11を移動させてセンサシフト補正を行うことにより、可動範囲Rの制御が行われない場合と比較して、センサシフト補正により画質を保証できる範囲を広い範囲に拡張することができる。具体的には、センサシフト補正により画質を保証できる範囲が最大可動範囲Rmaxに拡張される。よって、高い像ぶれ性能を実現しながら撮像画質の品質を向上させることが可能となる。
図5は、システム制御部18の別の構成例を示す機能ブロック図である。図5に示すシステム制御部18は、制御プログラムを実行することで、像ぶれ補正部18A、レンズ位置取得部18B、及び信頼性判定部18Cとして機能する。
レンズ位置取得部18Bは、デジタルカメラ1の動き量に基づいて、レンズ装置20の光軸Kと直交する方向における防振レンズ33の位置を推定し、その推定した位置を防振レンズ33の位置として取得する処理を行う。デジタルカメラ1の動き量は、動き検出センサ17からの動き情報Mとしてレンズ位置取得部18Bに与えられる。したがって、レンズ制御部40からの位置情報Pを必要としない。また、レンズ制御部40は、この動き情報Mに基づいて、デジタルカメラ1の動き量を相殺するように防振レンズ33の移動位置を制御している。このため、この動き情報Mから、防振レンズ33の位置を推定することが可能である。
信頼性判定部18Cは、レンズ位置取得部18Bによる位置の推定結果の信頼性を判定する信頼性判定処理を行う。
像ぶれ補正部18Aは、レンズ位置取得部18Bにより推定された位置(以下、「推定位置」と記す)に基づいて、センサシフト補正のための撮像素子11の可動範囲Rを制御する機能を有し、撮像素子11から出力される撮像画像の像ぶれを、撮像素子11を可動範囲R内で移動させることにより補正する像ぶれ補正処理を行う。その際、像ぶれ補正部18Aは、推定位置に基づいて可動範囲Rを制御する処理の実行可否を、信頼性判定部18Cが判定した信頼性に基づいて決定する。
なお、可動範囲Rを制御する処理の具体的な内容は、図3及び図4に示したのと同じである。例えば、レンズシフト補正のために防振レンズ33が例えば下方に移動すると、レンズ装置20の画質保証範囲が防振レンズ33と共に下方に移動する。この場合、像ぶれ補正部18Aは、防振レンズ33の推定位置に基づいて、画質保証範囲を認識し、この画質保証範囲が撮像素子11の可動範囲Rとなるように撮像素子移動機構12を制御する。
図6は、図5に示すシステム制御部18による像ぶれ補正動作を説明するためのフローチャートである。なお、以下の説明では、デジタルカメラ1は、カメラ本体10又はレンズ装置20の動き量が第一閾値TH1以上になると防振レンズ33を基準位置(具体的には移動可能範囲のうちの中心位置)に戻す機能(以下、「振れ戻し機能」と称す)を備えているものとする。
まず、レンズ位置取得部18Bによって、デジタルカメラ1の動き量が取得され(ステップS101)、その動き量に基づいて防振レンズ33の位置が推定される(ステップS102)。
つぎに、信頼性判定部18Cにより、デジタルカメラ1の動き量が第一閾値TH1以上であるか否か判定される(ステップS103)。
デジタルカメラ1の動き量が第一閾値TH1以上である場合(ステップS103:YES)、信頼性判定部18Cは、推定位置の信頼性が低い(換言すると、信頼性が信頼性閾値未満である)と判定する(ステップS104)。この場合には、振れ戻し機能が働き、デジタルカメラ1の動き量に基づく防振レンズ33の推定位置と、防振レンズ33の実際の位置とが乖離する可能性が大きくなるためである。
この場合には、像ぶれ補正部18Aは、撮像素子11の可動範囲Rの制御を実行することなく(ステップS105)、すなわち可動範囲Rを光軸Kに関して対称な一定の範囲に固定した状態で、像ぶれ補正処理を行う(ステップS108)。
一方、デジタルカメラ1の動き量が第一閾値TH1未満であると判定された場合(ステップS103:NO)には、信頼性判定部18Cは、推定位置の信頼性が高い(換言すると、信頼性が信頼性閾値以上である)と判定する(ステップS106)。
この場合には、像ぶれ補正部18Aは、撮像素子11の可動範囲Rを、レンズ位置取得部18Bによって推定された防振レンズ33の推定位置に基づいて制御しつつ(ステップS107)、像ぶれ補正処理を行う(ステップS108)。
このように、デジタルカメラ1の動き量に基づいて防振レンズ33の位置を推定し、その推定位置に基づいて撮像素子11の可動範囲Rを制御することにより、レンズ装置20から位置情報Pを取得することなく、推定位置に基づいて撮像素子11の可動範囲Rを制御することができる。よって、レンズ制御部40からの位置情報Pに基づいて撮像素子11の可動範囲Rを制御する場合と比較して、システム制御部18の処理量を軽減できる。
そして、推定位置の信頼性が高いと判定した場合のみ、その推定位置に基づいて撮像素子11の可動範囲Rを制御しつつ、その可動範囲R内で撮像素子11を移動させてセンサシフト補正による像ぶれ補正を行うことにより、信頼性の低い推定位置に基づいて撮像素子11の可動範囲Rが制御されることに起因する画質低下を防止できる。
図7は、図5に示すシステム制御部18による像ぶれ補正動作の変形例を説明するためのフローチャートである。図7に示すフローチャートは、図6に示すフローチャートのステップS102とステップS103の間に、ステップS201、ステップS202、及びステップS203が追加された点を除いては、図6と同じである。図7において図6と同じ処理には同一符号を付して説明を省略する。
ステップS102の後、信頼性判定部18Cにより、レンズ装置20による画質保証範囲が第二閾値TH2以上か否か判定される(ステップS201)。レンズ装置20による画質保証範囲は、レンズ装置20の光学特性を示す光学情報によって決まるものであり、上述したように、レンズ装置20によって撮像素子11の受光面に結像される被写体像の範囲(光軸に垂直な方向の幅)のうち、周辺において歪みなく被写体像を結像することのできる範囲(図3,4に示す被写体像Imの受光面の位置における幅)のことを示す。この画質保証範囲の情報は、レンズ装置20が交換可能なものであれば、カメラ本体10に装着されたレンズ装置20から取得することができる。また、レンズ装置20がカメラ本体10に固定されているものであれば、画質保証範囲はメモリ16に予め記憶されている情報となる。
信頼性判定部18Cは、画質保証範囲のサイズが第二閾値TH2以上である場合(ステップS201:YES)には、第一閾値TH1をα(α>β)に設定し(ステップS202)、画質保証範囲のサイズが第二閾値TH2未満である場合(ステップS201:NO)には、第一閾値TH1をβに設定する(ステップS203)。ステップS202とステップS203の後は、ステップS103以降の処理が行われる。
レンズ装置20による画質保証範囲が大きいということは、防振レンズ33の推定位置の信頼性が多少低く、その推定位置に多少の誤差が生じている可能性があったとしても、その推定位置に基づいて可動範囲Rを制御した結果、画質保証範囲と可動範囲Rとの重複範囲を充分に大きくできる可能性がある。そのため、可動範囲Rを制御することによる画質向上効果が大きく低下することはない。つまり、レンズ装置20による画質保証範囲が大きい場合には、可動範囲Rを固定するのではなく、最大可動範囲Rmax内にて可動範囲Rの位置を制御することで、画質向上効果が期待できる。
一方、レンズ装置20による画質保証範囲が小さいということは、防振レンズ33の推定位置の信頼性が多少低く、その推定位置に多少でも誤差が生じている可能性があると、その推定位置に基づいて可動範囲Rを制御した結果、画質保証範囲と可動範囲Rとの重複範囲が小さくなる可能性が高まる。そのため、可動範囲Rを制御することによる画質向上効果が低下する可能性がある。つまり、レンズ装置20による画質保証範囲が小さい場合には、可動範囲Rを固定する方が、画質向上効果が期待できる場合がある。
そこで、上記のように、レンズ装置20による画質保証範囲が第二閾値TH2以上のとき(ステップS201:YES)には、画質保証範囲が第二閾値TH2未満のとき(ステップS201:NO)よりも、第一閾値TH1を大きく設定(ステップS202)することで、可動範囲Rの位置を制御する処理が行われる可能性を最適化することでき、撮像画像の高画質化を図ることができる。
図8は、図5に示すシステム制御部18による像ぶれ補正動作の更に別の変形例を説明するためのフローチャートである。図8に示すフローチャートは、図6に示すフローチャートのステップS102とステップS103の間に、ステップS301、ステップS302、及びステップS303が追加された点を除いては、図6と同じである。図8において図6と同じ処理には同一符号を付して説明を省略する。
ステップS102の後、信頼性判定部18Cは、防振レンズ33の位置の推定に用いられている動き検出センサ17の検出誤差であるセンサ誤差が第三閾値TH3以上である場合(ステップS301:YES)には、第一閾値TH1をα2(α2<β2)に設定し(ステップS302)、センサ誤差が第三閾値TH3未満である場合(ステップS301:NO)には、第一閾値TH1をβ2に設定する(ステップS303)。ステップS302とステップS303の後はステップS103以降の処理が行われる。
動き検出センサ17の検出誤差の情報は、メモリ106に予め記憶される。なお、動き検出センサ17がレンズ装置20にのみ設けられる場合もあり、その場合には、システム制御部18が、レンズ装置20から動き検出センサ17の検出誤差の情報を取得すればよい。
動き検出センサ17の検出誤差が大きいということは、動き検出センサ17の検出誤差が小さい場合と比較すると、防振レンズ33の推定位置の信頼性が低くなる。そして、防振レンズ33の推定位置の信頼性が低い場合には、その推定位置に基づいて可動範囲Rの位置の制御を行うことによって撮像画質が低下する可能性があり、逆に、防振レンズ33の推定位置の信頼性が高い場合には、可動範囲Rの位置の制御を行うことで画質向上が期待できる。
そこで、上記のように、センサ誤差が第三閾値TH3以上のとき(ステップS301:YES)には、センサ誤差が第三閾値TH3未満のとき(ステップS301:NO)よりも第一閾値TH1を小さく設定(ステップS302)することにより、可動範囲Rの位置を制御する処理が行われる可能性を低くすることができ、センサ誤差が大きいときの撮像画質の低下を防いで、トータルで、高画質化を図ることができる。
なお、図6から図8の動作例では、デジタルカメラ1の動き量が第一閾値TH1以上の場合に、推定位置の信頼性が低いと判定しているが、この動き量の代わりに、カメラ本体10の内部の温度を用い、この温度が第一閾値TH1以上の場合に、推定位置の信頼性が低く、この温度が第一閾値TH1未満の場合に、推定位置の信頼性が低高い、と判定してもよい。
この構成によれば、動き検出センサ17として、第一閾値TH1以上の温度になると検出誤差が許容範囲を超えて大きくなるジャイロセンサなどが使用されている場合に、信頼性の低い推定位置に基づいて撮像素子11の可動範囲Rが制御されることに起因する画質低下を防止できる。なお、動き検出センサ17がレンズ装置20に内蔵されるものである場合には、カメラ本体10の内部の温度の代わりに、レンズ装置20の内部の温度を用いればよい。
また、上述してきた像ぶれ補正部18Aは、センサシフト補正により像ぶれを補正するものとしたが、像ぶれ補正部18Aは、電子式補正により像ぶれを補正するものに置換してもよい。この場合には、撮像素子11の受光面に結像する被写体像のうちのどの範囲の被写体像を撮像画像として取得するか、つまり、撮像素子11からの撮像画像の取得範囲が、レンズ装置20の画質保証範囲と一致するように、この取得範囲の位置を制御すればよい。
次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
図9は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。
図9に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
図10は、図9に示すスマートフォン200の構成を示すブロック図である。
図10に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。
また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)等を表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図10に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体201の大きさ等に応じて適宜設計されるものである。
さらにまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205又はマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
また、図9に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図10に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。
なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)等の格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394等)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)等)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるパーソナルコンピュータ、イヤホン等がある。
外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達したり、スマートフォン200の内部のデータが外部機器に伝送されるようにしたりすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210又は外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサ等を備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向又は加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
また、主制御部220は、受信データ又はダウンロードしたストリーミングデータ等の画像データ(静止画像又は動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。
画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
さらに、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
さらに、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図1に示したデジタルカメラ1におけるメモリ16及びシステム制御部18以外の構成を含む。スマートフォン200がデジタルカメラ1として機能する際、記憶部212がメモリ16の機能を担い、主制御部220がシステム制御部18の機能を担う。
カメラ部208によって生成された撮像画像データは、記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることができる。
図9に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示したり、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用したりすることができる。
また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。さらには、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等を付加して記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることもできる。
なお、本発明は上記実施形態に限定されない。たとえば、上記実施形態では、像ぶれ補正部18Aは、センサシフト補正により像ぶれを補正する機能を有しているが、像ぶれ補正部18Aは、電子式補正により像ぶれを補正する機能を有していてもよい。
本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。
(1)防振レンズ(防振レンズ33)を含むレンズ装置(レンズ装置20)を通して被写体を撮像する撮像素子(撮像素子11)を有する撮像装置(デジタルカメラ1)の制御装置(システム制御部18)であって、
上記撮像素子から出力される撮像画像の像ぶれを、上記撮像素子を移動させることにより、又は、上記撮像素子の受光面における上記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正部(像ぶれ補正部18A)と、
上記レンズ装置の光軸(光軸K)に垂直な方向における上記防振レンズの位置を取得するレンズ位置取得部(レンズ位置取得部18B)と、を備え、
上記像ぶれ補正部は、上記レンズ位置取得部により取得された上記防振レンズの上記位置に基づいて、上記撮像素子の可動範囲(可動範囲R)又は上記取得範囲の可動範囲を制御する撮像装置の制御装置。
(1)の制御装置によれば、レンズシフト補正のための防振レンズの移動位置に応じて、撮像素子又は撮像画像の取得範囲の可動範囲を制御し、その可動範囲内でセンサシフト補正を行うことにより、可動範囲の制御が行われない場合と比較して、センサシフト補正により画質を保証できる範囲を広い範囲に拡張することができる。よって、高い像ぶれ性能を実現しながら撮像画質の品質を向上させることが可能となる。
(2) (1)記載の撮像装置の制御装置であって、
上記像ぶれ補正部は、上記撮像素子の最大可動範囲(最大可動範囲Rmax)のうちの、上記防振レンズの上記位置と上記レンズ装置の光学情報とに基づいて決まる範囲(画質保証範囲)を、上記可動範囲とする撮像装置の制御装置。
(2)の制御装置によれば、可動範囲を最大可動範囲内で適切に制御しつつ、その可動範囲内でセンサシフト補正を行うことにより、センサシフト補正により画質を保証できる範囲を最大可動範囲まで拡張することができる。
(3) (2)記載の撮像装置の制御装置であって、
上記レンズ位置取得部は、上記レンズ装置又は上記撮像装置の動き量に基づいて上記防振レンズの上記位置を推定し、推定したその位置を上記防振レンズの位置として取得する撮像装置の制御装置。
(3)の制御装置によれば、レンズ装置から防振レンズの位置を逐次取得する必要がないので、処理量を軽減できる。
(4) (3)記載の撮像装置の制御装置であって、
上記位置の推定結果の信頼性を判定する信頼性判定部(信頼性判定部11C)を備え、
上記像ぶれ補正部は、上記信頼性に基づいて、上記防振レンズの上記位置に基づいて上記可動範囲を制御する処理の実行可否を決定する撮像装置の制御装置。
(4)の制御装置によれば、防振レンズの推定位置の信頼性に関係なく、撮像素子の可動範囲を制御する処理が常に実行されることによる画質低下を防止できる。
(5) (4)記載の撮像装置の制御装置であって、
上記像ぶれ補正部は、上記信頼性が予め決められた信頼性閾値以上の場合には上記処理を実行し、上記信頼性が上記信頼性閾値未満の場合には上記処理を非実行として、上記可動範囲を予め決められた位置に固定する撮像装置の制御装置。
(5)の制御装置によれば、防振レンズの推定位置の信頼性が高い場合のみ、撮像素子の可動範囲を制御する処理が実行されるので、信頼性の低い推定位置に基づいて撮像素子の可動範囲が制御されることによる画質低下を防止できる。
(6) (5)記載の撮像装置の制御装置であって、
上記信頼性判定部は、上記レンズ装置又は上記撮像装置の動き量が予め決められた第一閾値(第一閾値TH1)以上の場合に、上記信頼性が上記信頼性閾値未満であると判定する撮像装置の制御装置。
(6)の制御装置によれば、レンズ装置又は撮像装置の動き量が第一閾値以上の場合のみ、撮像素子の可動範囲を制御する処理が実行されるので、カメラ本体又はレンズ装置の動き量が第一閾値以上になると防振レンズを所定の位置に戻す機能を有する撮像装置において、信頼性の低い推定位置に基づいて撮像素子の可動範囲が制御されることによる画質低下を防止できる。
(7) (6)記載の撮像装置の制御装置であって、
上記信頼性判定部は、上記レンズ装置又は上記撮像装置の内部温度が予め決められた第一閾値以上の場合に、上記信頼性が上記信頼性閾値未満であると判定する撮像装置の制御装置。
(7)の制御装置によれば、第一閾値以上の温度になると動き量の検出誤差が許容範囲を超える場合があることから信頼性が低いと判定することができる。したがって、第一閾値以上の温度において推定された信頼性の低い位置に基づいて撮像素子の可動範囲が制御されることに起因する画質低下を防止できる。
(8) (6)又は(7)記載の撮像装置の制御装置であって、
上記信頼性判定部は、上記レンズ装置による画質保証範囲のサイズに基づいて上記第一閾値を制御する撮像装置の制御装置。
(8)の制御装置によれば、レンズ装置による画質保証範囲のサイズに基づいて、撮像素子の可動範囲を制御する処理が行われる可能性を変化させることで、高画質化を図ることができる。
(9) (8)記載の撮像装置の制御装置であって、
上記信頼性判定部は、上記画質保証範囲のサイズが予め決められたサイズ閾値(第二閾値TH2)以上の場合には、上記サイズが上記サイズ閾値未満の場合と比較して、上記第一閾値を大きくする撮像装置の制御装置。
(9)の制御装置によれば、画質保証範囲が広い場合には、撮像素子の可動範囲を制御する処理が行われる可能性を大きくすることで、高画質化を図ることができる。
(10) (6)又は(7)記載の撮像装置の制御装置であって、
上記信頼性判定部は、上記レンズ装置又は上記撮像装置に搭載された上記動き量を検出するための動き検出センサ(動き検出センサ17)の検出誤差の情報に基づいて上記第一閾値を制御する撮像装置の制御装置。
(10)の制御装置によれば、動き検出センサの検出誤差の情報に基づいて、撮像素子の可動範囲を制御する処理が行われる可能性を変化させることで、高画質化を図ることができる。
(11) (10)記載の撮像装置の制御装置であって、
上記信頼性判定部は、上記検出誤差が予め決められた誤差閾値(第三閾値TH3)以上の場合には、上記検出誤差が上記誤差閾値未満の場合と比較して、上記第一閾値を小さくする撮像装置の制御装置。
(11)の制御装置によれば、動き検出センサの検出誤差が誤差閾値よりも大きい場合には、撮像素子の可動範囲を制御する処理が行われる可能性を小さくすることで、画質低下を防止できる。
(12) (1)から(11)のいずれかに記載の制御装置と、
上記撮像素子と、を備える撮像装置。
(13)
(1)又は(2)記載の制御装置と、
上記防振レンズの位置を検出する位置検出部(レンズ位置検出センサ35)と、
上記防振レンズと、を備える撮像装置。
(12)、(13)の撮像装置によれば、レンズシフト補正のための防振レンズの移動位置に応じて、撮像素子の可動範囲を制御し、その可動範囲内でセンサシフト補正を行うことにより、可動範囲の制御が行われない場合と比較して、センサシフト補正による画質保証範囲を広い範囲に拡張することができる。よって、高い像ぶれ性能を実現しながら撮像画質の品質を向上させることが可能となる。
(14) 防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御方法であって、
上記撮像素子から出力される撮像画像の像ぶれを、上記撮像素子を移動させることにより、又は、上記撮像素子の受光面における上記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正ステップと、
上記レンズ装置の光軸に垂直な方向における上記防振レンズの位置を取得するレンズ位置取得ステップと、を備え、
上記像ぶれ補正ステップは、上記レンズ位置取得ステップにより取得された上記防振レンズの上記位置に基づいて、上記撮像素子の可動範囲又は上記取得範囲の可動範囲を制御する撮像装置の制御方法。
(15) (14)記載の撮像装置の制御方法であって、
上記像ぶれ補正ステップは、上記撮像素子の最大可動範囲のうちの、上記防振レンズの上記位置と上記レンズ装置の光学情報とに基づいて決まる範囲を、上記可動範囲とする撮像装置の制御方法。
(16) (15)記載の撮像装置の制御方法であって、
上記レンズ位置取得ステップは、上記レンズ装置又は上記撮像装置の動き量に基づいて上記防振レンズの上記位置を推定し、推定したその位置を上記防振レンズの位置として取得する撮像装置の制御方法。
(17) (16)記載の撮像装置の制御方法であって、
上記位置の推定結果の信頼性を判定する信頼性判定ステップを備え、
上記像ぶれ補正ステップは、上記信頼性に基づいて、上記防振レンズの上記位置に基づいて上記可動範囲を制御する処理の実行可否を決定する撮像装置の制御方法。
(18) (17)記載の撮像装置の制御方法であって、
上記像ぶれ補正ステップは、上記信頼性が予め決められた信頼性閾値以上の場合には上記処理を実行し、上記信頼性が上記信頼性閾値未満の場合には上記処理を非実行として、
上記可動範囲を予め決められた位置に固定する撮像装置の制御方法。
(19) (18)記載の撮像装置の制御方法であって、
上記信頼性判定ステップは、上記レンズ装置又は上記撮像装置の動き量が予め決められた第一閾値以上の場合に、上記信頼性が上記信頼性閾値未満であると判定する撮像装置の制御方法。
(20) (18)記載の撮像装置の制御方法であって、
上記信頼性判定ステップは、上記レンズ装置又は上記撮像装置の内部温度が予め決められた第一閾値以上の場合に、上記信頼性が上記信頼性閾値未満であると判定する撮像装置の制御方法。
(21) (19)又は(20)記載の撮像装置の制御方法であって、
上記信頼性判定ステップは、上記レンズ装置による画質保証範囲のサイズに基づいて上記第一閾値を制御する撮像装置の制御方法。
(22) (21)記載の撮像装置の制御方法であって、
上記信頼性判定ステップは、上記画質保証範囲のサイズが予め決められたサイズ閾値以上の場合には、上記サイズが上記サイズ閾値未満の場合と比較して、上記第一閾値を大きくする撮像装置の制御方法。
(23) (19)又は(20)記載の撮像装置の制御方法であって、
上記信頼性判定ステップは、上記レンズ装置又は上記撮像装置に搭載された動き検出センサの検出誤差の情報に基づいて上記第一閾値を制御する撮像装置の制御方法。
(24) (23)記載の撮像装置の制御方法であって、
上記信頼性判定ステップは、上記検出誤差が予め決められた誤差閾値以上の場合には、上記検出誤差が上記誤差閾値未満の場合と比較して、上記第一閾値を小さくする撮像装置の制御方法。
(25) 防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるための制御プログラムであって、
上記制御方法は、
上記撮像素子から出力される撮像画像の像ぶれを、上記撮像素子を移動させることにより、又は、上記撮像素子の受光面における上記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正ステップと、
上記レンズ装置の光軸に垂直な方向における上記防振レンズの位置を取得するレンズ位置取得ステップと、を備え、
上記像ぶれ補正ステップは、上記レンズ位置取得ステップにより取得された上記防振レンズの上記位置に基づいて、上記撮像素子の可動範囲又は上記取得範囲の可動範囲を制御する撮像装置の制御プログラム。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、2019年2月27日出願の日本特許出願(特願2019−034957)に基づくものであり、その内容は本出願の中に参照として援用される。
本発明は、一眼レスカメラ又はミラーレスカメラ等のデジタルカメラ、車載カメラ、監視カメラ、或いはスマートフォン等に適用して利便性が高く、有効である。
1 デジタルカメラ
10 カメラ本体
11 撮像素子
12 撮像素子移動機構
13 AFE
14 撮像素子駆動部
15 画像処理部
16 メモリ
17 動き検出センサ
18 システム制御部
18A 像ぶれ補正部
18B レンズ位置取得部
11C 信頼性判定部
20 レンズ装置
30 撮像光学系
31 撮像レンズ
32 撮像レンズ駆動機構
33 防振レンズ
34 防振レンズ駆動機構
35 レンズ位置検出センサ
40 レンズ制御部
Im 被写体像
K 光軸
R 可動範囲
Rmax 最大可動範囲
200 スマートフォン
201 筐体
202 表示パネル
203 操作パネル
204 表示入力部
205 スピーカ
206 マイクロホン
207 操作部
208 カメラ部
210 無線通信部
211 通話部
212 記憶部
213 外部入出力部
214 GPS受信部
215 モーションセンサ部
216 電源部
217 内部記憶部
218 外部記憶部
220 主制御部
ST1〜STn GPS衛星

Claims (25)

  1. 防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御装置であって、
    前記撮像素子から出力される撮像画像の像ぶれを、前記撮像素子を移動させることにより、又は、前記撮像素子の受光面における前記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正部と、
    前記レンズ装置の光軸に垂直な方向における前記防振レンズの位置を取得するレンズ位置取得部と、を備え、
    前記像ぶれ補正部は、前記レンズ位置取得部により取得された前記防振レンズの前記位置に基づいて、前記撮像素子の可動範囲又は前記取得範囲の可動範囲を制御する撮像装置の制御装置。
  2. 請求項1記載の撮像装置の制御装置であって、
    前記像ぶれ補正部は、前記撮像素子の最大可動範囲のうちの、前記防振レンズの前記位置と前記レンズ装置の光学情報とに基づいて決まる範囲を、前記可動範囲とする撮像装置の制御装置。
  3. 請求項2記載の撮像装置の制御装置であって、
    前記レンズ位置取得部は、前記レンズ装置又は前記撮像装置の動き量に基づいて前記防振レンズの前記位置を推定し、推定した当該位置を前記防振レンズの位置として取得する撮像装置の制御装置。
  4. 請求項3記載の撮像装置の制御装置であって、
    前記位置の推定結果の信頼性を判定する信頼性判定部を備え、
    前記像ぶれ補正部は、前記信頼性に基づいて、前記防振レンズの前記位置に基づいて前記可動範囲を制御する処理の実行可否を決定する撮像装置の制御装置。
  5. 請求項4記載の撮像装置の制御装置であって、
    前記像ぶれ補正部は、前記信頼性が予め決められた信頼性閾値以上の場合には前記処理を実行し、前記信頼性が前記信頼性閾値未満の場合には前記処理を非実行として、前記可動範囲を予め決められた位置に固定する撮像装置の制御装置。
  6. 請求項5記載の撮像装置の制御装置であって、
    前記信頼性判定部は、前記レンズ装置又は前記撮像装置の動き量が予め決められた第一閾値以上の場合に、前記信頼性が前記信頼性閾値未満であると判定する撮像装置の制御装置。
  7. 請求項5記載の撮像装置の制御装置であって、
    前記信頼性判定部は、前記レンズ装置又は前記撮像装置の内部温度が予め決められた第一閾値以上の場合に、前記信頼性が前記信頼性閾値未満であると判定する撮像装置の制御装置。
  8. 請求項6又は7記載の撮像装置の制御装置であって、
    前記信頼性判定部は、前記レンズ装置による画質保証範囲のサイズに基づいて前記第一閾値を制御する撮像装置の制御装置。
  9. 請求項8記載の撮像装置の制御装置であって、
    前記信頼性判定部は、前記画質保証範囲のサイズが予め決められたサイズ閾値以上の場合には、前記サイズが前記サイズ閾値未満の場合と比較して、前記第一閾値を大きくする撮像装置の制御装置。
  10. 請求項6又は7記載の撮像装置の制御装置であって、
    前記信頼性判定部は、前記レンズ装置又は前記撮像装置に搭載された前記動き量を検出するための動き検出センサの検出誤差の情報に基づいて前記第一閾値を制御する撮像装置の制御装置。
  11. 請求項10記載の撮像装置の制御装置であって、
    前記信頼性判定部は、前記検出誤差が予め決められた誤差閾値以上の場合には、前記検出誤差が前記誤差閾値未満の場合と比較して、前記第一閾値を小さくする撮像装置の制御装置。
  12. 請求項1から11のいずれか1項記載の制御装置と、
    前記撮像素子と、を備える撮像装置。
  13. 請求項1又は2記載の制御装置と、
    前記防振レンズの位置を検出する位置検出部と、
    前記防振レンズと、を備える撮像装置。
  14. 防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子から出力される撮像画像の像ぶれを、前記撮像素子を移動させることにより、又は、前記撮像素子の受光面における前記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正ステップと、
    前記レンズ装置の光軸に垂直な方向における前記防振レンズの位置を取得するレンズ位置取得ステップと、を備え、
    前記像ぶれ補正ステップは、前記レンズ位置取得ステップにより取得された前記防振レンズの前記位置に基づいて、前記撮像素子の可動範囲又は前記取得範囲の可動範囲を制御する撮像装置の制御方法。
  15. 請求項14記載の撮像装置の制御方法であって、
    前記像ぶれ補正ステップは、前記撮像素子の最大可動範囲のうちの、前記防振レンズの前記位置と前記レンズ装置の光学情報とに基づいて決まる範囲を、前記可動範囲とする撮像装置の制御方法。
  16. 請求項15記載の撮像装置の制御方法であって、
    前記レンズ位置取得ステップは、前記レンズ装置又は前記撮像装置の動き量に基づいて前記防振レンズの前記位置を推定し、推定した当該位置を前記防振レンズの位置として取得する撮像装置の制御方法。
  17. 請求項16記載の撮像装置の制御方法であって、
    前記位置の推定結果の信頼性を判定する信頼性判定ステップを備え、
    前記像ぶれ補正ステップは、前記信頼性に基づいて、前記防振レンズの前記位置に基づいて前記可動範囲を制御する処理の実行可否を決定する撮像装置の制御方法。
  18. 請求項17記載の撮像装置の制御方法であって、
    前記像ぶれ補正ステップは、前記信頼性が予め決められた信頼性閾値以上の場合には前記処理を実行し、前記信頼性が前記信頼性閾値未満の場合には前記処理を非実行として、前記可動範囲を予め決められた位置に固定する撮像装置の制御方法。
  19. 請求項18記載の撮像装置の制御方法であって、
    前記信頼性判定ステップは、前記レンズ装置又は前記撮像装置の動き量が予め決められた第一閾値以上の場合に、前記信頼性が前記信頼性閾値未満であると判定する撮像装置の制御方法。
  20. 請求項18記載の撮像装置の制御方法であって、
    前記信頼性判定ステップは、前記レンズ装置又は前記撮像装置の内部温度が予め決められた第一閾値以上の場合に、前記信頼性が前記信頼性閾値未満であると判定する撮像装置の制御方法。
  21. 請求項19又は20記載の撮像装置の制御方法であって、
    前記信頼性判定ステップは、前記レンズ装置による画質保証範囲のサイズに基づいて前記第一閾値を制御する撮像装置の制御方法。
  22. 請求項21記載の撮像装置の制御方法であって、
    前記信頼性判定ステップは、前記画質保証範囲のサイズが予め決められたサイズ閾値以上の場合には、前記サイズが前記サイズ閾値未満の場合と比較して、前記第一閾値を大きくする撮像装置の制御方法。
  23. 請求項19又は20記載の撮像装置の制御方法であって、
    前記信頼性判定ステップは、前記レンズ装置又は前記撮像装置に搭載された前記動き量を検出するための動き検出センサの検出誤差の情報に基づいて前記第一閾値を制御する撮像装置の制御方法。
  24. 請求項23記載の撮像装置の制御方法であって、
    前記信頼性判定ステップは、前記検出誤差が予め決められた誤差閾値以上の場合には、前記検出誤差が前記誤差閾値未満の場合と比較して、前記第一閾値を小さくする撮像装置の制御方法。
  25. 防振レンズを含むレンズ装置を通して被写体を撮像する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるための制御プログラムであって、
    前記制御方法は、
    前記撮像素子から出力される撮像画像の像ぶれを、前記撮像素子を移動させることにより、又は、前記撮像素子の受光面における前記撮像画像の取得範囲を移動させることにより補正する像ぶれ補正ステップと、
    前記レンズ装置の光軸に垂直な方向における前記防振レンズの位置を取得するレンズ位置取得ステップと、を備え、
    前記像ぶれ補正ステップは、前記レンズ位置取得ステップにより取得された前記防振レンズの前記位置に基づいて、前記撮像素子の可動範囲又は前記取得範囲の可動範囲を制御する撮像装置の制御プログラム。
JP2021502386A 2019-02-27 2020-02-27 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム Active JP7027609B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019034957 2019-02-27
JP2019034957 2019-02-27
PCT/JP2020/008174 WO2020175655A1 (ja) 2019-02-27 2020-02-27 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2020175655A1 true JPWO2020175655A1 (ja) 2021-10-14
JP7027609B2 JP7027609B2 (ja) 2022-03-01

Family

ID=72239949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021502386A Active JP7027609B2 (ja) 2019-02-27 2020-02-27 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム

Country Status (4)

Country Link
US (1) US11930275B2 (ja)
JP (1) JP7027609B2 (ja)
CN (1) CN113574451B (ja)
WO (1) WO2020175655A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349707A (ja) * 2005-06-13 2006-12-28 Canon Inc デジタルカメラ
JP2010258570A (ja) * 2009-04-22 2010-11-11 Canon Inc 撮像装置及び画像変換方法
JP2016090973A (ja) * 2014-11-11 2016-05-23 オリンパス株式会社 撮像装置
WO2018186176A1 (ja) * 2017-04-03 2018-10-11 富士フイルム株式会社 撮像装置、撮像用制御方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006034907A (ja) * 2004-07-26 2006-02-09 Akira Uchiyama 風力により上り・下り動作を行う鯉のぼり
JP4400611B2 (ja) 2006-10-26 2010-01-20 カシオ計算機株式会社 撮像装置、ブレ補正方法、およびプログラム
JP4875971B2 (ja) * 2006-12-08 2012-02-15 富士フイルム株式会社 撮影装置及びその調整方法
JP2011217311A (ja) * 2010-04-02 2011-10-27 Canon Inc 撮像装置および撮像装置の制御方法
JP2013178505A (ja) 2012-02-02 2013-09-09 Panasonic Corp 撮像装置
CN105407265B (zh) * 2014-09-05 2018-11-02 佳能株式会社 可互换透镜装置、图像捕获装置和控制方法
JP2016080918A (ja) * 2014-10-17 2016-05-16 キヤノン株式会社 像振れ補正装置及びその制御方法
JP6682336B2 (ja) 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
CN107454857A (zh) * 2016-07-29 2017-12-08 深圳市柔宇科技有限公司 一种运动装置
JP6967463B2 (ja) * 2018-01-23 2021-11-17 Omデジタルソリューションズ株式会社 撮像装置、手ぶれ補正方法、レンズユニット、及びボディユニット
US11159726B2 (en) * 2018-03-14 2021-10-26 Canon Kabushiki Kaisha Lens apparatus, camera, control method, and storage medium
JP7200995B2 (ja) * 2018-07-20 2023-01-10 株式会社ニコン カメラボディ、カメラアクセサリ及び情報送信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349707A (ja) * 2005-06-13 2006-12-28 Canon Inc デジタルカメラ
JP2010258570A (ja) * 2009-04-22 2010-11-11 Canon Inc 撮像装置及び画像変換方法
JP2016090973A (ja) * 2014-11-11 2016-05-23 オリンパス株式会社 撮像装置
WO2018186176A1 (ja) * 2017-04-03 2018-10-11 富士フイルム株式会社 撮像装置、撮像用制御方法、及びプログラム

Also Published As

Publication number Publication date
CN113574451A (zh) 2021-10-29
CN113574451B (zh) 2022-09-16
US11930275B2 (en) 2024-03-12
US20210368102A1 (en) 2021-11-25
JP7027609B2 (ja) 2022-03-01
WO2020175655A1 (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP5736512B2 (ja) 撮像装置およびその動作制御方法
JP6131393B2 (ja) 撮像装置及び撮像方法
JP6155403B2 (ja) 撮像装置及び像振れ補正方法
US20120098981A1 (en) Image capture methods and systems
US10895756B2 (en) Image shake correction device, imaging device, position detection method, position detection program
US10983304B2 (en) Imaging device, focusing control method, and focusing control program
JPWO2018168357A1 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10911679B2 (en) Image shake correction device, imaging device, image shake correction method, and image shake correction program
JP7027609B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US11600241B2 (en) Display control device, imaging device, display control method, and display control program
US10999510B2 (en) Image shake correction device, imaging device, image shake correction method, and image shake correction program
US10992872B2 (en) Imaging control device, imaging apparatus, imaging control method, and storage medium
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
JP6872080B2 (ja) 撮像装置
US20210337113A1 (en) Face region detection device, imaging apparatus, face region detection method, and face region detection program
JP2023051392A (ja) ブレ補正装置、撮像装置、ブレ補正方法、及びブレ補正プログラム
JP2023094941A (ja) 制御装置、撮像装置、制御方法、制御プログラム
JP2023098136A (ja) 制御装置、撮像装置、制御方法、制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220216

R150 Certificate of patent or registration of utility model

Ref document number: 7027609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150