JP7324284B2 - 撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法 - Google Patents

撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法 Download PDF

Info

Publication number
JP7324284B2
JP7324284B2 JP2021537925A JP2021537925A JP7324284B2 JP 7324284 B2 JP7324284 B2 JP 7324284B2 JP 2021537925 A JP2021537925 A JP 2021537925A JP 2021537925 A JP2021537925 A JP 2021537925A JP 7324284 B2 JP7324284 B2 JP 7324284B2
Authority
JP
Japan
Prior art keywords
signal
frequency
vibration
image stabilization
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537925A
Other languages
English (en)
Other versions
JP2022516481A (ja
Inventor
隆師 山本
弘 有賀
悠一 伊藤
成温 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022516481A publication Critical patent/JP2022516481A/ja
Application granted granted Critical
Publication of JP7324284B2 publication Critical patent/JP7324284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、ハンドシェイク等の振動による画像のぼけを補正する機構を有する撮像デバイス、手ぶれ補正デバイス、撮像方法、及び手ぶれ補正方法に関する。
光学式手ぶれ補正(OIS)と電子式手ぶれ補正(EIS)が、画像のぼけを補正するのための手ぶれ補正(IS)技術として知られている。光学式手ぶれ補正は、ジャイロセンサによってカメラ等の撮像デバイスの振動を検出することによって画像のぼけを補正し、手ぶれ補正は、振動によって引き起こされる動きをキャンセルするようにレンズを移動することによって行われる。一方、電子式手ぶれ補正(EIS)は、ジャイロセンサによって検出された動きの量をキャンセルするように、画像センサの画像キャプチャ範囲をシフトすることによって画像のぼけを補正する。
上記の光学式手ぶれ補正と電子式手ぶれ補正の両方を使用するハイブリッド手ぶれ補正システムの一形態は、OIS側で振動補正を行い、その移動量をEIS側に渡し、残渣をEISで処理するシステムである。
本発明の目的は、各周波数帯域に対するハイブリッド手ぶれ補正システムにおいて、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用することができる、撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法を提供することである。
第1の態様は、撮像デバイスであって、
撮像ユニットであって、
撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を含み、振動検出ユニットから出力される検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサと、
信号プロセッサによって分離された高周波振動信号に基づいて光学式手ぶれ補正を行う第1の補正ユニットと、
信号プロセッサによって分離された低周波振動信号に基づいて電子式手ぶれ補正を行う第2の補正ユニットと、を含む撮像ユニットと、
第1の補正ユニット及び/又は第2の補正ユニットによって補正された画像を処理する画像プロセッサと、を含み、
信号プロセッサは、周波数帯域において、HPF及びLPFのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含む、撮像デバイスを提供する。
第1の態様は、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用する撮像デバイスを提供することができる。
第1の態様の第1の可能な実施態様によれば、HPF及びLPFのカットオフ周波数は、互いに同一である。
第1の態様又は第1の態様の第1の可能な実施態様において、第1の態様の第2の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。
第1の態様又は第1の態様の第1若しくは第2の可能な実施態様において、第1の態様の第3の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。
第1の態様又は第1の態様の第1~第3の可能な実施態様のいずれか1つにおいて、第1の態様の第4の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。
第1の態様又は第1の態様の第1~第4の可能な実施態様のいずれか1つにおいて、第1の態様の第5の可能な実施態様によれば、撮像デバイスは、撮像デバイスがパンチルト状態にあるかどうかを判定し、判定の結果に基づいて、第1の補正ユニット及び第2の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む。
第2の態様は、手ぶれ補正デバイスであって、
撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を含み、振動検出ユニットから出力された検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサと、
信号プロセッサによって分離された高周波振動信号に基づいて光学式手ぶれ補正を行う第1の補正ユニットと、
信号プロセッサによって分離された低周波振動信号に基づいて電子式手ぶれ補正を行う第2の補正ユニットと、を含み、
信号プロセッサは、周波数帯域において、HPF及びLPFのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含む、手ぶれ補正デバイスを提供する。
第2の態様は、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用する手ぶれ補正デバイスを提供することができる。
第2の態様の第1の可能な実施態様によれば、HPF及びLPFのカットオフ周波数は互いに同一である。
第2の態様又は第2の態様の第1の可能な実施態様において、第2の態様の第2の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。
第2の態様又は第2の態様の第1若しくは第2の可能な実施態様において、第2の態様の第3の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。
第2の態様又は第2の態様の第1~第3の可能な実施態様のいずれか1つにおいて、第2の態様の第4の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。
第2の態様又は第2の態様の第1~第4の可能な実施態様のいずれか1つにおいて、第2の態様の第5の可能な実施態様によれば、撮像デバイスは、撮像デバイスがパンチルト状態にあるかどうかを判定し、判定の結果に基づいて、第1の補正ユニット及び第2の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む。
第3の態様は、撮像デバイスにおける撮像方法であって、
撮像デバイスの振動を検出し、検出信号を出力することと、
ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を使用して、出力された検出信号を高周波振動信号と低周波振動信号に分離することと、
低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことと、
光学式手ぶれ補正及び/又は電子式手ぶれ補正により補正された画像を処理することと、を含み、
HPF及びLPFのカットオフ周波数は、周波数帯域において可変的に設定可能である、撮像方法を提供する。
第3の態様は、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用する撮像方法を提供することができる。
第3の態様の第1の可能な実施態様によれば、HPF及びLPFのカットオフ周波数は、互いに同一である。
第3の態様又は第3の態様の第1の可能な実施態様において、第3の態様の第2の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。
第3の態様又は第3の態様の第1若しくは第2の可能な実施態様において、第3の態様の第3の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。
第3の態様又は第3の態様の第1~第3の可能な実施態様のいずれか1つにおいて、第3の態様の第4の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。
第3の態様又第3の態様の第1~第4の可能な実施態様のいずれか1つにおいて、第3の態様の第5の可能な実施態様によれば、低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことは、撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される。
第4の態様は、手ぶれ補正方法であって、
撮像デバイスの振動を検出し、検出信号を出力することと、
ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を使用して、出力された検出信号を高周波振動信号と低周波振動信号に分離することと、
低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことと、を含み、
HPF及びLPFのカットオフ周波数は、周波数帯域において可変的に設定可能である、手ぶれ補正方法を提供する。
第4の態様は、光学式手ぶれ補正と電子式手ぶれ補正を効果的に適用する手ぶれ補正方法を提供することができる。
第4の態様の第1の可能な実施態様によれば、HPF及びLPFのカットオフ周波数は、互いに同一である。
第4の態様又は第4の態様の第1の可能な実施態様において、第4の態様の第2の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。
第4の態様又は第4の態様の第1若しくは第2の可能な実施態様において、第4の態様の第3の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。
第4の態様又は第4の態様の第1~第3の可能な実施態様のいずれか1つにおいて、第4の態様の第4の態様の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。
第4の態様又は第4の態様の第1~第4の可能な実施態様のいずれか1つにおいて、第4の態様の第5の可能な実施態様によれば、低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことは、撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される。
実施形態における技術的解決策をより明確に説明するために、以下、実施形態を説明するために必要な添付の図面を簡単に説明する。明らかに、以下の説明における添付の図面は、可能な実施形態の一部のみを示しており、当業者であれば、これら添付の図面から、創造的努力なしに、他の図面を依然として導出することがある。
本開示の一実施形態による撮像デバイスの機能構成を示す図である。 本開示の一実施形態による手ぶれ補正ユニットの構成を示す図である。 光学式手ぶれ補正を説明するための図である。 電子式手ぶれ補正を説明するための図である。 手ぶれ補正デバイスの動作手順を示すフローチャートである。 本開示の一実施形態によるカットオフ周波数の設定を説明するための図である。 本開示の一実施形態によるカットオフ周波数の設定を説明するための図である。 本開示の一実施形態による手ぶれ補正ユニットの構成を示す図である。 本開示の一実施形態による撮像デバイスが実施されるスマートフォンの概略構成を示す図である。 本開示の一実施形態による手ぶれ補正ユニットの構成を示す図である。
当業者に本開示の技術的解決策をより良く理解させるために、以下、本開示の実施形態において添付図面を参照して、本開示の実施形態における技術的解決策を明確かつ完全に説明する。明らかに、説明される実施形態は、本開示の実施形態の全部ではなく、一部のみである。創造的努力なしに、本開示の実施形態に基づいて当業者が取得する他の実施形態はすべて、本発明の保護範囲に含まれるものとする。
(第1の実施形態)
図1は、本開示の一実施形態による撮像デバイス1の機能構成を示す図である。図1に示すように、撮像デバイス1は、撮像ユニット2と、画像のぼけ補正を通じて補正された画像を処理する画像プロセッサ3と、を含む。撮像ユニット2は、画像のぼけを補正するための手ぶれ補正ユニット100を含む。この手ぶれ補正ユニット100の構成は、図2等を参照して後ほど詳細に説明する。
さらに、撮像デバイス1は、表示ユニット4と、記憶ユニット5と、入力ユニット6とを含み、これらの構成要素が互いに通信できるように構成されている。撮像デバイス1は、スマートフォン、デジタルカメラ、パーソナルデジタルアシスタント、ゲームデバイス等の電子デバイスとして構成されていてもよい。
撮像ユニット2は、レンズと、オートフォーカス(AF)機構と、手ぶれ補正機構と、を有するレンズユニットを含むように構成されており、レンズを通じて画像センサ上に形成された光学像に従って電荷を蓄積する。撮像ユニット2は、蓄積された電荷を電圧に変換し、変換された電圧に対して所定の信号処理を行い、信号処理を通じて得られた信号を画像プロセッサ3に出力する。ここで行われる信号処理は、光学式手ぶれ補正又は電子式手ぶれ補正に基づく手ぶれ補正、自動ホワイトバランス処理、自動露光処理、ノイズ低減等の様々な種類の信号処理を含んでもよい。手ぶれ補正ユニット100は、例えば、中央処理ユニット(CPU)のようなプロセッサによって構成されていてもよい。
画像プロセッサ3は、撮像ユニット2から出力された信号を使用して画像処理を実行する。画像プロセッサ3によって実行される画像処理は、例えば、撮像ユニット2から出力された信号に対するデモザイク処理、表示ユニット4への画像データの表示制御、記憶ユニット5への画像データの記憶を含んでもよい。画像プロセッサ3は、例えば、画像信号プロセッサ(ISP)として構成されていてもよい。
表示ユニット4は、画像プロセッサ3の制御下で画像を表示する表示デバイスである。表示ユニット4は、例えば、液晶ディスプレイ(LCD)、有機発光ディスプレイ(OECD)等で構成されていてもよい。
記憶ユニット5は、撮像ユニット2によってキャプチャされ、画像プロセッサ3による画像処理を受けた画像を記憶する。記憶ユニット5によって記憶された画像は、撮像デバイス1に対するユーザの操作に従って表示ユニット4に表示されてもよい。記憶ユニット5は、揮発性メモリ、ランダム・アクセス・メモリ(RAM)及び/又は不揮発性メモリ、例えばフラッシュ・メモリ等のコンピュータ可読記憶媒体の形態を含んでもよい。
コンピュータ可読記憶媒体は、任意の方法又は技術を使用して情報を記憶してもよい揮発性又は不揮発性のタイプ、取り外し可能又は非取り外し可能の媒体を含んでもよい。情報は、コンピュータ読取可能な命令、データ構造、プログラムモジュール、又は他のデータを含んでもよい。
入力ユニット6は、撮像デバイス1にユーザ命令や画像データを入力するように構成されている。具体的には、入力ユニット6は、タッチパネル、スイッチ、及びボタン等で構成されている。ユーザ命令は、像のキャプチャ、画像データの編集、記録、削除等を含む。入力ユニット6は、パーソナルコンピュータ等の別の電子デバイスとデータをやり取りするための通信インタフェースとして構成されていてもよい。この場合、別の電子デバイスからのユーザ命令及びデータの入力が実行される。
次に、図2を参照して、本実施形態による手ぶれ補正ユニット100の構成を説明する。
手ぶれ補正ユニット100は、
撮像デバイス1の振動を検出し、検出信号を出力する振動検出ユニットとしてのジャイロセンサ102と、
ローパスフィルタ(LPF)106及びハイパスフィルタ(HPF)108を含み、ジャイロセンサ102から出力された検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサ104と、
信号プロセッサ104によって分離された高周波振動信号に基づいて、光学式手ぶれ補正を行う第1の補正ユニットとしての光学式手ぶれ補正(OIS)信号プロセッサ110と、
信号プロセッサ104によって分離された低周波振動信号に基づいて、電子式手ぶれ補正を行う第2の補正ユニットとしての電子式手ぶれ補正(EIS)信号プロセッサ112、とを含むように構成されている。
手ぶれ補正ユニット100は、ドライバ(DRV)114、レンズユニット115、アクチュエータ116、及び画像センサ117を含むようにさらに構成されている。以下、これらの構成要素の各々について説明する。
ジャイロセンサ102は、角速度を測定することによって撮像デバイス1の姿勢を検出し、検出した信号を出力する、すなわち、振動検出ユニットとして機能する。
信号プロセッサ104は、ローパスフィルタ106と、ハイパスフィルタ108と、カットオフ周波数(fc)コントローラ109と、を含む。ローパスフィルタ106は、検出信号における低周波振動信号を通過させるフィルタ処理プロセスを行う。ハイパスフィルタ108は、検出信号における高周波振動信号を通過させるフィルタ処理プロセスを行う。カットオフ周波数(fc)コントローラ109は、ローパスフィルタ106及びハイパスフィルタ108のカットオフ周波数を設定及び変更するための制御を行う。
OIS信号プロセッサ110は、アクチュエータ116を制御するための駆動信号をドライバ114に出力する。ドライバ114は、OIS信号プロセッサ110からの駆動信号に従ってアクチュエータ116を駆動する。EIS信号プロセッサ112は、キャプチャされた画像のぼけを補正する。レンズユニット115は、ドライバ114の制御下で動作し、画像センサ117上に光学像を形成する。
次に、図3を参照して、OIS信号プロセッサ110によって行われる光学式手ぶれ補正を説明する。図において、レンズユニット115は、焦点レンズ115-1と、補正レンズ115-2と、別のレンズ115-3と、を含む。被写体が配置された図の左側から入射する光線は、実線で示された軸301に沿って焦点レンズ115-1、補正レンズ115-2、及び別のレンズ115-3を通過し、画像センサ117上に光学像を形成する。撮像デバイス1の姿勢が傾斜し、光線が破線で示された軸301´に沿って進入し、光線の到達点は、光線が到達するはずの画像センサ117上の点Pから点P´にシフトされるときに、このシフトはハンドシェイクとなる。このシフトは、ドライバ114に、矢印Aによって示される上下方向、又は矢印Bによって示されるシートの表面に対する垂直方向に補正レンズ115-2を移動させることによって相殺される。
次に、図4を参照して、EIS信号プロセッサ112によって行われる電子式手ぶれ補正について説明する。EISは、ジャイロセンサ102によって検出された撮像デバイス1の姿勢情報に基づいて、フレーム間画像処理を通じて実行される手ぶれ補正であり、フレーム単位で動画等における連続する画像データをシフトさせることによって補正を行う。図4に示すように、画像センサ117からフレーム402、404、406の順に画像が出力されるときに、EIS信号プロセッサ112は、画像408のぼけを補正するために、姿勢情報に基づいて、フレーム402に対するフレーム404とフレーム406の相対位置をシフトする。OISのようなEISは、スマートフォン等に搭載されたカメラに実施される技術である。
前述のOIS及びEISに関して、第一に、ハンドシェイク振動は、一般に、低周波において大きな振幅を有し、高周波において小さな振幅を有する傾向がある。
OISは撮像時に手ぶれ補正を行うための技術であるため、露光時間に依存することなく、本質的に手ぶれ補正を効果的に行うことができる。しかし、OISはレンズを物理的に移動させる機構を使用するため、レンズの可動範囲はこの機構の大きさによって制限される。したがって、OISが比較的大きなハンドシェイクに対処することを可能にするための機構を実施することは実用的ではない。一方、OISとは異なり、EISは物理的なメカニズムによる制約を受けないため、EISは低周波領域における大きなハンドシェイクに対処するために手ぶれ補正を行うことができるようになっている。しかし、CMOSセンサを画像センサとして使用する撮像デバイスの場合、被写体のハンドシェイクや速い動きによって、キャプチャされた画像が変形するローリングシャッタと呼ばれる現象が発生することがある。この現象は、画像化されるべきライン毎の露光開始タイミングが異なるために、画像の1フレーム内でぼけが発生することに起因する。このように、画像の1フレーム内でぼけが発生するときに、EISがそれ自体で手ぶれ補正を行うことは容易ではない。被写体のハンドシェイクや速い動きは、高周波帯で起こりやすい。したがって、EISは、本質的に、高周波領域において性能が悪くなりやすい。
以上から、本実施形態によれば、ジャイロセンサ102によるハンドシェイクの検出信号を高周波信号と低周波信号に分離し、低周波信号に基づく手ぶれ補正をEISで実行しながら、高周波信号に基づく手ぶれ補正をOISで実行する。
次に、図5のフローチャートを参照して、手ぶれ補正ユニット100における動作手順を説明する。
ステップS502では、撮像デバイス1の振動が検出され、検出信号が出力される。撮像デバイス1の姿勢におけるハンドシェイクに起因する変化に基づく振動に関する情報は、ジャイロセンサ102によって検出される。ジャイロセンサ102からの検出信号は、信号プロセッサ104に出力される。
ステップS504では、ハイパスフィルタ108及びローパスフィルタ106を使用して、出力検出信号が高周波信号及び低周波信号に分離される。ジャイロセンサ102からの検出信号は、ローパスフィルタ106によって処理され、低周波振動信号を生成する。この処理と並列に、信号プロセッサ104への信号入力は、ハイパスフィルタ108によって処理され、高周波振動信号を生成する。カットオフ周波数(fc)コントローラ109によって設定されるハイパスフィルタ108及びローパスフィルタ106のカットオフ周波数は、周波数帯域において可変的に設定可能である。
ステップS506では、EISによる手ぶれ補正が、分離された低周波振動信号に基づいて行わる一方で、OISによる手ぶれ補正が、分離された高周波振動信号に基づいて行われる。ハイパスフィルタ108から出力される高周波振動信号は、OIS信号プロセッサ110によって処理される。この信号は、ドライバ114に入力され、ドライバ114は、アクチュエータ116を駆動するための信号にその入力信号を変換する。レンズユニット115は、アクチュエータ116によって動かされるように制御され、高周波振動によって生成された画像のぼけを相殺する。
一方、ローパスフィルタ106から出力される低周波振動信号は、EIS信号プロセッサ112に入力される。EIS信号プロセッサ112は、入力信号に基づいて画像センサ117から提供された動画データの複数のフレームを処理して、画像を補正する。次に、EIS信号プロセッサ112によって行われた手ぶれ補正を受けた動画データが、画像プロセッサ3に出力される。
次に、ステップS508では、OIS及び/又はEISによって補正された画像が処理される。画像プロセッサ3は、入力信号に対するデモザイク処理、表示ユニット4への画像データの表示制御、記憶ユニット5への画像データの記憶等の様々な種類の処理を行う。
前述の動作によれば、ジャイロセンサ102から出力された信号は、ハイパスフィルタ108によって処理されて、制御帯域内の高周波領域における信号を生成し、この信号は、OIS信号処理に使用される。
さらに、ジャイロセンサ102から出力された信号は、ローパスフィルタ106によって処理されて、制御帯域の低周波領域における信号を生成し、この信号は、EIS信号処理に使用される。
次に、図6、図7を参照して、本実施形態によるカットオフ周波数(fc)の設定を説明する。
図6は、ローパスフィルタ106及びハイパスフィルタ108のカットオフ周波数の一例を示す図である。図6において、ローパスフィルタ106のカットオフ周波数は、ハイパスフィルタ108のカットオフ周波数と一致する。これにより、手ぶれ補正処理の周波数特性を完全にフラット化することができます。すなわち、手ぶれ補正は、検出信号の全制御帯域にわたってシームレスに行うことができる。図7は、カットオフ周波数の設定位置の別の例を示す。図7において、ローパスフィルタ106のカットオフ周波数はハイパスフィルタ108のカットオフ周波数と一致する。図6及び図7に示すように、カットオフ周波数は望ましくは制御帯域内に設定されるべきである。
本実施形態では、高周波振動信号及び低周波振動信号のカットオフ周波数を周波数帯域において可変的に設定され得る。信号プロセッサ104は、撮像デバイスの周囲の明るさやハンドシェイク振動の振幅を検出し、検出結果に従ってカットオフ周波数fcの値を設定する。この制御は、カットオフ周波数(fc)コントローラ109において以下の動作を実行するためのアルゴリズムの実施を介して実行される。
ジャイロセンサ102からの検出信号に基づいて判定において、ハンドシェイク振動の振幅が特定の値未満であるときに、カットオフ周波数(fc)コントローラ109は、OISベースの手ぶれ補正が実施可能であると判定し、カットオフ周波数を制御帯域の下限付近まで低減する。このような制御の実行は、露光時間に依存することなく、OISベースの手ぶれ補正を実施することができる。
一方、ジャイロセンサ102からの検出信号に基づいた判定において、ハンドシェイク振動の振幅がその特定の値以上であるときに、カットオフ周波数(fc)コントローラ109は、OISベースの手振れ補正が実施可能である範囲から状態が外れていると判定する。次に、カットオフ周波数(fc)コントローラ109は、カットオフ周波数fcを制御帯域内の高周波側にシフトさせる。すなわち、カットオフ周波数(fc)コントローラ109はカットオフ周波数fcを設定し、OISが特定の値未満の振幅を有する周波数帯域に適用されるようにする。このような制御の実行は、OISが比較的小さな振幅を有する高周波数のみを補正することを可能にし、EISが大きな振幅と低周波ハンドシェイク振動に対処することを可能にする。
また、暗い環境下での撮像により露光時間が長くなり、露光時間中にハンドシェイク振動が発生するときに、カットオフ周波数fcを制御周波数帯域の下限付近に設定し、振幅の大きさに関係なくOISベースの手ぶれ補正を実施するようにする。OISベースの手ぶれ補正を行うためのカットオフ周波数fcは、露光時間が特定の値より長いかどうかに関する判定に従って設定されてもよい。代替的には、撮像デバイスに、周辺環境の明るさを測定する測定ユニットが設けられて、測定ユニットで測定された明るさが特定の値未満であるかどうかに応じて、カットオフ周波数fcが設定されてもよい。
(第2の実施形態)
次に、図8を参照して本開示の第2の実施形態を説明する。図8は、本実施形態による手ぶれ補正ユニット700の機能構成を示す。手ぶれ補正ユニット700は、図2に示す構成に加速度計118が追加された点で手ぶれ補正ユニット100と異なる。図8に示す他の構成要素は、それぞれ同じ参照符号を有する図2における構成要素と同じ機能を有するため、構成要素の詳細な説明は省略する。
加速度計118は、信号プロセッサ104に接続され、撮像デバイス1の振動を検出し、検出信号を信号プロセッサ104に出力する。本実施形態では、ジャイロセンサ102及び加速度計118が振動検出ユニットとして機能する。信号プロセッサ104は、ジャイロセンサ102及び加速度計118から出力された検出信号を処理する。
図9は、本実施形態による撮像デバイスが実施されるスマートフォン800の概略構成を示す図である。ジャイロセンサ102が二軸角速度センサとして構成されているときに、ジャイロセンサ102は、矢印801によって示されるX軸(ピッチ)を中心とした回転、及び矢印802によって示されるY軸(ヨー)を中心とした回転を検出する。ジャイロセンサ102が三軸角速度センサとして構成されているときに、ジャイロセンサ102は、矢印805によって示されるZ軸(ロール)を中心とした回転をさらに検出する。本実施形態では、加速度計118を使用することにより、撮像デバイスの平行移動の検出をさらに保証する。したがって、図9の矢印803によって示されるX軸方向の移動、及び矢印804によって示されるY軸方向の移動も検出することができる。
本実施形態による手ぶれ補正ユニット700の動作は、図5を参照して説明され得る。ステップS502では、ハンドシェイク振動に関する情報がジャイロセンサ102及び加速度計118によって検出される。ジャイロセンサ102及び加速度計118からの検出信号は、信号プロセッサ104に出力される。これらの信号は、信号プロセッサ104において結合及び処理されてもよく、又は別々に処理されてもよい。ステップS504の後の処理は、前述の実施形態の処理と同様である。
(第3の実施形態)
次に、図10を参照して本開示の第3の実施形態を説明する。図10は、本実施形態による手ぶれ補正ユニット900を示す。手ぶれ補正ユニット900は、図8に示す構成にパンチルト信号プロセッサ120が追加された点で手ぶれ補正ユニット700と異なる。
ユーザが、カメラの方向を著しく変化させながら、又はカメラを任意の方向に移動させながら撮像(パンチルト)を行うときに、撮像デバイスは、パンチルトをハンドシェイクとして誤って認識する可能性がある。この場合、手ぶれ補正デバイスは、ハンドシェイクとしてパンチルトを考慮して手ぶれ補正を行う。その結果、手ぶれ補正は、画面が一時的に安定した状態で静止しようとするが、安定化動作が制御可能な移動範囲を超えたときに、急に不安定な状態に戻るようなビデオ画像を提供する。したがって、撮像デバイス1の振動が検出されると、パンチルト信号プロセッサ120は、振動がハンドシェイクであるかパンチルトであるかを判定する。以下、パンチルト撮像中の撮像デバイスの状態をパンチルト状態と呼ぶ。
パンチルト信号プロセッサ120は、信号プロセッサ104から検出信号を受信するように構成されている。ここで受信される信号は、フィルタ処理されていない検出信号であってもよいし、ローパスフィルタ106又はハイパスフィルタ108においてフィルタ処理を受けた検出信号であってもよい。例えば、ユーザの右側の景観を撮影しているユーザが、ユーザの左側の人物を撮影しようとしたときに、ユーザは、撮像デバイス1の方向を水平方向に著しく変化させることがある。この場合、パンチルト信号プロセッサ120は、撮像デバイスの状態がパンチルト状態であると判定する。代替的には、パノラマ撮影のためにカメラの方向を180°又は360°の範囲に回転させてもよく、その場合、パンチルト信号プロセッサ120は、撮像デバイスの状態がパンチルト状態であることも判定する。
具体的には、パンチルト信号プロセッサ120は、手ぶれ補正により補正可能な回転範囲を示す値を第1の指定値として保持する。パンチルト信号プロセッサ120は、パンチルト状態を終了し、手ぶれ補正を再開するための値を第2の指定値としてさらに保持する。X軸又はY軸を中心とした回転を示すジャイロセンサ102から出力された検出信号における検出信号が第1の指定値以上になるときに、パンチルト信号プロセッサ120は、撮像デバイスの状態がパンチルト状態であると判定する。パンチルト信号プロセッサ120は、OIS信号プロセッサ110及びEIS信号プロセッサ112に手ぶれ補正の停止を命令する信号を出力する。その結果、OIS信号プロセッサ110及びEIS信号プロセッサ112による手ぶれ補正が停止され、レンズユニット115の補正レンズ115-2が元の位置(中央)に戻るようにする。このようにして、OIS及びEISは、撮像デバイス1がパンチルト状態である場合を除いて実行される。
また、手ぶれ補正が停止された時点で、パンチルト信号プロセッサ120は、信号プロセッサ104に対し、ローパスフィルタ106及びハイパスフィルタ108によるフィルタ処理を行わないように命令してもよい。
X軸又はY軸を中心とした回転を示す検出信号が、第2の指定値以下になるときに、パンチルト信号プロセッサ120は、パンチルト状態が終了したと判定する。パンチルト信号プロセッサ120は、OIS信号プロセッサ110及びEIS信号プロセッサ112に手ぶれ補正の開始を命令する信号を出力する。その結果、OIS信号プロセッサ110及びEIS信号プロセッサ112による手ぶれ補正が再開する。
第2の指定値は、第1の指定値より大きい値に設定されてもよい。
手ぶれ補正が再開される時点で、パンチルト信号プロセッサ120は、信号プロセッサ104に対して、ローパスフィルタ106及びハイパスフィルタ108によって停止されているフィルタ処理を再開するように命令してもよい。
本実施形態では、ローパスフィルタ106及びハイパスフィルタ108のカットオフ周波数は、パンチルト信号プロセッサ120から出力された信号又はこの信号に基づいて判定される状況に基づいて、周波数帯域内で可変的に設定され得る。
例えば、OIS又はEISが現在可動範囲の限界にどれだけ近づいているかの状況の判定に基づいて、カットオフ周波数がパンチルト信号プロセッサ120によって設定又は変更される。撮像デバイスの状態がジャイロセンサ102からの検出信号に基づく判定においてパンチルト状態であるときに、パンチルト信号プロセッサ120は、カットオフ周波数(fc)コントローラ109に対してカットオフ周波数fcを制御帯域内の高周波側にシフトさせるように命令する。すなわち、カットオフ周波数fcは、指定値未満の振幅を有する周波数帯域にOISを適用するように設定される。このような制御は、OISが比較的小さな振幅を有する高周波数のみを補正することを可能にし、EISが大きい振幅及び低周波ハンドシェイク振動に対処することを可能にする。
EISは、例として、前述の実施形態では電子式手ぶれ補正として説明されてきたが、デジタル手ぶれ補正(DIS)が、EISの代わりに、又はEISと共に使用されてもよい。DISの場合には、画像センサからのビデオ画像のキャプチャ範囲をシフトさせて、連続的に撮影された複数の画像を互いに比較して、撮影された画像の振動に起因する偏差を判定し、判定された偏差に基づいて複数の画像データの領域をシフトさせることにより、手ぶれ補正を実施する。
前述の説明は、単に本発明の具体的な実施方法に過ぎないが、本発明の保護範囲を限定することを意図したものではない。開示された技術的範囲内の当業者によって容易に解明された変更又は代替は、本発明の保護範囲に含まれる。したがって、本発明の保護範囲は、請求項の保護範囲に従うものとする。

Claims (12)

  1. 撮像デバイスであって、
    撮像ユニットであって、
    前記撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
    ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を含み、前記振動検出ユニットから出力される前記検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサであって、前記検出信号に基づいて前記振動の振幅を検出する信号プロセッサと、
    前記信号プロセッサによって分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行う第1の補正ユニットと、
    前記信号プロセッサによって分離された前記低周波振動信号に基づいて電子式手ぶれ補正を行う第2の補正ユニットと、を含む撮像ユニットと、
    前記第1の補正ユニット及び/又は前記第2の補正ユニットによって補正された画像を処理する画像プロセッサと、を含み、
    前記信号プロセッサは、前記検出信号の制御帯域内の周波数帯域において、前記HPF及び前記LPFのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含み、
    前記振動の振幅が第1の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され
    前記カットオフ周波数コントローラは、周囲の明るさに応じて前記カットオフ周波数を変更し、
    前記周囲の明るさが第2の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、撮像デバイス。
  2. 前記HPF及び前記LPFの前記カットオフ周波数は互いに同一である、請求項1に記載の撮像デバイス。
  3. 前記撮像デバイスがパンチルト状態にあるかどうかを判定し、前記判定の結果に基づいて、前記第1の補正ユニット及び前記第2の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む、請求項1又は2に記載の撮像デバイス。
  4. 手ぶれ補正デバイスであって、
    撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
    ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を含み、前記振動検出ユニットから出力された前記検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサであって、前記検出信号に基づいて前記振動の振幅を検出する信号プロセッサと、
    前記信号プロセッサによって分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行う第1の補正ユニットと、
    前記信号プロセッサによって分離された前記低周波振動信号に基づいて電子式手ぶれ補正を行う第2の補正ユニットと、を含み、
    前記信号プロセッサは、前記検出信号の制御帯域内の周波数帯域において、前記HPF及び前記LPFのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含み、
    前記振動の振幅が第1の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され
    前記カットオフ周波数コントローラは、周囲の明るさに応じて前記カットオフ周波数を変更し、
    前記周囲の明るさが第2の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、手ぶれ補正デバイス。
  5. 前記HPF及び前記LPFの前記カットオフ周波数は互いに同一である、請求項に記載の手ぶれ補正デバイス。
  6. 前記撮像デバイスがパンチルト状態にあるかどうかを判定し、前記判定の結果に基づいて、前記第1の補正ユニット及び前記第2の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む、請求項4又は5に記載の手ぶれ補正デバイス。
  7. 撮像デバイスにおける撮像方法であって、
    前記撮像デバイスの振動を検出し、検出信号を出力することと、
    ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を使用して、出力された前記検出信号を高周波振動信号と低周波振動信号に分離することと、
    前記検出信号に基づいて前記振動の振幅を検出することと、
    前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことと、
    前記光学式手ぶれ補正及び/又は前記電子式手ぶれ補正により補正された画像を処理することと、を含み、
    前記HPF及び前記LPFのカットオフ周波数は、前記検出信号の制御帯域内の周波数帯域において可変的に設定可能であり、
    前記振動の振幅が第1の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され
    前記カットオフ周波数は、周囲の明るさに応じて可変的に設定可能であり、
    前記周囲の明るさが第2の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、撮像方法。
  8. 前記HPF及び前記LPFの前記カットオフ周波数は互いに同一である、請求項に記載の撮像方法。
  9. 前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことは、前記撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される、請求項7又は8に記載の撮像方法。
  10. 手ぶれ補正方法であって、
    撮像デバイスの振動を検出し、検出信号を出力することと、
    ハイパスフィルタ(HPF)及びローパスフィルタ(LPF)を使用して、出力された前記検出信号を高周波振動信号と低周波振動信号に分離することと、
    前記検出信号に基づいて前記振動の振幅を検出することと、
    前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことと、を含み、
    前記HPF及び前記LPFのカットオフ周波数は、前記検出信号の制御帯域内の周波数帯域において可変的に設定可能であり、
    前記振動の振幅が第1の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され
    前記カットオフ周波数は、周囲の明るさに応じて可変的に設定可能であり、
    前記周囲の明るさが第2の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、手ぶれ補正方法。
  11. 前記HPF及び前記LPFの前記カットオフ周波数は互いに同一である、請求項10に記載の手ぶれ補正方法。
  12. 前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことは、前記撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される、請求項10又は11に記載の手ぶれ補正方法。
JP2021537925A 2018-12-26 2018-12-26 撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法 Active JP7324284B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/123758 WO2020132917A1 (en) 2018-12-26 2018-12-26 Imaging device, image stabilization device, imaging method and image stabilization method

Publications (2)

Publication Number Publication Date
JP2022516481A JP2022516481A (ja) 2022-02-28
JP7324284B2 true JP7324284B2 (ja) 2023-08-09

Family

ID=71126865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537925A Active JP7324284B2 (ja) 2018-12-26 2018-12-26 撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法

Country Status (3)

Country Link
JP (1) JP7324284B2 (ja)
CN (1) CN113243103B (ja)
WO (1) WO2020132917A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230012732A (ko) * 2021-07-16 2023-01-26 삼성전자주식회사 전자 장치 및 안테나 성능을 고려한 손떨림 보정 방법
CN117714867B (zh) * 2023-05-16 2024-10-18 荣耀终端有限公司 图像防抖方法与电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249941A (ja) 2007-03-30 2008-10-16 Canon Inc 画像振れ補正装置および撮像装置
JP2009272890A (ja) 2008-05-07 2009-11-19 Sony Corp 画像処理装置及び画像処理方法、並びに撮影装置
JP2010004370A (ja) 2008-06-20 2010-01-07 Sony Corp 撮像装置、及び像振れ補正方法並びにプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473105B2 (ja) * 1993-11-26 2003-12-02 ソニー株式会社 カメラのパンチルト判別装置及びカメラ装置
JP4567313B2 (ja) * 2003-10-21 2010-10-20 オリンパス株式会社 カメラ
JP2009044520A (ja) * 2007-08-09 2009-02-26 Sanyo Electric Co Ltd 防振制御回路
JP5259172B2 (ja) * 2007-12-19 2013-08-07 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 手振れ補正制御回路およびそれを搭載した撮像装置
JP6351247B2 (ja) * 2013-12-12 2018-07-04 キヤノン株式会社 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6320164B2 (ja) * 2014-05-20 2018-05-09 キヤノン株式会社 像ブレ補正装置及びその制御方法、光学機器、撮像装置
CN104902142B (zh) * 2015-05-29 2018-08-21 华中科技大学 一种移动终端视频的电子稳像方法
KR20170075442A (ko) * 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
CN107241544B (zh) * 2016-03-28 2019-11-26 展讯通信(天津)有限公司 视频稳像方法、装置及摄像终端
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种视频稳像方法及装置
JP6815904B2 (ja) * 2017-03-09 2021-01-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、光学機器、撮像装置
CN108900775B (zh) * 2018-08-14 2020-09-29 深圳纳瓦科技有限公司 一种水下机器人实时电子稳像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249941A (ja) 2007-03-30 2008-10-16 Canon Inc 画像振れ補正装置および撮像装置
JP2009272890A (ja) 2008-05-07 2009-11-19 Sony Corp 画像処理装置及び画像処理方法、並びに撮影装置
JP2010004370A (ja) 2008-06-20 2010-01-07 Sony Corp 撮像装置、及び像振れ補正方法並びにプログラム

Also Published As

Publication number Publication date
CN113243103A (zh) 2021-08-10
CN113243103B (zh) 2022-11-22
WO2020132917A1 (en) 2020-07-02
JP2022516481A (ja) 2022-02-28

Similar Documents

Publication Publication Date Title
KR101528860B1 (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
CN104065868B (zh) 摄像设备及其控制方法
JP6486656B2 (ja) 撮像装置
JP5409342B2 (ja) 撮像装置及びその制御方法
JP5563163B2 (ja) 撮像装置および撮像方法
JPH07123317A (ja) 防振機能付き撮影装置
US20160182828A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method
JP6302341B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2011023987A (ja) 撮像装置及び揺れ補正方法
JP6642971B2 (ja) 像ブレ補正装置、光学機器、撮像装置および制御方法
JP2005215388A (ja) 交換レンズ及びそれを用いたカメラシステム
JP2012078495A (ja) 撮像装置、ブレ補正装置及びブレ補正方法
JP7324284B2 (ja) 撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法
JP6833451B2 (ja) 画像処理装置、その画像処理方法および光学機器
JP5939768B2 (ja) 像ブレ補正装置、撮像システム、像ブレ補正装置の制御方法
JP6173134B2 (ja) 像振れ補正装置及びその制御方法
JP6767618B2 (ja) 撮像装置
JP5393877B2 (ja) 撮像装置および集積回路
WO2017104102A1 (ja) 撮像装置
JP3853158B2 (ja) 撮像装置の像ぶれ補正方法および装置
JP7241138B2 (ja) ブレ検出装置、撮像装置、レンズ装置、撮像装置本体、ブレ検出方法、ブレ検出プログラム及び記録媒体
JP6165052B2 (ja) 振れ補正装置、それを有する撮像装置、振れ補正方法、およびプログラム
JP7258518B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP4046707B2 (ja) 撮像装置における像ぶれ補正装置
JP6873841B2 (ja) 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230728

R150 Certificate of patent or registration of utility model

Ref document number: 7324284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150