JP7459279B2 - 撮像装置、撮像装置の駆動方法、及びプログラム - Google Patents

撮像装置、撮像装置の駆動方法、及びプログラム Download PDF

Info

Publication number
JP7459279B2
JP7459279B2 JP2022553808A JP2022553808A JP7459279B2 JP 7459279 B2 JP7459279 B2 JP 7459279B2 JP 2022553808 A JP2022553808 A JP 2022553808A JP 2022553808 A JP2022553808 A JP 2022553808A JP 7459279 B2 JP7459279 B2 JP 7459279B2
Authority
JP
Japan
Prior art keywords
phase difference
pixel region
difference pixel
imaging
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022553808A
Other languages
English (en)
Other versions
JPWO2022070941A1 (ja
Inventor
智行 河合
康一 田中
祐也 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022070941A1 publication Critical patent/JPWO2022070941A1/ja
Application granted granted Critical
Publication of JP7459279B2 publication Critical patent/JP7459279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本開示の技術は、撮像装置、撮像装置の駆動方法、及びプログラムに関する。
特許文献１に記載の撮像装置は、複数の画素が２次元的に配列された撮像素子であって、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する撮像用画素と、複数の撮像用画素の間に離散的に配置され、撮影レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の信号を生成する焦点検出用画素とを有する撮像素子と、複数の画素の全画素の信号を読み出す全画素読み出しモードと、複数の画素の信号を間引いて読み出す間引き読み出しモードとを切り替える切り替え部と、切り替え部により間引き読み出しモードに切り替えられた場合に、画像生成のために用いられる撮像行と、焦点検出用画素を有する焦点検出行とで、独立して電荷の蓄積制御を行う制御部とを備える。
特開２０１０－２１９９５８号公報
本開示の技術に係る一つの実施形態は、位相差画素の露光時間をフレーム周期以上とし、かつ、フレーム周期ごとに位相差画素から信号を読み出すことを可能とする撮像装置、駆動方法、及びプログラムを提供する。
上記目的を達成するために、本開示の撮像装置は、プロセッサと、第１方向に延在する信号を読み出す列信号線と、第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有し、プロセッサは、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行するように構成され、第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。
第１露光時間及び第２露光時間は、それぞれフレーム周期超過であることが好ましい。
第１露光時間と第２露光時間とは、互いに異なることが好ましい。
プロセッサは、第１読み出し処理と第２読み出し処理とを交互に実行し、第１露光時間及び第２露光時間をそれぞれフレーム周期の２倍未満とする、第１モードを実行可能とすることが好ましい。
プロセッサは、Ｋを２以上の整数とした場合に、第２露光時間をフレーム周期のＫ倍以上で、かつＫ＋１倍未満とし、第２位相差画素領域の露光期間中に第１読み出し処理をＫ回実行し、第１読み出し処理をＫ回実行するたびに第２読み出し処理を１回実行する、第２モードを実行可能とすることが好ましい。
第２モードにおいて、第１露光時間は、フレーム周期未満であることが好ましい。
プロセッサは、被写体の明るさに応じて、第１モードと第２モードとを切り替えることが好ましい。
プロセッサは、第２読み出し処理を行わず、第１読み出し処理のみを繰り返す第３モードを実行可能とすることが好ましい。
プロセッサは、被写体の移動速度に応じて第１モードと第３モードとを切り替えることが好ましい。
Ｎを３以上の整数とした場合に、撮像素子は、第２方向に配列された第１位相差画素領域から第Ｎ位相差画素領域のＮ個の位相差画素領域を有し、プロセッサは、位相差画素領域の各々をフレーム周期ごとに選択して信号を読み出し、かつ、位相差画素領域の露光時間を、フレーム周期のＮ倍未満とすることが好ましい。
撮像素子は、第２方向に延在する複数の行選択線を含み、第１位相差画素領域は、複数の位相差画素として１対の第１位相差画素を含み、第２位相差画素領域は、複数の位相差画素として１対の第２位相差画素を含み、１対の第１位相差画素は、同一の行選択線によって選択され、１対の第２位相差画素は、同一の行選択線によって選択され、第１位相差画素領域と第２位相差画素領域は、撮像画素領域を挟んで第１方向に交互に配置されていることが好ましい。
撮像素子は、第２方向に延在する複数の行選択線を含み、第１位相差画素領域は、複数の位相差画素として１対の第１位相差画素を含み、第２位相差画素領域は、複数の位相差画素として１対の第２位相差画素を含み、１対の第１位相差画素は、第１方向に並ぶ複数の行選択線によって各々選択され、１対の第２位相差画素は、第１方向に並ぶ複数の行選択線によって各々選択され、第１位相差画素領域と第２位相差画素領域は、撮像画素領域を挟んで第１方向に交互に配置されていることが好ましい。
第１位相差画素領域及び第２位相差画素領域に含まれる複数の位相差画素と、撮像画素領域にある撮像画素とは、各々一対の光電変換素子を有し、プロセッサは、複数の位相差画素においては、一対の光電変換素子の一方の信号を読み出し、撮像画素から一対の光電変換素子の両方から信号を読み出し、第１位相差画素領域と第２位相差画素領域は、撮像画素領域を挟んで第１方向に交互に配置されることが好ましい。
本開示の撮像装置の駆動方法は、第１方向に延在する信号を読み出す列信号線と、第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有する撮像装置の駆動方法であって、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。
本開示のプログラムは、第１方向に延在する信号を読み出す列信号線と、第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有する撮像装置を作動させるプログラムであって、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。
撮像装置の前面側の一例を示す概略斜視図である。 撮像装置の背面側の一例を示す概略斜視図である。 撮像装置の内部構成の一例を示す図である。 プロセッサの機能構成の一例を示すブロック図である。 撮像センサの構成の一例を示す図である。 撮像画素の構成の一例を示す図である。 位相差画素の構成の一例を示す図である。 撮像センサの画素配列の一例を示す図である。 動画撮像モード時に信号が読み出される画素を示す図である。 撮像タイミングの一例を示す図である。 焦点調節制御の一例を示すフローチャートである。 第２実施形態に係る撮像タイミングの一例を示す図である。 第２実施形態の変形例に係る撮像タイミングの一例を示す図である。 第１モードと第２モードとの切り替え処理の一例を示すフローチャートである。 第３実施形態において動画撮像モード時に信号が読み出される画素を示す図である。 第３実施形態に係る撮像タイミングの一例を示す図である。 第３モードにおける撮像タイミングの一例を示す図である。 第１モードと第３モードとの切り替え処理の一例を示すフローチャートである。 第１変形例に係る撮像センサの画素配列の一例を示す図である。 第１変形例において動画撮像モード時に信号が読み出される画素を示す図である。 第２変形例に係る撮像センサの画素構成を示す図である。
添付図面に従って本開示の技術に係る実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
以下の説明において、「ＩＣ」は、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＣＰＵ」は、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称である。「ＲＯＭ」は、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＲＡＭ」は、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「ＣＭＯＳ」は、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称である。ＥＥＰＲＯＭは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒy”の略称である。
「ＦＰＧＡ」は、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称である。「ＰＬＤ」は、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称である。「ＡＳＩＣ」は、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＪＰＥＧ」は、“Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称である。
本開示において、「等しい」とは、完全に等しいことの他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いで実質的に等しいことを含む。
［第１実施形態］
撮像装置の第１実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。
（撮像装置の構成）
図１は、撮像装置１０の前面側の一例を示す。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａ（図３参照）を介して本体１１の前面１１Ｃ側に取り付けられる。撮像レンズ１２は、本開示の技術に係るレンズの一例である。
本体１１の上面には、ダイヤル１３及びレリーズボタン１４が設けられている。ダイヤル１３は、動作モード等の設定の際に操作される。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。レリーズボタン１４は、静止画撮像、又は動画撮像の実行を開始する際にユーザにより操作される。
図２は、撮像装置１０の背面側の一例を示す。図２に示すように、本体１１の背面１１Ｄには、ディスプレイ１５、指示キー１６、及び、図示しないファインダのファインダ接眼部１８が設けられている。ファインダは、光学ビューファインダ又は電子ビューファインダが採用可能である。ディスプレイ１５には、撮像により得られた画像信号に基づく画像、及び各種のメニュー画面等が表示される。指示キー１６は、各種の指示を受け付ける。
図３は、撮像装置１０の内部構成の一例を示す。本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。
撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸ＬＡに沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図３に示す例に限定されない。
また、撮像レンズ１２は、レンズ駆動制御部３４を有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。ＲＯＭは、書き換え可能なＥＥＰＲＯＭ、フラッシュメモリ等も含む。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。
レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の焦点調節を行うために、プロセッサ４０から送信される焦点調節用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。プロセッサ４０は、位相差方式の焦点調節を行う。
本体１１には、撮像センサ２０、プロセッサ４０、操作部４２、メモリ４５、及びディスプレイ１５が設けられている。撮像センサ２０、メモリ４５、及びディスプレイ１５は、プロセッサ４０により動作が制御される。プロセッサ４０は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成される。この場合、プロセッサ４０は、メモリ４５に格納されたプログラム４５Ａに基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。また、撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、本開示の技術に係る「撮像素子」の一例である。
ディスプレイ１５は、画像処理部５２（図４参照）が生成した画像データに基づき、画像を表示する。画像には、静止画、動画、及びライブビュー画像が含まれる。ライブビュー画像は、画像処理部５２で生成された画像データを、ディスプレイ１５に順次出力することにより、ディスプレイ１５にリアルタイム表示される画像である。
画像処理部５２が生成した画像データは、本体１１に内蔵された内部メモリ（図示せず）、又は本体１１に着脱可能な記憶媒体（例えば、メモリカード）に保存することが可能である。
操作部４２は、前述のダイヤル１３、レリーズボタン１４、及び指示キー１６（図１及び図２参照）を含む。プロセッサ４０は、操作部４２の操作に応じて、本体１１内の各部と、撮像レンズ１２内のレンズ駆動制御部３４とを制御する。
（プロセッサの構成）
図４は、プロセッサ４０の機能構成の一例を示す。プロセッサ４０は、メモリ４５に記憶されたプログラム４５Ａにしたがって処理を実行することにより、各種機能部を実現する。図４に示すように、例えば、プロセッサ４０には、主制御部５０、撮像制御部５１、及び画像処理部５２が実現される。
主制御部５０は、操作部４２から入力される指示信号に基づき、撮像装置１０の動作を統括的に制御する。撮像制御部５１は、撮像センサ２０を制御することにより、撮像センサ２０に撮像動作を行わせる撮像処理を実行する。撮像制御部５１は、静止画撮像モード又は動画撮像モードで撮像センサ２０を駆動する。
ユーザは、操作部４２により、静止画撮像モードと動画撮像モードとの選択を行うことができる。また、ユーザは、操作部４２を操作することにより、シャッタ速度及び絞り値を含む露出値の設定を行うことができる。
また、ユーザは、操作部４２を操作することにより、自動露出モードを選択することが可能である。自動露出モードが選択された場合には、主制御部５０は、撮像センサ２０により得られる画像信号の輝度とプログラム線図とを用いた演算により、シャッタ速度及び絞り値の最適値を求める。
画像処理部５２は、画像信号に対して種々の画像処理を施すことにより、既定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。
（撮像センサの構成）
図５は、撮像センサ２０の構成の一例を示す。図５に示す撮像センサ２０は、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５を有する。
撮像領域２１には、複数の画素２６が、Ｘ方向及びＹ方向に沿って二次元マトリクス状に配列されている。また、撮像領域２１には、Ｘ方向に沿って複数の行選択線Ｌ１及び複数の行リセット線Ｌ２が配線されており、かつ、Ｙ方向に沿って複数の列信号線Ｌ３が配線されている。
列信号線Ｌ３は、Ｙ方向に延在している。行選択線Ｌ１及び行リセット線Ｌ２は、Ｙ方向と交差するＸ方向に延在している。Ｙ方向は、本開示の技術に係る「第１方向」の一例である。Ｘ方向は、本開示の技術に係る「第２方向」の一例である。
画素２６は、行選択線Ｌ１、行リセット線Ｌ２、及び列信号線Ｌ３に接続されている。以下、Ｘ方向に並ぶ複数の画素２６を単に「行」と称することもある。詳しくは後述するが、複数の画素２６のうちの一部は、焦点調節を行うための位相差画素である。
画素２６は、フォトダイオードＤ１、アンプトランジスタＭ１、画素選択トランジスタＭ２、及びリセットトランジスタＭ３を有する。フォトダイオードＤ１は、入射光を光電変換することにより、入射光量に応じた信号電荷を生成し、生成した信号電荷を蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷の電荷量に応じた電圧（以下、画素信号Ｓという。）を生成する。
画素選択トランジスタＭ２は、行選択線Ｌ１を介して垂直走査回路２２により制御され、アンプトランジスタＭ１により生成された画素信号Ｓを列信号線Ｌ３に出力する。リセットトランジスタＭ３は、行リセット線Ｌ２を介して垂直走査回路２２により制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄する。以下、フォトダイオードＤ１から信号電荷を破棄することは、画素２６をリセットするという。
垂直走査回路２２は、撮像制御部５１から入力される垂直同期信号に基づいて、行選択信号ＳＥＬ及びリセット信号ＲＳＴを発生する。垂直走査回路２２は、信号読み出し動作時に、行選択線Ｌ１に行選択信号ＳＥＬを与えることにより、当該行選択線Ｌ１に接続された画素２６から画素信号Ｓを列信号線Ｌ３に出力させる。
また、垂直走査回路２２は、リセット動作時に、行リセット線Ｌ２にリセット信号ＲＳＴを与えることにより、当該行リセット線Ｌ２に接続された画素２６をリセットする。例えば、第ｎ行の行リセット線Ｌ２に接続された画素２６のリセットは、第ｎ＋１行の行選択線Ｌ１に接続された画素２６から画素信号Ｓが読み出されている間に行われる。
ラインメモリ２３は、一行分の画素２６から出力された画素信号Ｓを記憶する。ラインメモリ２３は、キャパシタ等により構成されている。ラインメモリ２３は、スイッチとしてのトランジスタ２９を介して水平出力線２４Ａに接続されている。出力アンプ２５は、水平出力線２４Ａの端部に接続されている。水平走査回路２４は、トランジスタ２９を順に選択する水平走査を行うことにより、ラインメモリ２３に記憶された一行分の画素信号Ｓを順に水平出力線２４Ａに出力させる。水平出力線２４Ａに出力された画素信号Ｓは、出力アンプ２５を介して、画像信号として外部の画像処理部５２へ出力される。
垂直走査回路２２、ラインメモリ２３、及び水平走査回路２４の動作は、撮像制御部５１（図４参照）により制御される。撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行選択線Ｌ１を選択しながら画素信号Ｓを出力させる。また、撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行リセット線Ｌ２を選択しながら画素２６をリセットさせる。
動画撮像モードでは、撮像制御部５１は、フレーム周期Ｔ（図１０参照）で撮像センサ２０を駆動する。撮像制御部５１は、フレームレートに対応するフレーム周期で、撮像センサ２０に、画像信号の読み出し及びリセットの動作を繰り返し実行させる。
なお、撮像センサ２０の構成は、図５に示す構成に限られない。例えば、撮像センサ２０にＡ／Ｄ変換器が設けられていてもよい。
（画素の構成）
撮像領域２１に配列された複数の画素２６には、撮像用の撮像画素Ｎと、位相差画素Ｐ１，Ｐ２とが含まれる。図６は、撮像画素Ｎの構成の一例を示す。図７は、位相差画素Ｐ１，Ｐ２の構成の一例を示す。位相差画素Ｐ１，Ｐ２は、それぞれ主光線を中心としてＸ方向に分割された光束の一方を受光する。
図６に示すように、撮像画素Ｎは、光電変換素子としてのフォトダイオードＤ１、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。カラーフィルタＣＦは、フォトダイオードＤ１とマイクロレンズＭＬとの間に配置されている。
カラーフィルタＣＦは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）のうちのいずれかの色の光を透過させるフィルタである。マイクロレンズＭＬは、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、カラーフィルタＣＦを介してフォトダイオードＤ１のほぼ中央に集光する。
図７に示すように、位相差画素Ｐ１，Ｐ２は、それぞれフォトダイオードＤ１、遮光層ＳＦ、及びマイクロレンズＭＬを含んで構成されている。マイクロレンズＭＬは、撮像画素Ｎと同様に、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、フォトダイオードＤ１のほぼ中央に集光する。
遮光層ＳＦは、金属膜等で形成され、フォトダイオードＤ１とマイクロレンズＭＬとの間に配置されている。遮光層ＳＦは、マイクロレンズＭＬを介してフォトダイオードＤ１に入射する光束ＬＦの一部を遮光する。
位相差画素Ｐ１では、遮光層ＳＦは、フォトダイオードＤ１の中心を基準としてＸ方向に関して負側（第１側）を遮光する。すなわち、位相差画素Ｐ１では、遮光層ＳＦは、第１側の射出瞳ＥＰ１からの光束ＬＦをフォトダイオードＤ１に入射させ、かつ、Ｘ方向に関して正側（第２側）の射出瞳ＥＰ２からの光束ＬＦを遮光する。
位相差画素Ｐ２では、遮光層ＳＦは、フォトダイオードＤ１の中心を基準としてＸ方向に関して正側（第２側）を遮光する。すなわち、位相差画素Ｐ２では、遮光層ＳＦは、第２側の射出瞳ＥＰ２からの光束ＬＦをフォトダイオードＤ１に入射させ、かつ、Ｘ方向に関して負側（第１側）の射出瞳ＥＰ１からの光束ＬＦを遮光する。
（画素配列）
図８は、撮像センサ２０の画素配列の一例を示す。図８に示すカラーフィルタＣＦの色配列は、いわゆるベイヤ配列である。ベイヤ配列は、２×２の４画素のうち、対角の２画素にＧのカラーフィルタＣＦを配置し、他の２画素にＲとＢのカラーフィルタＣＦを配置した色配列である。図８中の「Ｒ」は、ＲのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｇ」は、ＧのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｂ」は、ＢのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。なお、カラーフィルタＣＦの色配列は、ベイヤ配列に限定されず、他の色配列であってもよい。
位相差画素Ｐ１，Ｐ２は、ベイヤ配列の一部の撮像画素Ｎを置き換えることにより、撮像領域２１内に配置されている。位相差画素Ｐ１，Ｐ２は、Ｘ方向に配列されている。例えば、位相差画素Ｐ１，Ｐ２は、Ｘ方向に３画素ごと（すなわち、２画素おき）にいずれかが配置されている。すなわち、位相差画素Ｐ１と位相差画素Ｐ２との間には、２つの撮像画素Ｎ（Ｂ及びＧ）が配置されている。
位相差画素Ｐ１，Ｐ２は、Ｙ方向に１８画素ごとに配列されている。Ｙ方向に配列された位相差画素Ｐ１の間には、複数の撮像画素Ｎ（Ｒ及びＧ）が配列されている。Ｙ方向に配列された位相差画素Ｐ２の間には、複数の撮像画素Ｎ（Ｂ及びＧ）が配列されている。
なお、位相差画素Ｐ１，Ｐ２の配列パターンは、図８に示す例には限定されない。例えば、位相差画素Ｐ１，Ｐ２は、Ｘ方向に隣接して配置されていてもよい。
符号Ｒ１は、Ｘ方向に複数の位相差画素Ｐ１，Ｐ２が配列された第１位相差画素領域を表す。同様に、符号Ｒ２は、Ｘ方向に複数の位相差画素Ｐ１，Ｐ２が配列された第１位相差画素領域を表す。第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２は、撮像画素Ｎのみを含む撮像画素領域ＲＡを挟んでＹ方向に配列されている。
第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２は、画素構成は同一である。動画撮像モードにおいて、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２は、垂直走査回路２２により走査されるタイミングが異なり、同一フレーム周期内に信号の読み出しは行われない（図１０参照）。すなわち、第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２とは、インターレース読み出し方式で、フレーム周期ごとに交互に信号の読み出しが行われる。
図９は、動画撮像モード時に信号が読み出される画素を示す。第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２とは、撮像画素領域ＲＡを挟んでＹ方向に交互に配列されている。動画撮像モード時には、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２は、それぞれリセット及び信号読み出しが互いに独立して行われる。
本実施形態では、撮像画素領域ＲＡは画素間引き読み出しが行われる。撮像画素領域ＲＡは、３行ごとに画素が間引かれる。図９においてハッチングを施した画素は、信号読み出しが行われない画素である。
（撮像タイミング）
図１０は、動画撮像モードにおける撮像センサ２０の撮像タイミングの一例を示す。動画撮像のフレーム周期Ｔは、撮像制御部５１から垂直走査回路２２に供給される垂直同期信号ＶＤにより規定される。垂直走査回路２２は、垂直同期信号ＶＤに基づき、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２に対して、それぞれ独立に、行選択信号ＳＥＬ及びリセット信号ＲＳＴを供給する。
垂直走査回路２２は、垂直同期信号ＶＤに同期して、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２に対して、行選択信号ＳＥＬを供給する。垂直走査回路２２は、撮像画素領域ＲＡには、フレーム周期Ｔごとに行選択信号ＳＥＬを供給する。垂直走査回路２２は、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２には、フレーム周期Ｔの２倍の周期（フレーム周期Ｔの２倍の期間）で行選択信号ＳＥＬを供給する。なお、第１位相差画素領域Ｒ１に供給される行選択信号ＳＥＬと、第２位相差画素領域Ｒ２に供給される行選択信号ＳＥＬとは、フレーム周期Ｔだけ位相がずれている。
垂直走査回路２２は、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２のそれぞれの露光時間に応じてリセット信号ＲＳＴを供給する。露光時間は、各行において、リセット信号ＲＳＴが入力されてから行選択信号ＳＥＬが入力されるまでの時間（すなわち電荷蓄積時間）である。露光期間は、行ごとにずれる。すなわち、撮像センサ２０は、フォーカルプレーン方式の電子シャッタで露光を行う。なお、図１０中においてハッチングを施した期間は、遮光期間である。遮光期間においてリセットを繰り返し実行してもよい。
撮像画素領域ＲＡは、フレーム周期Ｔごとに信号読み出しが行われる。このため、撮像画素領域ＲＡの露光時間（以下、撮像用露光時間という。）ＥＲＡは、フレーム周期Ｔ未満（すなわち、ＥＲＡ＜Ｔ）に設定される。例えば、撮像用露光時間ＥＲＡは、操作部４２の操作により設定されたシャッタ速度に対応する。また、撮像用露光時間ＥＲＡは、自動露出モードにより決定されたシャッタ速度に対応する。
第１位相差画素領域Ｒ１は、フレーム周期Ｔの２倍の周期で信号読み出しが行われる。このため、第１位相差画素領域Ｒ１の露光時間（以下、第１露光時間という。）ＥＲ１は、フレーム周期Ｔの２倍未満（すなわち、ＥＲ１＜２Ｔ）に設定される。例えば、第１露光時間ＥＲ１は、固定値である。なお、第１露光時間ＥＲ１は、撮像用露光時間ＥＲＡと連動して変化する値であってもよい。第１露光時間ＥＲ１は、撮像用露光時間ＥＲＡと異なっており、例えば、ＥＲＡ＜ＥＲ１＜２Ｔの関係を満たす値に設定される。
第２位相差画素領域Ｒ２は、第１位相差画素領域Ｒ１と同様に、フレーム周期Ｔの２倍の周期で信号読み出しが行われる。このため、第２位相差画素領域Ｒ２の露光時間（以下、第２露光時間という。）ＥＲ２は、フレーム周期Ｔの２倍未満（すなわち、ＥＲ２＜２Ｔ）に設定される。例えば、第２露光時間ＥＲ２は、固定値である。なお、第２露光時間ＥＲ２は、撮像用露光時間ＥＲＡと連動して変化する値であってもよい。第２露光時間ＥＲ２は、撮像用露光時間ＥＲＡと異なっており、例えば、ＥＲＡ＜ＥＲ２＜２Ｔの関係を満たす値に設定される。
本実施形態では、第１露光時間ＥＲ１は、第２露光時間ＥＲ２と等しい（すなわち、ＥＲ１＝ＥＲ２）。また、第１露光時間ＥＲ１及び第２露光時間ＥＲ２は、それぞれフレーム周期Ｔ超過である（すなわち、Ｔ≦ＥＲ１，Ｔ≦ＥＲ２）。なお、第１露光時間ＥＲ１と第２露光時間ＥＲ２とは、互いに異なっていてもよい。
図１０に示すように、第１位相差画素領域Ｒ１から信号を読み出す期間を第１フレーム期間とし、第２位相差画素領域Ｒ２から信号を読み出す期間を第２フレーム期間とする。撮像画素領域ＲＡからの信号読み出しは、第１フレーム期間と第２フレーム期間のいずれのフレーム期間においても行われる。本実施形態では、第１フレーム期間において撮像画素領域ＲＡからの信号読み出しが終了した直後に、第２フレーム期間における第２位相差画素領域Ｒ２から信号読み出しを開始する。また、第２フレーム期間において撮像画素領域ＲＡからの信号読み出しが終了した直後に、第１フレーム期間における第１位相差画素領域Ｒ１から信号読み出しを開始する。
（焦点調節制御）
次に、動画撮像モードにおける焦点調節制御を、図１１に示すフローチャートを参照しながら説明する。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ１０）。
主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ１０：ＹＥＳ）、撮像制御部５１を制御することにより、撮像センサ２０にフレーム周期Ｔで撮像動作を行わせるとともに、第１読み出し処理を実行させる（ステップＳ１１）。第１読み出し処理は、第１フレーム期間中に第１位相差画素領域Ｒ１から信号を読み出す処理である。
主制御部５０は、第１読み出し処理が終了すると、第１位相差画素領域Ｒ１に含まれる位相差画素Ｐ１，Ｐ２から出力された信号に基づいて、位相差方式の焦点調節を行う（ステップＳ１２）。具体的には、主制御部５０は、位相差画素Ｐ１から出力された信号に基づく像と、位相差画素Ｐ２から出力された信号に基づく像との位相差が少なくなるようにフォーカスレンズ３１の位置調整を行う。
次に、主制御部５０は、撮像センサ２０に第２読み出し処理を実行させる（ステップＳ１３）。第２読み出し処理は、第１フレーム期間に続く第２フレーム期間中に第２位相差画素領域Ｒ２から信号を読み出す処理である。
主制御部５０は、第２読み出し処理が終了すると、第２位相差画素領域Ｒ２に含まれる位相差画素Ｐ１，Ｐ２から出力された信号に基づいて、位相差方式の焦点調節を行う（ステップＳ１４）。ステップＳ１４の処理は、ステップＳ１２の処理と同様である。
次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ１５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ１５：ＮＯ）、処理をステップＳ１１に移行して、撮像センサ２０に第１読み出し処理を実行させる。一方、主制御部５０は、動画撮像の終了指示があったと判定した場合には（ステップＳ１５：ＹＥＳ）、処理を終了する。
以上のように、本実施形態の焦点調節制御では、第１読み出し処理と第２読み出し処理とが繰り返し実行される。本実施形態では、第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２とをそれぞれ独立してフレーム周期Ｔの２倍の周期で信号読み出しを行っているので、第１露光時間ＥＲ１及び第２露光時間ＥＲ２をそれぞれフレーム周期Ｔ超過（すなわち、Ｔ≦ＥＲ１，Ｔ≦ＥＲ２）とすることができる。すなわち、本実施形態によれば、位相差画素Ｐ１，Ｐ２の露光時間をフレーム周期Ｔ超過とし、かつ、フレーム周期Ｔごとに位相差画素Ｐ１，Ｐ２から信号を読み出すことができる。
位相差画素Ｐ１，Ｐ２は、それぞれ遮光層ＳＦを有するので、撮像画素Ｎと比較して、受光量が小さい（図６及び図７参照）。仮に、第１露光時間ＥＲ１及び第２露光時間ＥＲ２を、それぞれ撮像用露光時間ＥＲＡと等しくすると、位相差画素Ｐ１，Ｐ２の受光量が小さいことにより、焦点調節の精度が低下する。これに対して、本実施形態によれば、第１露光時間ＥＲ１及び第２露光時間ＥＲ２を、それぞれ撮像用露光時間ＥＲＡより長くすることができ、さらにはフレーム周期Ｔよりも長くすることができるので、位相差画素Ｐ１，Ｐ２の受光量が増加する。これにより、焦点調節の精度が向上する。第１実施形態は、特に撮像用露光時間が短い（すなわち、設定されたフレームレートが高い又はシャッタースピードが速い）場合に適している。
なお、上記の焦点調節は、動画データをメモリ４５等に記録する動画撮像モードに限られず、動画データを記録せずにディスプレイ１５又はファインダにリアルタイム表示させるライブビュー表示モードに適用することも可能である。
［第２実施形態］
次に、第２実施形態について説明する。第２実施形態は、動画撮像モードにおける焦点調節制御が第１実施形態と異なる。
図１２は、第２実施形態に係る動画撮像モードにおける撮像タイミングの一例を示す。本実施形態では、撮像センサ２０は、主制御部５０の制御に基づいて、前述の第１読み出し処理を２回実行し、第１読み出し処理を２回実行するたびに前述の第２読み出し処理を１回実行する。したがって、本実施形態では、第２フレーム期間に続いて、第１フレーム期間が２回連続する。
本実施形態では、第２露光時間ＥＲ２がフレーム周期Ｔの２倍以上で、かつ３倍未満であり（すなわち、２Ｔ≦ＥＲ２＜３Ｔ）、かつ第２位相差画素領域Ｒ２の露光期間中に第１読み出し処理が２回実行される。また、第１露光時間ＥＲ１は、フレーム周期Ｔ未満である。
このように、本実施形態では、フレーム周期Ｔ未満の第１露光時間ＥＲ１で露光された第１位相差画素領域Ｒ１からの信号と、フレーム周期Ｔの２倍以上の第２露光時間ＥＲ２で露光された第２位相差画素領域Ｒ２からの信号とを取得することができる。本実施形態では、主制御部５０は、露光時間が大きく異なる位相差画素Ｐ１，Ｐ２の信号に基づいて、被写体の明るさに応じた焦点調節制御を行うことができる。
主制御部５０は、被写体の明るさに応じて、長時間露光の信号と、短時間露光の信号とのいずれかを選択して焦点調節を行えばよい。また、主制御部５０は、長時間露光の信号と、短時間露光の信号との加算信号に基づいて焦点調節を行ってもよい。なお、被写体の明るさは、撮像画素領域ＲＡから読み出される信号に基づいて検出すればよい。本実施形態の焦点調節制御は、被写体の明暗さが大きい（すなわち、ダイナミックレンジが広い）場合に実行することが好適である。
なお、図１２では、連続する２つの第１露光時間ＥＲ１は等しいが、２つの第１露光時間ＥＲ１の一方を他方より長くすることが可能である。
図１３は、第２実施形態の変形例に係る動画撮像モードにおける撮像タイミングの一例を示す。本変形例では、第２フレーム期間に続く第１フレーム期間中に信号読み出しが行われる第１位相差画素領域Ｒ１の第１露光時間ＥＲ１を、フレーム周期Ｔ超過（すなわち、Ｔ≦ＥＲ１）とする。このように、本変形例では、フレーム周期Ｔの２倍以上の第２露光時間ＥＲ２、フレーム周期Ｔ超過の第１露光時間ＥＲ１、及びフレーム周期Ｔ未満の第１露光時間ＥＲ１の３種の露光時間を設定することができる。
なお、第２実施形態では、第２露光時間ＥＲ２をフレーム周期Ｔの２倍以上で、かつ３倍未満としているが、第２露光時間ＥＲ２をフレーム周期Ｔの２倍以上とすることも可能である。第２露光時間ＥＲ２をフレーム周期ＴのＫ倍以上で、かつＫ＋１倍未満とする場合には、第２位相差画素領域Ｒ２の露光期間中に第１読み出し処理をＫ回実行し、第１読み出し処理をＫ回実行するたびに第２読み出し処理を１回実行すればよい。ここで、Ｋは２以上の整数である。
また、第１実施形態の焦点調節制御（図１０参照）を第１モードとし、第２実施形態の焦点調節制御（図１２参照）を第２モードとした場合に、第１モードと第２モードとを切り替え可能としてもよい。例えば、主制御部５０が、被写体の明るさに応じて、第１モードと第２モードとを切り替えるように構成してもよい。
図１４は、第１モードと第２モードとの切り替え処理の一例を示すフローチャートである。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ２０）。
主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ２０：ＹＥＳ）、撮像画素領域ＲＡから読み出される信号に基づき被写体の明るさを検出する（ステップＳ２１）。次に、主制御部５０は、ダイナミックレンジが一定値以上必要であるか否かを判定する（ステップＳ２２）。主制御部５０は、ダイナミックレンジが一定値以上必要でないと判定した場合には（ステップＳ２２：ＮＯ）、第１モードを選択する（ステップＳ２３）。一方、主制御部５０は、ダイナミックレンジが一定値以上であると判定した場合には（ステップＳ２２：ＹＥＳ）、第２モードを選択する（ステップＳ２４）。
次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ２５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ２５：ＮＯ）、処理をステップＳ２１に移行して、被写体の明るさを検出する。一方、主制御部５０は、動画撮像の終了指示があったと判定した場合には（ステップＳ２５：ＹＥＳ）、処理を終了する。
以上のように、ダイナミックレンジが大きい場合には、第２モードが選択される。第２モードでは、上述のように、位相差画素Ｐ１，Ｐ２が複数の露光時間で露光されるので、ダイナミックレンジが大きい場合であっても位相差画素Ｐ１，Ｐ２から読み出された信号に基づき、精度よく焦点調節を行うことができる。
［第３実施形態］
次に、第３実施形態について説明する。第３実施形態では、撮像センサ２０に、第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び第３位相差画素領域Ｒ３の３個の位相差画素領域を設ける。
図１５は、第３実施形態において動画撮像モード時に信号が読み出される画素を示す。第３実施形態では、第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び第３位相差画素領域Ｒ３が、Ｙ方向に繰り返し配列されている。Ｙ方向において、第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２との間、第２位相差画素領域Ｒ２と第３位相差画素領域Ｒ３との間、第３位相差画素領域Ｒ３と第１位相差画素領域Ｒ１との間には、それぞれ撮像画素領域ＲＡが配置されている。
第３実施形態では、３個の位相差画素領域に対してそれぞれ独立してリセット及び信号読み出しを行うことにより、位相差画素Ｐ１，Ｐ２の露光時間を、フレーム周期Ｔの２倍以上で、かつ３倍未満とすることができる。
図１６は、第３実施形態に係る撮像タイミングの一例を示す。本実施形態では、主制御部５０は、第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び第３位相差画素領域Ｒ３をフレーム周期Ｔごとに順に選択して信号を読み出す。本実施形態では、第１露光時間ＥＲ１、第２露光時間ＥＲ２、及び第３露光時間ＥＲ３は、それぞれ撮像用露光時間ＥＲＡと異なっている。第１露光時間ＥＲ１、第２露光時間ＥＲ２、及び第３露光時間ＥＲ３は、それぞれ異なっていてもよい。
なお、撮像センサ２０に４個の位相差画素領域を設けることも可能である。撮像センサ２０に、Ｙ方向に配列された第１位相差画素領域Ｒ１から第Ｎ位相差画素領域ＲＮのＮ個の位相差画素領域を設ける場合には、主制御部５０は、位相差画素領域の各々をフレーム周期Ｔごとに順に選択して信号を読み出す。この場合、主制御部５０は、位相差画素領域の露光時間を、フレーム周期のＮ倍未満とすればよい。ここで、Ｎは３以上の整数である。
［第４実施形態］
次に、第４実施形態について説明する。第４実施形態では、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２のうち、第１位相差画素領域Ｒ１のみから繰り返し信号を読み出す第３モードを実行可能とする。
図１７は、第３モードにおける撮像タイミングの一例を示す。第３モードでは、主制御部５０は、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２（図９参照）のうち、第２位相差画素領域Ｒ２からは信号を読み出さず、第１位相差画素領域Ｒ１のみからフレーム周期Ｔごとに信号を読み出す。すなわち、主制御部５０は、第２読み出し処理を行わず、第１読み出し処理のみを繰り返す第３モードを実行可能とする。
本実施形態では、上述の第１モードと第３モードとが切り替え可能に構成されている。例えば、主制御部５０は、被写体の移動速度に応じて、第１モードと第３モードとを切り替える。例えば、主制御部５０は、フレーム周期Ｔごとに撮像画素領域ＲＡから読み出される信号に基づき、フレーム間の被写体の移動ベクトルを求めることにより、被写体の移動速度を検出する。
第１実施形態で示した第１モードは、フレーム間で異なる位相差画素Ｐ１，Ｐ２から信号を読み出すため、解像度の高い位相差情報が得られる。このため、第１モードは、特に、被写体の動きが小さい状況における焦点調節制御に適している。これに対して、第３モードは、フレーム間で読み出す位相差画素Ｐ１，Ｐ２の位置が変化しないため、被写体の動きが大きい状況における焦点調節制御に適している。
図１８は、第１モードと第３モードとの切り替え処理の一例を示すフローチャートである。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ３０）。
主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ３０：ＹＥＳ）、撮像画素領域ＲＡから読み出される信号に基づき被写体の移動速度を検出する（ステップＳ３１）。次に、主制御部５０は、検出した移動速度が一定値以上であるか否かを判定する（ステップＳ３２）。主制御部５０は、移動速度が一定値未満であると判定した場合には（ステップＳ３２：ＮＯ）、第１モードを選択する（ステップＳ３３）。一方、主制御部５０は、移動速度が一定値以上であると判定した場合には（ステップＳ３２：ＹＥＳ）、第３モードを選択する（ステップＳ３４）。
次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ３５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ３５：ＮＯ）、処理をステップＳ３１に移行して、被写体の明るさを検出する。一方、主制御部５０は、動画撮像の終了指示があったと判定した場合には
（ステップＳ３５：ＹＥＳ）、処理を終了する。
以上のように、被写体の移動速度が大きい場合には、第３モードが選択される。第３モードでは、フレーム間で読み出す位相差画素Ｐ１，Ｐ２の位置が変化しないので、精度よく焦点調節を行うことができる。
［撮像センサの第１変形例］
次に、撮像センサ２０の第１変形例について説明する。本変形例に係る撮像センサ２０は、位相差画素Ｐ１，Ｐ２の配置が第１実施形態と異なる。以下、本変形例に係る撮像センサ２０の構成を、第１実施形態に係る撮像センサ２０の構成と対比して説明する。
第１実施形態に係る撮像センサ２０では、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２のそれぞれに一対の位相差画素Ｐ１，Ｐ２が含まれている（図８及び図９参照）。以下、第１位相差画素領域Ｒ１に含まれる位相差画素Ｐ１，Ｐ２は、「一対の第１位相差画素Ｐ１，Ｐ２」という。また、第２位相差画素領域Ｒ２に含まれる位相差画素Ｐ１，Ｐ２は、「一対の第２位相差画素Ｐ１，Ｐ２」という。
第１実施形態では、一対の第１位相差画素Ｐ１，Ｐ２は、同一の行に配列されているので、同一の行選択線Ｌ１（図５参照）によって選択される。同様に、一対の第２位相差画素Ｐ１，Ｐ２は、同一の行に配列されているので、同一の行選択線Ｌ１によって選択される。
図１９は、本変形例に係る撮像センサ２０の画素配列の一例を示す。本変形例では、第１位相差画素領域Ｒ１ａ及び第１位相差画素領域Ｒ１ｂの２種の第１位相差画素領域が設けられている。同様に、第２位相差画素領域Ｒ２ａ及び第２位相差画素領域Ｒ２ｂの２種の第２位相差画素領域が設けられている。
第１位相差画素領域Ｒ１ａは、一対の第１位相差画素Ｐ１，Ｐ２のうち、第１位相差画素Ｐ１のみを含む。第１位相差画素領域Ｒ１ｂは、一対の第１位相差画素Ｐ１，Ｐ２のうち、第１位相差画素Ｐ２のみを含む。本変形例では、第１位相差画素領域Ｒ１ａと第１位相差画素領域Ｒ１ｂとは、撮像画素領域ＲＡを挟んでＹ方向に配列されている。
第２位相差画素領域Ｒ２ａは、一対の第２位相差画素Ｐ１，Ｐ２のうち、第２位相差画素Ｐ１のみを含む。第２位相差画素領域Ｒ２ｂは、一対の第２位相差画素Ｐ１，Ｐ２のうち、第２位相差画素Ｐ２のみを含む。本変形例では、第２位相差画素領域Ｒ２ａと第２位相差画素領域Ｒ２ｂとは、撮像画素領域ＲＡを挟んでＹ方向に配列されている。
本変形例では、一対の第１位相差画素Ｐ１，Ｐ２は、異なる行に配列されているので、Ｙ方向に並ぶ２つの行選択線Ｌ１によって各々選択される。同様に、一対の第２位相差画素Ｐ１，Ｐ２は、異なる行に配列されているので、Ｙ方向に並ぶ２つの行選択線Ｌ１によって各々選択される。
第１位相差画素領域Ｒ１ａ，Ｒ１ｂと、第２位相差画素領域Ｒ２ａ，Ｒ２ｂとは、撮像画素領域ＲＡを挟んでＹ方向に繰り返し配列されている。
図２０は、本変形例において動画撮像モード時に信号が読み出される画素を示す。動画撮像モード時には、第１位相差画素領域Ｒ１ａ，Ｒ１ｂは、第１フレーム期間に読み出しが行われる。第２位相差画素領域Ｒ２ａ，Ｒ２ｂは、第２フレーム期間に読み出しが行われる。その他の撮像動作は、第１実施形態の撮像動作と同様である。
なお、第１位相差画素領域Ｒ１ａと第１位相差画素領域Ｒ１ｂとは、Ｙ方向に隣接して設けられていてもよい。また、第２位相差画素領域Ｒ２ａと第２位相差画素領域Ｒ２ｂとは、Ｙ方向に隣接して設けられていてもよい。
［撮像センサの第２変形例］
次に、撮像センサ２０の第２変形例について説明する。本変形例に係る撮像センサ２０は、各画素２６が２つのフォトダイオードで構成された、いわゆるデュアルピクセルのＣＭＯＳ型イメージセンサである。
図２１は、本変形例に係る撮像センサ２０の画素構成を示す。本変形例では、位相差画素及び撮像画素は、同一の構成である。画素２６は、一対のフォトダイオードＤ１ａ，Ｄ１ｂ、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。一対のフォトダイオードＤ１ａ，Ｄ１ｂは、カラーフィルタＣＦの下方に、Ｘ方向に隣接して配置されている。
フォトダイオードＤ１ａは、Ｘ方向に分割された射出瞳ＥＰ１，ＥＰ２のうち、射出瞳ＥＰ１からの光束ＬＦを受光する。フォトダイオードＤ１ｂは、Ｘ方向に分割された射出瞳ＥＰ１，ＥＰ２のうち、射出瞳ＥＰ２からの光束ＬＦを受光する。
画素２６は、一対のフォトダイオードＤ１ａ，Ｄ１ｂの両方から信号が読み出され、読み出された信号が加算されることにより撮像画素として機能する。また、画素２６は、一対のフォトダイオードＤ１ａ，Ｄ１ｂのうち一方から信号が読み出されることにより位相差画素として機能する。
本変形例における第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び撮像画素領域ＲＡの配列は、第１実施形態と同様である（図８及び図９参照）。
本変形例では、主制御部５０は、第１位相差画素領域Ｒ１に含まれる画素２６のうち、少なくとも一部の画素２６については、一対のフォトダイオードＤ１ａ，Ｄ１ｂのうち一方から信号を読み出す。同様に、主制御部５０は、第２位相差画素領域Ｒ２に含まれる画素２６のうち、少なくとも一部の画素２６については、一対のフォトダイオードＤ１ａ，Ｄ１ｂのうち一方から信号を読み出す。また、主制御部５０は、撮像画素領域ＲＡに含まれる画素２６については、一対のフォトダイオードＤ１ａ，Ｄ１ｂの両方から信号を読み出す。
なお、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２の全ての画素２６を位相差画素として機能させてもよい。
なお、上記各実施形態及び各変形例では、撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５で構成されているが、撮像センサ２０は、撮像領域２１のみで構成されていてもよい。垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５は、プロセッサ４０内に設けられていてもよい。
また、上記各実施形態及び各変形例は、矛盾が生じない限り、互いに組み合わせることが可能である。
上記実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。
複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０ 撮像装置
１１ 本体
１１Ａ カメラ側マウント
１１Ｂ 電気接点
１１Ｃ 前面
１１Ｄ 背面
１２ 撮像レンズ
１２Ａ レンズ側マウント
１２Ｂ 電気接点
１３ ダイヤル
１４ レリーズボタン
１５ ディスプレイ
１６ 指示キー
１８ ファインダ接眼部
２０ 撮像センサ
２１ 撮像領域
２２ 垂直走査回路
２３ ラインメモリ
２４ 水平走査回路
２４Ａ 水平出力線
２５ 出力アンプ
２６ 画素
２９ トランジスタ
３０ 対物レンズ
３１ フォーカスレンズ
３２ 後端レンズ
３３ 絞り
３４ レンズ駆動制御部
４０ プロセッサ
４２ 操作部
４５ メモリ
４５Ａ プログラム
５０ 主制御部
５１ 撮像制御部
５２ 画像処理部
ＣＦ カラーフィルタ
Ｄ１，Ｄ１ａ，Ｄ１ｂ フォトダイオード
ＥＰ，ＥＰ１，ＥＰ２ 射出瞳
ＥＲ１ 第１露光時間
ＥＲ２ 第２露光時間
ＥＲ３ 第３露光時間
ＥＲＡ 撮像用露光時間
Ｌ１ 行選択線
Ｌ２ 行リセット線
Ｌ３ 列信号線
ＬＡ 光軸
ＬＦ 光束
Ｍ１ アンプトランジスタ
Ｍ２ 画素選択トランジスタ
Ｍ３ リセットトランジスタ
ＭＬ マイクロレンズ
Ｎ 撮像画素
Ｐ１，Ｐ２ 位相差画素
Ｒ１，Ｒ１ａ，Ｒ１ｂ 第１位相差画素領域
Ｒ２，Ｒ２ａ，Ｒ２ｂ 第２位相差画素領域
Ｒ３ 第３位相差画素領域
ＲＡ 撮像画素領域
ＲＳＴ リセット信号
Ｓ 画素信号
ＳＥＬ 行選択信号
ＳＦ 遮光層
Ｔ フレーム周期
ＶＤ 垂直同期信号

Claims (15)

  1. プロセッサと、
    第１方向に延在する信号を読み出す列信号線と、前記第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、
    前記撮像素子は、前記複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、前記第１方向において、前記第１位相差画素領域と前記第２位相差画素領域との間にある撮像画素領域とを有し、
    前記プロセッサは、
    前記撮像素子にフレーム周期で撮像を行わせ、
    第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、
    前記第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行するように構成され、
    前記第１位相差画素領域が露光される第１露光時間、及び、前記第２位相差画素領域が露光される第２露光時間は、前記撮像画素領域の露光時間と異なっている、
    撮像装置。
  2. 前記第１露光時間及び前記第２露光時間は、それぞれ前記フレーム周期超過である、
    請求項１に記載の撮像装置。
  3. 前記第１露光時間と前記第２露光時間とは、互いに異なる、
    請求項１又は請求項２に記載の撮像装置。
  4. 前記プロセッサは、
    前記第１読み出し処理と前記第２読み出し処理とを交互に実行し、前記第１露光時間及び前記第２露光時間をそれぞれ前記フレーム周期の２倍未満とする、第１モードを実行可能とする、
    請求項１から請求項３のうちいずれか１項に記載の撮像装置。
  5. 前記プロセッサは、
    Ｋを２以上の整数とした場合に、前記第２露光時間を前記フレーム周期のＫ倍以上で、かつＫ＋１倍未満とし、前記第２位相差画素領域の露光期間中に前記第１読み出し処理をＫ回実行し、前記第１読み出し処理をＫ回実行するたびに前記第２読み出し処理を１回実行する、第２モードを実行可能とする、
    請求項４に記載の撮像装置。
  6. 前記第２モードにおいて、前記第１露光時間は、前記フレーム周期未満である、
    請求項５に記載の撮像装置。
  7. 前記プロセッサは、
    被写体の明るさに応じて、前記第１モードと前記第２モードとを切り替える、
    請求項５又は請求項６に記載の撮像装置。
  8. 前記プロセッサは、
    前記第２読み出し処理を行わず、前記第１読み出し処理のみを繰り返す第３モードを実行可能とする、
    請求項４から請求項７のうちいずれか１項に記載の撮像装置。
  9. 前記プロセッサは、
    被写体の移動速度に応じて前記第１モードと前記第３モードとを切り替える、
    請求項８に記載の撮像装置。
  10. Ｎを３以上の整数とした場合に、前記撮像素子は、前記第２方向に配列された前記第１位相差画素領域から第Ｎ位相差画素領域のＮ個の位相差画素領域を有し、
    前記プロセッサは、前記位相差画素領域の各々を前記フレーム周期ごとに選択して信号を読み出し、かつ、前記位相差画素領域の露光時間を、前記フレーム周期のＮ倍未満とする、
    請求項１に記載の撮像装置。
  11. 前記撮像素子は、前記第２方向に延在する複数の行選択線を含み、
    前記第１位相差画素領域は、前記複数の位相差画素として１対の第１位相差画素を含み、
    前記第２位相差画素領域は、前記複数の位相差画素として１対の第２位相差画素を含み、
    前記１対の第１位相差画素は、同一の前記行選択線によって選択され、
    前記１対の第２位相差画素は、同一の前記行選択線によって選択され、
    前記第１位相差画素領域と前記第２位相差画素領域は、前記撮像画素領域を挟んで前記第１方向に交互に配置されている、
    請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
  12. 前記撮像素子は、前記第２方向に延在する複数の行選択線を含み、
    前記第１位相差画素領域は、前記複数の位相差画素として１対の第１位相差画素を含み、
    前記第２位相差画素領域は、前記複数の位相差画素として１対の第２位相差画素を含み、
    前記１対の第１位相差画素は、前記第１方向に並ぶ複数の前記行選択線によって各々選択され、
    前記１対の第２位相差画素は、前記第１方向に並ぶ複数の前記行選択線によって各々選択され、
    前記第１位相差画素領域と前記第２位相差画素領域は、前記撮像画素領域を挟んで前記第１方向に交互に配置されている、
    請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
  13. 前記第１位相差画素領域及び前記第２位相差画素領域に含まれる前記複数の位相差画素と、前記撮像画素領域にある撮像画素とは、各々一対の光電変換素子を有し、
    前記プロセッサは、前記複数の位相差画素においては、前記一対の光電変換素子の一方の信号を読み出し、前記撮像画素から前記一対の光電変換素子の両方から前記信号を読み出し、
    前記第１位相差画素領域と前記第２位相差画素領域は、前記撮像画素領域を挟んで前記第１方向に交互に配置される、
    請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
  14. 第１方向に延在する信号を読み出す列信号線と、前記第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、前記撮像素子は、前記複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、前記第１方向において、前記第１位相差画素領域と前記第２位相差画素領域との間にある撮像画素領域とを有する撮像装置の駆動方法であって、
    前記撮像素子にフレーム周期で撮像を行わせ、
    第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、
    前記第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、
    前記第１位相差画素領域が露光される第１露光時間、及び、前記第２位相差画素領域が露光される第２露光時間は、前記撮像画素領域の露光時間と異なっている、
    撮像装置の駆動方法。
  15. 第１方向に延在する信号を読み出す列信号線と、前記第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、前記撮像素子は、前記複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、前記第１方向において、前記第１位相差画素領域と前記第２位相差画素領域との間にある撮像画素領域とを有する撮像装置を作動させるプログラムであって、
    前記撮像素子にフレーム周期で撮像を行わせ、
    第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、
    前記第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、
    前記第１位相差画素領域が露光される第１露光時間、及び、前記第２位相差画素領域が露光される第２露光時間は、前記撮像画素領域の露光時間と異なっている、
    プログラム。
JP2022553808A 2020-09-29 2021-09-16 撮像装置、撮像装置の駆動方法、及びプログラム Active JP7459279B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020163984 2020-09-29
JP2020163984 2020-09-29
PCT/JP2021/034049 WO2022070941A1 (ja) 2020-09-29 2021-09-16 撮像装置、撮像装置の駆動方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022070941A1 JPWO2022070941A1 (ja) 2022-04-07
JP7459279B2 true JP7459279B2 (ja) 2024-04-01

Family

ID=80950329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553808A Active JP7459279B2 (ja) 2020-09-29 2021-09-16 撮像装置、撮像装置の駆動方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230269497A1 (ja)
JP (1) JP7459279B2 (ja)
WO (1) WO2022070941A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219958A (ja) 2009-03-17 2010-09-30 Canon Inc 撮像装置
JP2018066931A (ja) 2016-10-21 2018-04-26 キヤノン株式会社 固体撮像素子及びその制御方法並びに撮像装置
WO2018088119A1 (ja) 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219958A (ja) 2009-03-17 2010-09-30 Canon Inc 撮像装置
JP2018066931A (ja) 2016-10-21 2018-04-26 キヤノン株式会社 固体撮像素子及びその制御方法並びに撮像装置
WO2018088119A1 (ja) 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Also Published As

Publication number Publication date
US20230269497A1 (en) 2023-08-24
WO2022070941A1 (ja) 2022-04-07
JPWO2022070941A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
EP2181349B1 (en) Image sensing apparatus
JP5400406B2 (ja) 撮像装置
JP6765860B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP5361535B2 (ja) 撮像装置
US9300879B2 (en) Image sensing system and method of driving the same
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
US10171732B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images
JP2019106634A (ja) 撮像素子及び撮像装置
US20230319436A1 (en) Imaging apparatus and imaging sensor
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6997295B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6624834B2 (ja) 撮像装置およびその制御方法
JP7459279B2 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
JP5963550B2 (ja) 撮像装置および撮像装置の制御方法
JP5142807B2 (ja) 撮像装置及びその制御方法
JP7458495B2 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
US11122196B2 (en) Image processing apparatus
JP2004153710A (ja) 撮像装置の制御方法および撮像装置
WO2022149353A1 (ja) 受光素子、撮像装置及び補正処理方法
JP2004222062A (ja) 撮像装置
JP2017102240A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP6254780B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP2003153090A (ja) Ｘ−ｙ走査型撮像素子及びこれを備えた撮像装置
JP2014206562A (ja) 撮像装置及びその制御方法
JP2014056088A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150