JP7271895B2 - 電子機器および設定プログラム - Google Patents

電子機器および設定プログラム Download PDF

Info

Publication number
JP7271895B2
JP7271895B2 JP2018186170A JP2018186170A JP7271895B2 JP 7271895 B2 JP7271895 B2 JP 7271895B2 JP 2018186170 A JP2018186170 A JP 2018186170A JP 2018186170 A JP2018186170 A JP 2018186170A JP 7271895 B2 JP7271895 B2 JP 7271895B2
Authority
JP
Japan
Prior art keywords
imaging
imaging condition
electronic device
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018186170A
Other languages
English (en)
Other versions
JP2020057878A (ja
Inventor
昌也 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018186170A priority Critical patent/JP7271895B2/ja
Publication of JP2020057878A publication Critical patent/JP2020057878A/ja
Priority to JP2023072922A priority patent/JP2023095910A/ja
Application granted granted Critical
Publication of JP7271895B2 publication Critical patent/JP7271895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、電子機器および設定プログラムに関する。
画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている(特許文献1参照)。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを処理する場合に撮像条件については考慮されていない。
特開2006-197192号公報
本願において開示される電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、前記複数の撮像領域のうち第1被写体像が存在する第1撮像領域に第1撮像条件を設定し、前記複数の撮像領域のうち第2被写体像が存在する第2撮像領域に前記第1撮像条件と異なる第2撮像条件を設定し、前記複数の撮像領域のうち前記第1被写体像および前記第2被写体像が存在する第3撮像領域の第3撮像条件を前記第1撮像条件および前記第2撮像条件のうち少なくとも一方と前記第3撮像領域出力に基づく輝度値とに基づいて設定する設定部と、を有する。
本願において開示される電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、前記複数の撮像領域のうち第1撮像領域に第1撮像条件を設定し、前記複数の撮像領域のうち第2撮像領域に第2撮像条件を設定し、前記複数の撮像領域のうち前記第1撮像領域及び前記第2撮像領域に挟まれた第3撮像領域に、前記第1撮像条件及び前記第2撮像条件の間の撮像条件を設定する設定部と、を有する。
本願において開示される電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、前記複数の撮像領域のうち第1被写体像が存在する撮像領域に第1撮像条件を設定し、前記複数の撮像領域のうち第1被写体像及び前記第1被写体像と異なる第2被写体像が存在する撮像領域に、前記第1撮像条件と異なり、かつ、前記第1被写体像及び前記第2被写体像の画像信号が飽和しない第2撮像条件を設定する設定部と、を有する。
本願において開示される電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、前記複数の撮像領域のうち第1撮像領域に第1撮像条件を設定し、前記複数の撮像領域のうち第2撮像領域に前記第1撮像条件と異なる第2撮像条件を設定し、前記複数の撮像領域のうち前記第1撮像領域及び前記第2撮像領域に挟まれた第3撮像領域に、前記第1撮像条件により出力される画素信号と前記第2撮像条件により出力される画素信号との間の大きさの画素信号が出力される第3撮像条件を設定する設定部と、を有する。
本願において開示される電子機器は、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、前記複数の撮像領域のうち第1被写体像が存在する第1撮像領域に第1撮像条件を設定し、前記複数の撮像領域のうち第2被写体像が存在する第2撮像領域に前記第1撮像条件と異なる第2撮像条件を設定し、前記複数の撮像領域のうち前記第1撮像領域及び前記第2撮像領域に挟まれた第3撮像領域に、前記第1撮像条件により出力される画素信号と前記第2撮像条件により出力される画素信号との間の大きさの画素信号が出力される第3撮像条件を設定する設定部と、を有する。
本願において開示される発明の一側面となる設定プログラムは、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子の設定制御をプロセッサに実行させる設定プログラムであって、前記プロセッサに、前記複数の撮像領域のうち第1被写体像が存在する第1撮像領域に第1撮像条件を設定させ、前記複数の撮像領域のうち第2被写体像が存在する第2撮像領域に前記第1撮像条件と異なる第2撮像条件を設定させ、前記複数の撮像領域のうち前記第1被写体像および前記第2被写体像が存在する第3撮像領域の第3撮像条件を前記第1撮像条件および前記第2撮像条件のうち少なくとも一方と前記第3撮像領域出力に基づく輝度値とに基づいて設定させる。
図1は、積層型撮像素子の断面図である。 図2は、撮像チップの画素配列を説明する図である。 図3は、撮像チップの回路図である。 図4は、撮像素子の構成例を示すブロック図である。 図5は、電子機器のブロック構成例を示す説明図である。 図6は、電子機器の撮像により生成された画像ファイルの構成例を示す説明図である。 図7は、撮像面と被写体像との関係を示す説明図である。 図8は、画像ファイルの具体的な構成例に示す説明図である。 図9は、電子機器の詳細なブロック構成例を示す説明図である。 図10は、第3撮像条件の設定例1を示す説明図である。 図11は、第3撮像条件の設定例2を示す説明図である。 図12は、第3撮像条件の設定例3を示す説明図である。 図13は、共存領域への影響度を示す説明図である。 図14は、不定ブロックの設定単位例を示す説明図である。 図15は、共存領域の境界長を示す説明図である。 図16は、ハロの影響の低減化を示す説明図である。 図17は、γ関数によるハロ発生予測例を示すグラフである。 図18は、電子機器における撮像条件の設定処理手順例1を示すフローチャートである。 図19は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例1を示すフローチャートである。 図20は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2を示すフローチャートである。 図21は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2-1を示すフローチャートである。 図22は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2-2を示すフローチャートである。 図23は、図22に示したハロ対策処理(ステップS2202)の詳細な処理手順例1を示すフローチャートである。 図24は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2-3を示すフローチャートである。 図25は、図18に示した複雑さ優先設定処理(ステップS1809)の詳細な処理手順例1を示すフローチャートである。 図26は、図18に示した複雑さ優先設定処理(ステップS1809)の詳細な処理手順例2を示すフローチャートである。 図27は、電子機器における撮像条件の設定処理手順例2を示すフローチャートである。 図28は、図22に示したハロ対策処理(ステップS2202)の詳細な処理手順例2を示すフローチャートである。 図29は、ハロ対策処理の詳細な処理手順例を示すフローチャートである。
<撮像素子の構成例>
本明細書の実施例に示す電子機器に搭載される撮像素子は積層型撮像素子である。この積層型撮像素子は、複数の異なる撮像領域ごとに異なる撮像条件が設定可能である。初めに、複数の異なる撮像領域ごとに異なる撮像条件が設定可能な積層型撮像素子の構造について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願2012-139026号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
図1は、積層型撮像素子100の断面図である。積層型撮像素子(以下、単に、「撮像素子」)100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ(以下、単に、「撮像チップ」)113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cuなどの導電性を有するバンプ109により互いに電気的に接続される。
なお、図1に示すように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸120に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸120を基準として、それぞれの図の向きがわかるように座標軸120を表示する。
撮像チップ113の一例は、裏面照射型のMOS(Metal Oxide Semiconductor)イメージセンサである。PD(フォトダイオード)層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD104、および、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧などされることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧などされることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
図2は、撮像チップ113の画素配列を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。(a)は、撮像チップ113の裏面である撮像面200を模式的に示す平面図であり、(b)は、撮像面200の一部領域200aを拡大した平面図である。(b)に示すように、撮像面200には、画素201が二次元状に多数配列されている。
画素201は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、(b)における「R」、「G」、および「B」という表記は、画素201が有する色フィルタの種類を表している。(b)に示すように、撮像素子100の撮像面200には、このような各色フィルタを備えた画素201が、いわゆるベイヤー配列に従って配列されている。
赤フィルタを有する画素201は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する画素201は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素201は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
撮像素子100は、隣接する2画素×2画素の計4つの画素201から成るブロック202ごとに、個別に制御可能に構成されている。たとえば、互いに異なる2つのブロック202について、同時に電荷蓄積を開始したときに、一方のブロック202では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方のブロック202では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。換言すると、撮像素子100は、1回の撮像において、ブロック202ごとに異なる露光時間(電荷蓄積時間であり、いわゆるシャッタースピード)を設定することができる。
撮像素子100は、上述した露光時間以外にも、撮像信号の増幅率(いわゆるISO感度)をブロック202ごとに異ならせることが可能である。撮像素子100は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングをブロック202ごとに変化させることができる。すなわち、撮像素子100は、動画撮像時のフレームレートをブロック202ごとに変化させることができる。
以上をまとめると、撮像素子100は、ブロック202ごとに、露光時間、増幅率、フレームレートなどの撮像条件を異ならせることが可能に構成されている。たとえば、画素201が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、ブロック202ごとに設けられ、ブロック202ごとに独立して撮像信号を読み出し可能に構成すれば、ブロック202ごとに露光時間(シャッタースピード)を異ならせることができる。
また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路をブロック202ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、ブロック202ごとに信号の増幅率(ISO感度)を異ならせることができる。
また、ブロック202ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度(間引き率)、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
また、撮像条件は、たとえば、ブロック202ごとに独立して制御可能な区画(1区画が1つのブロック202に対応する)を有する液晶パネルを撮像素子100に設け、オンオフ可能な減光フィルタとして利用すれば、ブロック202ごとに明るさ(絞り値)を制御することが可能になる。
なお、ブロック202を構成する画素201の数は、上述した2×2の4画素でなくてもよい。ブロック202は、少なくとも2個以上の画素201を有していればよいし、逆に、4個より多くの画素201を有していてもよい。
図3は、撮像チップ113の回路図である。図3において、代表的に点線で囲む矩形が、1つの画素201に対応する回路を表す。また、一点鎖線で囲む矩形が1つのブロック202(202-1~202-4)に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、画素201のリセットトランジスタ303は、ブロック202単位でオン/オフされる。また、画素201の転送トランジスタ302も、ブロック202単位でオン/オフされる。図3に示す例において、左上ブロック202-1に対応する4つのリセットトランジスタ303をオン/オフするためのリセット配線300-1が設けられており、同ブロック202-1に対応する4つの転送トランジスタ302に転送パルスを供給するためのTX配線307-1も設けられる。
同様に、左下ブロック202-3に対応する4つのリセットトランジスタ303をオン/オフするためのリセット配線300-3が、上記リセット配線300-1とは別個に設けられる。また、同ブロック202-3に対応する4つの転送トランジスタ302に転送パルスを供給するためのTX配線307-3が、上記TX配線307-1と別個に設けられる。
右上ブロック202-2や右下ブロック202-4についても同様に、それぞれリセット配線300-2とTX配線307-2、およびリセット配線300-4とTX配線307-4が、それぞれのブロック202に設けられている。
各画素201に対応する16個のPD104は、それぞれ対応する転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、上記ブロック202ごとのTX配線を介して転送パルスが供給される。各転送トランジスタ302のドレインは、対応するリセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが、対応する増幅トランジスタ304のゲートに接続される。
各リセットトランジスタ303のドレインは、電源電圧が供給されるVdd配線310に共通に接続される。各リセットトランジスタ303のゲートには、上記ブロック202ごとのリセット配線を介してリセットパルスが供給される。
各増幅トランジスタ304のドレインは、電源電圧が供給されるVdd配線310に共通に接続される。また、各増幅トランジスタ304のソースは、対応する選択トランジスタ305のドレインに接続される。各選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。
そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック202ごとのリセット配線を通じてリセットパルスがリセットトランジスタ303に印加され、同時に上記ブロック202(202-1~202-4)ごとのTX配線を通じて転送パルスが転送トランジスタ302に印加されると、上記ブロック202ごとに、PD104およびフローティングディフュージョンFDの電位がリセットされる。
各PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。
そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
上述したように、ブロック202を形成する4画素に対して、リセット配線とTX配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック202内の4画素に対して同時に印加される。したがって、あるブロック202を形成するすべての画素201は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309から出力される。
このように、ブロック202ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック202間では、異なったタイミングで撮像することができる。
図4は、撮像素子100の構成例を示すブロック図である。アナログのマルチプレクサ411は、ブロック202を形成する16個のPD104を順番に選択して、それぞれの画素信号を当該ブロック202に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)やアナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では4つのブロック202の分の接続を示すが、実際にはこれらが4つのブロック202ごとに存在して、並列で動作する。
ただし、演算回路415は4つのブロック202ごとに存在しなくてもよく、たとえば、一つの演算回路415がそれぞれの4つのブロック202に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
上記の通り、ブロック202のそれぞれに対応して出力配線309が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
<電子機器のブロック構成例>
図5は、電子機器のブロック構成例を示す説明図である。なお、ブロック構成例の詳細は後述(図9)する。電子機器500は、たとえば、レンズ一体型のカメラである。電子機器500は、撮像光学系501と、撮像素子100と、制御部502と、液晶モニタ503と、メモリカード504と、操作部505と、DRAM506と、フラッシュメモリ507と、録音部508とを備える。制御部502は、後述するように手ブレや被写体ブレを検出する検出部を含む。
撮像光学系501は、複数のレンズから構成され、撮像素子100の撮像面200に被写体像を結像させる。なお、図5では、便宜上、撮像光学系501を1枚のレンズとして図示している。
撮像素子100は、たとえば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子であり、撮像光学系501により結像された被写体像を撮像して撮像信号を出力する。制御部502は、電子機器500の各部を制御する電子回路であり、プログラムを実行するプロセッサ、画像処理回路のような周辺回路、加速度センサのような各種センサを含む。
不揮発性の記憶媒体であるフラッシュメモリ507には、予め所定の制御プログラムが書き込まれている。制御部502のプロセッサは、フラッシュメモリ507から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるDRAM506を作業用領域として使用する。
液晶モニタ503は、液晶パネルを利用した表示装置である。制御部502は、所定周期(たとえば60分の1秒)ごとに撮像素子100に繰り返し被写体像を撮像させる。そして、撮像素子100から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ503に表示する。液晶モニタ503には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。
制御部502は、撮像素子100から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード504に画像ファイルを記録する。操作部505は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部502に操作信号を出力する。
録音部508は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部502に入力する。なお、制御部502は、可搬性の記録媒体であるメモリカード504に動画ファイルを記録するのではなく、電子機器500に内蔵されたSSD(Solid State Drive)やハードディスクのような不図示の記録媒体に記録してもよい。
<画像ファイルの構成例>
図6は、電子機器500の撮像により生成された画像ファイルの構成例を示す説明図である。画像ファイル600は、制御部502内の画像処理回路または画像処理プログラムで生成され、メモリカード504、DRAM506、またはフラッシュメモリ507に格納される。画像ファイル600は、ヘッダ部601およびデータ部602の2つのブロックにより構成される。ヘッダ部601は、画像ファイル600の先頭に位置するブロックである。ヘッダ部601には、ファイル基本情報領域611と、マスク領域612と、撮像情報領域613とが、以上に述べた順序で格納されている。
ファイル基本情報領域611には、たとえば、画像ファイル600内の各部(ヘッダ部601、データ部602、マスク領域612、撮像情報領域613など)のサイズやオフセットが記録される。マスク領域612には、後述する撮像条件情報やマスク情報などが記録される。撮像情報領域613には、たとえば電子機器500の機種名や撮像光学系501の情報(たとえば収差などの光学特性に関する情報)など、撮像に関する情報が記録される。データ部602は、ヘッダ部601の後ろに位置するブロックであり、画像情報が記録される。
<撮像面200と被写体像との関係>
図7は、撮像面200と被写体像との関係を示す説明図である。(a)は、撮像素子100の撮像面200(撮像範囲)での被写体像の撮像例を示す。(b)は、(a)の撮像の際に設定されたマスク情報を示す。(c)は、(a)から所定時間経過後における撮像素子100の撮像面200(撮像範囲)での被写体像の撮像例を示す。(d)は、(c)撮像の際に設定されたマスク情報を示す。
(a)において、制御部502は、被写体を撮像する。(a)の撮像は、たとえばライブビュー画像(いわゆるスルー画)の作成のために行われる撮像でもよい。制御部502は、(a)の撮像により得られた被写体像に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術(特徴量を演算して所定の被写体が存在する範囲を検出する技術)により、主要被写体を検出する。実施例1では、主要被写体以外は背景とする。
検出された主要被写体の像(主要被写体像MI)のみが映っているブロック202が主要被写体ブロック202となる。主要被写体ブロック202の集合が主要被写体領域702となる。また、背景の像のみが映っているブロック202が背景ブロック202となる。背景ブロック202の集合が背景領域701となる。主要被写体像MIと背景の像の両方が映っているブロック202を不定ブロック202と称する。不定ブロック202の集合を共存領域703と称する。
(a)では、具体的には、たとえば、主要被写体領域702は、主要被写体像MIの外形に沿った形状として設定される。制御部502は、主要被写体領域702内の各ブロック202と、背景領域701内の各ブロック202とで、異なる撮像条件を設定する。たとえば、前者の各ブロック202には、後者の各ブロック202に比べて高速なシャッタースピードを設定する。このようにすると、(a)の撮像の次に撮像される(c)の撮像において、主要被写体領域702では像ぶれが発生しにくくなる。
また、制御部502は、背景領域701に存在する太陽などの光源の影響で、主要被写体領域702が逆光状態となっている場合には、前者の各ブロック202に、相対的に高めのISO感度を設定したり、低速なシャッタースピードを設定する。また、制御部502は、後者の各ブロック202に、相対的に低めのISO感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、(c)の撮像において、逆光状態の主要被写体領域702の黒つぶれや、光量の大きい背景領域701の白飛びを防止することができる。なお、共存領域703を構成するブロック202に対する設定については後述する。
なお、画像解析処理は、上述した背景領域701と主要被写体領域702とを検出する処理とは異なる処理であってもよい。たとえば、撮像面200全体のうち、明るさが一定以上の部分(明るすぎる部分)や明るさが一定未満の部分(暗すぎる部分)を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部502は、前者の領域に含まれるブロック202について、露出値(Ev値)が他の領域に含まれるブロック202よりも低くなるように、シャッタースピードやISO感度を設定する。
また、制御部502は、後者の領域に含まれるブロック202については、露出値(Ev値)が他の領域に含まれるブロック202よりも高くなるように、シャッタースピードやISO感度を設定する。このようにすることで、(c)の撮像により得られる画像のダイナミックレンジを、撮像素子100の本来のダイナミックレンジよりも広げることができる。
図7の(b)は、(a)に示した撮像面200に対応するマスク情報704の一例を示す。背景領域701に属するブロック202の位置には「1」が、主要被写体領域702に属するブロック202の位置には「2」が、共存領域703に属するブロック202の位置には「0」がそれぞれ格納されている。
ただし、共存領域703に属するブロック202の位置については、制御部502が、主要被写体領域702に属すべきと判断した場合には「2」、背景領域701に属すべきと判断した場合には「1」に更新してもよい。また、制御部502は、更新前の値「0」と更新後の値「1」または「2」とを保存してもよい。
制御部502は、1フレーム目の画像データに対して、画像解析処理を実行し、背景領域701と主要被写体領域702と共存領域703とを検出する。これにより、(a)の撮像によるフレームは、(b)に示すように、背景領域701と主要被写体領域702と共存領域703とに分割される。制御部502は、背景領域701内の各ブロック202と、主要被写体領域702内の各ブロック202とで、異なる撮像条件を設定して、(c)の撮像を行い、画像データを作成する。このときのマスク情報704の例を、(d)に示す。
(a)の撮像の結果に対応する(b)のマスク情報704と、(c)の撮像の結果に対応する(d)のマスク情報704とでは、異なる時刻に撮像を行っている(時間差がある)ため、たとえば、被写体が移動している場合や、ユーザが電子機器500を動かした場合に、これら2つのマスク情報704が異なる内容になる。換言すると、マスク情報704は、時間経過に伴い変化する動的情報である。従って、あるブロック202において、フレームごとに異なる撮像条件が設定されることになる。
<画像ファイルの具体例>
図8は、画像ファイル600の具体的な構成例に示す説明図である。マスク領域612には、識別情報801と、撮像条件情報802と、マスク情報704が、以上に述べた順序で記録される。
識別情報801は、この画像ファイル600がマルチ撮像条件静止画撮像機能によって作成されたものである旨を表す。マルチ撮像条件静止画撮像機能とは、複数の異なる撮像条件(たとえば、長秒の露光時間と短秒の露光時間)が設定された撮像素子100で静止画を撮影する機能である。たとえば、逆光時では、主要被写体を長秒、背景を短秒とする。長秒および短秒は相対的に決まる設定値である。
撮像条件情報802は、ブロック202にどのような用途(目的、役割)が存在するかを表す情報である。たとえば、上述したように、撮像面200(図7(a))を背景領域701と主要被写体領域702と共存領域703とに分割する場合、各々のブロック202は、共存領域703が不定のままであれば、背景領域701に属するか、主要被写体領域702に属するか、共存領域703に属するかのいずれかである。一方、各々のブロック202は、共存領域703が背景領域701と主要被写体領域702とのいずれかに決定されていれば、背景領域701に属するか、または、主要被写体領域702に属するかのいずれかである。
つまり、撮像条件情報802は、この画像ファイル600の作成に際し、ブロック202にたとえば「主要被写体領域を1/60[sec]で静止画撮像する」(長秒)、「背景領域を1/1000[sec]で静止画撮像する」(短秒)という2種類の撮像条件と、これらの撮像条件ごとに割り当てられた一意な番号を表す情報と、を含む。たとえば、「1」という番号が「背景領域を1/1000[sec]で静止画撮像する」撮像条件を示す。「2」という番号が「主要被写体領域を1/60[sec]で静止画撮像する」撮像条件を示す。「0」という番号が「共存領域を静止画撮像する露光時間は不定である」撮像条件を示す。
ここでは、説明の容易化のため、撮像条件ごとに割り当てられた一意な番号として「1」、「2」としたが、3種類以上の露光時間を割り当てる場合もある。したがって、たとえば、露光時間を示す段数分の番号が割り当てられてもよい。
マスク情報704は、各々のブロック202の用途(目的、役割)を表す情報である。図7で説明したように、マスク情報704は、「撮像条件情報802に割り当てられた番号を、ブロック202の位置に合わせて二次元マップの形で表現した情報」である。つまり、二次元状に配列されたブロック202を2つの整数x、yによる二次元座標(x、y)で特定するとき、(x、y)の位置に存在するブロック202の用途は、マスク情報704の(x、y)の位置に存在する撮像番号により表現される。
撮像番号「1」は背景の像が存在するブロック202に割り当てられた番号であり、撮像番号「2」は主要被写体像存在するブロック202に割り当てられた番号であり、撮像番号「0」は、背景の像および主要被写体像が存在するブロック202に割り当てられた番号である。たとえば、マスク情報704の座標(3,5)の位置に「2」という撮像番号が入っていた場合、座標(3,5)に位置するブロック202には、「主要被写体領域を1/60[sec]で静止画撮像する」という撮像条件が与えられたことがわかる。換言すると、座標(3,5)に位置するブロック202は、主要被写体領域702に属することがわかる。
データ部602は、画像情報811と、Tv値マップ812と、Sv値マップ813と、Bv値マップ814と、Av値情報815と、を含む。
画像情報811は、図7の(b)の撮像により撮像素子100から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるRAW画像データである。
Tv値マップ812は、ブロック202ごとに設定されたシャッタースピードを表すTv値を、ブロック202の位置に合わせて二次元マップの形で表現した情報である。たとえば座標(x、y)に位置するブロック202に設定されたシャッタースピードは、Tv値マップ812の座標(x、y)に格納されているTv値を調べることで判別可能である。
Sv値マップ813は、ブロック202ごとに設定されたISO感度を表すSv値を、Tv値マップ812と同様に二次元マップの形で表現した情報である。
Bv値マップ814は、図7の(b)の撮像に際してブロック202ごとに測定された被写体輝度、すなわち、各々のブロック202に入射した被写体光の輝度を表すBv値を、Tv値マップ812と同様に二次元マップの形で表現した情報である。
Av値情報815は、図7の(b)の撮像時の絞り値を表す情報である。Av値は、Tv値、Sv値、Bv値とは異なり、ブロック202ごとに存在する値ではない。従って、Tv値、Sv値、Bv値とは違い、Av値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
以上のように、制御部502は、マルチ撮像条件静止画撮像機能による撮像を行うことにより、ブロック202ごとに異なる撮像条件が設定可能な撮像素子100により生成された画像情報811と、ブロック202ごとの撮像条件に関するデータ(撮像条件情報802、マスク情報704、Tv値マップ812、Sv値マップ813、Bv値マップ814など)、Av値情報815とが関連付けられた画像ファイル600を、メモリカード504に記録する。
<電子機器の詳細なブロック構成例>
図9は、電子機器の詳細なブロック構成例を示す説明図である。電子機器500は、撮像素子100と、制御部502と、表示部901と、記録部902と、を有する。表示部901は、具体的には、たとえば、図5に示した液晶モニタ503やEVF(Electronic View Finder)に相当する。記録部902は、具体的には、たとえば、図5に示したメモリカード504、DRAM506、およびフラッシュメモリ507に相当する。
撮像素子100は、上述したように、被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能であり、撮像チップ113と信号処理チップ111とを有する。撮像領域とは、撮像面200に存在するブロック202である。信号処理チップ111は、設定回路911を含む。設定回路911は、制御部502からの設定情報にしたがって、ブロック202ごとに撮像条件を設定する。
制御部502は、画像処理部912と、設定部913と、を有する。画像処理部912は、画像処理回路またはプロセッサに実行される画像処理プログラムにより実現される。画像処理部912は、図7で説明したような画像解析処理を実行する。具体的には、たとえば、画像処理部912は、被写体検出、被写体像と背景の像とを判別して背景領域701、主要被写体領域702および共存領域703を特定する領域判別を実行する。
設定部913は、複数の撮像領域のうち第1被写体像が存在する第1撮像領域に第1撮像条件を設定し、複数の撮像領域のうち第2被写体像が存在する第2撮像領域に第2撮像条件を設定し、複数の撮像領域のうち第1被写体像および第2被写体像が存在する第3撮像領域の第3撮像条件を第1撮像条件および第2撮像条件のうち少なくとも一方に基づいて設定する。
具体的には、たとえば、設定部913は、撮像面200を構成するブロック群のうち背景の像が存在するブロック202(マスク情報704の値が「1」)について、第1撮像条件として露光時間:短秒(たとえば、1/60秒)を設定する。マスク情報704の値が「1」のブロック202を「背景ブロック202」と称す。
また、設定部913は、撮像面200を構成するブロック群のうち主要被写体像MIが存在するブロック202(マスク情報704の値が「2」)について、第2撮像条件として露光時間:長秒(たとえば、1/1000秒)を設定する。マスク情報704の値が「2」のブロック202を「主要被写体ブロック202」と称す。
また、設定部913は、撮像面200を構成するブロック群のうち主要被写体像MIおよび背景の像が存在するブロック202(マスク情報704の値が「0」)の第3撮像条件については、背景ブロック202の輝度値と主要被写体ブロック202の輝度値に基づいて、以下の[1],[2]のように設定する。なお、マスク情報704の値が「0」のブロック202を「不定ブロック202」と称す。
[1.背景ブロック202(短秒)および主要被写体ブロック202(長秒)のうちいずれか一方]
設定部913は、不定ブロック202の第3撮像条件については、背景ブロック202の第1撮像条件および主要被写体ブロック202の第2撮像条件のうち、いずれか一方の撮像条件に設定する。たとえば、背景ブロック202が白とびし、主要被写体ブロック202が黒つぶれしない場合、不定ブロック202に第2撮像条件を設定した場合に、不定ブロック202内の背景像部分の画像データが白とびする場合、設定部913は、不定ブロック202の第3撮像条件を、背景ブロック202の第1撮像条件(短秒)に設定する。
また、不定ブロック202に第1撮像条件を設定した場合に不定ブロック202内の主要被写体部分が黒つぶれする場合、設定部913は、不定ブロック202の第3撮像条件を、主要被写体ブロック202の第2撮像条件(長秒)に設定する。また、不定ブロック202に第1撮像条件および第2撮像条件のいずれを設定しても、不定ブロック内で、白飛びせず、黒つぶれもしない場合、主要被写体を優先するため、設定部913は、不定ブロック202の第3撮像条件を、主要被写体ブロック202の第2撮像条件(長秒)に設定する。
ここで、白とびする場合とは、不定ブロック202の輝度値が第1輝度値以上の場合である。第1輝度値とは、不定ブロック202を構成する画素群(光電変換部の集合)が飽和状態になる輝度値である。また、黒つぶれする場合とは、不定ブロック202の輝度値が第1輝度値よりも低い第2輝度値以下の場合である。第2輝度値とは、不定ブロック202を構成する画素群(光電変換部の集合)の輝度が不足する状態である。具体的には、輝度値が0の場合である。なお、第2輝度値は、0でなくてもよく、0よりも大きい値を第2輝度値を設定してもよい。
なお、すべての不定ブロック202の背景像部分が白とびする必要はない。たとえば、不定ブロック202のうち一部の不定ブロック202の背景像部分が白とびする場合に、設定部913は、不定ブロック202の第3撮像条件を、背景ブロック202の第1撮像条件(短秒)に設定してもよい。同様に、すべての不定ブロック202の主要被写体像MI部分が黒つぶれする必要はない。たとえば、不定ブロック202のうち一部の不定ブロック202の主要被写体像MI部分が黒つぶれする場合に、設定部913は、不定ブロック202の第3撮像条件を、主要被写体ブロック202の第2撮像条件(長秒)に設定してもよい。
[2.背景ブロック202(短秒)および主要被写体ブロック202(長秒)の間]
設定部913は、不定ブロック202の第3撮像条件については、背景ブロック202の第1撮像条件および主要被写体ブロック202の第2撮像条件の間の撮像条件に設定する。たとえば、背景ブロック202の第1撮像条件である露光時間が1/1000秒(短秒)で、主要被写体ブロック202の第2撮像条件である露光時間が1/60秒(長秒)である場合、第1撮像条件と第2撮像条件との間に3段分の露光時間(1/125秒、1/250秒、1/500秒)がある。
したがって、設定部913は、第3撮像条件をこれらの露光時間のうちいずれか1つに設定する。設定部913は、第3撮像条件を、第1撮像条件と第2撮像条件との中間の露光時間:1/250秒に設定してもよい。また、背景の明るさを抑制するような設定がされている場合、設定部913は、第3撮像条件を、第1撮像条件寄りの露光時間:1/500秒に設定してもよい。また、主要被写体を優先するような設定がされている場合、設定部913は、第3撮像条件を、第2撮像条件寄りの露光時間:1/125秒に設定してもよい。
このあと、設定部913は、設定結果となる設定情報を信号処理チップ111内の設定回路911に送信する。設定情報は、ブロック202を特定する座標値と、ブロック202ごとに設定された撮像条件を示す値と、を含む。撮像条件を示す値とは、たとえば、露光時間を示す番号である。
信号処理チップ111内の設定回路911は、設定情報を受信すると、設定情報にしたがって、ブロック202単位で電荷蓄積開始から終了までの電荷蓄積時間、すなわち、露光時間を設定する。これにより、撮像素子100は、設定情報にしたがって次フレームの画像データを取得することができる。
また、制御部502内の画像処理部912は、調整部921を有する。調整部921は、設定部913からの設定情報にしたがって、不定ブロック202から出力される画像データの信号レベルを増幅または減幅するように調整する(いわゆる、デジタルゲイン調整)。具体的には、たとえば、調整部921は、下記[3]および[4]のようにゲイン調整する。
[3.上記[1]の設定でのゲイン調整]
調整部921は、設定部913によって不定ブロック202の第3撮像条件が第1撮像条件(短秒)に設定された場合、不定ブロック202からの画像データのうち主要被写体に関する画像データが、第2撮像条件(長秒)が設定されている主要被写体ブロック202からの画像データに比べて暗くなる。これにより、主要被写体領域702内で、主要被写体ブロック202と不定ブロック202との境界部分が目立ってしまう。このため、画像処理部912は、領域判別により、不定ブロック202からの画像データのうち主要被写体に関する画像データを特定し、調整部921は、主要被写体に関する画像データの信号レベルが増幅するよう調整する。すなわち、調整部921は、主要被写体に関する画像データを構成する画素群の輝度値を一律に所定量増加させる。
また、調整部921は、設定部913によって不定ブロック202の第3撮像条件が第2撮像条件(長秒)に設定された場合、不定ブロック202からの画像データのうち背景に関する画像データが、第1撮像条件(短秒)が設定されている背景ブロック202からの画像データに比べて明るくなる。これにより、背景領域701内で、背景ブロック202と不定ブロック202との境界部分が目立ってしまう。このため、画像処理部912は、領域判別により、不定ブロック202からの画像データのうち背景に関する画像データを特定し、調整部921は、背景に関する画像データの信号レベルが減幅するよう調整する。すなわち、調整部921は、背景に関する画像データを構成する画素群の輝度値を一律に所定量減少させる。
[4.上記[2]の設定でのゲイン調整]
調整部921は、設定部913によって不定ブロック202の第3撮像条件が第1撮像条件(短秒)寄り(たとえば、1/500秒)に設定された場合、不定ブロック202からの画像データのうち主要被写体に関する画像データが、第2撮像条件(長秒)が設定されている主要被写体ブロック202からの画像データに比べて暗くなる。これにより、主要被写体領域702内で、主要被写体ブロック202と不定ブロック202との境界部分が目立ってしまう。
このため、画像処理部912は、領域判別により、不定ブロック202からの画像データのうち主要被写体に関する画像データを特定し、調整部921は、主要被写体に関する画像データの信号レベルが増幅するよう調整する。すなわち、調整部921は、主要被写体に関する画像データを構成する画素群の輝度値を一律に所定量増加させる。この場合の第3撮像条件は、第1撮像条件よりも露光時間が長いため、輝度値の増加量は、[3]の場合の増加量よりも低くてもよい。
また、調整部921は、設定部913によって不定ブロック202の第3撮像条件が第2撮像条件(長秒)寄り(たとえば、1/125秒)に設定された場合、不定ブロック202からの画像データのうち背景に関する画像データが、第1撮像条件(短秒)が設定されている背景ブロック202からの画像データに比べて明るくなる。これにより、背景領域701内で、背景ブロック202と不定ブロック202との境界部分が目立ってしまう。
このため、画像処理部912は、領域判別により、不定ブロック202からの画像データのうち背景に関する画像データを特定し、調整部921は、背景に関する画像データの信号レベルが減幅するよう調整する。すなわち、調整部921は、背景に関する画像データを構成する画素群の輝度値を一律に所定量減少させる。この場合の第3撮像条件は、第2撮像条件よりも露光時間が短いため、輝度値の減少量は、[3]の場合の減少量よりも低くてもよい。
また、設定部913によって不定ブロック202の第3撮像条件が第1撮像条件と第2撮像条件の中間(たとえば、1/250秒)に設定された場合、上述した第1撮像条件(短秒)寄りおよび第2撮像条件(長秒)寄りの場合と同様、調整部921は、不定ブロック202について上述した主要被写体に関する画像データの信号レベルの増幅や、背景に関する画像データの信号レベルが減幅を実行してもよい。また、テクスチャが多いなど不定ブロック202内の画像構造が複雑であるため、当該不定ブロック202内で主要被写体像MI部分と背景像部分との領域分割が適切に実行されない場合がある。このような不定ブロック202に対しては、調整部921は、ゲイン調整を実行しないようにしてもよい。
また、画像処理部912内の生成部922は、上述した画像ファイル600を生成する。生成部922はたとえば、レリーズボタンの押下により被写体撮像がされた場合に、画像ファイル600を生成する。画像ファイル600では、背景領域701と背景領域701からの画像データと第1撮像条件(短秒)とが関連付けられる。
また、画像ファイル600では、主要被写体領域702と主要被写体領域702からの画像データと第2撮像条件(長秒)とが関連付けられる。また、画像ファイル600では、共存領域703と共存領域703からの画像データと第3撮像条件とが関連付けられる。
具体的には、たとえば、ブロック202ごとの被写体の種類は、マスク情報704に記録される。また、ブロック202ごとに設定された撮像条件は、上述したTv値マップ812に記録される。また、ブロック202ごとの輝度値は、上述したBv値マップ814に記録される。
画像処理部912は、撮像素子100からの出力により、逐次生成された画像(スルー画像)を逐次表示する場合には、間引き処理された画像データを表示部に出力して、表示部901にスルー画を逐次表示させる。レリーズボタンが押下された場合には、画像処理部912は、全画素出力された画像データを表示部901に出力する。また、生成部922は、生成した画像ファイル600を記録部902に記録する。なお、予測部923および検出部924は、後述する実施例2の機能であるため、実施例1では説明を省略する。
<第3撮像条件の設定および調整例>
図10~図12は、第3撮像条件の設定例1~3を示す説明図である。図10~図12において、(A)は第3撮像条件の設定前の撮像面200を示し、(B)は第3撮像条件の設定後の撮像面200を示す。また、主要被写体像MIを中央の女性とし、背景像BIを主要被写体像MI以外とする。ここでは、逆光で被写体を撮像する例とする。
また、細線の格子はブロック202であり、特に、背景像BIのみの背景ブロック202の集合が背景領域701であり、第1撮像条件(短秒)が設定される。主要被写体像MIのみの主要被写体ブロック202の集合が主要被写体領域702であり、第2撮像条件(長秒)が設定される。太線で囲まれた主要被写体像MIおよび背景像BIが存在する不定ブロック202の集合が共存領域703であり、設定部913により第3撮像条件が設定され、調整部921によりゲイン調整される。
図10は、不定ブロック202に主要被写体領域702と同じ第2撮像条件(長秒)を設定したことで不定ブロック202内の背景像BI部分が白とびする場合に、不定ブロック202に背景像BIと同じ第1撮像条件(短秒)に設定する例である。この場合、共存領域703内の主要被写体像MI部分の輝度値が主要被写体領域702よりも低くなる。これにより、主要被写体領域702内で、主要被写体ブロック202と不定ブロック202との境界部分が目立ってしまう。そのため、調整部921は、共存領域703内の各不定ブロック202について主要被写体像MI部分の輝度値をゲインアップする。
図11は、不定ブロック202に背景領域701と同じ第1撮像条件(短秒)を設定したことで不定ブロック202内の主要被写体像MI部分が黒つぶれする場合に、不定ブロック202に主要被写体像MIと同じ第2撮像条件(長秒)に設定する例である。なお、背景像BIが白とびせず、かつ、主要被写体像MIが黒つぶれしない場合、設定部913は主要被写体優先とするため、同様に、不定ブロック202を主要被写体像MIと同じ第2撮像条件(長秒)に設定する。
これらの場合、(B)に示したように、共存領域703も長秒となるため、共存領域703内の背景像BI部分の輝度値が背景領域701よりも高くなる。これにより、背景領域701内で、背景ブロック202と不定ブロック202との境界部分が目立ってしまう。そのため、調整部921は、共存領域703内の各不定ブロック202について背景像BI部分の輝度値をゲインダウンする。
図12は、背景像BIが白とびし、かつ、主要被写体像MIが黒つぶれしたことで、不定ブロック202に第1撮像条件(短秒)および第2撮像条件(長秒)を設定した場合に、不定ブロック202の第3撮像条件を、第1撮像条件(短秒)および第2撮像条件(長秒)の間の撮像条件に設定する例である。この場合、(B)に示したように、共存領域703が短秒寄りであれば、共存領域703内の主要被写体像MI部分の輝度値が主要被写体領域702よりも低くなる。これにより、主要被写体領域702内で、主要被写体ブロック202と不定ブロック202との境界部分が目立ってしまう。
そのため、調整部921は、共存領域703内の各不定ブロック202について主要被写体像MI部分の輝度値をゲインアップする。一方、共存領域703が長秒寄りであれば、共存領域703内の背景像BI部分の輝度値が背景領域701よりも高くなる。これにより、背景領域701内で、背景ブロック202と不定ブロック202との境界部分が目立ってしまう。そのため、調整部921は、共存領域703内の各不定ブロック202について背景像BI部分の輝度値をゲインダウンする。
なお、図10~図12では、逆光を例にして説明したが、順光の場合は、第1撮像条件を長秒、第2撮像条件を短秒として、設定部913による設定と調整部921による調整が実行される。また、この実施例1では、撮像条件として露光時間を例に挙げて説明したが、撮像条件はISO感度でもよく、露出値でもよい。
このように、実施例1によれば、第1被写体像(背景像BI)と第2被写体像(主要被写体像MI)との境界となる第3撮像領域の第3撮像条件は、第1撮像条件や第2撮像条件とは無関係な撮像条件にならない。したがって、違和感のない被写体画像を表示することができる。
つぎに、実施例2について説明する。実施例2では、実施例2に関する内容を中心に説明するため、実施例1と同一内容については同一符号を用いて説明を省略する。また、実施例2では、実施例1と同様、逆光時の撮影を例に挙げて説明(第1撮像条件が短秒で、第2撮像条件が長秒)するが、順光の場合(第1撮像条件が長秒で、第2撮像条件が短秒)にも適用可能である。また、この実施例2では、実施例1と同様、撮像条件として露光時間を例に挙げて説明するが、撮像条件はISO感度でもよく、露出値でもよい。
<共存領域703への影響度>
実施例2は、実施例1で説明した不定ブロック202で構成される共存領域703の第3撮像条件を、共存領域703から所定範囲内に存在する背景領域701および主要被写体領域702のうち少なくとも一方の撮像領域への影響度に基づいて設定する設定例を示す。
図13は、共存領域703への影響度を示す説明図である。所定範囲内に存在する背景領域701とは、不定ブロック202から所定数の背景ブロック202が連結されたブロック集合である。また、撮像面200に存在する全背景ブロック202も、所定範囲内に存在する背景領域701となり得る。
同様に、所定範囲内に存在する主要被写体領域702とは、不定ブロック202から所定数の主要被写体ブロック202が連結されたブロック集合である。また、撮像面200に存在する全主要被写体ブロック202も、所定範囲内に存在する主要被写体領域702となり得る。どの程度までを所定範囲とするか(所定数をどの程度の値にするか)は、電子機器500において事前設定される。
影響度とは、その共存領域703が所定範囲内の背景領域701および主要被写体領域702からの画像に与える影響を示す指標値である。具体的には、たとえば、影響度は、不定ブロック202内での背景像BI部分と主要被写体像MI部分との面積に関する評価値の差や、不定ブロック202内での背景像BI部分と主要被写体像MI部分との画像の複雑さに関する評価値の差である。画像の複雑さに関する評価値とは、たとえば、画像の周波数成分の積分値である。詳細は後述する。
不定ブロック202内での背景像BI部分の面積に関する評価値(以下、面積値S1)とは、たとえば、背景像BI部分の画素数である。不定ブロック202内での主要被写体像MI部分の面積に関する評価値(以下、面積値S2)とは、たとえば、主要被写体像MI部分の画素数である。面積が大きい方の像が存在するブロック202がその不定ブロック202の周囲に多く存在すると、画像処理の負担が軽減さえる。
共存領域703内の不定ブロック202について、S1>S2の場合、その不定ブロック202では主要被写体像MI部分よりも背景像BI部分の面積の方が大きい。したがって、設定部913は、当該不定ブロック202の第3撮像条件を、背景像BIが存在する背景領域701の第1撮像条件(短秒)に設定する。これにより、当該不定ブロック202とこれに隣接する背景ブロック202とが同一撮像条件となって、画像処理の負担が軽減される。
一方、S2>S1の場合、その不定ブロック202では背景像BI部分よりも主要被写体像MI部分の面積の方が大きい。したがって、設定部913は、当該不定ブロック202の第3撮像条件を、主要被写体像MIが存在する主要被写体領域702の第2撮像条件(長秒)に設定する。これにより、当該不定ブロック202とこれに隣接する主要被写体ブロック202とが同一撮像条件となって、画像処理の負担が軽減される。
不定ブロック202内での背景像BI部分の画像の複雑さに関する評価値(以下、複雑度f1)とは、たとえば、背景像BI部分の周波数成分の積分値である。不定ブロック202内での主要被写体像MI部分の画像の複雑さに関する評価値(以下、複雑度f2)とは、たとえば、主要被写体像MI部分の周波数成分の積分値である。積分値が大きいほど、換言すれば、高周波であるほど、その被写体像から得られる画像の構造が複雑である。
共存領域703内の不定ブロック202について、f1>f2の場合、その不定ブロック202では主要被写体像MI部分よりも背景像BI部分の積分値が大きい。このため、背景像BI部分の画像の構造が複雑であることを示す。したがって、設定部913は、当該不定ブロック202の第3撮像条件を、背景像BIが存在する背景領域701の第1撮像条件(短秒)に設定する。これにより、調整部921での調整対象は、背景像BI部分よりも画像の構造が単純な主要被写体像MI部分となるため、調整部921は、より単純な画像構造に対して調整処理を実行することができ、調整処理の容易化を図ることができる。
一方、f2>f1の場合、その不定ブロック202では背景像BI部分よりも主要被写体像MI部分の積分値の方が大きい。このため、主要被写体像MI部分の画像の構造が複雑であることを示す。したがって、設定部913は、当該不定ブロック202の第3撮像条件を、主要被写体像MIが存在する主要被写体領域702の第2撮像条件(長秒)に設定する。これにより、調整部921での調整対象は、主要被写体像MI部分よりも画像の構造が単純な背景像BI部分となるため、調整部921は、より単純な画像構造に対して調整処理を行うことができ、調整処理の容易化を図ることができる。
このように、面積を考慮することにより、画像処理の対象領域を小さくすることができる。また、画像処理を実行しない場合、共存領域703と背景領域701との境界、または、共存領域703と主要被写体領域702との境界が不連続となり、縦方向または横方向の境界線長が短くなる。これにより、当該画像において境界線が目立たなくなる。また、画像の複雑さを考慮することにより、調整部921による調整が容易となり、画質の向上を図ることができる。
なお、上述した説明では、画像の複雑さについて複雑度が高い方の撮像条件を第3撮像条件に適用することとしたが、複雑度が低い方、すなわち、周波数成分が低い方の撮像条件を第3撮像条件に適用してもよい。この場合、面積を考慮した場合と同様、異なる撮像条件の境界は、より複雑な画像構造の被写体像が存在する撮像領域となる。たとえば、背景像BIよりも主要被写体像MIの方が複雑度が高い場合、不定ブロック202の第3撮像条件は、背景像BIの第1撮像条件(長秒)となる。したがって、共存領域703と主要被写体領域702との間に異なる撮像条件の境界が存在することになる。しかし、主要被写体領域702の画像構造が複雑であるため、主要被写体領域702内に境界線ができても当該画像において境界線が目立ちにくくなる。
<設定単位例>
図14は、不定ブロック202の設定単位例を示す説明図である。設定単位とは、図13に示した影響度を扱う一塊の不定ブロック202の数である。図14において、太黒線のブロック202またはブロック集合が設定単位である。(A)は、1ブロックを設定単位とする。(B)は、横方向および縦方向に連結するブロック集合を設定単位とする。設定部913は、たとえば、左上のブロック202から各行において順次左から右方向へのラスタスキャンにより設定単位を決める。したがって、横方向と縦方向とで重複するブロック202については、横方向のブロック集合に優先的に包含される。
設定部913は、この設定単位で、上述した影響度に基づいて第3撮像条件を設定することができる。これにより、不定ブロック202内の背景像BI部分および主要被写体像MI部分の連続性を考慮することができる。たとえば、1個の不定ブロック202では、背景像BI部分の面積が主要被写体像MI部分よりも小さくても、複数の不定ブロック202で構成される設定単位でみれば、背景像BI部分の面積が主要被写体像MI部分よりも大きい場合がある。これにより、不定ブロック202の第3撮像条件を適切な撮像条件に設定することができる。
<共存領域703の境界長>
図15は、共存領域703の境界長を示す説明図である。図15において、黒太線は、背景領域701と共存領域703との境界を示し、白太線は、主要被写体領域702と共存領域703との境界を示す。黒太線と白太線との間の領域が共存領域703である境界両側の背景ブロック202と不定ブロック202の撮像条件が異なると、ブロック202間の境界が目立つ。同様に、境界両側の主要被写体ブロック202と不定ブロック202の撮像条件が異なると、ブロック202間の境界が目立つ。目立つ境界の長さは、短い方が好ましい。
したがって、設定部913は、背景領域701と共存領域703との境界(黒太線)の長さと、主要被写体領域702と共存領域703との境界(白太線)の長さと、を比較する。そして、設定部913は、長い方の境界両側で撮像条件が同一となるように(短い方の境界両側で撮像条件が異なるように)、第3撮像条件を第1撮像条件または第2撮像条件に設定する。これにより、両側で撮像条件が異なる境界を目立たなくすることができる。
<ハロ対策>
図16は、ハロの影響の低減化を示す説明図である。ハロ(現象)とは、被写体光がレンズを通過する際に被写体光の経路が歪んでしまった結果おこる収差である。たとえば、逆光撮影時において、ハロは、逆光で影となる主要被写体と明るい背景との境界で発生しやすい。(A)は、ハロ1600が発生した主要被写体像MIを示し、(B)および(C)は、ある不定ブロック202aの拡大図である。ハロ1600は背景ブロック202に存在するが、被写体検出では、主要被写体像MIを包含するハロ1600の外縁(一点鎖線)までを主要被写体として検出される。
(B)では、不定ブロック202aの第3撮像条件が第1撮像条件(短秒)に設定されたとする。この場合、調整部921は、背景領域701(ハロ1600は含まれない)からの画像データについてはゲイン調整しない。調整部921は、主要被写体領域702(ハロ1600を含む)からの画像データについてはゲインアップ調整をする。この場合、調整部921は、ハロ1600が予測された場合には、背景領域701からの画像データと同様、ハロ1600の領域からの画像データについてゲイン調整をしない(ゲインダウンしてもよい)。したがって、被写体画像を表示する場合にハロ1600を抑制した画像を表示することができる。
(C)では、不定ブロック202aの第3撮像条件が第1撮像条件(長秒)に設定されたとする。この場合、調整部921は、背景領域701(ハロ1600は含まれない)からの画像データについてはゲインダウン調整する。調整部921は、主要被写体領域702(ハロ1600を含む)からの画像データについてはゲイン調整をしない。この場合、調整部921は、ハロ1600が予測された場合には、背景領域701からの画像データと同様、ハロ1600の領域からの画像データについてゲインダウン調整する。したがって、被写体画像を表示する場合にハロ1600を抑制した画像を表示することができる。
ハロの予測は、図9に示した予測部923で実行される。具体的には、たとえば、予測部923は、第1撮像条件(短秒)と第2撮像条件(長秒)との段差が所定段差以上であれば、ハロが発生すると予測する。たとえば、背景ブロック202の第1撮像条件である露光時間が1/1000秒(短秒)で、主要被写体ブロック202の第2撮像条件である露光時間が1/60秒(長秒)である場合、第1撮像条件と第2撮像条件との間に3段分の露光時間(1/125秒、1/250秒、1/500秒)がある。ハロ発生予測のしきい値が2段以上とすると、3段の差があるため、予測部923は、ハロが発生すると予測する。また、予測部923は、撮像素子100からの画像データに基づいて、ハロの発生を予測してもよい。
図17は、γ関数によるハロ発生予測例を示すグラフである。横軸は、撮像素子100からのRAW画像データの出力値であり、縦軸は、画像処理部912でのγ補正後の出力値である。x1は主要被写体像MI(ハロ以外の領域)の存在領域からの画像データの出力値であり、y1はx1のγ補正後の出力値である。x2は主要被写体像MI外縁(ハロ1600)の存在領域からの画像データの出力値であり、y2はx2のγ補正後の出力値である。
予測部923は、y1とy2の輝度差が所定値以上である場合、ハロ1600が発生していると予測する。これにより、図16に示したように、調整部921によるゲイン調整が実行される。
なお、ユーザは電子機器500で被写体を撮像する場合、上述した共存領域703への影響度に基づく撮像条件の設定、共存領域703の境界長に基づく撮像条件の設定、および、ハロ対策のための設定のうち少なくとも1つを適用可能である。
また、これらのうち2以上の設定を適用する場合、たとえば、共存領域703への影響度に基づく撮像条件の設定と共存領域703の境界長に基づく撮像条件の設定とを適用する場合には、電子機器500は、共存領域703への影響度に基づく撮像条件の設定を優先的に実行する。
また、共存領域703への影響度に基づく撮像条件の設定とハロ対策のための設定とを適用する場合には、電子機器500は、共存領域703への影響度に基づく撮像条件の設定を優先的に実行する。また、共存領域703への影響度に基づく撮像条件の設定と共存領域703の境界長に基づく撮像条件の設定とハロ対策のための設定とを適用する場合には、電子機器500は、共存領域703への影響度に基づく撮像条件の設定、共存領域703の境界長に基づく撮像条件の設定、ハロ対策のための設定の順に実行する。
また、共存領域703の境界長に基づく撮像条件の設定とハロ対策のための設定とを適用する場合には、電子機器500は、共存領域703の境界長に基づく撮像条件の設定を優先的に実行する。
ただし、電子機器500が検出部924により手ブレや被写体ブレを検出した場合、主要被写体を優先した撮像条件の設定を実行する。主要被写体を優先した撮像条件の設定とは、主要被写体像MIを含むブロック202を同一撮像条件にする設定であり、具体的には、たとえば、共存領域703を主要被写体領域702と同一撮像条件にする設定である。
具体的には、たとえば、図15において、設定部913は、共存領域703を主要被写体領域702と同じ撮像条件(長秒)に設定する。手ブレについては、たとえば、検出部924は、電子機器500に内蔵されたジャイロセンサや加速度センサで所定量以上のブレを検出する。被写体ブレについては、たとえば、検出部924は、主要被写体が動く方向および動き量を示す動きベクトルを検出し、連続するフレーム間で主要被写体が動く方向への動き量が所定量以上であれば、被写体ブレとして検出される。
また、共存領域703への影響度に基づく撮像条件の設定については、面積と画像の複雑さのうちいずれか一方が選択される。面積が選択されると共存領域703への影響度に基づく撮像条件の設定の高速化を図ることができる。一方、画像の複雑さが選択されると共存領域703への影響度に基づく撮像条件の設定の高精度化を図ることができる。
<設定処理手順例>
図18は、電子機器500における撮像条件の設定処理手順例1を示すフローチャートである。電子機器500は、ユーザの操作入力により初期設定を実行する(ステップS1801)。初期設定(ステップS1801)では、共存領域703への影響度(面積または複雑さ)、共存領域703の境界長、ハロ対策、設定単位に含まれるブロック数、白とび黒つぶれ回避設定処理について実行するかしないかの設定がされる。
白とび黒つぶれ回避設定処理とは、図10に示したように、設定部913により、不定ブロック202の第3撮像条件を第1撮像条件(短秒)または第2撮像条件(長秒)のいずれかに設定する処理である。具体的には、設定部913は、第1撮像条件および第2撮像条件のうち、不定ブロック202に、白飛びおよび黒つぶれが発生しない撮像条件を設定する。
つぎに、電子機器500は、撮像素子100からのスルー画の取得を開始する(ステップS1802)。電子機器500は、画像処理部912により、取得したスルー画の画像データについて画像解析を実行する(ステップS1803)。具体的には、たとえば、画像処理部912は、被写体検出により、主要被写体を検出し、主要被写体以外の背景とし、領域判別により、各ブロック202の領域種別(背景領域701、主要被写体領域702、共存領域703)を判別する。
つぎに、電子機器500は、初期設定(ステップS1801)により、共存領域703への影響度(面積または画像の複雑さ)の設定がされているか否かを判断する(ステップS1804)。共存領域703への影響度の設定がされていない場合(ステップS1804:No)、主要被写体優先モードとなるため、電子機器500は、設定部913により、白とび黒つぶれ回避設定処理または主要被写体優先設定処理を実行し(ステップS1805)、ステップS1810に移行する。具体的には、たとえば、初期設定(ステップS1801)で白とび黒つぶれ回避設定処理を実行する設定とされている場合には、白とび黒つぶれ回避設定処理が実行され、そうでない場合には、主要被写体優先設定処理が実行される。なお、第1撮像条件および第2撮像条件のいずれを設定しても、白飛びおよび黒つぶれが発生しない場合は、主要被写体優先設定処理としてもよい。
主要被写体優先設定処理(ステップS1805)とは、図11に示したように、設定部913により、不定ブロック202の第3撮像条件を主要被写体像MIと同じ第2撮像条件(長秒)に設定する処理である。この場合、図11(B)に示したように、共存領域703も長秒となるため、共存領域703内の背景像BI部分の輝度値が背景領域701よりも高くなる。そのため、電子機器500は、調整部921により、ゲイン調整処理(ステップS1810)において、共存領域703内の各不定ブロック202について背景像BI部分の輝度値をゲインダウンする。
ステップS1804において、共存領域703への影響度の設定がされている場合(ステップS1804:Yes)、手ブレまたは被写体検出ブレの検出フラグがONであるかOFFであるかを判断する(ステップS1806)。検出フラグがONの場合(ステップS1806:ON)、手ブレまたは被写体検出ブレが検出中であることを示し、主要被写体優先設定処理(ステップS1805)に移行する。検出フラグがOFFの場合(ステップS1806:OFF)、手ブレまたは被写体検出ブレが検出されていないことを示し、ステップS1807に移行する。
ステップS1807において、電子機器500は、初期設定(ステップS1801)された共存領域703への影響度が面積であるか画像の複雑さであるかを判断する(ステップS1807)。面積である場合(ステップS1807:面積)、電子機器500は、面積優先設定処理を実行して(ステップS1808)、ゲイン調整処理(ステップS1810)に移行する。面積優先設定処理(ステップS1808)の詳細については、図19または図20で後述する。
一方、画像の複雑さである場合(ステップS1807:複雑さ)、電子機器500は、複雑さ優先設定処理を実行して(ステップS1809)、ゲイン調整処理(ステップS1810)に移行する。複雑さ優先設定処理(ステップS1809)の詳細については、図25または図26で後述する。
ステップS1810において、電子機器500は、調整部921によりゲイン調整処理を実行する(ステップS1810)。たとえば、調整部921は、不定ブロック202の第3撮像条件が背景ブロック202の第1撮像条件(短秒)に設定された場合、不定ブロック202内の主要被写体像MI部分からの画像データをゲインアップする。また、不定ブロック202の第3撮像条件が主要被写体ブロック202の第2撮像条件(長秒)に設定された場合、不定ブロック202内の背景像BI部分からの画像データをゲインダウンする。
このあと、電子機器500は、検出部924により手ブレまたは被写体ブレを検出する(ステップS1811)。手ブレまたは被写体ブレが検出された場合(ステップS1811:Yes)、検出フラグをONに設定して(ステップS1812)、ステップS1814に移行する。一方、手ブレまたは被写体ブレが検出されていない場合(ステップS1811:No)、検出フラグをOFFに設定して、ステップS1814に移行する。
電子機器500は、スルー画取得が終了するか否かを判断し(ステップS1811)、スルー画取得を終了しない場合(ステップS1814:No)、ステップS1803に戻る。一方、スルー画取得を終了する場合(ステップS1814:Yes)、電子機器500は、撮像条件の設定処理を終了する。なお、撮像条件の設定処理の実行中に、ユーザはどのタイミングでもレリーズボタンを押下して被写体を撮像することができる。この場合、撮像したタイミングで撮像素子100からの全画素出力により画像データが生成され、画像ファイル600が記録部に記録される。
<面積優先設定処理(ステップS1808)>
図19は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例1を示すフローチャートである。図19の面積優先設定処理(ステップS1808)は、不定ブロック202内の背景像BI部分および主要被写体像MI部分の面積の大小で第3撮像条件を設定する処理である。
電子機器500は、設定部913により、未選択の設定単位があるか否かを判断する(ステップS1901)。未選択の設定単位がある場合(ステップS1901:Yes)、電子機器500は、設定部913により、未選択の設定単位を1つ選択する(ステップS1902)。そして、電子機器500は、設定部913により、選択設定単位内の背景像BI部分の面積値S1と主要被写体像MI部分の面積値S2とを算出する(ステップS1903)。
そして、電子機器500は、設定部913により、面積値S1、S2を比較する(ステップS1904)。面積値S1の方が大きい場合(ステップS1904:Yes)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、背景領域701の第1撮像条件に設定して(ステップS1905)、ステップS1901に戻る。
また、面積値S1の方が大きくない場合(ステップS1904:No)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、主要被写体領域702の第2撮像条件に設定して(ステップS1906)、ステップS1901に戻る。ステップS1901において、未選択の設定単位がない場合(ステップS1901:No)、電子機器500は、面積優先設定処理(ステップS1808)を終了して、ゲイン調整処理(ステップS1810)に移行する。
図20は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2を示すフローチャートである。図20の面積優先設定処理(ステップS1808)は、不定ブロック202内の背景像BI部分および主要被写体像MI部分の面積の大小で第3撮像条件を設定するとともに、面積差が許容範囲内であれば、面積では優劣がつかないため、共存領域703の境界長やハロ対策により第3撮像条件を設定する処理である。図19と同一処理については同一ステップ番号を付し、その説明を省略する。
電子機器500は、設定部913により、選択設定単位内の背景像BI部分の面積値S1と主要被写体像MI部分の面積値S2とを算出する(ステップS1903)と、面積値S1,S2の差である面積差が許容範囲内であるか否かを判断する(ステップS2001)。許容範囲内であれば(ステップS2001:Yes)、電子機器500は、設定部913により、不定カウントCを1加算して(ステップS2002)、ステップS1904に移行する。不定カウントCとは、面積差が許容範囲となった回数である。不定カウントCの初期値は0である。一方、面積差が許容範囲内でない場合(ステップS2001:No)、ステップS1904に移行する。
そして、面積値S1の方が大きい場合(ステップS1904:Yes)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、背景領域701の第1撮像条件に仮設定して(ステップS2003)、ステップS1901に戻る。
また、面積値S1の方が大きくない場合(ステップS1904:No)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、主要被写体領域702の第2撮像条件に仮設定して(ステップS2004)、ステップS1901に戻る。ステップS1901において、未選択の設定単位がない場合(ステップS1901:No)、電子機器500は、設定部913により、不定カウントCの割合が所定割合以上であるかいなかを判断する(ステップS2005)。たとえば、設定単位数をN、所定割合を0.4とすると、C/Nが0.4以下であれば、ステップS2006に移行する。
所定割合以上である場合(ステップS2005:Yes)、電子機器500は、設定部913により、ステップS2003、S2004で仮設定された各設定単位の第3撮像条件を確定させる(ステップS2006)。すなわち、不定カウント数Cが小さいほど、画像全体でみたときに面積差は許容範囲外となるため、仮決定された第3撮像条件が反映される。そして、面積優先設定処理(ステップS1808)を終了して、ゲイン調整処理(ステップS1810)に移行する。
一方、ステップS2005において、不定カウントCの割合が所定割合以下でない場合(ステップS2005:No)については、図21~図24で説明する。
図21は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2-1を示すフローチャートである。図21は、初期設定(ステップS1801)において、共存領域703の境界長の設定がONである場合に、図20のステップS2005:Noから分岐され、ゲイン調整処理(ステップS1810)に移行する処理である。
電子機器500は、設定部913により、共存領域703の背景側境界長L1と主要被写体側境界長L2とを算出する(ステップS2101)。たとえば、図15において、背景側境界長L1は太黒線の全長であり、主要被写体側境界長L2の全長である。そして、電子機器500は、設定部913により、境界長L1、L2を比較する(ステップS1904)。背景側境界長L1の方が長い場合(ステップS2102:Yes)、電子機器500は、設定部913により、共存領域の第3撮像条件を、主要被写体領域702の第1撮像条件に設定して(ステップS2103)、ゲイン調整処理(ステップS1810)に移行する。
また、背景側境界長L1の方が大きくない場合(ステップS2102:No)、電子機器500は、設定部913により、共存領域703の第3撮像条件を、背景領域701の第2撮像条件に設定して(ステップS1906)、ゲイン調整処理(ステップS1810)に移行する。これにより、共存領域703への影響度(面積)を優先しつつ、面積差の優劣がつかない場合には、共存領域703の境界長が短い方の撮像領域の撮像条件に設定することができる。
図22は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2-2を示すフローチャートである。図22は、初期設定(ステップS1801)において、共存領域703の境界長およびハロ対策の設定がONである場合に、図20のステップS2005:Noから分岐され、ゲイン調整処理(ステップS1810)に移行する処理である。図21と同一処理については同一ステップ番号を付し、その説明を省略する。
ステップS2101のあと、電子機器500は、設定部913により、境界長L1、L2の差(境界長差)が許容範囲内であるか否かを判断する(ステップS2201)。許容範囲内でない場合(ステップS2201:No)、ステップS2102に移行する。一方、境界長が許容範囲内である場合(ステップS2201:Yes)、電子機器500は、設定部913により、ハロ対策処理を実行して(ステップS2202)、ゲイン調整処理(ステップS1810)に移行する。
図23は、図22に示したハロ対策処理(ステップS2202)の詳細な処理手順例1を示すフローチャートである。電子機器500は、予測部923により、ハロの発生を予測する(ステップS2301)。たとえば、予測部923は、第1撮像条件と第2撮像条件との段差が所定段差以上であれば、ハロが発生すると予測して、ステップS2302に移行する。また、図17に示したように、予測部923は、主要被写体像MIの内部からの画像データの出力値x1と外縁からの画像データの出力値x2のγ補正値y1、y2の差が所定値以上であれば、ハロが発生すると予測して、ステップS2302に移行する。
ハロが発生しないと予測した場合(ステップS2301:No)、ステップS2003、S2004の仮設定を確定させ(ステップS2302)、ゲイン調整処理(ステップS1810)に移行する。一方、ハロが発生すると予測した場合(ステップS2301:Yes)、電子機器500は、設定部913により、共存領域703の撮像条件を、背景像の第1撮像条件に設定して(ステップS2303)、ゲイン調整処理(ステップS1810)に移行する。これにより、主要被写体像MIの外縁に相当する共存領域703を背景像BIの内部の第1撮像条件(短秒)と合わせることで、ハロの影響の低減化を図ることができる。
このように、共存領域703への影響度(面積)を優先しつつ、面積差の優劣がつかない場合には、共存領域703の境界長が短い方の撮像領域の撮像条件に設定し、境界長差で優劣がつかない場合には、ハロ対策処理(ステップS2202)により共存領域703の第3撮像条件を設定することができる。
図24は、図18に示した面積優先設定処理(ステップS1808)の詳細な処理手順例2-3を示すフローチャートである。図24は、初期設定(ステップS1801)において、共存領域703の境界長の設定がOFFでかつハロ対策のための設定がONである場合に、図20のステップS2005:Noから分岐され、ゲイン調整処理(ステップS1810)に移行する処理である。図23と同一処理については同一ステップ番号を付し、その説明を省略する。
図24に示した処理により、主要被写体像MIの外縁に相当する共存領域703を背景像BIの内部の第1撮像条件(短秒)と合わせることで、ハロの影響の低減化を図ることができる。このように、共存領域703への影響度(面積)を優先しつつ、面積差の優劣がつかない場合には、ハロ対策処理(ステップS2202)により共存領域703の第3撮像条件を設定することができる。
<複雑さ優先設定処理(ステップS1809)>
図25は、図18に示した複雑さ優先設定処理(ステップS1809)の詳細な処理手順例1を示すフローチャートである。図25の複雑さ優先設定処理(ステップS1809)は、不定ブロック202内の背景像BI部分および主要被写体像MI部分の画像の複雑さの度合いで第3撮像条件を設定する処理である。
電子機器500は、設定部913により、未選択の設定単位があるか否かを判断する(ステップS2501)。未選択の設定単位がある場合(ステップS2501:Yes)、電子機器500は、設定部913により、未選択の設定単位を1つ選択する(ステップS2502)。そして、電子機器500は、設定部913により、選択設定単位内の背景像BI部分の複雑度f1と主要被写体像MI部分の複雑度f2とを算出する(ステップS2503)。
そして、電子機器500は、設定部913により、複雑度f1、f2を比較する(ステップS2504)。複雑度f1の方が大きい場合(ステップS2504:Yes)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、背景領域701の第1撮像条件に設定して(ステップS2505)、ステップS2501に戻る。
また、複雑度f1の方が大きくない場合(ステップS2504:No)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、主要被写体領域702の第2撮像条件に設定して(ステップS2506)、ステップS2501に戻る。ステップS2501において、未選択の設定単位がない場合(ステップS2501:No)、電子機器500は、面積優先設定処理(ステップS1808)を終了して、ゲイン調整処理(ステップS1810)に移行する。
図26は、図18に示した複雑さ優先設定処理(ステップS1809)の詳細な処理手順例2を示すフローチャートである。図26の複雑さ優先設定処理(ステップS1809)は、不定ブロック202内の背景像BI部分および主要被写体像MI部分の画像の複雑さの度合いで第3撮像条件を設定するとともに、複雑度の差が許容範囲内であれば、画像の複雑さでは優劣がつかないため、共存領域703の境界長やハロ対策により第3撮像条件を設定する処理である。図25と同一処理については同一ステップ番号を付し、その説明を省略する。
電子機器500は、設定部913により、選択設定単位内の背景像BI部分の複雑度f1と主要被写体像MI部分の複雑度f2とを算出する(ステップS2503)と、複雑度f1,f2の差が許容範囲内であるか否かを判断する(ステップS2601)。許容範囲内であれば(ステップS2601:Yes)、電子機器500は、設定部913により、不定カウントCを1加算して(ステップS2602)、ステップS2504に移行する。不定カウントCとは、複雑度の差が許容範囲となった回数である。不定カウントCの初期値は0である。一方、複雑度の差が許容範囲内でない場合(ステップS2601:No)、ステップS2504に移行する。
そして、複雑度f1の方が大きい場合(ステップS2504:Yes)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、背景領域701の第1撮像条件に仮設定して(ステップS2603)、ステップS2501に戻る。
また、複雑度f1の方が大きくない場合(ステップS2504:No)、電子機器500は、設定部913により、選択設定単位の第3撮像条件を、主要被写体領域702の第2撮像条件に仮設定して(ステップS2604)、ステップS2501に戻る。ステップS2501において、未選択の設定単位がない場合(ステップS2501:No)、電子機器500は、設定部913により、不定カウントCの割合が所定割合以上であるかいなかを判断する(ステップS2605)。たとえば、設定単位数をN、所定割合を0.4とすると、C/Nが0.4以下であれば、ステップS2606に移行する。
所定割合以上である場合(ステップS2605:Yes)、電子機器500は、設定部913により、ステップS2603、S2604で仮設定された各設定単位の第3撮像条件を確定させる(ステップS2606)。すなわち、不定カウント数Cが小さいほど、画像全体でみたときに複雑度の差は許容範囲外となるため、仮決定された第3撮像条件が反映される。そして、複雑さ優先設定処理(ステップS1809)を終了して、ゲイン調整処理(ステップS1810)に移行する。
一方、ステップS2605において、不定カウントCの割合が所定割合以下でない場合(ステップS2605:No)については、図21~図24に示した処理が適用される。図21の処理を適用することにより、共存領域703への影響度(画像の複雑さ)を優先しつつ、複雑度の差の優劣がつかない場合には、共存領域703の境界長が短い方の撮像領域の撮像条件に設定することができる。
また、図22および図23の処理を適用することにより、共存領域703への影響度(画像の複雑さ)を優先しつつ、複雑度の差の優劣がつかない場合には、共存領域703の境界長が短い方の撮像領域の撮像条件に設定し、境界長差で優劣がつかない場合には、ハロ対策処理(ステップS2202)により共存領域703の第3撮像条件を設定することができる。
また、図24に示した処理を適用することにより、主要被写体像の外縁に相当する共存領域703を背景像の内部の第1撮像条件(短秒)と合わせることで、ハロの影響の低減化を図ることができる。このように、共存領域703への影響度(複雑さ)を優先しつつ、複雑度の差の優劣がつかない場合には、ハロ対策処理(ステップS2202)により共存領域703の第3撮像条件を設定することができる。
図27は、電子機器500における撮像条件の設定処理手順例2を示すフローチャートである。図27は、図18と異なり、共存領域703への影響度の設定がOFFである場合の撮像条件の設定処理手順例である。したがって、図27では、面積優先設定処理(ステップS1808)や複雑さ優先設定処理(ステップS1809)は実行されない。また、図18と同一処理については同一ステップ番号を付し、その説明を省略する。
図27では、手ブレまたは被写体ブレの検出フラグがOFFの場合に、図21に示した共存領域703の境界長による撮像条件の設定処理、図22に示した共存領域703の境界長およびハロ対策による撮像条件の設定処理、および、ハロ対策による撮像条件の設定処理のいずれかが実行され、ゲイン調整処理(ステップS1810)に移行する。
なお、初期設定(ステップS1801)において、共存領域703の境界長の設定がONでかつハロ対策の設定がOFFである場合、図27の処理に図21が適用される。また、共存領域703の境界長の設定がONでかつハロ対策の設定がONである場合、図27の処理に図22が適用される。だたし、図22内のハロ対策処理(ステップS2202)の詳細については、後述する図28が適用される。また、共存領域703の境界長の設定がOFFでかつハロ対策のための設定がONである場合、図27の処理に後述する図29が適用される。
図28は、図22に示したハロ対策処理(ステップS2202)の詳細な処理手順例2を示すフローチャートである。図23と同一処理については同一ステップ番号を付し、その説明を省略する。図27の撮像条件の設定処理では、面積優先設定処理(ステップS1808)や複雑さ優先設定処理(ステップS1809)は実行されないため、図28では、図23のステップS2302が不要となる。したがって、ハロが発生しないと予測した場合(ステップS2301:No)、ゲイン調整処理(ステップS1810)に移行する。
これにより、主要被写体像の外縁に相当する共存領域703を背景像の内部の第1撮像条件(短秒)と合わせることで、ハロの影響の低減化を図ることができる。このように、共存領域703の境界長を優先しつつ、境界長差の優劣がつかない場合には、ハロ対策処理(ステップS2202)により共存領域703の第3撮像条件を設定することができる。
図29は、ハロ対策処理の詳細な処理手順例を示すフローチャートである。図29も、図28と同様、図27の撮像条件の設定処理では、面積優先設定処理(ステップS1808)や複雑さ優先設定処理(ステップS1809)は実行されないため、図28では、図23のステップS2302が不要となる。したがって、ハロが発生しないと予測した場合(ステップS2301:No)、ゲイン調整処理(ステップS1810)に移行する。
これにより、主要被写体像の外縁に相当する共存領域703を背景像の内部の第1撮像条件(短秒)と合わせることで、ハロの影響の低減化を図ることができる。このように、ハロ対策単独で共存領域703の第3撮像条件を設定することができる。
このように、実施例2によれば、第1被写体像(背景像BI)と第2被写体像(主要被写体像MI)との境界となる第3撮像領域の第3撮像条件は、画像全体のバランスを考慮した撮像条件となる。したがって、違和感のない被写体画像を表示することができる。
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
100 撮像素子、111 信号処理チップ、112 メモリチップ、113 撮像チップ、200 撮像面、202 ブロック、500 電子機器、501 撮像光学系、502 制御部、600 画像ファイル、901 表示部、902 記録部、911 設定回路、912 画像処理部、913 設定部、921 調整部、922 生成部、923 予測部、924 検出部

Claims (24)

  1. 被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子と、
    前記複数の撮像領域のうち第1被写体像が存在する第1撮像領域に第1撮像条件を設定し、前記複数の撮像領域のうち第2被写体像が存在する第2撮像領域に前記第1撮像条件と異なる第2撮像条件を設定し、前記複数の撮像領域のうち前記第1被写体像および前記第2被写体像が存在する第3撮像領域の第3撮像条件を前記第1撮像条件および前記第2撮像条件のうち少なくとも一方と前記第3撮像領域から出力に基づく輝度値とに基づいて設定する設定部と、
    を有する電子機器。
  2. 請求項1に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第3撮像条件を前記第1撮像条件および前記第2撮像条件のうちいずれか一方の撮像条件に設定する、電子機器。
  3. 請求項1に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第1被写体像の輝度値が第1輝度値以上である場合、前記第3撮像条件を前記第1撮像条件に設定する、電子機器。
  4. 請求項3に記載の電子機器であって、
    前記第1輝度値は、前記第1撮像条件に基づく前記第3撮像領域の第1被写体像に白とびが発生する飽和状態を示す輝度値である、電子機器。
  5. 請求項3または4に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第2被写体像の輝度値が前記第1輝度値よりも低い所定の第2輝度値以下でない場合、前記第3撮像条件を前記第1撮像条件に設定する、電子機器。
  6. 請求項5に記載の電子機器であって、
    前記第2輝度値は、前記第3撮像条件に基づく前記第3撮像領域の第2被写体像が黒つぶれが発生する状態を示す輝度値である、電子機器。
  7. 請求項3から6のいずれか一項に記載の電子機器であって、
    前記第3撮像領域のうち前記第2被写体像の存在領域からの画像データの信号レベルを増幅するように調整する調整部を有する、電子機器。
  8. 請求項3または4に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第2被写体像の輝度値が前記第1輝度値よりも低い所定の第2輝度値以下である場合、前記第3撮像条件を前記第1撮像条件および前記第2撮像条件に基づいて設定する、電子機器。
  9. 請求項8に記載の電子機器であって、
    前記設定部は、前記第3撮像条件を前記第1撮像条件と前記第2撮像条件との間の撮像条件に設定する、電子機器。
  10. 請求項9に記載の電子機器であって、
    前記設定部によって設定された第3撮像条件に基づいて、前記第3撮像領域からの画像データの信号レベルを増減幅するように調整する調整部を有する、電子機器。
  11. 請求項10に記載の電子機器であって、
    前記調整部は、前記第3撮像条件が前記第2撮像条件よりも前記第1撮像条件に近い場合、前記第3撮像領域のうち前記第2被写体像の第2存在領域からの画像データの信号レベルを増幅するように調整する、電子機器。
  12. 請求項10に記載の電子機器であって、
    前記調整部は、前記第3撮像条件が前記第1撮像条件よりも前記第2撮像条件に近い場合、前記第3撮像領域のうち前記第1被写体像の第1存在領域からの画像データの信号レベルを減幅するように調整する、電子機器。
  13. 請求項1に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第1被写体像の輝度値が第1輝度値以上でない場合、前記第3撮像条件を前記第2撮像条件に設定する、電子機器。
  14. 請求項13に記載の電子機器であって、
    前記第1輝度値は、前記第1撮像条件に基づく、前記第3撮像領域の前記第1被写体像が白とびが発生する飽和状態を示す輝度値である、電子機器。
  15. 請求項13または14に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第2被写体像の輝度値が前記第1輝度値よりも低い所定の第2輝度値以下である場合、前記第3撮像条件を前記第2撮像条件に設定する、電子機器。
  16. 請求項15に記載の電子機器であって、
    前記第2輝度値は、前記第2撮像条件に基づく、前記第3撮像領域の前記第2被写体像が黒つぶれが発生する状態を示す輝度値である、電子機器。
  17. 請求項13から16のいずれか一項に記載の電子機器であって、
    前記第3撮像領域のうち前記第1被写体像の第1存在領域からの画像データの信号レベルを減幅するように調整する調整部を有する、電子機器。
  18. 請求項13または14に記載の電子機器であって、
    前記設定部は、前記第3撮像領域の前記第2被写体像の輝度値が前記第1輝度値よりも低い所定の第2輝度値以下でない場合、前記第3撮像条件を前記第1撮像条件および前記第2撮像条件に基づいて設定する、電子機器。
  19. 請求項18に記載の電子機器であって、
    前記設定部は、前記第3撮像条件を、前記第1撮像領域および前記第2撮像領域のうち主要被写体の被写体像が存在する撮像領域の撮像条件に設定する、電子機器。
  20. 請求項19に記載の電子機器であって、
    前記設定部によって設定された第3撮像条件に基づいて、前記第3撮像領域からの画像データの信号レベルを増減幅するように調整する調整部を有する、電子機器。
  21. 請求項20に記載の電子機器であって、
    前記調整部は、前記第3撮像条件が前記第1撮像条件である場合、前記第3撮像領域のうち主要被写体像の存在領域からの画像データの信号レベルを増幅するように調整する、電子機器。
  22. 請求項20に記載の電子機器であって、
    前記調整部は、前記第3撮像条件が前記第2撮像条件である場合、前記第3撮像領域のうち主要被写体像の非存在領域からの画像データの信号レベルを減幅するように調整する、電子機器。
  23. 請求項1から22のいずれか一項に記載の電子機器であって、
    前記第1撮像領域と前記第1撮像領域からの画像データと前記第1撮像条件とを関連付け、前記第2撮像領域と前記第2撮像領域からの画像データと前記第2撮像条件とを関連付け、前記第3撮像領域と前記第3撮像領域からの画像データと前記第3撮像条件とを関連付けることにより、画像ファイルを生成し、生成した画像ファイルを記録部に記録する生成部を有する、電子機器。
  24. 被写体を撮像する複数の撮像領域の各々について異なる撮像条件が設定可能な撮像素子の設定制御をプロセッサに実行させる設定プログラムであって、
    前記プロセッサに、
    前記複数の撮像領域のうち第1被写体像が存在する第1撮像領域に第1撮像条件を設定させ、
    前記複数の撮像領域のうち第2被写体像が存在する第2撮像領域に前記第1撮像条件と異なる第2撮像条件を設定させ、
    前記複数の撮像領域のうち前記第1被写体像および前記第2被写体像が存在する第3撮像領域の第3撮像条件を前記第1撮像条件および前記第2撮像条件のうち少なくとも一方と前記第3撮像領域から出力に基づく輝度値とに基づいて設定させる、
    設定プログラム。
JP2018186170A 2018-09-28 2018-09-28 電子機器および設定プログラム Active JP7271895B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018186170A JP7271895B2 (ja) 2018-09-28 2018-09-28 電子機器および設定プログラム
JP2023072922A JP2023095910A (ja) 2018-09-28 2023-04-27 電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018186170A JP7271895B2 (ja) 2018-09-28 2018-09-28 電子機器および設定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023072922A Division JP2023095910A (ja) 2018-09-28 2023-04-27 電子機器

Publications (2)

Publication Number Publication Date
JP2020057878A JP2020057878A (ja) 2020-04-09
JP7271895B2 true JP7271895B2 (ja) 2023-05-12

Family

ID=70107776

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018186170A Active JP7271895B2 (ja) 2018-09-28 2018-09-28 電子機器および設定プログラム
JP2023072922A Pending JP2023095910A (ja) 2018-09-28 2023-04-27 電子機器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023072922A Pending JP2023095910A (ja) 2018-09-28 2023-04-27 電子機器

Country Status (1)

Country Link
JP (2) JP7271895B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014158070A (ja) 2013-02-14 2014-08-28 Canon Inc 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2016072896A (ja) 2014-09-30 2016-05-09 株式会社ニコン 記録装置、プログラム、記録方法、および、記録媒体
US20170150076A1 (en) 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Cmos image sensors having grid array exposure control
WO2017170726A1 (ja) 2016-03-31 2017-10-05 株式会社ニコン 撮像装置および電子機器
JP2017220892A (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014158070A (ja) 2013-02-14 2014-08-28 Canon Inc 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2016072896A (ja) 2014-09-30 2016-05-09 株式会社ニコン 記録装置、プログラム、記録方法、および、記録媒体
US20170150076A1 (en) 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Cmos image sensors having grid array exposure control
WO2017170726A1 (ja) 2016-03-31 2017-10-05 株式会社ニコン 撮像装置および電子機器
JP2017220892A (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP2020057878A (ja) 2020-04-09
JP2023095910A (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
US10958848B2 (en) Electronic apparatus
JP7222377B2 (ja) 撮像素子および撮像装置
JP6282303B2 (ja) 撮像素子および撮像装置
US20240089402A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
JP6613554B2 (ja) 画像処理装置およびプログラム
JP2023181484A (ja) 撮像素子
JP2022186969A (ja) 動画圧縮装置
JP7271895B2 (ja) 電子機器および設定プログラム
WO2016052434A1 (ja) 電子機器、再生装置、再生方法、記録媒体および記録方法
CN107005632B (zh) 电子设备
JP2020096209A (ja) 電子機器
JP2020057879A (ja) 電子機器および設定プログラム
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2020057877A (ja) 電子機器および設定プログラム
JP2019169988A (ja) データ構造
JP2020095072A (ja) 電子機器
JP2020096210A (ja) 電子機器
JP2020096211A (ja) 電子機器
JP2020096208A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7271895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150