JPWO2021039113A5

JPWO2021039113A5 -

Info

Publication number: JPWO2021039113A5
Application number: JP2021542589A
Authority: JP
Filing date: 2020-07-02
Publication date: 2022-05-02
Anticipated expiration: 2040-07-02

Description

特開２０１９－０７９０２４号公報には、撮像光学系を通して被写体を撮像する撮像装置が開示されている。特開２０１９－０７９０２４号公報に記載の撮像装置は、撮像光学系により結像された光から画像信号を取得する撮像素子と、撮像素子の露出パラメータを制御する第１の制御手段と、撮像素子の画素部のうち、第１の画素数の画素部に相当する第１の画像と、第１の画素数よりも少ない第２の画素数の画素部に相当する第２の画像とを切り替えて出力する処理を行う第２の制御手段と、を備えている。

特開２０１９－０７９０２４号公報に記載の撮像装置において、第２の制御手段は、第１の画像及び第２の画像の少なくとも一方に基づいて合焦制御を行い、第１の制御手段は、第１の画像と第２の画像を取得するための露出パラメータを制御することで、続けて取得する第１の画像と第２の画像との露出パラメータの変化量を低減する。また、特開２０１９－０７９０２４号公報に記載の撮像装置は、第１の画像及び第２の画像を表示部に表示する表示手段を更に備え、表示手段は、第１の画像と第２の画像を合成することで第３の画像を生成する。

本開示の技術に係る第４の態様は、処理部による合成対象とされる複数フレーム分の画像データにより示される各画像は、フレーム間で位置ずれ量が既定値以下の特定被写体を示す特定被写体画像を含み、処理部は、合成対象とされる複数フレーム分の画像データから、第１既定露光量以上となる複数フレーム数分の特定被写体画像を含む画像を示す特定被写体画像データを抽出し、抽出した複数フレーム分の特定被写体画像データを合成することで合成画像データを第２画像データとして生成する第３の態様に係る撮像素子である。

ＣＰＵとは、“ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ”の略称を指す。ＧＰＵとは、“ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ”の略称を指す。ＲＡＭとは、“ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“ＲｅａｄＯｎｌｙＭｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ”の略称を指す。ＬＳＩとは、“Ｌａｒｇｅ－ＳｃａｌｅＩｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ”の略称を指す。ＵＳＢとは、“ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ”の略称を指す。ＨＤＤとは、“ＨａｒｄＤｉｓｋＤｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ”の略称を指す。ＣＣＤとは、“ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“ＵｓｅｒＩｎｔｅｒｆａｃｅ”の略称を指す。ＬＶＤＳとは、“ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩｅとは、“ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔＥｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“ＳｅｒｉａｌＡｄｖａｎｃｅｄＴｅｃｈｎｏｌｏｇｙＡｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“ＳｃａｌａｂｌｅＬｏｗＳｉｇｎａｌｉｎｇｗｉｔｈＥｍｂｅｄｄｅｄＣｌｏｃｋ”の略称を指す。ＭＩＰＩ（登録商標）とは、“ＭｏｂｉｌｅＩｎｄｕｓｔｒｙＰｒｏｃｅｓｓｏｒＩｎｔｅｒｆａｃｅ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅｐｅｒｓｅｃｏｎｄ”の略称を指す。ＦＩＦＯとは、“ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ”の略称を指す。

また、本第１実施形態に係る撮像装置１０では、特定画像を示すデジタル画像データ７０Ｂとは異なる複数フレーム分のデジタル画像データ７０Ｂ（合成対象フレームのデジタル画像データ７０Ｂ）が合成部１１０Ｃ７によって合成されることで得られた合成画像データ７０Ｃが通信Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。従って、本構成によれば、複数フレーム分のデジタル画像データ７０Ｂを合成せずに出力する場合に比べ、デジタル画像データ７０Ｂの出力量を抑制することができる。

移動体検出部１１０Ｃ８ａは、メモリ１１２に記憶されている上述の異常検出対象画像データから、移動体領域データを含むデジタル画像データ７０Ｂを検出する。移動体領域除去部１１０Ｃ９は、移動体領域データを含むデジタル画像データ７０Ｂから移動体領域データを除去する。移動体領域データを含むデジタル画像データ７０Ｂから移動体領域データが除去されることで得られた除去済み画像データは、合成対象フレームの画像データとして、移動体領域除去部１１０Ｃ９によって合成部１１０Ｃ７に出力される。そして、合成部１１０Ｃ７は、除去済み画像データと、他の合成対象フレームのデジタル画像データ７０Ｂとを合成することで合成画像データ７０Ｃを生成する。なお、本第３実施形態に係る「合成画像データ７０Ｃ」は、本開示の技術に係る「除去済み画像データに基づく画像データ」の一例である。

次に、本第３実施形態に係る撮像装置１０の作用について図２２Ａ及び図２２Ｂを参照しながら説明する。なお、図２２Ａ及び図２２Ｂには、処理回路１１０によって実行される本第３実施形態に係る画像データ処理の流れの一例が示されている。図２２Ａ及び図２２Ｂに示すフローチャートは、図１７に示すフローチャートに比べ、ステップＳＴ５２～ステップＳＴ５６に代えて、ステップＳＴ１００～ステップＳＴ１１６を有する点が異なる。なお、ここでは、上記第２実施形態で説明した画像データ処理（図１７）に含まれるステップと同一のステップについては、同一のステップ番号を付与して、その説明を省略する。また、ここでは、説明の便宜上、メモリ１１２に異常検出対象画像データが記憶されていることを前提として説明する。

移動体無し画像データには、静止体の画像を示す静止体画像データが含まれている。静止体の画像とは、フレーム間での位置ずれ量が既定値（例えば、０．５ピクセル）以下の被写体を示す画像を指す。ここで採用されている「既定値」は、例えば、フレーム間で画像がずれていることをユーザ等が視覚的に認識することができない位置ずれ量として、官能試験及び／又はコンピュータ・シミュレーション等から事前に導き出された位置ずれ量である。

なお、許容移動量とは、例えば、フレーム間で移動体の画像がずれていることをユーザ等が視覚的に認識することができない移動量として、官能試験及び／又はコンピュータ・シミュレーション等から事前に導き出された移動量を指す。許容移動量の一例としては、数ピクセル（例えば、１ピクセル）が挙げられる。また、許容移動量は、交換レンズ１４の仕様に応じて変更されるようにしてもよいし、撮像の画角に応じて変更されるようにしてもよいし、受付デバイス８４によって受け付けられた指示に応じて変更されるようにしてもよい。

（付記）
メモリ及びプロセッサが内蔵された撮像素子であって、
プロセッサは、
光電変換素子により撮像されることで得られた画像データを光電変換素子から第１フレームレートで読み出し、
光電変換素子から読み出した画像データをメモリに記憶させ、
画像データに対して処理を行い、
処理した画像データを第２フレームレートで出力し、
メモリに記憶されている画像データから、特定画像を示す第１画像データを検出し、
複数フレーム分の画像データのうち、検出した第１画像データとは異なる画像データに基づく第２画像データを出力し、
第２フレームレートは、第１フレームレートよりも低いフレームレートである
撮像素子。

Claims

撮像素子であって、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出し、かつ、前記撮像素子に内蔵された読出回路と、
前記読出回路により前記光電変換素子から読み出された前記画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
前記画像データに対して処理を行い、かつ、前記撮像素子に内蔵された制御回路と、
前記制御回路で処理された前記画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵された通信インタフェースと、を備え、
前記制御回路は、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出し、
複数フレーム分の前記画像データのうち、検出した前記第１画像データとは異なる画像データである第２画像データであって、検出した前記第１画像データ分の露光量が補われた露光量とされた第２画像データを生成し、
前記通信インタフェースは、前記制御回路によって生成された前記第２画像データを出力し、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートである
撮像素子。
前記制御回路は、前記複数フレーム分の画像データのうち、前記第１画像データとは異なる複数フレーム分の画像データを合成し、
前記通信インタフェースは、前記制御回路によって合成されることで得られた合成画像データを前記第２画像データとして出力する請求項１に記載の撮像素子。
撮像素子であって、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出し、かつ、前記撮像素子に内蔵された読出回路と、
前記読出回路により前記光電変換素子から読み出された前記画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
前記画像データに対して処理を行い、かつ、前記撮像素子に内蔵された制御回路と、
前記制御回路で処理された前記画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵された通信インタフェースと、を備え、
前記制御回路は、前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出し、
前記複数フレーム分の画像データのうち、検出した前記第１画像データとは異なる画像データに基づく第２画像データであって、加算した露光量が第１既定露光量以上となるフレーム数分の画像データが合成されることで得られた合成画像データである第２画像データを生成し、
前記通信インタフェースは、前記制御回路によって生成された前記第２画像データを出力し、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートである
前記制御回路は、前記複数フレーム分の画像データのうち、前記第１画像データとは異なる複数フレーム分の画像データであって、加算した露光量が第１既定露光量以上となるフレーム数分の画像データを合成することで前記合成画像データを前記第２画像データとして生成する
撮像素子。
前記制御回路による合成対象とされる複数フレーム分の画像データにより示される各画像は、フレーム間で位置ずれ量が既定値以下の特定被写体を示す特定被写体画像を含み、
前記制御回路は、
前記合成対象とされる複数フレーム分の画像データから、前記第１既定露光量以上となる複数フレーム分の特定被写体画像を含む画像を示す特定被写体画像データを抽出し、
抽出した複数フレーム分の特定被写体画像データを合成することで前記合成画像データを前記第２画像データとして生成する請求項３に記載の撮像素子。
前記特定画像は、ノイズ成分を含む画像である請求項１から請求項４の何れか一項に記載の撮像素子。
撮像素子であって、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出し、かつ、前記撮像素子に内蔵された読出回路と、
前記読出回路により前記光電変換素子から読み出された前記画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
前記画像データに対して処理を行い、かつ、前記撮像素子に内蔵された制御回路と、
前記制御回路で処理された前記画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵された通信インタフェースと、を備え、
前記制御回路は、前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出し、
前記通信インタフェースは、複数フレーム分の前記画像データのうち、前記制御回路によって検出された前記第１画像データとは異なる画像データに基づく第２画像データを出力し、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートであり、
前記特定画像は、ノイズ成分を含む画像であり、
前記ノイズ成分を含む画像は、前記メモリに記憶されている前記画像データのうち、前記撮像素子を有する装置に与えられた振動を検出可能なセンサによって前記振動が検出されたタイミングで前記撮像素子によって撮像されることで得られた画像データにより示される画像である
撮像素子。
前記センサは、検出した前記振動を示す信号を前記制御回路に出力し、
前記制御回路は、信号レベルが閾値以上の前記信号が前記センサから入力されたタイミングで前記撮像素子によって撮像されることで得られた画像データに対して、前記信号レベルが前記閾値以上であることを特定可能な識別子を対応付けることで前記第１画像データを生成する請求項６に記載の撮像素子。
前記ノイズ成分を含む画像は、単位時間あたりの移動量が既定移動量以上の物体を含む被写体の画像である請求項５に記載の撮像素子。
前記制御回路は、前記画像データに、単位時間あたりの移動量が既定移動量以上の物体を含む被写体の画像を示す被写体画像データが含まれる場合、前記画像データから前記被写体画像データを除去し、
前記通信インタフェースは、前記制御回路によって前記画像データから前記被写体画像データが除去されることで得られた除去済み画像データに基づく画像データを前記第２画像データとして出力する請求項１に記載の撮像素子。
前記制御回路は、前記複数フレーム分の画像データのうち、前記第１画像データとは異なる画像データのゲインを調整することで露光量が第２既定露光量以上の前記第２画像データを生成する請求項１から請求項９の何れか一項に記載の撮像素子。
少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１０の何れか一項に記載の撮像素子。
前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１１に記載の撮像素子。
請求項１から請求項１２の何れか一項に記載の撮像素子と、
前記通信インタフェースにより出力された前記第２画像データに基づく画像を表示装置に対して表示させる制御、及び前記通信インタフェースにより出力された前記第２画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、
を備える撮像装置。
メモリが内蔵された撮像素子の動作方法であって、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出すこと、
前記光電変換素子から読み出した前記画像データをメモリに記憶させること、
前記画像データに対して処理を行うこと、
処理した前記画像データを第２フレームレートで出力すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、
複数フレーム分の前記画像データのうち、検出した前記第１画像データとは異なる画像データである第２画像データであって、検出した前記第１画像データ分の露光量が補われた露光量とされた第２画像データを生成すること、及び、
生成した前記第２画像データを出力することを含み、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートである
撮像素子の作動方法。
メモリが内蔵された撮像素子の動作方法であって、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出すこと、
前記光電変換素子から読み出した前記画像データをメモリに記憶させること、
前記画像データに対して処理を行うこと、
処理した前記画像データを第２フレームレートで出力すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、
前記複数フレーム分の画像データのうち、検出した前記第１画像データとは異なる画像データに基づく第２画像データであって、加算した露光量が第１既定露光量以上となるフレーム数分の画像データが合成されることで得られた合成画像データである第２画像データを生成すること、及び、
生成した前記第２画像データを出力することを含み、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートである
撮像素子の作動方法。
メモリが内蔵された撮像素子の動作方法であって、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出すこと、
前記光電変換素子から読み出した前記画像データをメモリに記憶させること、
前記画像データに対して処理を行うこと、
処理した前記画像データを第２フレームレートで出力すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、及び
複数フレーム分の前記画像データのうち、検出した前記第１画像データとは異なる画像データに基づく第２画像データを出力することを含み、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートであり、
前記特定画像は、ノイズ成分を含む画像であり、
前記ノイズ成分を含む画像は、前記メモリに記憶されている前記画像データのうち、前記撮像素子を有する装置に与えられた振動を検出可能なセンサによって前記振動が検出されたタイミングで前記撮像素子によって撮像されることで得られた画像データにより示される画像である
撮像素子の作動方法。
メモリが内蔵された撮像素子に対して適用されるコンピュータに処理を実行させるためのプログラムであって、
前記処理は、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出すこと、
前記光電変換素子から読み出した前記画像データをメモリに記憶させること、
前記画像データに対して処理を行うこと、
処理した前記画像データを第２フレームレートで出力すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、
複数フレーム分の前記画像データのうち、検出した前記第１画像データとは異なる画像データである第２画像データであって、検出した前記第１画像データ分の露光量が補われた露光量とされた第２画像データを生成すること、及び、
生成した前記第２画像データを出力することを含み、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートである
プログラム。
メモリが内蔵された撮像素子に対して適用されるコンピュータに処理を実行させるためのプログラムであって、
前記処理は、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出すこと、
前記光電変換素子から読み出した前記画像データをメモリに記憶させること、
前記画像データに対して処理を行うこと、
処理した前記画像データを第２フレームレートで出力すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、
前記複数フレーム分の画像データのうち、検出した前記第１画像データとは異なる画像データに基づく第２画像データであって、加算した露光量が第１既定露光量以上となるフレーム数分の画像データが合成されることで得られた合成画像データである第２画像データを生成すること、及び、
生成した前記第２画像データを出力することを含み、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートである
プログラム。
メモリが内蔵された撮像素子に対して適用されるコンピュータに処理を実行させるためのプログラムであって、
前記処理は、
光電変換素子により撮像されることで得られた画像データを前記光電変換素子から第１フレームレートで読み出すこと、
前記光電変換素子から読み出した前記画像データをメモリに記憶させること、
前記画像データに対して処理を行うこと、
処理した前記画像データを第２フレームレートで出力すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、
前記メモリに記憶されている前記画像データから、特定画像を示す第１画像データを検出すること、及び、
複数フレーム分の前記画像データのうち、検出した前記第１画像データとは異なる画像データに基づく第２画像データを出力することを含み、
前記第２フレームレートは、前記第１フレームレートよりも低いフレームレートであり、
前記特定画像は、ノイズ成分を含む画像であり、
前記ノイズ成分を含む画像は、前記メモリに記憶されている前記画像データのうち、前記撮像素子を有する装置に与えられた振動を検出可能なセンサによって前記振動が検出されたタイミングで前記撮像素子によって撮像されることで得られた画像データにより示される画像である
プログラム。