JP6764572B2 - イメージセンサ、および電子機器 - Google Patents

Description

本開示は、イメージセンサ、および電子機器に関し、特に、システムからの要求に応じたタイミングに従い、複数の画像データを出力できるようにしたイメージセンサ、および電子機器に関する。

従来、CMOSやCCDなどの撮像素子が搭載されたイメージセンサに、全画素分の画素データ（以下、フルサイズ原画像とも称する）をそのまま保持できる程度の容量を有するストレージを搭載することは、サイズやコストなどが問題となり困難であった。

しかしながら、近年、イメージセンサ内にフルサイズ原画像を保持可能なストレージを搭載することが可能になりつつある（例えば、特許文献１参照）。

特許第４３３７５４９号公報

フルサイズ原画像を保持可能なストレージを搭載したイメージセンサの様々な利用方法が模索されている。

本開示はこのような状況に鑑みてなされたものであり、ストレージが搭載されたイメージセンサから、フルサイズ原画像に基づく異なる複数の画像データを出力できるようにするものである。

本開示の第１の側面であるイメージセンサは、多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、前記画素部によって生成された前記フルサイズ原画像を縮小することにより縮小原画像を生成する縮小部と、少なくとも前記フルサイズ原画像、および前記縮小原画像を保持可能な容量を有する保持部と、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成し、前記保持部から読み出した前記縮小原画像に対して所定の画像処理を行うことにより縮小処理画像を生成する画像処理部とを備え、前記フルサイズ処理画像および前記縮小処理画像を出力する。

本開示の第２の側面である電子機器は、多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、前記画素部によって生成された前記フルサイズ原画像を縮小することにより縮小原画像を生成する縮小部と、少なくとも前記フルサイズ原画像、および前記縮小原画像を保持可能な容量を有する保持部と、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成し、前記保持部から読み出した前記縮小原画像に対して所定の画像処理を行うことにより生成した縮小処理画像を生成する画像処理部とを備え、前記フルサイズ処理画像および前記縮小処理画像を出力するイメージセンサが搭載されている。

本開示の第１および第２の側面においては、入射光に応じたフルサイズ原画像が生成され、生成された前記フルサイズ原画像を縮小することにより縮小原画像が生成され、少なくとも前記フルサイズ原画像、および前記縮小原画像が保持部に保持され、前記保持部から読み出された前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像が生成され、前記保持部から読み出された前記縮小原画像に対して所定の画像処理を行うことにより縮小処理画像が生成され、前記フルサイズ処理画像および前記縮小処理画像が出力される。

本開示の第１の側面によれば、フルサイズ原画像に基づく異なる複数の画像データを出力することができる。

本開示の第２の側面によれば、搭載するイメージセンサから、フルサイズ原画像に基づく異なる複数の画像データを出力することができる。

本開示を適用したイメージセンサの第１の構成例を表すブロック図である。 図１のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用したイメージセンサの第２の構成例を表すブロック図である。 図３のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用したイメージセンサの第３の構成例を表すブロック図である。 図５のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用したイメージセンサの第４の構成例を表すブロック図である。 図７のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用したイメージセンサの第５の構成例を表すブロック図である。 図９のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用したイメージセンサの第６の構成例を表すブロック図である。 図１１のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用したイメージセンサの第７の構成例を表すブロック図である。 図１３のイメージセンサによる画像出力処理を説明するフローチャートである。 本開示を適用した電子装置の使用例を示す図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜第１の実施の形態であるイメージセンサの第１の構成例＞
図１は、第１の実施の形態であるイメージセンサの第１の構成例の構成例を示している。

このイメージセンサ１０は、画素部１１、DRAM１２、画像処理部１３、およびサイズ変更部１４を有する。

画素部１１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM１２に保持させる。DRAM１２は、少なくともフルサイズ原画像Ｐ１を保持できるだけの容量を有するストレージであり、画素部１１からの書き込みと、画像処理部１３からの読み出しに対応する。

画像処理部１３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３を後段に出力する。なお、画像処理部１３における画像処理の具体的な内容は、該イメージセンサ１０を搭載するシステムの要求に応じて適宜変更することができる。

サイズ変更部１４は、フルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２を後段に出力する。なお、サイズ変更部１４は、該イメージセンサ１０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。

図２は、イメージセンサ１０による画像出力処理を説明するフローチャートである。

ステップＳ１１において、画素部１１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM１２に保持させる。ステップＳ１２において、画像処理部１３は、DRAM１２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ１３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ１４においてサイズ変更部１４とイメージセンサ１０の外部に出力する。

ステップＳ１５において、サイズ変更部１４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２を、ステップＳ１６としてイメージセンサ１０の外部に出力する。以上で、イメージセンサ１０による画像出力処理は終了される。

以上説明したように、イメージセンサ１０によれば、DRAM１２からフルサイズ原画像Ｐ１を１回読み出すだけで、フルサイズ処理画像Ｐ３と縮小サイズ処理画像Ｐ２をほぼ同時に出力することができる。

なお、イメージセンサ１０の場合、画素部１１の出力（フルサイズ原画像Ｐ１）を、DRAM１２を介することなく、画像処理部１３に出力するようにしてもよい。

＜第２の実施の形態であるイメージセンサの第２の構成例＞
図３は、第２の実施の形態であるイメージセンサの第２の構成例の構成例を示している。

このイメージセンサ２０は、画素部２１、DRAM２２、画像処理部２３、およびサイズ変更部２４を有する。

画素部２１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM２２に保持させる。DRAM２２は、少なくともフルサイズ原画像Ｐ１を保持できるだけの容量を有するストレージであり、画素部２１からの書き込みと、画像処理部２３からの読み出しに対応する。

画像処理部２３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３を後段に出力する。なお、画像処理部２３における画像処理の具体的な内容は、該イメージセンサ２０を搭載するシステムの要求に応じて適宜変更することができる。

サイズ変更部２４は、フルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２を後段に出力する。なお、サイズ変更部２４は、フルサイズ処理画像Ｐ３をそのまま後段に出力することもできる。また、サイズ変更部２４は、該イメージセンサ２０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。

図４は、イメージセンサ２０による画像出力処理を説明するフローチャートである。

ステップＳ２１において、画素部２１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM２２に保持させる。

ステップＳ２２において、画像処理部２３は、DRAM２２からフルサイズ原画像Ｐ１の１回目の読み出しを行い、ステップＳ２３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３をサイズ変更部２４に出力する。ステップＳ２４において、サイズ変更部２４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をステップＳ２５としてイメージセンサ２０の外部に出力する。

ステップＳ２６において、画像処理部２３は、DRAM２２からフルサイズ原画像Ｐ１の２回目の読み出しを行い、ステップＳ２７において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３をサイズ変更部２４に出力する。ステップＳ２８において、サイズ変更部２４は、フルサイズ処理画像Ｐ３をそのままイメージセンサ２０の外部に出力する。以上で、イメージセンサ２０による画像出力処理は終了される。

以上説明したように、イメージセンサ２０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ２０の外部に出力することができる。なお、先にフルサイズ処理画像Ｐ３を出力し、次に縮小サイズ処理画像Ｐ２を出力するようにしてもよい。

＜第３の実施の形態であるイメージセンサの第３の構成例＞
図５は、第３の実施の形態であるイメージセンサの第３の構成例の構成例を示している。

このイメージセンサ３０は、画素部３１、DRAM３２、画像処理部３３、およびサイズ変更部３４を有する。

画素部３１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM３２に保持させる。DRAM３２は、少なくともフルサイズ原画像Ｐ１およびフルサイズ処理画像Ｐ３を保持できるだけの容量を有するストレージであり、画素部３１および画像処理部３３からの書き込みと、画像処理部３３およびサイズ変更部３４からの読み出しに対応する。

画像処理部３３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をDRAM３２に出力して保持させる。なお、画像処理部３３における画像処理の具体的な内容は、該イメージセンサ３０を搭載するシステムの要求に応じて適宜変更することができる。

サイズ変更部３４は、DRAM３２からフルサイズ処理画像Ｐ３の読み出しを行い、そのサイズを所定のサイズに縮小して縮小サイズ処理画像Ｐ２を生成し、後段に出力する。なお、サイズ変更部３４は、フルサイズ処理画像Ｐ３をそのまま後段に出力することもできる。また、サイズ変更部３４は、該イメージセンサ３０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。

図６は、イメージセンサ３０による画像出力処理を説明するフローチャートである。

ステップＳ３１において、画素部３１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM３２に保持させる。

ステップＳ３２において、画像処理部３３は、DRAM３２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ３３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ３４において、DRAM３２に保持させる。

ステップＳ３５において、サイズ変更部３４は、DRAM３２からフルサイズ処理画像Ｐ３の１回目の読み出しを行い、ステップS３６において、所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をステップＳ３７としてイメージセンサ３０の外部に出力する。

ステップＳ３８において、サイズ変更部３４は、DRAM３２からフルサイズ処理画像Ｐ３の２回目の読み出しを行い、ステップＳ３９において、そのままイメージセンサ３０の外部に出力する。以上で、イメージセンサ３０による画像出力処理は終了される。

以上説明したように、イメージセンサ３０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ３０から外部に出力することができる。なお、先にフルサイズ処理画像Ｐ３を出力し、次に縮小サイズ処理画像Ｐ２を出力するようにしてもよい。

イメージセンサ３０では、フルサイズ原画像Ｐ１に対する所定の画像処理が１回で済むので、イメージセンサ２０のようにフルサイズ原画像Ｐ１に対する画像処理を２回行う場合に比較して、画像処理に要する電力消費を抑えることができる。

＜第４の実施の形態であるイメージセンサの第４の構成例＞
図７は、第４の実施の形態であるイメージセンサの第４の構成例の構成例を示している。

このイメージセンサ４０は、画素部４１、DRAM４２、画像処理部４３、およびサイズ変更部４４を有する。

画素部４１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM４２に保持させる。DRAM４２は、少なくともフルサイズ原画像Ｐ１およびフルサイズ処理画像Ｐ３を保持できるだけの容量を有するストレージであり、画素部４１および画像処理部４３からの書き込みと、画像処理部４３およびサイズ変更部４４からの読み出しに対応する。

画像処理部４３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をDRAM４２に保持させるとともに、サイズ変更部４４に出力する。なお、画像処理部４３における画像処理の具体的な内容は、該イメージセンサ４０を搭載するシステムの要求に応じて適宜変更することができる。

サイズ変更部４４は、画像処理部４３から入力されるフルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小して縮小サイズ処理画像Ｐ２を生成し、後段に出力する。また、サイズ変更部４４は、DRAM４２からフルサイズ処理画像Ｐ３を読み出して、そのまま後段に出力することもできる。また、サイズ変更部４４は、該イメージセンサ４０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。

図８は、イメージセンサ４０による画像出力処理を説明するフローチャートである。

ステップＳ４１において、画素部４１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM４２に保持させる。

ステップＳ４２において、画像処理部４３は、DRAM４２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ４３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ４４において、サイズ変更部４４に出力するとともに、DRAM３２に保持させる。

ステップＳ４５において、サイズ変更部４４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をイメージセンサ４０の外部に出力する。

ステップＳ４６において、サイズ変更部４４は、DRAM４２からフルサイズ処理画像Ｐ３を読み出し、ステップＳ４７において、そのままイメージセンサ４０の外部に出力する。以上で、イメージセンサ４０による画像出力処理は終了される。

以上説明したように、イメージセンサ４０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ４０から外部に出力することができる。

イメージセンサ４０では、フルサイズ原画像Ｐ１に対する所定の画像処理が１回で済むので、イメージセンサ２０のようにフルサイズ原画像Ｐ１に対する所定の画像処理を２回行う場合に比較して、画像処理に要する電力消費を抑えることができる。

＜第５の実施の形態であるイメージセンサの第５の構成例＞
図９は、第５の実施の形態であるイメージセンサの第５の構成例の構成例を示している。

このイメージセンサ５０は、画素部５１、DRAM５２、画像処理部５３、サイズ変更部５４、および出力選択部５５を有する。

画素部５１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM５２に保持させる。DRAM５２は、少なくともフルサイズ原画像Ｐ１および縮小サイズ処理画像Ｐ２を保持できるだけの容量を有するストレージであり、画素部５１およびサイズ変更部５４からの書き込みと、画像処理部５３および出力選択部５５からの読み出しに対応する。

画像処理部５３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部５４および出力選択部５５に出力する。なお、画像処理部５３における画像処理の具体的な内容は、該イメージセンサ５０を搭載するシステムの要求に応じて適宜変更することができる。

サイズ変更部５４は、画像処理部５３から入力されるフルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２をDRAM５２に保持させる。また、サイズ変更部５４は、該イメージセンサ５０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。

出力選択部５５は、画像処理部５３から入力されるフルサイズ処理画像Ｐ３を後段に出力する。また、出力選択部５５は、DRAM５２から縮小サイズ処理画像Ｐ２を読み出して後段に出力する。

図１０は、イメージセンサ５０による画像出力処理を説明するフローチャートである。

ステップＳ５１において、画素部５１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM５２に保持させる。

ステップＳ５２において、画像処理部５３は、DRAM５２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ５３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３をサイズ変更部５４および出力選択部５５に出力する。

ステップＳ５４において、出力選択部５５は、画像処理部５３から入力されたフルサイズ処理画像Ｐ３をイメージセンサ５０の外部に出力する。

ステップＳ５５において、サイズ変更部４４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をDRAM５２に保持させる。ステップＳ５６において、出力選択部５５は、DRAM５２から縮小サイズ処理画像Ｐ２を読み出してイメージセンサ５０の外部に出力する。以上で、イメージセンサ５０による画像出力処理は終了される。

以上説明したように、イメージセンサ５０によれば、フルサイズ処理画像Ｐ３と縮小サイズ処理画像Ｐ２を順次にイメージセンサ５０から外部に出力することができる。

イメージセンサ５０では、フルサイズ原画像Ｐ１に対する所定の画像処理が１回で済むので、イメージセンサ２０のようにフルサイズ原画像Ｐ１に対する所定の画像処理を２回行う場合に比較して、画像処理に要する電力消費を抑えることができる。

＜第６の実施の形態であるイメージセンサの第６の構成例＞
図１１は、第６の実施の形態であるイメージセンサの第６の構成例の構成例を示している。

このイメージセンサ６０は、画素部６１、DRAM６２、1/4縮小部６３、画像処理部６４、およびサイズ変更部６５を有する。

画素部６１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１を1/4縮小部６３に出力するとともにDRAM６２に保持させる。

DRAM６２は、少なくともフルサイズ原画像Ｐ１および1/4サイズ原画像Ｐ４を保持できるだけの容量を有するストレージであり、画素部６１および1/4縮小部６３からの書き込みと、画像処理部６４からの読み出しに対応する。

1/4縮小部６３は、フルサイズ原画像Ｐ１の縦横のサイズを1/2に縮小することにより、1/4サイズ原画像Ｐ４を生成してDRAM６２に保持させる。

画像処理部６４は、DRAM６２から1/4サイズ原画像Ｐ４を読み出し、欠陥画素補正などの所定の画像処理を行い、その結果得られる1/4サイズ処理画像（不図示）をサイズ変更部６５に出力する。また、画像処理部６４は、DRAM６２からフルサイズ原画像Ｐ１を読み出し、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部６５に出力する。

サイズ変更部６５は、画像処理部６４から入力される1/4サイズ処理画像を所定のサイズに変換し、その結果得られる縮小サイズ処理画像Ｐ２を後段に出力する。また、サイズ変更部６５は、画像処理部６４から入力されるフルサイズ処理画像Ｐ３をそのまま後段に出力する。

図１２は、イメージセンサ６０による画像出力処理を説明するフローチャートである。

ステップＳ６１において、画素部６１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１を1/4縮小部６３に出力するとともにDRAM６２に保持させる。1/4縮小部６３は、フルサイズ原画像Ｐ１から1/4サイズ原画像Ｐ４を生成してDRAM６２に保持させる。

ステップＳ６２において、画像処理部６４は、DRAM６２から1/4サイズ原画像Ｐ４を読み出し、ステップＳ６３において、所定の画像処理を行い、その結果得られる1/4サイズ処理画像をサイズ変更部６５に出力する。ステップＳ６４において、サイズ変更部６５は、画像処理部６４から入力された1/4サイズ処理画像を所定のサイズに変換し、その結果得られた縮小サイズ処理画像Ｐ２を、ステップＳ６５において、イメージセンサ６０の外部に出力する。

ステップＳ６６において、画像処理部６４は、DRAM６２からフルサイズ原画像Ｐ１を読み出し、ステップＳ６７において、所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部６５に出力する。ステップＳ６８において、サイズ変更部６５は、画像処理部６４から入力されたフルサイズ処理画像Ｐ３をそのままイメージセンサ６０の外部に出力する。以上で、イメージセンサ６０による画像出力処理は終了される。

以上説明したように、イメージセンサ６０によれば、フルサイズ処理画像Ｐ３と縮小サイズ処理画像Ｐ２を順次にイメージセンサ４０から外部に出力することができる。

なお、1/4縮小部６３において、該イメージセンサ６０を搭載するシステムが要求する縮小サイズ処理画像Ｐ２と同じサイズにフルサイズ原画像Ｐ１を縮小してもよい。その場合、サイズ変換部６５を省略することができる。

＜第７の実施の形態であるイメージセンサの第７の構成例＞
図１３は、第７の実施の形態であるイメージセンサの第７の構成例の構成例を示している。

このイメージセンサ７０は、画素部７１、DRAM７２、画像処理部７３、サイズ変更部７４、および出力選択部７５を有する。

画素部７１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM７２に保持させる。DRAM７２は、少なくともフルサイズ原画像Ｐ１、縮小サイズ処理画像Ｐ２、およびフルサイズ処理画像Ｐ３を保持できるだけの容量を有するストレージであり、画素部７１、画像処理部７３、およびサイズ変更部７４からの書き込みと、画像処理部７３および出力選択部７５からの読み出しに対応する。

画像処理部７３は、DRAM７２からフルサイズ原画像Ｐ１を読み出して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部７４に出力するとともに、DRAM７２に保持させる。なお、画像処理部７３における画像処理の具体的な内容は、該イメージセンサ７０を搭載するシステムの要求に応じて適宜変更することができる。

サイズ変更部７４は、画像処理部７３から入力されるフルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２をDRAM７２に保持させる。また、サイズ変更部７４は、該イメージセンサ７０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。

出力選択部７５は、DRAM７２の保持されている縮小サイズ処理画像Ｐ２またはフルサイズ処理画像Ｐ３を選択的に読み出して後段に出力する。

図１４は、イメージセンサ７０による画像出力処理を説明するフローチャートである。

ステップＳ７１において、画素部７１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM７２に保持させる。

ステップＳ７２において、画像処理部７３は、DRAM７２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ７３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ７４において、サイズ変更部７４に出力するとともに、DRAM７２に保持させる。サイズ変更部４４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をDRAM７２に保持させる。

ステップＳ７５において、出力選択部７５は、DRAM７２から縮小サイズ処理画像Ｐ２を読み出してイメージセンサ７０の外部に出力する。ステップＳ７６において、出力選択部７５は、DRAM７２からフルサイズ処理画像Ｐ３を読み出してイメージセンサ７０の外部に出力する。以上で、イメージセンサ７０による画像出力処理は終了される。

以上説明したように、イメージセンサ７０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ７０から外部に出力することができる。なお、先にフルサイズ処理画像Ｐ３を出力し、次に縮小サイズ処理画像Ｐ２を出力するようにしてもよい。

＜イメージセンサの使用例＞
以上に説明したイメージセンサ１０乃至７０によれば、フルサイズ原画像に基づく異なる複数の画像データを出力することができるので、例えば、動画像撮影中に全画素から成る静止画像を出力させたり、画素が間引きされているプレビュー用の画像と録画用の全画素画像とを同時に出力させたりする用途に用いることができる。

図１５は、イメージセンサ１０乃至７０を使用する使用例を示している。

上述したイメージセンサ１０乃至７０は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々な電子機器に搭載することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１０ イメージセンサ， １１ 画素部， １２ DRAM， １３ 画像処理部， １４ サイズ変更部， ２０ イメージセンサ， ２１ 画素部， ２２ DRAM， ２３ 画像処理部， ２４ サイズ変更部， ３０ イメージセンサ， ３１ 画素部， ３２ DRAM， ３３ 画像処理部， ３４ サイズ変更部， ４０ イメージセンサ， ４１ 画素部， ４２ DRAM， ４３ 画像処理部， ４４ サイズ変更部， ５０ イメージセンサ， ５１ 画素部， ５２ DRAM， ５３ 画像処理部， ５４ サイズ変更部， ５５ 出力選択部， ６０ イメージセンサ， ６１ 画素部， ６２ DRAM， ６３ 1/4縮小部， ６４ 画像処理部， ６５ サイズ変更部， ７０ イメージセンサ， ７１ 画素部， ７２ DRAM， ７３ 画像処理部， ７４ サイズ変更部， ７５ 出力選択部

Claims (4)

1. 多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、
   前記画素部によって生成された前記フルサイズ原画像を縮小することにより縮小原画像を生成する縮小部と、
   少なくとも前記フルサイズ原画像、および前記縮小原画像を保持可能な容量を有する保持部と、
   前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成し、前記保持部から読み出した前記縮小原画像に対して所定の画像処理を行うことにより縮小処理画像を生成する画像処理部と
   を備え、
   前記フルサイズ処理画像および前記縮小処理画像を出力する
   イメージセンサ。
2. 前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を出力するとともに、前記保持部から読み出した前記縮小原画像に対して所定の画像処理を行うことにより生成した前記縮小処理画像を出力する
   請求項１に記載のイメージセンサ。
3. 前記縮小処理画像のサイズを変更することによりサイズが変更された前記縮小処理画像を生成する変更部をさらに備え、
   前記画像処理部は、前記保持部から読み出した前記縮小原画像に対して所定の画像処理を行うことにより生成した前記縮小処理画像を前記変更部に供給するとともに、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給し、
   前記変更部は、前記画像処理部から供給された前記縮小処理画像のサイズを変更することによりサイズが変更された前記縮小処理画像を出力するとともに、前記画像処理部から供給された前記フルサイズ処理画像をそのまま出力する
   請求項１に記載のイメージセンサ。
4. 多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、
   前記画素部によって生成された前記フルサイズ原画像を縮小することにより縮小原画像を生成する縮小部と、
   少なくとも前記フルサイズ原画像、および前記縮小原画像を保持可能な容量を有する保持部と、
   前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成し、前記保持部から読み出した前記縮小原画像に対して所定の画像処理を行うことにより生成した縮小処理画像を生成する画像処理部と
   を備え、
   前記フルサイズ処理画像および前記縮小処理画像を出力する
   イメージセンサが搭載されている電子機器。

Images