JP6778828B2 - 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム - Google Patents

撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム Download PDF

Info

Publication number
JP6778828B2
JP6778828B2 JP2019541913A JP2019541913A JP6778828B2 JP 6778828 B2 JP6778828 B2 JP 6778828B2 JP 2019541913 A JP2019541913 A JP 2019541913A JP 2019541913 A JP2019541913 A JP 2019541913A JP 6778828 B2 JP6778828 B2 JP 6778828B2
Authority
JP
Japan
Prior art keywords
image pickup
value
aperture
exposure
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019541913A
Other languages
English (en)
Other versions
JPWO2019054017A1 (ja
Inventor
長谷川　亮
亮 長谷川
小林　潤
潤 小林
小林　誠
誠 小林
仁史 桜武
仁史 桜武
智紀 増田
智紀 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019054017A1 publication Critical patent/JPWO2019054017A1/ja
Application granted granted Critical
Publication of JP6778828B2 publication Critical patent/JP6778828B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラムに関する。
ピントの合っていない画像、いわゆるボケ像を良好にするための光学フィルタとしてアポダイゼーションフィルタ（ａｐｏｄｉｚａｔｉｏｎ ｆｉｌｔｅｒ；ＡＰＤフィルタ）が知られている。ＡＰＤフィルタは、光軸に垂直な面内における光透過率が、光軸中心からの距離が大きくなるほど低下する光学フィルタであり、このＡＰＤフィルタを用いるとボケ像の輪郭をなだらかにすることができる。
ＡＰＤフィルタを搭載するレンズ装置はコストが高くなる。また、位相差ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）を行う撮像装置においては、ＡＰＤフィルタを通して被写体を撮像すると、ＡＦ性能に影響が出る可能性がある。
そこで、ＡＰＤフィルタを用いることなく、ＡＰＤ効果を得るための提案がなされている（特許文献１及び特許文献２参照）。
特許文献１及び特許文献２には、撮像素子の露光中に絞り値を変更することにより、ＡＰＤ効果を得ることが記載されている。
また、ＡＰＤ効果を得ることを目的としていないが、撮像素子の露光中に絞り値を変更する技術が特許文献３に記載されている。
更に、ＡＰＤ効果を得ることを目的としていないが、絞り値を変えながら複数回の撮像を行い、この各撮像で得た撮像画像を合成する技術が特許文献４及び特許文献５に記載されている。
特開２０１５−０４９２９８号公報 特開平１０−３３３２２１号公報 特開２０１６−１７３４４４号公報 特開２０１５−２０４４７０号公報 特開２０１１−１１４４４１号公報
特許文献１及び特許文献３に記載された撮像装置は、フォーカルプレーンシャッタによって撮像素子の露光時間を制御している。フォーカルプレーンシャッタは、先幕と後幕の間のスリットを移動させて撮像素子の露光を行う機構である。このため、撮像素子の撮像面の全体において、露光の開始タイミングを均一にすることはできない。
したがって、特許文献１及び特許文献３に記載されているように、フォーカルプレーンシャッタを用いて撮像を行い、且つ露光中に絞りを変える場合には、撮像によって得られる撮像画像の上下においてボケの度合いが変化することになる。
図１１は、フォーカルプレーンシャッタを用いて撮像を行い、且つ露光中に絞りを変える場合の撮像素子の撮像面の露光状態を例示する図である。
図１１には、撮像素子の撮像面の露光される期間が平行四辺形のブロックとして示されている。図１１は、撮像素子の露光期間（フォーカルプレーンシャッタのスリットが撮像面の上端から下端まで移動する期間）に、絞りがＦ１．４からＦ２．５まで変化する例を示している。
図１１に示す例では、撮像素子の撮像面の上端側においては、Ｆ１．４の絞り値にて露光される期間が十分に確保される一方、Ｆ２．５の絞り値にて露光される期間は十分に確保されない。したがって、図１１に示す駆動によって得られる撮像画像は、上端側と下端側とでボケの具合が異なるものとなる。
特許文献２に記載された撮像装置は、絞りと同じ構成のレンズシャッタを絞りと兼用し、このレンズシャッタを開けてフイルムの露光を行っている期間において、このレンズシャッタの開口量を変化させることにより、ＡＰＤ効果を得るものである。
しかし、この撮像装置は、レンズシャッタの開閉制御によって露光時間を制御する必要がある。このため、露光時間の制御が難しい。また、特許文献２の段落０１０９−０１１２に記載されているように、露光時間の長さによってはＡＰＤ効果を得ることができない。
特許文献４，５に記載の撮像装置は、１度の露光中に絞りを変更すること及びＡＰＤ効果を得ることを想定しておらず、上述した課題の認識はない。
本発明は、上記事情に鑑みてなされたものであり、ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。
本発明の撮像制御装置は、複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置に内蔵される撮像制御装置であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御部と、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御部と、を備え、上記絞り制御部は、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御するものである。
本発明の撮像装置は、上記撮像制御装置と、上記撮像素子と、を備えるものである。
本発明の撮像制御方法は、複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置の撮像制御方法であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を備え、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御するものである。
本発明の撮像制御プログラムは、複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置のプロセッサに、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を実行させるための撮像制御プログラムであって、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御するものである。
本発明によれば、ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図３に示す画素６１のＡ−Ａ線の断面模式図である。 図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。 絞り制御データに基づく絞り２のＦ値の可変制御の一例を示す図である。 ＡＰＤフィルタの光透過率特性の一例を示す図である。 Ｆ値毎の維持時間の算出方法を説明するための模式図である。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図９に示すスマートフォン２００の構成を示すブロック図である。 フォーカルプレーンシャッタを用いて撮像を行い、且つ露光中に絞りを変える場合の撮像素子の撮像面の露光状態を例示する図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
レンズ装置４０は、デジタルカメラ１００本体に着脱可能なものであってもよいし、デジタルカメラ１００本体と一体化されたものであってもよい。
撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。
レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御することによりフォーカスレンズの主点の位置を変更したり、レンズ駆動部８を介して撮像レンズ１に含まれるズームレンズを制御することによりズームレンズの位置（焦点距離）を変更したり、絞り駆動部９を介して絞り２の絞り値（以下、Ｆ値という）を制御したりする。
デジタルカメラ１００は、更に、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像するＭＯＳ型の撮像素子５を備える。
撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
撮像素子５は、フォーカルプレーンシャッタ、又は絞り２とは別体のレンズシャッタ等のメカニカルシャッタが撮像面の前方に非配置の状態にて、撮像光学系を通して被写体を撮像するものである。つまり、デジタルカメラ１００は、所謂メカシャッタレスのカメラである。
デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
撮像素子駆動部１０は、システム制御部１１からの指令に基づいて駆動信号を生成してこの駆動信号を撮像素子５に供給することにより、撮像素子５を駆動する。撮像素子駆動部１０は、ハードウェア的な構成は、半導体素子等の回路素子を組み合わせて構成された電気回路である。
システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、後述する表示面２３と一体化されたタッチパネルと、各種ボタン等が含まれる。
システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）を含むメモリ１６と、メモリ１６へのデータ記憶及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行って、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。
メモリ１６に含まれるＲＯＭには、システム制御部１１が実行する撮像制御プログラムを含むプログラムが記憶されている。
記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。
メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。
表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示面２３に表示すべき画像のデータを保持するための表示メモリとを含む。
図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。
撮像素子５は、第一の方向である行方向Ｌに配列された複数の画素６１からなる画素行６２が、行方向Ｌと直交する第二の方向である列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。
以下では、図２において撮像面６０の列方向Ｙの一端側（図中の上側）の端部を上端といい、撮像面６０の列方向Ｙの他端側（図中の下側）の端部を下端という。
図３は、図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。
図３に示すように、画素６１は、半導体基板に形成された光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。
光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、例えば、半導体基板内に形成されたシリコンフォトダイオードによって構成される。
電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３（図２参照）によって制御されることにより、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。
電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送されてきた電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。
フローティングディフュージョン６１Ｄは、電荷を電圧信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。
読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた電圧信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、図２に示す駆動回路６３によって駆動される。
図４は、図３に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。
図４に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。
光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。
Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。
電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。
領域７５と転送電極７６とが図３の電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。
転送電極７６の電位を制御して領域７５にチャネルを形成することにより、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は図２の駆動回路６３によって制御される。
Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。
電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。
読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することにより、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は、図２の駆動回路６３によって制御される。
図４に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を信号線６５に選択的に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。
光電変換素子６１Ａは、シリコンフォトダイオードにより構成されているが、半導体基板上方に形成された有機又は無機の光電変換材料の膜と、この膜で発生した電荷を蓄積するための半導体基板内部に形成された不純物領域と、によって構成されていてもよい。この場合には、この不純物領域に蓄積された電荷が、図４の電荷保持部６１Ｂに転送される。
図２に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。
また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、撮像素子駆動部１０によって制御される。
光電変換素子６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、且つ読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることにより行われる。
なお、光電変換素子６１Ａに隣接させて電荷排出領域を別途設けておき、駆動回路６３が、光電変換素子６１Ａに蓄積されている電荷をこの電荷排出領域に排出することにより、光電変換素子６１Ａのリセットが行われる構成であってもよい。
図２に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。
デジタル信号処理部１７は、撮像素子５からデータバス２５に出力された画素信号にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像データを生成する。
図５は、図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。
図１に示すデジタルカメラ１００は、撮像モードとしてＡＰＤモードを搭載している。このＡＰＤモードは、撮像素子５の撮像面６０を露光する露光期間中に、絞り２のＦ値を複数の値に順次変化させて、ＡＰＤフィルタを用いた場合と同等のボケ具合を持つ撮像画像を得る撮像モードである。図５に示す機能ブロックは、このＡＰＤモードが設定された場合のシステム制御部１１の機能ブロックを示している。
図５に示すように、システム制御部１１は、メモリ１６のＲＯＭに記憶された撮像制御プログラムを含むプログラムを実行することにより、撮像制御部１１Ａ及び絞り制御部１１Ｂを備える撮像制御装置として機能する。
撮像制御部１１Ａは、撮像素子駆動部１０を制御して、撮像面６０全体において全ての画素６１の露光を同時に開始させた後、その露光を同時に終了させる。具体的には、撮像制御部１１Ａは、グローバルリセット駆動、グローバルシャッタ駆動、及びローリング読み出し駆動のセットからなる駆動を撮像素子駆動部１０に実行させる。
グローバルリセット駆動は、撮像面６０にある全ての画素６１の各々の光電変換素子６１Ａを同時にリセットしてこの全ての画素６１の露光を同時に開始する駆動である。
グローバルシャッタ駆動は、上記グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換素子６１Ａに蓄積された電荷を、その各画素６１の電荷保持部６１Ｂに転送して、その各画素６１で同時に露光を終了する駆動である。
ローリング読み出し駆動は、上記グローバルシャッタ駆動によって電荷保持部６１Ｂに電荷が保持された画素６１を含む画素行６２を、撮像面６０の上端側から下端側に向かって順次選択し、選択した画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号を信号線６５に読み出す駆動である。
絞り制御部１１Ｂは、撮像制御部１１Ａの制御によって開始された上記の露光の開始からその露光が終了されるまでの期間（以下、露光期間という）に、絞り２のＦ値を複数の値に順次変化させる。
メモリ１６のＲＯＭには、露光期間において設定すべき複数のＦ値と、この複数のＦ値の各々に制御した状態を維持すべき時間（以下、維持時間という）とを対応付けた絞り制御データが、撮像レンズ１の焦点距離、撮像感度、又は露出値等の撮像条件に対応して複数組記憶されている。
絞り制御部１１Ｂは、上記の露光期間において決められた撮像条件に対応する上記の絞り制御データをＲＯＭから読み出し、読み出した絞り制御データに基づいて絞り２のＦ値の可変制御を行う。
図６は、絞り制御データに基づく絞り２のＦ値の可変制御の一例を示す図である。図６では、絞り制御データに含まれる複数のＦ値が、Ｆ１．４、Ｆ１．６、Ｆ１．８、Ｆ２、Ｆ２．２、Ｆ２．５、及びＦ２．８の合計７つの例を示している。これらＦ値の数又は各Ｆ値の値の一方又は両方は、上述した撮像条件によって変わる。
また、図６では、絞り制御データに含まれる上記７つのＦ値の各々に対応する維持時間の比（Ｆ１．４に対応する維持時間：Ｆ１．６に対応する維持時間：Ｆ１．８に対応する維持時間：Ｆ２に対応する維持時間：Ｆ２．２に対応する維持時間：Ｆ２．５に対応する維持時間：Ｆ２．８に対応する維持時間）が、１：１：３：６：１０：８：３である例を示している。
図６に示すように、ＡＰＤモードにおいてユーザにより撮像指示が行われると、撮像面６０に被写体からの光が入射している状態にて、撮像制御部１１Ａの制御によって、時刻ｔ１においてグローバルシャッタ駆動が行われる。このグローバルシャッタ駆動により、撮像面６０の全体において画素６１の露光が同時に開始される。
時刻ｔ１から所定の時間が経過した時刻ｔ８になると、撮像制御部１１Ａの制御によって、グローバルリセット駆動が行われる。このグローバルリセット駆動により、時刻ｔ１で開始された画素６１の露光が、撮像面６０の全体において同時に終了される。図６に示すように、撮像面６０は、上端から下端までのどの位置においても同時に露光が開始され、同時に露光が終了される。
このようにして行われる時刻ｔ１と時刻ｔ８の間の露光期間において、時刻ｔ１では、絞り制御部１１Ｂの制御によって絞り２のＦ値がＦ１．４に制御される。
時刻ｔ１から所定の時間Ｔが経過した時刻ｔ２では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ１．６に制御される。時刻ｔ２から所定の時間Ｔが経過した時刻ｔ３では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ１．８に制御される。
時刻ｔ３から所定の時間Ｔの３倍の時間が経過した時刻ｔ４では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２に制御される。
時刻ｔ４から所定の時間Ｔの６倍の時間が経過した時刻ｔ５では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２．２に制御される。
時刻ｔ５から所定の時間Ｔの１０倍の時間が経過した時刻ｔ６では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２．５に制御される。
時刻ｔ６から所定の時間Ｔの８倍の時間が経過した時刻ｔ７では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２．８に制御される。
そして、時刻ｔ７から所定の時間Ｔの３倍の時間が経過して時刻ｔ８となり、露光期間が終了する。
このような絞り２の可変制御によって、撮像素子５の撮像面６０の中央付近の画素６１の受光量は、撮像素子５の撮像面６０の周辺部にある画素６１の受光量よりも多くなり、露光期間の露光によって得られる撮像画像は、ＡＰＤフィルタを通して被写体を撮像した場合と同等のものを得ることを可能にしている。
図７は、ＡＰＤフィルタの光透過率特性の一例を示す図である。
図７に示す横軸は、ＡＰＤフィルタの光軸中心を通り、且つＡＰＤフィルタの光軸に垂直な平面内における、この光軸中心からの距離Ｘを示している。
図７に示す縦軸は、光軸中心から距離Ｘの位置におけるＡＰＤフィルタの光透過率を示している。図７に示す縦軸の光透過率は、距離Ｘ＝０の位置（つまり光軸中心）における光透過率を最大値の“１”として正規化した値となっている。
このように、ＡＰＤフィルタは、光軸中心からの距離が大きくなるにつれて光透過率が低下するという光学特性を有する。このようなＡＰＤフィルタによれば、撮像面６０に入射する光の周辺光量を低下させることができ、アウトフォーカスにより生じるボケ像の輪郭にグラデーションを与えることが可能となる。
図６に例示した絞り２の可変制御に用いられる絞り制御データは、図７に示すＡＰＤフィルタの光透過率特性を示す予め決められた関数（具体的にはガウス関数）に基づいて作成されている。なお、この関数は、図７に示した曲線を示すものに限らず、必要とする撮像性能に応じて適当なものを用いればよい。
以下、絞り制御データの生成方法の一例を説明する。
絞り制御データを構成する複数のＦ値は、絞り２の設定可能な全てのＦ値としてもよいし、この全てのＦ値の中から任意に選択したＦ値としてもよい。以下では、Ｆ１．４、Ｆ１．６、Ｆ１．８、Ｆ２、Ｆ２．２、Ｆ２．５、及びＦ２．８の合計７つのＦ値が、絞り制御データを構成する複数のＦ値として決定された例を説明する。
このようにＦ値が決定されると、決定した各Ｆ値に絞り２が制御された状態での、絞り２の光軸中心から絞り２の開口部の端縁までの距離ｘが算出される。
絞り２のＦ値は、撮像レンズ１の焦点距離を“ｆ”として、Ｆ値＝ｆ／（２＊ｘ） ・・・（１）で表される。この式（１）を距離ｘについて解くと、ｘ＝ｆ／（２＊Ｆ値） ・・・（２）となる。
したがって、この式（２）に、特定の焦点距離ｆと、上記の決定した各Ｆ値を代入することにより、決定したＦ値毎に、距離ｘを算出することができる。
ここで、Ｆ１．４について算出した距離ｘを“ｘ１”とし、Ｆ１．６について算出した距離ｘを“ｘ２”とし、Ｆ１．８について算出した距離ｘを“ｘ３”とし、Ｆ２について算出した距離ｘを“ｘ４”とし、Ｆ２．２について算出した距離ｘを“ｘ５”とし、Ｆ２．５について算出した距離ｘを“ｘ６”とし、Ｆ２．８について算出した距離ｘを“ｘ７”とする。
図７に示すグラフにおいて、距離Ｘ＝ｘ１〜ｘ７となる直線を追記したものが図８に示す図である。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ１の直線と、Ｘ＝ｘ２の直線と、横軸とで囲まれた領域の面積に相当する光量が、Ｆ１．４の状態にて絞り２を通過させるべき光量となる。焦点距離ｆが特定の値に制御され且つ絞り２が各Ｆ値に制御された状態での単位時間当たりに絞り２を通過する光量は既知である。このため、この面積に相当する光量をＦ１．４の状態にて得るのに必要な時間を、Ｆ１．４に対応する維持時間ＴＦ１．４として求めることができる。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ２の直線と、Ｘ＝ｘ３の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ１．６の状態にて得るのに必要な時間から、維持時間ＴＦ１．４を減算して得られる時間を、Ｆ１．６に対応する維持時間ＴＦ１．６として求めることができる。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ３の直線と、Ｘ＝ｘ４の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ１．８の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６を減算して得られる時間を、Ｆ１．８に対応する維持時間ＴＦ１．８として求めることができる。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ４の直線と、Ｘ＝ｘ５の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ２の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８を減算して得られる時間を、Ｆ２に対応する維持時間ＴＦ２として求めることができる。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ５の直線と、Ｘ＝ｘ６の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ２．２の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８と維持時間ＴＦ２を減算して得られる時間を、Ｆ２．２に対応する維持時間ＴＦ２．２として求めることができる。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ６の直線と、Ｘ＝ｘ７の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ２．５の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８と維持時間ＴＦ２と維持時間ＴＦ２．２を減算して得られる時間を、Ｆ２．５に対応する維持時間ＴＦ２．５として求めることができる。
図８において、ガウス関数で示される曲線と、Ｘ＝ｘ７の直線と、縦軸と、横軸とで囲まれた領域の面積に相当する光量をＦ２．８の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８と維持時間ＴＦ２と維持時間ＴＦ２．２と維持時間ＴＦ２．５を減算して得られる時間を、Ｆ２．８に対応する維持時間ＴＦ２．８として求めることができる。
図８では、Ｆ１．４の状態を維持時間ＴＦ１．４維持した場合に絞り２を通過する光量が、“Ｆ１．４”の隣の矩形ブロックの高さにて模式的に示されている。
また、Ｆ１．６の状態を維持時間ＴＦ１．６維持した場合に絞り２を通過する光量が、“Ｆ１．６” の隣の矩形ブロックの高さにて模式的に示されている。
また、Ｆ１．８の状態を維持時間ＴＦ１．８維持した場合に絞り２を通過する光量が、“Ｆ１．８” の隣の矩形ブロックの高さにて模式的に示されている。
また、Ｆ２の状態を維持時間ＴＦ２維持した場合に絞り２を通過する光量が、“Ｆ２”の隣の矩形ブロックの高さにて模式的に示されている。
また、Ｆ２．２の状態を維持時間ＴＦ２．２維持した場合に絞り２を通過する光量が、“Ｆ２．２”の隣の矩形ブロックの高さにて模式的に示されている。
また、Ｆ２．５の状態を維持時間ＴＦ２．５維持した場合に絞り２を通過する光量が、“Ｆ２．５”の隣の矩形ブロックの高さにて模式的に示されている。
また、Ｆ２．８の状態を維持時間ＴＦ２．８維持した場合に絞り２を通過する光量が、“Ｆ２．８”の隣の矩形ブロックの高さにて模式的に示されている。
図８の例では、Ｆ１．４が第一の値となり、Ｆ２．８が第二の値となり、Ｆ２．５、Ｆ２．２、又はＦ２が、第一の値と第二の値の間の第三の値となる。
以上のようにして特定の焦点距離ｆに対して１つの絞り制御データが生成される。この特定の焦点距離ｆを、デジタルカメラ１００において設定可能な全ての値で順次変更して上述した処理を行うことにより、デジタルカメラ１００で設定可能な全ての焦点距離毎に絞り制御データが生成される。また、撮像感度と露出値の組み合わせ毎に複数のＦ値の数又は各値を決定し、その決定したＦ値について、各焦点距離ｆに対して上記の処理を行うことにより、撮像条件毎に、絞り制御データが生成される。
このように、図１のデジタルカメラ１００によれば、撮像制御部１１Ａの制御により、撮像面６０の全体において画素６１の露光期間が統一され、その状態にて、露光期間中に絞り２のＦ値の可変制御が行われる。このため、この露光期間によって得られる撮像画像は、上端側と下端側とでボケの状態に差が生じることはなく、良好なＡＰＤ効果を得ることができる。
また、図１のデジタルカメラ１００では、撮像画像を得るための露光期間の開始タイミングと終了タイミングが、撮像制御部１１Ａの制御による撮像素子５の駆動によって決められている。つまり、絞り２の制御と、露光期間の制御とが独立して行われている。このため、露光期間の制御が容易になると共に、露光期間が短い場合でも、確実にＡＰＤ効果を得ることが可能となる。
また、図１のデジタルカメラ１００では、絞り制御部１１Ｂが、撮像時に設定された撮像条件に対応する絞り制御データに基づいて、絞り２のＦ値の可変制御を行っている。このため、撮像条件が変化した場合であってもＡＰＤ効果のある撮像画像を得ることができ、使い勝手を向上させることができる。
なお、デジタルカメラ１００は、撮像レンズ１の焦点距離が可変な構成であるが、この焦点距離は固定であってもよい。または、撮像レンズ１の焦点距離を他の撮像モードにおいては可変とし、ＡＰＤモードにおいては固定とする構成であってもよい。
以上の説明では、絞り制御データに含まれるＦ値の数が７つの例を示したが、このＦ値の数は少なくとも２つあれば、ＡＰＤフィルタを用いた場合に近い撮像画像を得ることは可能である。このＦ値の数を３つ以上、好ましくは５つ以上にすることにより、ＡＰＤフィルタを用いた場合により近い撮像画像を得ることができる。
デジタルカメラ１００の撮像素子５は、メカニカルシャッタを用いることなく、全ての画素において同時に露光を開始し且つその露光を同時に終了させる駆動が可能なものであればよく、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであってもよい。
また、デジタルカメラ１００は、メカニカルシャッタを搭載しないものとしているが、メカニカルシャッタを搭載するものであってもよい。
この場合には、ＡＰＤモードにおいては、このメカニカルシャッタを不使用とし、メカニカルシャッタが開いていて撮像面６０に被写体からの光が入射されている状態において、撮像制御部１１Ａが全ての画素６１の露光を同時に開始してから同時に終了させる制御を行えばよい。
次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
図９は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。
図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
図１０は、図９に示すスマートフォン２００の構成を示すブロック図である。
図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
図１０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御することにより対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部２０８は、図１に示したデジタルカメラ１００における外部メモリ制御部２０、記憶媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。
カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
以上のような構成のスマートフォン２００においても、ＡＰＤフィルタを用いることなく、ＡＰＤ効果のある撮像画像を得ることができる。
以上説明してきたように、本明細書には以下の事項が開示されている。
（１） 複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置に内蔵される撮像制御装置であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御部と、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御部と、を備え、上記絞り制御部は、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御する撮像制御装置。
（２） （１）記載の撮像制御装置であって、上記複数の値は、最小の第一の値と、最大の第二の値と、上記第一の値と上記第二の値の間の第三の値と、を含み、上記絞り値が上記第三の値に維持される時間は、上記絞り値が上記第一の値に維持される時間及び上記絞り値が上記第二の値に維持される時間の各々よりも長くなっている撮像制御装置。
（３） （１）又は（２）記載の撮像制御装置であって、上記絞り制御部は、上記絞り値の上記複数の値を撮像条件に基づいて決定する撮像制御装置。
（４） （１）〜（３）のいずれか１つに記載の撮像制御装置と、上記撮像素子と、を備える撮像装置。
（５） 複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置の撮像制御方法であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を備え、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御する撮像制御方法。
（６） （５）記載の撮像制御方法であって、上記複数の値は、最小の第一の値と、最大の第二の値と、上記第一の値と上記第二の値の間の第三の値と、を含み、上記絞り値が上記第三の値に維持される時間は、上記絞り値が上記第一の値に維持される時間及び上記絞り値が上記第二の値に維持される時間の各々よりも長くなっている撮像制御方法。
（７） （５）又は（６）記載の撮像制御方法であって、上記絞り制御ステップでは、上記絞り値の上記複数の値を撮像条件に基づいて決定する撮像制御方法。
（８） 複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置のプロセッサに、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を実行させるための撮像制御プログラムであって、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御する撮像制御プログラム。
本発明によれば、ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
１００ デジタルカメラ
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
６０ 撮像面
６１ 画素
６１Ａ 光電変換素子
６１Ｂ 電荷保持部
６１Ｃ 電荷転送部
６１Ｄ フローティングディフュージョン
６１Ｅ 読み出し回路
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
６５ 信号線
７０ Ｎ型基板
７１ Ｐウェル層
７２ 読み出し電極
７３ Ｎ型不純物層
７４ Ｐ型不純物層
７５ 領域
７６ 転送電極
７７ リセットトランジスタ
７８ 出力トランジスタ
７９ 選択トランジスタ
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１１Ａ 撮像制御部
１１Ｂ 絞り制御部
１４ 操作部
１５ メモリ制御部
１６ メモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示コントローラ
２３ 表示面
２４ 制御バス
２５ データバス
４０ レンズ装置
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (8)

  1. 複数の画素が二次元状に配列された撮像面を含み、前記撮像面の前方に絞りが配置された撮像素子を有する撮像装置に内蔵される撮像制御装置であって、
    前記撮像面に被写体からの光が入射されている状態において、前記撮像素子を駆動する撮像素子駆動部を制御することにより、前記撮像面全体において前記画素の露光を同時に開始させた後、前記画素の前記露光を同時に終了させる撮像制御部と、
    前記露光が開始されてから前記露光が終了されるまでの期間に、前記絞りの絞り値を複数の値に順次変化させる絞り制御部と、を備え、
    前記絞り制御部は、前記絞り値を前記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの前記距離と前記透過率との関係を示す関数に基づく時間に制御する撮像制御装置。
  2. 請求項１記載の撮像制御装置であって、
    前記複数の値は、最小の第一の値と、最大の第二の値と、前記第一の値と前記第二の値の間の第三の値と、を含み、
    前記絞り値が前記第三の値に維持される時間は、前記絞り値が前記第一の値に維持される時間及び前記絞り値が前記第二の値に維持される時間の各々よりも長くなっている撮像制御装置。
  3. 請求項１又は２記載の撮像制御装置であって、
    前記絞り制御部は、前記絞り値の前記複数の値を撮像条件に基づいて決定する撮像制御装置。
  4. 請求項１〜３のいずれか１項記載の撮像制御装置と、
    前記撮像素子と、を備える撮像装置。
  5. 複数の画素が二次元状に配列された撮像面を含み、前記撮像面の前方に絞りが配置された撮像素子を有する撮像装置の撮像制御方法であって、
    前記撮像面に被写体からの光が入射されている状態において、前記撮像素子を駆動する撮像素子駆動部を制御することにより、前記撮像面全体において前記画素の露光を同時に開始させた後、前記画素の前記露光を同時に終了させる撮像制御ステップと、
    前記露光が開始されてから前記露光が終了されるまでの期間に、前記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を備え、
    前記絞り制御ステップでは、前記絞り値を前記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの前記距離と前記透過率との関係を示す関数に基づく時間に制御する撮像制御方法。
  6. 請求項５記載の撮像制御方法であって、
    前記複数の値は、最小の第一の値と、最大の第二の値と、前記第一の値と前記第二の値の間の第三の値と、を含み、
    前記絞り値が前記第三の値に維持される時間は、前記絞り値が前記第一の値に維持される時間及び前記絞り値が前記第二の値に維持される時間の各々よりも長くなっている撮像制御方法。
  7. 請求項５又は６記載の撮像制御方法であって、
    前記絞り制御ステップでは、前記絞り値の前記複数の値を撮像条件に基づいて決定する撮像制御方法。
  8. 複数の画素が二次元状に配列された撮像面を含み、前記撮像面の前方に絞りが配置された撮像素子を有する撮像装置のプロセッサに、
    前記撮像面に被写体からの光が入射されている状態において、前記撮像素子を駆動する撮像素子駆動部を制御することにより、前記撮像面全体において前記画素の露光を同時に開始させた後、前記画素の前記露光を同時に終了させる撮像制御ステップと、
    前記露光が開始されてから前記露光が終了されるまでの期間に、前記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を実行させるための撮像制御プログラムであって、
    前記絞り制御ステップでは、前記絞り値を前記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの前記距離と前記透過率との関係を示す関数に基づく時間に制御する撮像制御プログラム。
JP2019541913A 2017-09-14 2018-07-03 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム Active JP6778828B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017176908 2017-09-14
JP2017176908 2017-09-14
PCT/JP2018/025124 WO2019054017A1 (ja) 2017-09-14 2018-07-03 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2019054017A1 JPWO2019054017A1 (ja) 2020-10-08
JP6778828B2 true JP6778828B2 (ja) 2020-11-04

Family

ID=65722622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541913A Active JP6778828B2 (ja) 2017-09-14 2018-07-03 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム

Country Status (4)

Country Link
US (1) US10863110B2 (ja)
JP (1) JP6778828B2 (ja)
CN (1) CN111095910B (ja)
WO (1) WO2019054017A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022013076A (ja) * 2020-07-03 2022-01-18 キヤノン株式会社 撮像装置、制御方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3736040B2 (ja) * 1997-06-05 2006-01-18 コニカミノルタフォトイメージング株式会社 カメラの露出制御装置
JPH10333221A (ja) * 1997-06-05 1998-12-18 Minolta Co Ltd カメラの露出制御装置
US5999752A (en) * 1997-06-05 1999-12-07 Minolta Co., Ltd. Exposure controller for use in a camera
JPH11271838A (ja) * 1998-03-19 1999-10-08 Minolta Co Ltd 多重露光カメラ
US7046279B2 (en) * 2000-09-06 2006-05-16 Minolta Co., Ltd. Image taking apparatus
JP2004317650A (ja) 2003-04-14 2004-11-11 Fuji Photo Film Co Ltd カメラ
JP4325557B2 (ja) * 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
JP2011114441A (ja) 2009-11-25 2011-06-09 Nikon Corp 撮像装置
JP5495841B2 (ja) * 2010-02-22 2014-05-21 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
KR102010628B1 (ko) * 2013-04-05 2019-08-13 레드.컴, 엘엘씨 카메라용 광학 필터링
JP6175992B2 (ja) * 2013-08-30 2017-08-09 ソニー株式会社 露出制御装置および露出制御方法、ならびに撮像装置
JP6194703B2 (ja) 2013-08-30 2017-09-13 ソニー株式会社 発光制御装置および発光制御方法、ならびに撮像装置
US9609236B2 (en) * 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
JP2015204470A (ja) 2014-04-10 2015-11-16 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
WO2016031867A1 (ja) * 2014-08-29 2016-03-03 富士フイルム株式会社 撮影装置、撮影装置本体、及びレンズ鏡筒
JP2016173444A (ja) 2015-03-17 2016-09-29 キヤノン株式会社 デジタルカメラ

Also Published As

Publication number Publication date
US10863110B2 (en) 2020-12-08
WO2019054017A1 (ja) 2019-03-21
CN111095910A (zh) 2020-05-01
US20200213546A1 (en) 2020-07-02
JPWO2019054017A1 (ja) 2020-10-08
CN111095910B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
JP6573731B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
CN110463185B (zh) 摄像装置、摄像方法及存储介质
JP6839768B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP6464327B2 (ja) 撮像素子及び撮像装置
JP6569025B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP6778828B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP6569023B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10778880B2 (en) Imaging device, imaging method, and imaging program
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP6765027B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US20230388669A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
JP2024005764A (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R150 Certificate of patent or registration of utility model

Ref document number: 6778828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250