JP6766291B2 - 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム - Google Patents

Description

本発明は、撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラムに関する。

蛍光灯下で撮像が行われる場合、蛍光灯の光源の明滅周期（例えば、５０Ｈｚ（ヘルツ）又は６０Ｈｚの商用電源であれば、１／１００秒又は１／１２０秒）による周期的な輝度変化の影響により、撮像画像に横縞状のむら（以下、「フリッカ」という）が生じる場合がある。以下、５０Ｈｚの商用電源によって生じるフリッカを５０Ｈｚフリッカといい、６０Ｈｚの商用電源によって生じるフリッカを６０Ｈｚフリッカという。

特許文献１には、蛍光灯の明滅周期に基づいて、フレーム毎に目標露光量になるように、撮像素子の前方に配置される減光フィルタの透過率を制御することが記載されている。

特許文献２には、蛍光灯の明滅周期を検出し、この明滅周期に基づいて絞り（又は液晶などの光シャッタ）の透過率を制御してフリッカ抑制を行うことが記載されている。

日本国特開２０１５−１９８２９２号公報 日本国特開２００２−０７７７１６号公報

一般に、６０Ｈｚフリッカに対しては、露光時間を１／１２０秒の自然数倍に設定することで、これを抑制することができる。また、５０Ｈｚフリッカに対しては、露光時間を１／１００秒の自然数倍に設定することで、これを抑制することができる。しかし、蛍光灯の明滅周期よりも短い露光時間での撮像を行う場合には、露光時間の制御によるフリッカの抑制を行うことはできない。

特許文献１に記載の方法は、画素ライン単位で減光フィルタの光透過率を制御しているため、減光フィルタの制御が複雑になる。

特許文献２は、絞り又は減光フィルタの制御によってフリッカ抑制を図るものであるが、その詳細な制御方法については記載がない。

本発明は、上記事情に鑑みてなされたものであり、光源の明滅周期よりも短い露光時間での撮像を行う際のフリッカを簡易な制御によって抑制することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。

本発明の撮像制御装置は、光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御部と、上記撮像画像データに基づいて、上記撮像画像データに生じているフリッカを検出するフリッカ検出部と、上記フリッカに基づき、上記光学素子の透過率を、上記撮像素子に入射する光量が上記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御部と、を備え、上記撮像制御部は、上記光学素子の透過率が上記状態に制御されている状態にて、上記撮像素子の露光時間を、
上記撮像素子に入射する光量の変動周期の自然数倍に制御するものである。

本発明の撮像装置は、上記撮像制御装置と、上記撮像素子と、を備えるものである。

本発明の撮像制御方法は、光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御ステップと、上記撮像画像データに基づいて、上記撮像画像データに生じているフリッカを検出するフリッカ検出ステップと、上記フリッカに基づき、上記光学素子の透過率を、上記撮像素子に入射する光量が上記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御ステップと、を備え、上記撮像制御ステップでは、上記光学素子の透過率が上記状態に制御されている状態にて、上記撮像素子の露光時間を、上記撮像素子に入射する光量の変動周期の自然数倍に制御するものである。

本発明の撮像制御プログラムは、光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御ステップと、上記撮像画像データに基づいて、上記撮像画像データに生じているフリッカを検出するフリッカ検出ステップと、上記フリッカに基づき、上記光学素子の透過率を、上記撮像素子に入射する光量が上記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御ステップと、をコンピュータに実行させるためのプログラムであって、上記撮像制御ステップでは、上記光学素子の透過率が上記状態に制御されている状態にて、上記撮像素子の露光時間を、上記撮像素子に入射する光量の変動周期の自然数倍に制御するものである。

本発明によれば、光源の明滅周期よりも短い露光時間での撮像を行う際のフリッカを簡易な制御によって抑制することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。

本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示すシステム制御部１１の機能ブロック図である。 図２に示す透過率制御部１１Ｃによる制御内容を説明するための図である。 フリッカ波形ＦＬの最小値がゼロとならない場合の参考例を示す図である。 フリッカ波形ＦＬの最小値がゼロとならない場合の透過率の好ましい制御例を示す図である。 図２に示す透過率制御部１１Ｃによる制御内容の変形例を説明するための図である。 図２に示す透過率制御部１１Ｃによる制御内容の変形例を説明するための図である。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図８に示すスマートフォン２００の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

図１に示すデジタルカメラ１００は、撮像レンズ１、絞り２、レンズ制御部４、レンズ駆動部８、及び絞り駆動部９を有するレンズ装置４０Ａと、本体部４０Ｂと、を備える。

レンズ装置４０Ａは、本体部４０Ｂに着脱可能なものであってもよいし、本体部４０Ｂと一体化されたものであってもよい。レンズ装置４０Ａが本体部４０Ｂに着脱可能な構成では、本体部４０Ｂが撮像装置を構成する。

撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。

レンズ装置４０Ａのレンズ制御部４は、本体部４０Ｂのシステム制御部１１と有線又は無線によって通信可能に構成される。

レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、レンズ駆動部８を介して撮像レンズ１に含まれるズームレンズを制御してズームレンズの位置を変更したり、絞り駆動部９を介して絞り２の絞り値を制御したりする。

本体部４０Ｂは、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像するＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサ又はＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の撮像素子５と、撮像素子５を駆動する撮像素子駆動部５Ａと、撮像素子５と撮像光学系の間に配置された可変ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタ３と、可変ＮＤフィルタ３を駆動するＮＤ駆動部３Ａと、全体を統括制御するシステム制御部１１と、操作部１４と、を備える。

撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。

撮像素子駆動部５Ａは、システム制御部１１からの指令に基づいて駆動信号を生成してこの駆動信号を撮像素子５に供給することで、撮像素子５を駆動する。

可変ＮＤフィルタ３は、透過率が可変の光学素子であり、印加される電圧に応じて、光の透過率を調整することが可能に構成されている。可変ＮＤフィルタ３は、例えば液晶素子が用いられる。印加される電圧に応じて可変ＮＤフィルタ３の光の透過率が調整されることによって、撮像素子５の撮像面に入射される被写体光の光量が調整される。

可変ＮＤフィルタ３は、撮像素子５と一体的に形成されたものであってもよい。例えば、撮像素子５は、撮像素子チップと、これを収容するパッケージと、このパッケージを封止する保護カバーとを備える。そして、この保護カバーに可変ＮＤフィルタ３が積層されていてもよい。

ＮＤ駆動部３Ａは、システム制御部１１からの指示に応じて、可変ＮＤフィルタ３に印加される電圧を制御することによって可変ＮＤフィルタ３の透過率を制御する。

システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

本体部４０Ｂは、更に、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）を含むメモリ１６と、メモリ１６へのデータ記憶及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行って、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。

メモリ１６に含まれるＲＯＭには、システム制御部１１が実行する撮像制御プログラムを含むプログラムが記憶されている。

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。

図２は、図１に示すシステム制御部１１の機能ブロック図である。システム制御部１１は、メモリ１６のＲＯＭに記憶された撮像制御プログラムを含むプログラムを実行することにより、撮像制御ステップを実行する撮像制御部１１Ａ、フリッカ検出ステップを実行するフリッカ検出部１１Ｂ、及び透過率制御ステップを実行する透過率制御部１１Ｃを備える撮像制御装置として機能する。

撮像制御部１１Ａは、撮像素子５を制御して被写体を撮像させ、この撮像によってデジタル信号処理部１７により生成された撮像画像データを取得する。

フリッカ検出部１１Ｂは、撮像制御部１１Ａが取得した撮像画像データに基づいて、この撮像画像データに生じているフリッカを検出する。撮像画像データにフリッカが生じている場合には、例えば、一方向に延びる、輝度が相対的に高い高輝度領域と、この一方向に延びる、輝度が相対的に低い低輝度領域とが、この一方向に垂直な方向に交互に現れる。

この高輝度領域の輝度と、この低輝度領域の輝度との差を求めることで、フリッカを生じさせている光源（以下、フリッカ光源という）からの光量に相当するフリッカの振幅値を求めることができる。また、高輝度領域と低輝度領域が出現する頻度から、フリッカ光源からの光量の変動周期（以下、フリッカ周期という）を求めることができる。この振幅値とフリッカ周期が、検出されるフリッカのパラメータとなる。

透過率制御部１１Ｃは、フリッカ検出部１１Ｂにより検出されたフリッカのパラメータに基づき、可変ＮＤフィルタ３の透過率を、撮像素子５に入射する被写体光の光量がこのフリッカの周期よりも短い周期にて変動する状態に制御する。

図３は、図２に示す透過率制御部１１Ｃによる制御内容を説明するための図である。図３には、フリッカ検出部１１Ｂにより検出されたフリッカを示す波形であるフリッカ波形ＦＬと、可変ＮＤフィルタ３の透過率を示す透過率波形ＮＬと、撮像素子５に入射される被写体光の光量を示す被写体光量波形ＩＬと、が示されている。

図３では、フリッカ波形ＦＬの最小値（フリッカ光源の光量が最小の状態）を“０”、フリッカ波形ＦＬの最大値（フリッカ光源の光量が最大の状態）を“１”として規格化して各波形を示している。透過率波形ＮＬが“１”のときに、可変ＮＤフィルタ３の透過率は最大となり、透過率波形ＮＬが“０”のときに、可変ＮＤフィルタ３の透過率は最小となる。図３の横軸は時刻を示す。

図３に示すように、透過率制御部１１Ｃは、可変ＮＤフィルタ３の透過率を、フリッカ波形ＦＬの周期Ｔ１に対して９０度位相のずれた一定の周期Ｔ２で変動させる。フリッカ波形ＦＬと透過率波形ＮＬは、それぞれ、正弦波の絶対値をとった波形であり、更に、フリッカ波形ＦＬの周期Ｔ１及び振幅と透過率波形ＮＬの周期Ｔ２及び振幅は同じである。本明細書における波形の周期は、その波形が最小値をとるタイミングの間隔を示す。

このように可変ＮＤフィルタ３の透過率を制御すると、撮像素子５に入射する被写体光の光量は、図３中の被写体光量波形ＩＬにて示されるように、フリッカ波形ＦＬの周期Ｔ１の半分の周期Ｔ３にて変動するようになる。

図３に示すように、透過率制御部１１Ｃによって可変ＮＤフィルタ３の透過率が制御された状態において、撮像制御部１１Ａが、撮像素子５の露光時間を、被写体光量の変動周期（図３中の周期Ｔ３）の自然数倍に制御する。これにより、この制御状態で撮像素子５により被写体を撮像して得られる撮像画像データにおけるフリッカの発生が抑制されることになる。

透過率制御部１１Ｃによって透過率を一定値に制御している場合には、例えば周期が１／１００秒のフリッカを抑制するために、撮像素子５の露光時間を１／１００秒の自然数倍に設定する必要がある。

これに対し、図３のように透過率を制御すると、被写体光量波形ＩＬの周期Ｔ３はフリッカ波形ＦＬの周期Ｔ１の１／２となることから、撮像素子５の露光時間を１／２００秒の自然数倍に設定してもフリッカの抑制が可能となる。したがって、ごく短い露光時間での撮像においてもフリッカを抑制することができ、ハイスピード撮像を高画質にて実施することが可能となる。

デジタルカメラ１００によれば、可変ＮＤフィルタ３の全体の透過率を一律に制御するだけでフリッカの抑制が可能となる。このため、特許文献１のように画素ライン毎に透過率を制御する方法と比較して、制御を簡易なものとすることができる。

なお、透過率制御部１１Ｃによる透過率の制御方法は、図３に示した方法には限らない。例えば、図３では、フリッカ波形ＦＬが最大値をとるタイミングにおける透過率と、フリッカ波形ＦＬが最小値をとるタイミングにおける透過率との比を、フリッカ波形ＦＬの最大値とフリッカ波形ＦＬの最小値との比と一致させているが、例えば、図３において、透過率波形ＮＬの最大値を“１”よりも小さい値として、この比を一致させなくてもよい。

ただし、フリッカ光源によっては、発光量がゼロにならないものがあり、この場合には、図３に示すように透過率を制御すると、図４に参考例として示すように、被写体光量波形ＩＬの周期を、フリッカ波形ＦＬの周期よりも短くすることができない。

そのため、発光量が最も少ない場合でもゼロにならないフリッカ光源下での撮像を想定すると、図５に示すように、フリッカ波形ＦＬが最小となるタイミングにおける透過率波形ＮＬの値と、フリッカ波形ＦＬが最大となるタイミングにおける透過率波形ＮＬの値との比が、フリッカ波形ＦＬの最大値と最小値との比（撮像画像データにおける高輝度領域の輝度と低輝度領域の輝度の比）と一致するように、可変ＮＤフィルタ３の透過率を制御することが好ましい。これにより、発光量が最も少ない場合でもゼロにならないフリッカ光源下であっても、高速撮像を高画質にて行うことができる。

また、図３及び図５の例では、透過率波形ＮＬの周期Ｔ２をフリッカ波形ＦＬの周期Ｔ１と同じにしているが、これに限らない。例えば、図６に示すように、透過率波形ＮＬの周期をフリッカ波形ＦＬの周期よりも短い周期に制御してもよい。図６は、透過率波形ＮＬの周期が一定ではない例を示している。

図６に示した透過率波形ＮＬにしたがって可変ＮＤフィルタ３の透過率を制御することで、撮像素子５に入射する被写体光の光量は、図７の被写体光量波形ＩＬに示すように、フリッカ波形ＦＬの周期の１／４にすることができる。このため、撮像素子５の露光時間を１／４００秒の自然数倍に設定してもフリッカの抑制が可能となる。

図７に示すように、被写体光量波形ＩＬの周期をフリッカ波形ＦＬの周期の１／４以下にするには、フリッカ波形ＦＬの周波数をｆとし、ｔを時刻とし、ｋを２以上の自然数とし、πを円周率としたときに、下記式（１）の演算によって得られる時刻ｔの関数ＮＬ（ｔ）にしたがって可変ＮＤフィルタ３の透過率を変動させればよい。

NL(t)=|sin{2πft+(π/2)}|×|sin{2πfkt+(π/2)}| （１）

例えば、ｋを３にした場合には、被写体光量波形ＩＬの周期をフリッカ波形ＦＬの周期の１／６にすることができ、更なる短時間露光が可能となる。

なお、図３に示すように、被写体光量波形ＩＬの周期をフリッカ波形ＦＬの周期の１／２にする場合には、NL(t)=|sin{2πft+(π/2)}|にしたがって可変ＮＤフィルタ３の透過率を変動させればよい。

次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。

図８は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。

図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

図９は、図８に示すスマートフォン２００の構成を示すブロック図である。

図９に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

また、図８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラ１００における外部メモリ制御部２０、記憶媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

図８に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、フリッカを抑制した高速撮像が可能となる。

なお、図１のデジタルカメラ１００において、可変ＮＤフィルタ３とＮＤ駆動部３Ａは、着脱可能なレンズ装置４０Ａに内蔵され、レンズ制御部４が、システム制御部１１からの指示に応じてＮＤ駆動部３Ａを制御するものであってもよい。この場合には、例えば、可変ＮＤフィルタ３として２枚の減光フィルタを相対的に回転させることで透過率を変更する方式のものを用いてもよい。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１）
光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御部と、
上記撮像画像データに基づいて、上記撮像画像データに生じているフリッカを検出するフリッカ検出部と、
上記フリッカに基づき、上記光学素子の透過率を、上記撮像素子に入射する光量が上記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御部と、を備え、
上記撮像制御部は、上記光学素子の透過率が上記状態に制御されている状態にて、上記撮像素子の露光時間を、上記撮像素子に入射する光量の変動周期の自然数倍に制御する撮像制御装置。

（２）
（１）記載の撮像制御装置であって、
上記透過率制御部は、上記フリッカを生じさせている光源からの光量が最大となるタイミングにおける上記光学素子の透過率と、上記光量が最小となるタイミングにおける上記光学素子の透過率との比を、上記フリッカに基づく上記光源からの光量の最小値と最大値との比、と一致する値に制御する撮像制御装置。

（３）
（１）又は（２）記載の撮像制御装置であって、
上記透過率制御部は、上記光学素子の透過率を、上記フリッカの周期に対して位相のずれた一定の周期にて変動させる撮像制御装置。

（４）
（３）記載の撮像制御装置であって、
上記透過率制御部は、上記光学素子の透過率を、上記フリッカの周期に対して９０度位相のずれた一定の周期にて変動させる撮像制御装置。

（５）
（１）又は（２）記載の撮像制御装置であって、
上記透過率制御部は、上記光学素子の透過率を、上記フリッカの周期よりも短い周期にて変動させる撮像制御装置。

（６）
（５）記載の撮像制御装置であって、
上記透過率制御部は、上記フリッカの周波数をｆとし、ｔを時刻とし、ｋを２以上の自然数とし、πを円周率としたときに、｜ｓｉｎ｛２πｆｔ＋（π／２）｝｜×｜ｓｉｎ｛２πｆｋｔ＋（π／２）｝｜の演算によって得られる時刻ｔの関数にしたがって上記透過率を変動させる撮像制御装置。

（７）
（１）から（６）のいずれか１つに記載の撮像制御装置と、
上記撮像素子と、を備える撮像装置。

（８）
（７）記載の撮像装置であって、
上記光学素子を更に備える撮像装置。

（９）
光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御ステップと、
上記撮像画像データに基づいて、上記撮像画像データに生じているフリッカを検出するフリッカ検出ステップと、
上記フリッカに基づき、上記光学素子の透過率を、上記撮像素子に入射する光量が上記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御ステップと、を備え、
上記撮像制御ステップでは、上記光学素子の透過率が上記状態に制御されている状態にて、上記撮像素子の露光時間を、上記撮像素子に入射する光量の変動周期の自然数倍に制御する撮像制御方法。

（１０）
（９）記載の撮像制御方法であって、
上記透過率制御ステップでは、上記フリッカを生じさせている光源からの光量が最大となるタイミングにおける上記光学素子の透過率と、上記光量が最小となるタイミングにおける上記光学素子の透過率との比を、上記フリッカに基づく上記光源からの光量の最小値と最大値との比、と一致する値に制御する撮像制御方法。

（１１）
（９）又は（１０）記載の撮像制御方法であって、
上記透過率制御ステップでは、上記光学素子の透過率を、上記フリッカの周期に対して位相のずれた一定の周期にて変動させる撮像制御方法。

（１２）
（１１）記載の撮像制御方法であって、
上記透過率制御ステップでは、上記光学素子の透過率を、上記フリッカの周期に対して９０度位相のずれた一定の周期にて変動させる撮像制御方法。

（１３）
（９）又は（１０）記載の撮像制御方法であって、
上記透過率制御ステップでは、上記光学素子の透過率を、上記フリッカの周期よりも短い周期にて変動させる撮像制御方法。

（１４）
（１３）記載の撮像制御方法であって、
上記透過率制御ステップでは、上記フリッカの周波数をｆとし、ｔを時刻とし、ｋを２以上の自然数とし、πを円周率としたときに、｜ｓｉｎ｛２πｆｔ＋（π／２）｝｜×｜ｓｉｎ｛２πｆｋｔ＋（π／２）｝｜の演算によって得られる時刻ｔの関数にしたがって上記透過率を変動させる撮像制御方法。

（１５）
光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御ステップと、
上記撮像画像データに基づいて、上記撮像画像データに生じているフリッカを検出するフリッカ検出ステップと、
上記フリッカに基づき、上記光学素子の透過率を、上記撮像素子に入射する光量が上記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御ステップと、をコンピュータに実行させるためのプログラムであって、
上記撮像制御ステップでは、上記光学素子の透過率が上記状態に制御されている状態にて、上記撮像素子の露光時間を、上記撮像素子に入射する光量の変動周期の自然数倍に制御する撮像制御プログラム。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

なお、本出願は、２０１８年３月１３日出願の日本特許出願（特願２０１８−０４５９３２）に基づくものであり、その内容は本出願の中に参照として援用される。

本発明によれば、光源の明滅周期よりも短い露光時間での撮像を行う際のフリッカを簡易な制御によって抑制することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。

１００ デジタルカメラ
４０Ａ レンズ装置
１ 撮像レンズ
２ 絞り
４ レンズ制御部
８ レンズ駆動部
９ 絞り駆動部
４０Ｂ 本体部
３ 可変ＮＤフィルタ
３Ａ ＮＤ駆動部
５ 撮像素子
５Ａ 撮像素子駆動部
１１ システム制御部
１１Ａ 撮像制御部
１１Ｂ フリッカ検出部
１１Ｃ 透過率制御部
１４ 操作部
１５ メモリ制御部
１６ メモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示コントローラ
２３ 表示面
２４ 制御バス
２５ データバス
ＦＬ フリッカ波形
ＮＬ 透過率波形
ＩＬ 被写体光量波形
Ｔ１、Ｔ２、Ｔ３ 周期
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (15)

1. 光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御部と、
   前記撮像画像データに基づいて、前記撮像画像データに生じているフリッカを検出するフリッカ検出部と、
   前記フリッカに基づき、前記光学素子の透過率を、前記撮像素子に入射する光量が前記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御部と、を備え、
   前記撮像制御部は、前記光学素子の透過率が前記状態に制御されている状態にて、前記撮像素子の露光時間を、前記撮像素子に入射する光量の変動周期の自然数倍に制御する撮像制御装置。
2. 請求項１記載の撮像制御装置であって、
   前記透過率制御部は、前記フリッカを生じさせている光源からの光量が最大となるタイミングにおける前記光学素子の透過率と、前記光量が最小となるタイミングにおける前記光学素子の透過率との比を、前記フリッカに基づく前記光源からの光量の最小値と最大値との比、と一致する値に制御する撮像制御装置。
3. 請求項１又は２記載の撮像制御装置であって、
   前記透過率制御部は、前記光学素子の透過率を、前記フリッカの周期に対して位相のずれた一定の周期にて変動させる撮像制御装置。
4. 請求項３記載の撮像制御装置であって、
   前記透過率制御部は、前記光学素子の透過率を、前記フリッカの周期に対して９０度位相のずれた一定の周期にて変動させる撮像制御装置。
5. 請求項１又は２記載の撮像制御装置であって、
   前記透過率制御部は、前記光学素子の透過率を、前記フリッカの周期よりも短い周期にて変動させる撮像制御装置。
6. 請求項５記載の撮像制御装置であって、
   前記透過率制御部は、前記フリッカの周波数をｆとし、ｔを時刻とし、ｋを２以上の自然数とし、πを円周率としたときに、｜ｓｉｎ｛２πｆｔ＋（π／２）｝｜×｜ｓｉｎ｛２πｆｋｔ＋（π／２）｝｜の演算によって得られる時刻ｔの関数にしたがって前記透過率を変動させる撮像制御装置。
7. 請求項１から６のいずれか１項記載の撮像制御装置と、
   前記撮像素子と、を備える撮像装置。
8. 請求項７記載の撮像装置であって、
   前記光学素子を更に備える撮像装置。
9. 光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御ステップと、
   前記撮像画像データに基づいて、前記撮像画像データに生じているフリッカを検出するフリッカ検出ステップと、
   前記フリッカに基づき、前記光学素子の透過率を、前記撮像素子に入射する光量が前記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御ステップと、を備え、
   前記撮像制御ステップでは、前記光学素子の透過率が前記状態に制御されている状態にて、前記撮像素子の露光時間を、前記撮像素子に入射する光量の変動周期の自然数倍に制御する撮像制御方法。
10. 請求項９記載の撮像制御方法であって、
    前記透過率制御ステップでは、前記フリッカを生じさせている光源からの光量が最大となるタイミングにおける前記光学素子の透過率と、前記光量が最小となるタイミングにおける前記光学素子の透過率との比を、前記フリッカに基づく前記光源からの光量の最小値と最大値との比、と一致する値に制御する撮像制御方法。
11. 請求項９又は１０記載の撮像制御方法であって、
    前記透過率制御ステップでは、前記光学素子の透過率を、前記フリッカの周期に対して位相のずれた一定の周期にて変動させる撮像制御方法。
12. 請求項１１記載の撮像制御方法であって、
    前記透過率制御ステップでは、前記光学素子の透過率を、前記フリッカの周期に対して９０度位相のずれた一定の周期にて変動させる撮像制御方法。
    
13. 請求項９又は１０記載の撮像制御方法であって、
    前記透過率制御ステップでは、前記光学素子の透過率を、前記フリッカの周期よりも短い周期にて変動させる撮像制御方法。
14. 請求項１３記載の撮像制御方法であって、
    前記透過率制御ステップでは、前記フリッカの周波数をｆとし、ｔを時刻とし、ｋを２以上の自然数とし、πを円周率としたときに、｜ｓｉｎ｛２πｆｔ＋（π／２）｝｜×｜ｓｉｎ｛２πｆｋｔ＋（π／２）｝｜の演算によって得られる時刻ｔの関数にしたがって前記透過率を変動させる撮像制御方法。
15. 光の透過率が可変な光学素子を通して被写体を撮像する撮像素子を制御して撮像画像データを得る撮像制御ステップと、
    前記撮像画像データに基づいて、前記撮像画像データに生じているフリッカを検出するフリッカ検出ステップと、
    前記フリッカに基づき、前記光学素子の透過率を、前記撮像素子に入射する光量が前記フリッカの周期よりも短い周期にて変動する状態に制御する透過率制御ステップと、をコンピュータに実行させるためのプログラムであって、
    前記撮像制御ステップでは、前記光学素子の透過率が前記状態に制御されている状態にて、前記撮像素子の露光時間を、前記撮像素子に入射する光量の変動周期の自然数倍に制御する撮像制御プログラム。
    

Images