JP6808365B2

JP6808365B2 - 撮像装置、その制御方法、及びプログラム

Info

Publication number: JP6808365B2
Application number: JP2016118924A
Authority: JP
Inventors: 武範小布施
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-15
Filing date: 2016-06-15
Publication date: 2021-01-06
Anticipated expiration: 2036-06-15
Also published as: US20190124245A1; US10735661B2; JP2017224982A; US20170366721A1; US10187581B2

Description

本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等撮像装置におけるフラッシュバンド補正技術の改良に関する。

デジタルカメラ等の撮像装置には、画素のライン毎に順次露光を開始して順次読み出しを行うローリングシャッタ方式の撮像素子を備えるものがある。このような撮像装置では、ラインごとの露光タイミングと読出し時間がずれているため、外部閃光により１フレーム内の画像に輝度段差が生じるフラッシュバンドが問題となっている。従来、撮像素子の電子シャッタを使用している際にフラッシュバンドが発生してフラッシュバンドの幅が１フレームのライン数に満たない場合におけるフラッシュバンドの補正技術が提案されている（特許文献１）。

特開２０１４−１９７８２２号公報

しかし、上記特許文献１では、撮像素子の出力信号からフラッシュバンドを検出し、その検出結果に基づき、撮像素子の駆動方法を変えてフラッシュバンドを補正するため、１フレームよりも短いフィードバック回路を組む必要があり、実現が難しい。

そこで、本発明は、外部閃光により発生したフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止するフラッシュバンド補正技術を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、画素のライン毎に順次露光を開始して順次画像信号の読み出しを行う撮像手段と、前記撮像手段から出力された画像信号を用いて、外部閃光によって時間的に連続する第１のフレームと第２のフレームにまたがって発生したフラッシュバンドを検出する検出手段と、前記第１のフレームのフラッシュバンド領域と前記第２のフレームのフラッシュバンド領域とを合成し、１フレーム分の全面閃光の画像に補正する補正手段とを備え、前記補正手段は、前記第１のフレーム及び前記第２のフレームのいずれにおいても前記フラッシュバンドが発生していないラインである第２のラインを第１のラインを用いて補間し、前記第１のラインは、前記第１のフレームのうち前記フラッシュバンドが発生していない領域と前記フラッシュバンドが発生している領域の境界の直後のライン、または前記第２のフレームのうち前記フラッシュバンドが発生している領域と前記フラッシュバンドが発生していない領域の境界の直前のラインであることを特徴とする。

本発明によれば、外部閃光により発生したフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止することができる。

本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系の概略を示すブロック図である。ストロボ光等による外部閃光があった場合の出力画像を説明する図である。図２のフレーム１とフレーム２の露光期間を拡大した図である。フラッシュバンドが検出された画像を画像補正部により全画面閃光画像に補正する例を説明する図である。フラッシュバンドが発生していないフレーム境界ラインの補間処理を説明するフローチャート図である。本発明の撮像装置の第２の実施形態であるデジタルビデオカメラにおいて、フラッシュバンドが発生していないフレーム境界ラインの補間処理を説明するフローチャート図である。本発明の撮像装置の第３の実施形態であるデジタルビデオカメラにおいて、フラッシュバンドが発生していないフレーム境界ラインの補間処理を説明するフローチャート図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系の概略を示すブロック図である。

図１において、レンズ部１０１は、フォーカス機構、絞り機構、ＮＤフィルタ及びズーム機構等を有する。撮像素子１０２は、画素のライン毎に順次露光を開始して順次読み出しを行うＣＭＯＳセンサ等により構成され、レンズ部１０１を通過して結像した被写体光束を電気信号に光電変換して映像信号を出力する。画像取得部１０３は、撮像素子１０２からの画像信号を用いて生成した画像情報を取得する。なお、画像取得部１０３は、撮像素子１０２からの出力がアナログ信号であれば、アナログ・デジタルフロントエンドを含む。

フラッシュバンド検出部１０４は、ストロボ光等の外部閃光により時間的に連続する複数のフレームに発生したフラッシュバンドが映像信号として現れたかを検出する。画像補正部１０５は、フラッシュバンド検出部１０４によってフラッシュバンドが検出された場合、フラッシュバンドが検出された画像を全画面閃光画像に補正する。

システム制御部１０６は、ＣＰＵやＲＡＭ、ＲＯＭ等を含み、カメラの各ブロックと情報を送受信したり、ユーザ操作によってカメラの動作を決定し、各ブロックの動作を制御したりする等、カメラ全体の制御を司る。撮像素子制御部１０７は、撮像素子１０２の駆動を制御する。例えば、撮像素子制御部１０７は、撮像素子１０２のゲインを決定したり、垂直同期信号ＶＤを撮像素子１０２に出力したりする等の制御の他に、シャッタスピードを制御する。ここでいうシャッタスピードとは、撮像素子１０２の電子シャッタの露光時間のことであり、撮像素子制御部１０７が撮像素子１０２に対して電荷の蓄積開始タイミングと電荷の読み出しタイミングを送ることによって制御する。

レンズ制御部１０８は、レンズ部１０１の絞り機構やフォーカス機構、ズーム機構、ＮＤフィルタなどの制御を行う。記録・出力部１０９は、所定の画像補正を行った映像信号を記録媒体へ記録したり、もしくはディスプレイ等の表示装置へ出力したりする。

次に、図２乃至図４を参照して、フラッシュバンドが発生した場合のフレーム補正方法の一例を説明する。

図２は、ストロボ光等による外部閃光があった場合の出力画像を説明する図である。図２では、横軸を時間、縦軸を垂直方向ライン数とし、外部閃光の発生タイミングと、そのときの画像出力の関係を示している。また、ＶＤは、撮像素子１０２に入力される垂直同期信号を示している。

図２に示すタイミングで１ライン時間よりも短い閃光が発生したとき、画面下部はフレーム１の露光期間中であり、画面上部は次のフレーム２の露光期間中である。そのため、フレーム１の途中から下部にかけてフラッシュバンドが発生し、フレーム２ではフレーム１で発生した同じラインまでフラッシュバンドが発生する。

次に、図３及び図４を参照して、１フレーム内の露光期間中に撮像素子１０２のフォトダイオードのリセットを行う電子シャッタを使用している場合の問題点について説明する。図３は、図２のフレーム１とフレーム２の露光期間を拡大した図である。

電子シャッタを入れながら露光期間を最も長くするため、露光期間開始のはじめの１ＨＤ（ＨＤ：水平同期信号）目を電子シャッタをオンするタイミングとしている。

図３に示すタイミングでストロボ発光などの非常に短い時間の閃光が発生した場合、フレーム１のラインＭ＋１からストロボ光が入光し始め、フラッシュバンドが発生する。フレーム２は、ラインＭ−１までストロボ光が入光する。フレーム２のラインＭは、本来であればストロボ光が入光するが、この期間は、電子シャッタがオンされているため入光せず、ラインＭ−１までフラッシュバンドが発生することになる。そのため、電子シャッタがオン状態でなければ、１フレームのライン数Ｎ分のフラッシュバンドが発生するが、電子シャッタがオンされることにより、フラッシュバンドの発生ライン数は、１フレームのライン数Ｎよりも小さくなる。

次に、図４を参照して、フラッシュバンドが検出された画像を画像補正部１０５により全画面閃光画像に補正する例を説明する。図４（ａ）は、図２のフラッシュバンドが発生したフレーム１，２と、その前後のフレーム０，３とを模式的に示す図である。図４（ａ）に示すように、フレーム１とフレーム２にかけて発生したフラッシュバンドを１フレームにまとめるために、フレーム１の領域Ｂには、フレーム０の領域Ａを置換して領域Ａ′とする。フレーム２の領域Ｄには、フレーム１の領域Ｂを置換して領域Ｂ′とする。

このような置換を行うことで、フレーム１は、フラッシュバンドが発生していないフレーム１′とし、フレーム２は、全面でフラッシュバンドが発生しているフレーム２′として、１フレームのみ全面が光っている画像を生成する補正を行うことができる。

しかしながら、上述したように、電子シャッタが入っている場合、フラッシュバンドは、１フレームのライン数に満たない。このため、フレーム２′を生成しようとしたとき、図４（ｂ）に示すように、領域Ｃと領域Ｂ′との間にフラッシュバンドが発生していないラインが存在することになり、全面閃光画像に横線が発生し、補正した画像に違和感が残ってしまう。

そこで、本実施形態では、全面閃光画像を生成したフレーム２′の補正画像に対し、例えば、フラッシュバンドが発生していない境界ラインは、領域Ｃの最終（境界ラインの直前）ライン、もしくは領域Ｂ′の最初（境界ラインの直後）のラインを用いて補間する。これにより、全面閃光画像に閃光の不感ラインである横線が発生しないようにしている。

次に、図５を参照して、フラッシュバンドが発生していないフレーム境界ラインの補間処理について説明する。図５の各処理は、システム制御部１０６のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図５において、ステップＳ５０１では、システム制御部１０６は、フラッシュバンド検出部１０４により映像信号にフラッシュバンドが発生したか否かを判定し、フラッシュバンドが発生している場合は、発生ラインを特定し、ステップＳ５０２に進む。ステップＳ５０２では、システム制御部１０６は、画像補正部１０５により、図４（ａ）にて説明したフラッシュバンド補正を行って全面閃光画像を生成し、ステップＳ５０３に進む。

ステップＳ５０３では、システム制御部１０６は、フラッシュバンドを検出したフレームにおいて、撮像素子１０２に電子シャッタが入っていたか否かを判定する。そして、システム制御部１０６は、電子シャッタがオンされていなかった場合は、ステップＳ５０２で補正した全面閃光画像は、正常に補正できているものとして、処理を終了し、電子シャッタがオンであった場合は、ステップＳ５０４に進む。なお、電子シャッタのオン／オフではなく、ステップＳ５０１にてフラッシュバンド発生ラインを特定したときに、フラッシュバンドが１フレームのライン数分発生しているか否かを判定してもよい。

ステップＳ５０４では、システム制御部１０６は、ステップＳ５０２で補正した全面閃光画像のフレームの境界部分にフラッシュバンドが発生していないラインがあるはずなので、画像補正部１０５により、その境界ラインの補間処理を行い、処理を終了する。なお、ここでは、補間処理に関しては、図４（ｂ）の領域Ｃの最終ラインもしくは領域Ｂ′の最初のラインをフラッシュバンドが発生していないラインに写すという簡易的なものを採用しているが、これに限定されない。例えば、図４（ｂ）の領域Ｃの最終ラインと領域Ｂ′の最初のラインを平均して補間したり、もしくはその２ライン以上のライン数を使って加重平均したりして補間してもよい。

以上説明したように、本実施形態では、電子シャッタを入れる等して外部閃光によるフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止することができる。

（第２の実施形態）
次に、図６を参照して、本発明の撮像装置の第２の実施形態であるデジタルビデオカメラについて説明する。なお、上記第１の実施形態と重複する部分については、図及び符号を流用して説明する。

上記第１の実施形態では、電子シャッタのオン／オフにより、フラッシュバンドが発生していないフレーム境界ラインを補間するか否かを判定したが、電子シャッタ位置によっては、補間した全面閃光画像の違和感が大きくなることがある。そのため、本実施形態では、電子シャッタをオンするタイミングによっては、フラッシュバンドが発生していないフレーム境界ラインの補間を行わないように制御する。

図６は、フラッシュバンドが発生していないフレーム境界ラインの補間処理について説明するフローチャート図である。図６の各処理は、システム制御部１０６のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。なお、図６のステップＳ６０１、ステップＳ６０２、及びステップＳ６０４の処理は、それぞれ上記第１の実施形態（図５）のステップＳ５０１、ステップＳ５０２及びステップＳ５０４と同様であるため、その説明を省略する。

図６において、ステップＳ６０３では、システム制御部１０６は、ステップＳ６０１でフラッシュバンドを検出したフレームにおいて、撮像素子１０２の電子シャッタをオンするタイミングをｎ（ＨＤ目）で判定する。ここで、電子シャッタがオンされていない場合は、ｎ＝０となり、電子シャッタをオンしながら最も露光期間を長くとるときは、ｎ＝１となる。ｎの数値が大きくなるほど、露光時間（シャッタスピード）は短くなる。

そして、システム制御部１０６は、電子シャッタのオンのタイミングｎがあらかじめ定めた任意の数値ｍ未満の場合、ステップＳ６０４に進んでステップＳ６０２で補正した全面閃光画像のフレームの境界ラインの補間処理を行い、処理を終了する。また、システム制御部１０６は、電子シャッタのオンのタイミングｎが数値ｍ以上の場合、即ち露光時間が数値ｍより短い場合、全面閃光画像のフレーム境界ラインの補間処理によって画像に違和感が大きくなる為、補間処理は行わず、処理を終了する。なお、上述した数値ｍは、電子シャッタの位置によらず、違和感なく画像を出力できる値として予め定めた値である。

このように、本実施形態では、電子シャッタ使用時に、電子シャッタのオンのタイミングｎによっては、全面閃光画像のフレーム境界ラインの補間処理を行わないことで、違和感のない画像を出力することができる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図７を参照して、本発明の撮像装置の第３の実施形態であるデジタルビデオカメラについて説明する。なお、上記第１及び第２の実施形態と重複する部分については、図及び符号を流用して説明する。

図４（ｂ）において、補正画像の平均輝度値もしくはフレーム境界ラインの平均輝度値が大きいと、領域Ｃと領域Ｂ′との差が小さく、画像に違和感が発生しない。このため，本実施形態では、補正画像の平均輝度値もしくはフレーム境界ラインの平均輝度値があらかじめ定めた値より大きい場合は、フレーム境界ラインの補間処理を行わないように制御する。

図７は、フラッシュバンドが発生していないフレーム境界ラインの補間処理について説明するフローチャート図である。図７の各処理は、システム制御部１０６のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。なお、図７のステップＳ７０１〜ステップＳ７０３、及びステップＳ７０５の処理は、それぞれ上記第２の実施形態（図６）のステップＳ６０１〜ステップＳ６０３及びステップＳ６０４と同様であるため、その説明を省略する。

図７において、システム制御部１０６は、ステップＳ７０３で電子シャッタのオンのタイミングｎがあらかじめ定めた任意の数値ｍ未満の場合、ステップＳ７０４に進む。ステップＳ７０４では、システム制御部１０６は、ステップＳ７０２で生成した補正画像の平均輝度値（もしくはフレーム境界ラインの平均輝度値）を算出し、算出した平均輝度値があらかじめ定めた任意の値Ｘ［ＬＳＢ］を超えているか否かを判断する。

そして、システム制御部１０６は、平均輝度値が値Ｘ以下の場合は、全面閃光画像に違和感が発生すると判断してステップＳ７０５でフレーム境界ラインの補間処理を行い、平均輝度値が値Ｘを超えている場合は、補間処理は行わずに、処理を終了する。なお、本実施形態では、平均輝度値として、補正画像全体、もしくはフレーム境界ラインを例示したが、これは任意の領域でも良い。また、上述した値Ｘは、電子シャッタの位置によらず、違和感なく画像を出力できる値として予め定めた値である。

このように、本実施形態では、補正画像等の平均輝度値が所定の値Ｘを超えている場合には、補間処理を行うことなく、違和感のない画像を出力することができる。その他の構成、及び作用効果は、上記第１及び第２の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１レンズ部
１０２撮像素子
１０３画像取得部
１０４フラッシュバンド検出部
１０５画像補正部
１０６システム制御部
１０７撮像素子制御部
１０８レンズ制御部

Claims

画素のライン毎に順次露光を開始して順次画像信号の読み出しを行う撮像手段と、
前記撮像手段から出力された画像信号を用いて、外部閃光によって時間的に連続する第１のフレームと第２のフレームにまたがって発生したフラッシュバンドを検出する検出手段と、
前記第１のフレームのフラッシュバンド領域と前記第２のフレームのフラッシュバンド領域とを合成し、１フレーム分の全面閃光の画像に補正する補正手段とを備え、
前記補正手段は、前記第１のフレーム及び前記第２のフレームのいずれにおいても前記フラッシュバンドが発生していないラインである第２のラインを第１のラインを用いて補間し、
前記第１のラインは、前記第１のフレームのうち前記フラッシュバンドが発生していない領域と前記フラッシュバンドが発生している領域の境界の直後のライン、または前記第２のフレームのうち前記フラッシュバンドが発生している領域と前記フラッシュバンドが発生していない領域の境界の直前のラインであることを特徴とする撮像装置。
前記補正手段は、前記フラッシュバンドが検出されたフレームの撮像において前記撮像手段の電子シャッターがオンにされていた場合に、前記第２のラインを補間することを特徴とする請求項１に記載の撮像装置。
前記補正手段は、前記フラッシュバンドが検出されたフレームの撮像において前記撮像手段の電子シャッターがオンにされていない場合、前記第２のラインを補間しないことを特徴とする請求項１又は２に記載の撮像装置。
前記補正手段は、前記撮像手段の電子シャッターがオンとなる期間内に前記外部閃光が生じたか否かに応じて、前記第２のラインを補間するか否かを決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記検出手段により検出された前記フラッシュバンドの幅が、１フレームにおけるライン数以上であるか否かを判断する判断手段を更に備え、
前記判断手段により、前記フラッシュバンドの幅が前記１フレームにおけるライン数以上でないと判断した場合に、前記補正手段は前記第２のラインを補間することを特徴とする請求項１に記載の撮像装置。
前記補正手段は、前記撮像手段の露光時間があらかじめ定めた第１の値より短い場合、前記第２のラインを補間しないことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記補正手段による合成は、前記第１のフレーム及び前記第２のフレームのうち、合成対象のフレームの一部の領域を、他のフレームに対応する領域で置換する置換処理を含み、
前記補正手段は、前記置換処理を行ったフレームにおける所定の領域の平均輝度値があらかじめ定めた第２の値を超える場合、前記第２のラインを補間しないことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記所定の領域の平均輝度値は、置換処理を行ったフレーム全体の平均輝度値もしくは前記フラッシュバンドが発生しているラインと発生していないラインとの境界ラインの平均輝度値であることを特徴とする請求項７に記載の撮像装置。
前記補正手段は、前記第１のラインをコピーすることで、前記第２のラインを補間することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
画素のライン毎に順次露光を開始して順次画像信号の読み出しを行う撮像手段を備える撮像装置の制御方法であって、
前記撮像手段から出力された画像信号を用いて、外部閃光によって時間的に連続する第１のフレームと第２のフレームにまたがって発生したフラッシュバンドを検出する検出ステップと、
前記第１のフレームのフラッシュバンド領域と前記第２のフレームのフラッシュバンド領域とを合成し、１フレーム分の全面閃光の画像に補正する補正ステップとを備え、
前記補正ステップでは、前記第１のフレーム及び前記第２のフレームのいずれにおいても前記フラッシュバンドが発生していないラインである第２のラインを第１のラインを用いて補間し、
前記第１のラインは、前記第１のフレームのうち前記フラッシュバンドが発生していない領域と前記フラッシュバンドが発生している領域の境界の直後のライン、または前記第２のフレームのうち前記フラッシュバンドが発生している領域と前記フラッシュバンドが発生していない領域の境界の直前のラインであることを特徴とする撮像装置の制御方法。
コンピュータを請求項１乃至９のいずれか１項に記載の撮像装置として機能させるコンピュータが実行可能なプログラム。