JP5044327B2

JP5044327B2 - 撮像装置

Info

Publication number: JP5044327B2
Application number: JP2007221948A
Authority: JP
Inventors: 高嗣三浦
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2007-08-29
Filing date: 2007-08-29
Publication date: 2012-10-10
Anticipated expiration: 2027-08-29
Also published as: JP2009055489A

Description

本発明は、フリッカ判定手段を有する撮像装置に関する。

従来、ＣＭＯＳ（complementary metal-oxide semiconductor）センサを用いた撮像装置（例えば、ディジタルカメラ等）において、蛍光灯や水銀灯等の点滅周期により生じるフリッカ（flicker）が問題となっている。フリッカは、ＣＭＯＳセンサにおける電荷信号の読み出しラインごとに明るさに変化が生じることで、撮像画像において縞模様が発生する現象である。

撮像画像にフリッカが生じていることを判定する技術として、例えば、フレーム内の所定ラインにおける複数の画素値を積算し、積算値のフレーム間の変化量を計算し、所定フレーム数分の変化量に基づいてフリッカ指標値を演算し、その指標値に基づいてフリッカが生じていることを判定する技術が提案されている（例えば、特許文献１参照）。

また、固体撮像素子により出力される映像信号の中から輝度信号成分を抽出し、抽出されたラインごとの輝度成分を積分すると共にラインごとの平均値を求め、複数のフレームごとの同一ラインにおける平均値を比較することで、フリッカが生じていることを判定する技術が知られている（例えば、特許文献２参照）。

また、固体撮像素子で撮像する画像を垂直走査方向に分割した複数のフリッカ検波枠ごとに、前後の２つのフレームにおける輝度データの差分をとり、フリッカ成分を抽出すると共にフリッカ周波数を算出する技術が知られている（例えば、特許文献３参照）。
特開２００２−８４４６６号公報特開２００２−１５２６０４号公報特開２００３−１８９１２９号公報

ここで、上記した先行文献に示される技術は、フリッカの発生を判定することに過剰な負担が必要である場合には、手軽さが求められるカメラ付き携帯電話機等に使用することができない。フリッカの発生を判定する処理のために撮像動作のレスポンスが悪くなるようでは、カメラ付き携帯電話機等の撮像装置として使い勝手が良くないという問題がある。

本発明は、フリッカ発生の判定精度を損なわずフリッカ発生の判定における処理負担が少ない撮像装置を提供することを目的とする。

本発明は、第１方向と前記第１方向に直交する第２方向とを有する平面上に配列された複数の画素を有すると共に、前記複数の画素からの電荷信号を前記第１方向ごとに前記第２方向に順次読み出すＣＭＯＳセンサと、前記ＣＭＯＳセンサにより得られる電荷信号に基づいて生成される撮像画像を前記第１方向において複数の第１基準領域に分割する分割手段と、前記分割手段により分割された前記複数の第１基準領域それぞれにおける明度を算出する明度算出手段と、前記明度算出手段により算出された前記複数の第１基準領域それぞれにおける第１明度が所定の明度よりも高いかを判定する明度判定手段と、前記明度判定手段により前記所定の明度よりも前記第１明度が高いと判定された高明度基準領域によりフリッカの発生を判定するフリッカ判定手段と、を備える撮像装置に関する。

また、前記分割手段は、前記撮像画像を前記第２方向において複数の第２基準領域に分割すると共に、所定の第１基準領域及び所定の第２基準領域の双方に位置する複数の分割領域に分割し、前記明度算出手段は、前記複数の分割領域それぞれにおける明度を算出すると共に、前記複数の第２基準領域それぞれにおける前記高明度基準領域に位置する分割領域の明度を合算して第１判定用明度をそれぞれ算出し、前記フリッカ判定手段は、前記明度算出手段により算出された複数の第１判定用明度における明度差に基づいてフリッカの発生を判定することが好ましい。

また、前記明度算出手段は、前記第１基準領域の数がｎであり、前記高明度基準領域の数がｘである場合、前記第１判定用明度にｎ／ｘを乗じて前記複数の第２基準領域それぞれにおける第２判定用明度を算出し、前記フリッカ判定手段は、前記複数の第２判定用明度における明度差が所定の閾値よりも大きい場合にはフリッカが発生していると判定することが好ましい。

本発明は、第１方向と前記第１方向に直交する第２方向とを有する平面上に配列された複数の画素を有すると共に、前記複数の画素からの電荷信号を前記第１方向ごとに前記第２方向に順次読み出すＣＭＯＳセンサと、前記ＣＭＯＳセンサにより得られる電荷信号に基づいて生成される撮像画像を前記第１方向において複数の第１基準領域に分割する分割手段と、前記分割手段により分割された前記複数の第１基準領域のうち、前記第１方向における中央域に位置する１又は複数の中央基準領域を除いた複数の側方基準領域によりフリッカの発生を判定するフリッカ判定手段と、を備える撮像装置に関する。

また、前記撮像画像における所定領域の明度を算出する明度算出手段と、を更に備え、前記分割手段は、前記撮像画像を前記第２方向において複数の第２基準領域に分割すると共に、所定の第１基準領域及び所定の第２基準領域の双方に位置する複数の分割領域に分割し、前記明度算出手段は、前記複数の分割領域それぞれにおける明度を算出すると共に、前記複数の第２基準領域それぞれにおける前記側方基準領域に位置する分割領域の明度を合算して第１判定用明度をそれぞれ算出し、前記フリッカ判定手段は、前記明度算出手段により算出された複数の第１判定用明度における明度差に基づいてフリッカの発生を判定する。

また、前記明度算出手段は、前記第１基準領域の数がｎであり、前記側方基準領域の数がｘである場合、前記第１判定用明度にｎ／ｘを乗じて前記複数の第２基準領域それぞれにおける第２判定用明度を算出し、前記フリッカ判定手段は、前記複数の第２判定用明度における明度差が所定の閾値よりも大きい場合にはフリッカが発生していると判定することが好ましい。

また、前記フリッカ判定手段により前記撮像画像にフリッカが発生していると判定された場合、前記撮像画像に発生した前記フリッカを除去するフリッカ除去手段を更に備えることが好ましい。

本発明によれば、フリッカ発生の判定精度を損なわずフリッカ発生の判定における処理負担が少ない撮像装置を提供することができる。

以下、図面を参照して本発明を実施するための最良の形態を説明する。
図１から図４により、撮像装置としての携帯電話機１における第１実施形態について説明する。図１は、携帯電話機１を開いた状態における正面斜視図である。図２は、携帯電話機１を開いた状態における裏面図である。図３は、携帯電話機１の回路ブロック図である。

図１及び図２に示すように、携帯電話機１は、筐体としての操作部側筐体２と、表示部側筐体３と、を備える。操作部側筐体２と表示部側筐体３とは、ヒンジ機構を備える連結部４を介して開閉可能に連結される。具体的には、操作部側筐体２の上端部と表示部側筐体３の下端部とは、連結部４を介して連結される。これにより、携帯電話機１は、ヒンジ機構を介して連結された操作部側筐体２と表示部側筐体３とを相対的に動かすことが可能である。つまり、携帯電話機１は、操作部側筐体２と表示部側筐体３とが開いた状態（開状態）と、操作部側筐体２と表示部側筐体３とが折り畳まれた状態（閉状態）とにすることができる。ここで、閉状態とは、両筐体が互いに重なるように配置された状態であり、開状態とは、両筐体が互いに重ならないように配置された状態をいう。

操作部側筐体２は、外面がフロントケース２ａとリアケース２ｂとにより構成される。操作部側筐体２は、フロントケース２ａ側に、操作キー群１１と、携帯電話機１の使用者が通話時に発した音声が入力されるマイクとしてのマイク１２とがそれぞれ露出するように構成される。また、図２に示すように、操作部側筐体２は、リアケース２ｂ側にカメラ部２３を構成するレンズ部２３ａと発光部２３ｂとが露出して配置される。

操作キー群１１は、各種設定や電話帳機能やメール機能等の各種機能を作動させるための機能設定操作キー１３と、電話番号の数字やメール等の文字等を入力するための入力操作キー１４と、各種操作における決定や上下左右方向のスクロール等を行う操作部材としての決定操作キー１５とにより構成される。決定操作キー１５は、環状キー１５ａと、円状キー１５ｂとにより構成される。操作キー群１１を構成する各キーそれぞれには、操作部側筐体２と表示部側筐体３との開閉状態や各種モード、或いは起動されているアプリケーション等の種類に応じて所定の機能が割り当てられる（キー・アサイン）。そして、使用者が各キーを押圧することにより、各キーに割り当てられている機能に応じた動作が実行される。具体的には、携帯電話機１がカメラモードである場合、決定操作キー１５を押圧することで撮像倍率等の調整や撮像指示がなされるよう機能が割り当てられる。環状キー１５ａが押圧されることで撮像倍率の調整がなされ、円状キー１５ｂが押圧されることで所定の撮像倍率等での撮像指示がなされるように機能が割り当てられる。

マイク１２は、操作部側筐体２の長手方向における連結部４側と反対の外端部側に配置される。つまり、マイク１２は、携帯電話機１が開状態において一方の外端部側に配置される。

操作部側筐体２における一方側の側面には、外部機器（例えば、ホスト装置）と通信を行うためのインターフェース（図示せず）が配置される。操作部側筐体２の他方側の側面には、所定の機能が割り当てられているサイドキー１６と、外部メモリの挿入及び取り出しが行われるインターフェース（図示せず）とが配置される。インターフェースは、キャップ１７により覆われている。

表示部側筐体３は、外面がフロントケース３ａとリアケース３ｂとにより構成される。表示部側筐体３におけるフロントケース３ａには、撮像画像等を含む各種情報を表示するためのＬＣＤ表示部２１と、通話の相手側の音声を出力するレシーバとしてのスピーカ２２と、が露出するように配置される。

ＬＣＤ表示部２１は、液晶パネルと、この液晶パネルを駆動する駆動回路と、この液晶パネルの背面側から光を照射するバックライト等の光源部とにより構成される。

ＬＣＤ表示部２１は、撮像時における被写体の画像を連続的に表示可能に構成される。ＬＣＤ２１は、ＣＭＯＳセンサ２０１から水平方向ごとに垂直方向に順次読み出された電荷信号に基づいて、水平方向ごとに垂直方向に順次描画処理するＬＣＤである。撮影者は、ＬＣＤ表示部２１に表示される被写体の画像を見ながら決定操作キー１５における環状キー１５ａで画像倍率等を調整し、所望の画像倍率等の撮像条件で円状キー１５ｂを押圧することで人物等の被写体を撮像する。被写体は、撮像画像における幅方向中央に位置することが多い。特に、蛍光灯等の照明下で撮像される場合、風景写真ではないため被写体が明確な場合が多く、しかも本格的なカメラではなく携帯電話機１による撮影であるためユーザ層が凝った構図を要求しないため、特にフォーカスロックが無ければ被写体を中央に揃える他ないので、この傾向は強い。

なお、本実施形態においては、連結部４により折り畳み可能な携帯電話機１の説明をしているが、このような折り畳み式ではなく、操作部側筐体２と表示部側筐体３とを重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、操作部側筐体２と表示部側筐体３との重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転（水平回転）式や、操作部側筐体２と表示部側筐体３とが一つの筐体に配置され連結部を有さない型式（ストレートタイプ）でもよい。

次に、図３により、携帯電話機１の回路構成について説明する。
図３に示すように、操作部側筐体２に配置される撮像部１００と、操作部１０１と、マイク１２と、メインアンテナ４０と、ＲＦ回路部４１と、ＬＣＤ制御部４２と、音声処理部４３と、メモリ４４と、ＣＰＵ４５と、電源部４６と、制御ＩＣ４７と、表示部側筐体３に配置されるＬＣＤ表示部２１と、スピーカ２２と、ドライバＩＣ２５とを備える。

メインアンテナ４０は、所定の使用周波数帯（例えば、８００ＭＨｚ）で外部装置と通信を行う。また、メインアンテナ４０は、所定の使用周波数帯の他に、他の使用周波数帯（例えば、２ＧＨｚ）に対応できるいわゆるデュアルバンド対応型による構成であってもよい。

ＲＦ回路部４１は、メインアンテナ４０によって受信した信号を復調処理し、処理後の信号をＣＰＵ４５に供給すると共に、ＣＰＵ４５から供給された信号を変調処理し、メインアンテナ４０を介して外部装置（基地局）に送信するよう構成される。

撮像部１００は、カメラ部２３を含んで構成される。カメラ部２３は、レンズ部２３ａと、フラッシュとしての発光部２３ｂと、後述するＣＭＯＳセンサ２０１と、有する。レンズ部２３ａを介してＣＯＳセンサ２０１に撮像された撮像画像は、ＣＰＵ４５に出力される。ＣＭＯＳセンサにより撮像された撮像画像に発生したフリッカ判定等の処理は、後述の通りである。

ＣＰＵ４５は、携帯電話機１の全体を制御する。ＣＰＵ４５は、特に、ＲＦ回路部４１、ＬＣＤ制御部４２、音声処理部４３及び撮像部１００に対して所定の制御を行う。ＣＰＵ４５は上述のように各機能部を制御すると共に、後述のように撮像部１００により撮像された撮像画像に発生したフリッカを検知し取り除くよう機能する。

ＬＣＤ制御部４２は、ＣＰＵ４５の制御にしたがって、入力された画像データに対して所定の画像処理を行うと共に、画像処理された画像データをドライバＩＣ２５に出力する。ドライバＩＣ２５は、ＬＣＤ制御部４２から入力された画像データをフレームメモリに蓄えると共に、該フレームメモリに蓄えられた画像データを所定のタイミングでＬＣＤ表示部２１に出力する。ＬＣＤ表示部２１は、ドライバＩＣ２５から入力された画像データに基づいて、所定の画像を表示する。ここで、ＬＣＤ制御部４２は、ＣＰＵ４５の制御にしたがって、撮像時においてカメラ部２３を介して連続的に取得される撮像画像のデータをドライバＩＣ２５に出力することができる。これにより、撮像時において、ＬＣＤ表示部２１には、撮像部１００を介して被写体の画像が連続的に表示される。

メモリ４４は、所定のデータが格納されている。具体的には、メモリ４４には、各種機能プログラムや通信時に利用されるアドレス情報等のほか、撮像部１００により生成された撮像画像の画像データや後述する第１閾値及び第２閾値等が記憶される。メモリ４４に記憶された撮像画像の画像データが上述のようにＬＣＤ表示部２１に出力されることで、ＬＣＤ表示部２１には既に撮像部１００により撮像され保存されていた撮像画像が表示される。

音声処理部４３は、ＣＰＵ４５の制御にしたがって、ＲＦ回路部４１から供給された信号に対して所定の音声処理を行うと共に、音声処理された信号をスピーカ２２に出力する。スピーカ２２は、音声処理部４３から供給された信号に基づいて外部に放音（出力）する。また、音声処理部４３は、ＣＰＵ４５の制御にしたがって、マイク１２から入力された信号に対して所定の処理をすると共に、処理された信号をＲＦ回路部４１に出力する。ＲＦ回路部４１は、音声処理部４３から入力された信号に所定の処理を行うと共に、処理がされた信号をメインアンテナ４０に出力する。

電源部４６は、バッテリ８０を有して構成される。バッテリ８０は、所定容量を有するリチウムイオン電池である。制御ＩＣ４７は、電源部４６から供給される電源電圧を所定の電源電圧に変換し、変換後の電源電圧を携帯電話機１における各部（例えば、ＣＰＵ４５等）に供給する。

図４及び図５により、撮像部１００により撮像された撮像画像に発生したフリッカを判定する機能について説明する。
図４は、携帯電話機１における撮像画像を処理する機能における機能ブロック図である。図５は、撮像画像の処理を説明する図である。

図４に示すように、携帯電話機１は、ＣＭＯＳセンサ２０１と、信号処理回路２０３と、ＣＰＵ４５に含まれる撮像画像分割部２０５と、第１輝度算出部２０７と、第２輝度算出部２０９と、判定対象領域決定部２１１と、第３輝度算出部２１３と、フリッカ判定部２１５と、フリッカ除去指示部２１７と、フリッカ除去部２１９と、メモリ４４に含まれる第１閾値記憶部２３１と、第２閾値記憶部２３３とを有する。

ＣＭＯＳセンサ２０１は、第１方向としての水平ライン方向と、第２方向としての垂直ライン方向とを有する平面上に配列された複数の画素を有する撮像デバイスである。複数の画素それぞれは、不図示のフォトダイオードと、増幅器と、選択スイッチとを含んで構成される。また、ＣＭＯＳセンサ２０１は、電荷信号を読み出すだめの水平転送回路と、垂直転送回路とを有する。

複数の画素は、レンズ部２３ａを介して撮像された画像に対応して電荷信号を出力する。電荷信号は、水平転送回路及び垂直転送回路により、水平ラインに配列された画素ごとに読み出されると共に、垂直ラインにおいて順次読み出される。

ＣＭＯセンサ２０１から読み出された電荷信号は、不図示のＣＤＳ（Correlated Double Sampling）部と、ゲイン部と、Ａ／Ｄ変換部により所定の処理がなされた後、信号処理回路２０３に入力される。

信号処理回路２０３は、入力された処理後信号から色信号や輝度信号を生成すると共に、画像信号としてのデジタルビデオ信号を生成する。信号処理回路２０３により生成された輝度信号は、後述する輝度算出部においても利用される。

撮像画像分割部２０５は、電荷信号に基づくデジタルビデオ信号により生成される撮像画像を複数に分割する。具体的には、図５に示すように、撮像画像分割部２０５は、撮像画像を水平ライン方向に分割することで複数の第１基準領域Ｓ（Ｓ１からＳｎ）を生成する。更に、撮像画像分割部２０５は、撮像画像を垂直ライン方向に分割することで複数の第２基準領域Ｔ（Ｔ１からＴｍ）を生成する。これにより、撮像画像は、水平ライン方向及び垂直ライン方向それぞれにおいて分割されて、第１、第２の基準領域の重ね合わせにより、結果的には複数のセル状の分割領域ＳＴ（Ｓ１Ｔ１からＳｎＴｍ）に分割される。図５に示すように、撮像画像が、第１基準領域Ｓがｎ個、第２基準領域Ｔがｍ個だけ生成されるように分割された場合、分割領域ＳＴはｎ×ｍ個だけ生成される。複数の分割領域ＳＴそれぞれは、第１基準領域Ｓと第２基準領域Ｔとの双方に位置する。

明度算出手段としての第１輝度算出部２０７は、複数の分割領域ＳＴそれぞれにおける輝度積算値ｙを算出する。

明度算出手段としての第２輝度算出部２０９は、複数の第１基準領域Ｓそれぞれに含まれる分割領域ＳＴの輝度積算値ｙを平均して、第１明度としての第１輝度値Ｙ１を算出する。

明度判定手段としての判定対象領域決定部２１１は、複数の第１基準領域Ｓそれぞれにおける第１輝度値Ｙ１に基づいて、フリッカ判定対象としての高明度基準領域を決定する。具体的には、判定対象領域決定部２１１は、複数の第１基準領域Ｓそれぞれにおいて第１輝度値Ｙ１と第１閾値記憶部２３１に記憶される第１閾値とを比較する。所定の第１基準領域Ｓにおける第１輝度値Ｙ１が第１閾値よりも高い場合、判定対象領域決定部２１１は、該所定の第１基準領域Ｓを高明度基準領域と判断する。高明度基準領域は、後述のフリッカ判定部２１５によるフリッカが発生しているか否かの判定に利用される。複数の第１基準領域Ｓにおける高明度基準領域を除く領域は、フリッカ判定部２１５によるフリッカが発生しているかの判定には利用されない。

明度算出手段としての第３輝度算出部２１３は、複数の第２基準領域Ｔそれぞれにおける高明度基準領域に位置する分割領域ＳＴの輝度積算値ｙを合算して第１判定用明度としての第１判定用輝度値Ｙ２を算出する。第１判定用輝度値Ｙ２は、フリッカが発生しているかの判定に用いられる。具体的には、第１判定用輝度値Ｙ２を補正した第２判定用輝度値Ｙ３により、フリッカが発生しているかの判定がなされる。第３輝度算出部２１３は、第２閾値記憶部２３３に記憶される第２閾値と比較するため、第１判定用輝度値Ｙ２を補正して第２判定用輝度値Ｙ３を算出する。

第３輝度算出部２１３は、第１基準領域Ｓの数ｎにおける高明度基準領域の数ｘに応じて、第１判定用輝度値Ｙ２を補正して第２判定用輝度値Ｙ３を算出する。具体的には、第３輝度算出部２１３は、第１判定用輝度値Ｙ２にｎ／ｘを乗じて第２判定用輝度値Ｙ３を算出する。

フリッカ判定手段としてのフリッカ判定部２１５は、第２判定用輝度値Ｙ３に基づいて、撮像画像にフリッカが発生しているかを判定する。具体的には、フリッカ判定部２１５は、複数の第２判定用輝度値Ｙ３により垂直ライン方向における所定の明度差を算出する。フリッカ判定部２１５は、算出された明度差の値と第２閾値記憶部２３３に記憶される第２閾値とを比較する。明度差が第２閾値よりも高いと判定された場合、フリッカ判定部２１５は、撮像画像にフリッカが発生していると判定する。

フリッカ除去指示部２１７は、フリッカ判定部２１５により撮像画像にフリッカが発生していると判定された場合、フリッカ除去部２１９に対してフリッカを除去する処理を行うよう指示する。

フリッカ除去部２１９は、フリッカ除去指示部２１７からの指示に基づいて、撮像画像に生じたフリッカを除去する。フリッカの除去は、露光時間、フレームレート、輝度ゲイン等の調整を含む公知の方法によりなされる。

続けて、図６から図９により、フリッカ判定の流れについて説明する。
図６は、中央域に被写体が位置した状態で撮像された撮像画像を示す図である。図７は、分割された撮像画像を説明する図である。図８は、フリッカ判定の流れを説明するフロー図である。図９は、他の撮像画像を示す図である。

まず、図６に示すように、被写体（人）が中央に位置するように撮像された撮像画像Ａを図７に示すように複数の領域に分割する（ＳＴ１）。具体的には、撮像画像分割部２０５は、撮像画像Ａを水平ライン方向において３の第１基準領域Ｓ１からＳ３に分割すると共に、垂直ライン方向において１２の第２基準領域Ｔ１からＴ１２に分割する。これにより、撮像画像Ａは、３６の分割領域Ｓ１Ｔ１からＳ３Ｔ１２に分割される。

次いで、第１輝度算出部２０７は、分割領域ＳＴごとに輝度値を積算して輝度積算値ｙを算出する（ＳＴ２）。第２輝度算出部２０９は、第１基準領域Ｓ１からＳ３ごとに輝度積算値ｙを合算して第１輝度値Ｙ１を算出する（ＳＴ３）。

続けて、判定対象領域決定部２１１は、第１基準領域Ｓ１からＳ３それぞれの第１輝度値Ｙ１と、第１閾値記憶部２３１に記憶された第１閾値とを比較する。そして、第１輝度値Ｙ１が第１閾値よりも高い領域を高明度領域と判定する。明度が高い領域はフリッカ影響が生じやすく、またその判定がしやすいため、このような高明度基準領域を選択して、該高明度基準領域によりフリッカの判定をする。

撮像画像Ａにおいて、フリッカの発生が判定しやすいのは、明度の高い領域である。例えば、撮像画像Ａにおける背景等の領域である。逆に、フリッカの発生が判定しにくいのは、明度が低い領域である。例えば、被写体（人）が位置する領域である。特に、蛍光灯点灯状態においては撮影環境が明るいため、被写体よりも背景の方が明るくなりがちである。

本実施形態においても、被写体（人）が位置しない第１基準領域Ｓ１、Ｓ３の２つの領域が高明度基準領域としてフリッカの判定対象となる。上述のように第１基準領域から高明度基準領域を選択してフリッカを判定することで、判定がしやすい領域でフリッカ判定ができると共に、フリッカを判定する対象領域を少なくすることができる。

続けて、第３輝度算出部２１３により、第２基準領域Ｔ１からＴ１２それぞれにおける高明度領域（Ｓ１、Ｓ３）に位置する分割領域の輝度積算値ｙを合算して第１判定用輝度値Ｙ２を算出する（ＳＴ５）。更に、第３輝度算出部２１３は、算出された第１判定用輝度値Ｙ２を補正して第２判定用輝度値Ｙ３を算出する（ＳＴ６）。具体的には、第１判定用輝度値Ｙ２に、３／２（Ｓ領域全体数／使用Ｓ領域数）を乗じて第２判定用輝度値Ｙ３を算出する。３／２は、３つの領域中、２つのみを使用することによる。

続けて、フリッカ判定部２１５は、複数の第２判定用輝度値Ｙ３により所定の明度差を算出する（ＳＴ７）。フリッカ判定部２１５は、算出された明度差の値と第２閾値記憶部２３３に記憶される第２閾値とを比較する。明度差が第２閾値よりも高いと判定された場合、フリッカ判定部２１５は、撮像画像にフリッカが発生していると判定する（ＳＴ８）。本実施形態において、フリッカ判定部２１５は、撮像画像ＡにフリッカＦが発生していると判定する。

フリッカ判定部２１５は、フリッカ発生の判定結果をフリッカ除去指示部２１７に出力する（ＳＴ９）。フリッカが発生している場合、フリッカ除去指示部２１７はフリッカ除去部２１９にフリッカを除去することを指示する。フリッカ除去部２１９は、フリッカ除去指示部２１７からの指示に基づいて、撮像画像Ａに発生するフリッカを所定の方法にて除去する。

本実施形態において、被写体（人）が水平ライン方向における中央域に位置しているため、撮像画像Ａにおける水平ライン方向中央の第１基準領域Ｓ２がフリッカ判定の対象から除外されている。ここで、図９に示すように、被写体（人）が水平ライン方向における両外側に位置した場合、撮像画像Ａ１における水平ライン方向両外側の第１基準領域Ｓ１、Ｓ３がフリッカの判定対象から除外され、第１基準領域Ｓ２が高明度基準領域としてフリッカの判定対象となる。また、Ｙ３を求める際の係数は、３／１となる。その他は、上述の撮像画像Ａの場合と同様に処理され判定される。

ここで、上述におけるフリッカの判定は、撮像画像Ａにおける１フレーム前の画像にて輝度の算出、高明度基準領域の選択やフリッカの判定等を行ってもよい。

本実施形態によれば、第１基準領域から高明度基準領域を選択してフリッカを判定することで、判定がしやすい領域でフリッカ判定ができると共に、フリッカを判定する対象領域を少なくすることができる。これにより、フリッカ発生の判定精度を損なわず、フリッカ発生の判定における処理負担が少ないカメラ付き携帯電話機を提供することができる。

また、本実施形態によれば、フリッカが目立たない領域ではフリッカ判定をしないので、フリッカを判定しやすくするために行われる処理により発生するノイズを抑制できる。例えば、露光時間を離散的に制限した場合において、レベル調整のためゲインを上げることによって撮像画面に発生するノイズを抑制できる。

また、本実施形態によれば、第１判定用輝度値Ｙ２を複数の第１基準領域に対する高明度領域の数に応じた簡易な補正をして第２判定用輝度値Ｙ３を算出するように構成される。これにより、複雑な処理や過剰なデータを保持することなく、フリッカの発生を正確に判定できる。

図６、図７、図１０及び図１１により、携帯電話機１における他の実施形態である第２実施形態の携帯電話機１Ａについて説明する。
図１０は、第２実施形態の携帯電話機１Ａにおける撮像画像を処理する機能における機能ブロック図である。図１１は、第２実施形態におけるフリッカ判定の流れを説明するフロー図である。
ここで、携帯電話機１Ａにおける外部構造及び内部構造は、図１から図５に示す携帯電話機１と同様である。つまり、被写体の撮像に用いられるＣＭＯＳセンサ２０１は、第１方向としての水平ライン方向と、第２方向としての垂直ライン方向とを有する平面上に配列された複数の画素を有する撮像デバイスである。また、ＬＣＤ２１は、ＣＭＯＳセンサ２０１から水平方向ごとに垂直方向に順次読み出された電荷信号に基づいて、水平方向ごとに垂直方向に順次描画処理して撮像画像を表示するＬＣＤである。以下に、第１実施形態における携帯電話機１と相違する点を中心に第２実施形態における携帯電話機１Ａについて説明する。

携帯電話機１Ａにおいて、フリッカの発生を判定する対象領域は、複数の第１基準領域のうち、撮像画像Ａにおける水平ライン方向中央域に位置する１又は複数の中央時基準領域を除く複数の側方基準領域である。

フリッカの発生を判定する対象の領域として側方基準領域が設定されているのは、蛍光灯等の下で被写体を撮像する場合、被写体が水平ライン方向中央に位置した状態で撮像されるのが通常であることを理由とする。更には、カメラ付き携帯電話機１Ａ等のスペックが低い撮像装置による撮像は、被写体が水平ライン方向中央に位置した状態でなされる場合が多いことを理由とする。フォーカスロックが無ければ、中心に被写体をもってくることが常識となる。つまり、フリッカが発生する撮影態様において、水平ライン方向両外側の側方基準領域を明度が高い第１基準領域であるとして、該側方基準領域をフリッカ判定の対象領域として予め設定している。

このように、フリッカ判定の対象領域が予め設定されていることから、携帯電話機１Ａは第１実施形態の携帯電話機１と以下において相違する。

図１０に示すように、携帯電話機１Ａは、撮像部１００に含まれるＣＭＯＳセンサ２０１と、信号処理回路２０３と、ＣＰＵ４５に含まれる撮像画像分割部２０５と、第１輝度算出部２０７と、第３輝度算出部２１３と、フリッカ判定部２１５と、フリッカ除去指示部２１７と、フリッカ除去部２１９と、メモリ４４に含まれる第１閾値記憶部２３１と、第２閾値記憶部２３３とを有する。携帯電話機１Ａにおいて、上述のように、フリッカの発生を判定する対象の領域が予め設定されているため、第２輝度算出部と、判定対象領域決定部とを有しない。

つまり、明度算出手段としての第１輝度算出部２０７により算出された複数の分割領域ＳＴそれぞれにおける輝度積算値ｙは、フリッカ測定の対象領域を選択するために用いられることなく、直接、明度算出手段としての第３輝度算出部２１３における第１判定用輝度値Ｙ２を算出するのに用いられる。

更に、以下に、上述した相違点を有する第２実施形態の携帯電話機１Ａにおけるフリッカ判定の流れについて説明する。
まず、図６に示すように、被写体（人）が中央に位置するように撮像された撮像画像Ａを図７に示すように複数の領域に分割する（ＳＴ１１）。具体的には、撮像画像分割部２０５は、撮像画像Ａを水平ライン方向において３の第１基準領域Ｓ１からＳ３に分割すると共に、垂直ライン方向において１２の第２基準領域Ｔ１からＴ１２に分割する。これにより、撮像画像Ａは、３６の分割領域Ｓ１Ｔ１からＳ３Ｔ１２に分割される。

次いで、第１輝度算出部２０７は、分割領域ＳＴごとに輝度値を積算して輝度積算値ｙを算出する（ＳＴ１２）。ここで、本実施形態において、被写体（人）が位置しない側方基準領域としての第１基準領域Ｓ１、Ｓ３の２つの領域は、予めフリッカの判定対象となることが設定されている。

続けて、第３輝度算出部２１３により、第２基準領域Ｔ１からＴ１２それぞれにおける側方基準領域としての第１基準領域Ｓ１、Ｓ３に位置する分割領域の輝度積算値ｙを合算して第１判定用輝度値Ｙ２を算出する（ＳＴ１３）。更に、第３輝度算出部２１３は、算出された第１判定用輝度値Ｙ２を補正して第２判定用輝度値Ｙ３を算出する（ＳＴ１４）。具体的には、第１判定用輝度値Ｙ２に、３／２を乗じて第２判定用輝度値Ｙ３を算出する。

続けて、フリッカ判定部２１５は、複数の第２判定用輝度値Ｙ３により所定の明度差を算出する（ＳＴ１５）。フリッカ判定部２１５は、算出された明度差の値と第２閾値記憶部２３３に記憶される第２閾値とを比較する。明度差が第２閾値よりも高いと判定された場合、フリッカ判定部２１５は、撮像画像にフリッカが発生していると判定する（ＳＴ１６）。本実施形態において、フリッカ判定部２１５は、撮像画像ＡにフリッカＦが発生していると判定する。

フリッカ判定部２１５は、フリッカ発生の判定結果をフリッカ除去指示部２１７に出力する（ＳＴ１７）。フリッカが発生している場合、フリッカ除去指示部２１７はフリッカ除去部２１９にフリッカを除去することを指示する。フリッカ除去部２１９は、フリッカ除去指示部２１７からの指示に基づいて、撮像画像に発生するフリッカを所定の方法にて除去する。

ここで、上述におけるフリッカの判定は、撮像画像Ａにおける１フレーム前の画像にて輝度の算出、高明度基準領域の選択やフリッカの判定等を行ってもよい点は第１実施形態と同様である。

本実施形地によれば、第１実施形態で得られる効果のほか、予めフリッカ判定の対象領域が設定されていることから第１実施形態における第２輝度算出部及び判定対象決定部による処理が不要である。これにより、フリッカの発生を判定する処理における負担を更に軽減することができる。

以上、好適な実施形態について説明したが、本発明は上述した実施形態に限定されることなく種々の形態で実施することができる。例えば、第１実施形態及び第２実施形態において、撮像装置として携帯電話機について説明しているが、これに限定されず、例えば、デジタルカメラ、ビデオカメラ等であってもよい。

また、第１実施形態及び第２実施形態において、第１判定用輝度値Ｙ２を第２判定用輝度値Ｙ３に補正しているが、これに限定されず、第２閾値を補正してもよい。

また、第１実施形態及び第２実施形態において、フリッカ判定の対象領域における第２基準領域全てについて第１判定用輝度値Ｙ２を算出してフリッカ判定をしているが、これに限定されず、例えば、垂直ライン方向における上方側の第２基準領域の輝度値によりフリッカ判定をしてもよい。撮影画像において、垂直ライン方向における上方側の領域は、背景等であることが多いからである。

また、第１実施形態及び第２実施形態において、フリッカの判定等は、メイン制御部であるＣＰＵによりなされるが、これに限定されず、別途配置されたＤＳＰ（digital signal processor）によりなされてもよい。

携帯電話機１を開いた状態における正面斜視図である。携帯電話機１を開いた状態における裏面図である。携帯電話機１の回路ブロック図である。携帯電話機１における撮像画像を処理する機能における機能ブロック図である。撮像画像の処理を説明する図である。中央域に被写体が位置した状態で撮像された撮像画像を示す図である。分割された撮像画像を説明する図である。フリッカ判定の流れを説明するフロー図である。他の撮像画像を示す図である。第２実施形態の携帯電話機１Ａにおける撮像画像を処理する機能における機能ブロック図である。第２実施形態におけるフリッカ判定の流れを説明するフロー図である。

符号の説明

１携帯電話機
２操作部側筐体
３表示部側筐体
２１ＬＣＤ表示部
２３カメラ部
４５ＣＰＵ
１００撮像部
２０１ＣＭＯＳセンサ
２０５撮像画像分割部
２０７第１輝度算出部
２０９第２輝度算出部
２１１判定対象領域決定部
２１３第３輝度算出部
２１５フリッカ判定部

Claims

第１方向と前記第１方向に直交する第２方向とを有する平面上に配列された複数の画素を有すると共に、前記複数の画素からの電荷信号を前記第１方向ごとに前記第２方向に順次読み出すＣＭＯＳセンサと、
前記ＣＭＯＳセンサにより得られる電荷信号に基づいて生成される撮像画像を前記第１方向において複数の第１基準領域に分割する分割手段と、
前記分割手段により分割された前記複数の第１基準領域それぞれにおける明度を算出する明度算出手段と、
前記明度算出手段により算出された前記複数の第１基準領域それぞれにおける第１明度が所定の明度よりも高いかを判定する明度判定手段と、
前記明度判定手段により前記所定の明度よりも前記第１明度が高いと判定された高明度基準領域によりフリッカの発生を判定するフリッカ判定手段と、
を備える撮像装置。
前記分割手段は、前記撮像画像を前記第２方向において複数の第２基準領域に分割すると共に、所定の第１基準領域及び所定の第２基準領域の双方に位置する複数の分割領域に分割し、
前記明度算出手段は、前記複数の分割領域それぞれにおける明度を算出すると共に、前記複数の第２基準領域それぞれにおける前記高明度基準領域に位置する分割領域の明度を合算して第１判定用明度をそれぞれ算出し、
前記フリッカ判定手段は、前記明度算出手段により算出された前記複数の第１判定用明度における明度差に基づいてフリッカの発生を判定する
請求項１に記載の撮像装置。
前記明度算出手段は、前記第１基準領域の数がｎであり、前記高明度基準領域の数がｘである場合、前記第１判定用明度にｎ／ｘを乗じて前記複数の第２基準領域それぞれにおける第２判定用明度を算出し、
前記フリッカ判定手段は、前記複数の第２判定用明度における明度差が所定の閾値よりも大きい場合にはフリッカが発生していると判定する
請求項２に記載の撮像装置。
第１方向と前記第１方向に直交する第２方向とを有する平面上に配列された複数の画素を有すると共に、前記複数の画素からの電荷信号を前記第１方向ごとに前記第２方向に順次読み出すＣＭＯＳセンサと、
前記ＣＭＯＳセンサにより得られる電荷信号に基づいて生成される撮像画像を前記第１方向において複数の第１基準領域に分割する分割手段と、
前記分割手段により分割された前記複数の第１基準領域のうち、前記第１方向における中央域に位置する１又は複数の中央基準領域を除いた複数の側方基準領域によりフリッカの発生を判定するフリッカ判定手段と、
前記撮像画像における所定領域の明度を算出する明度算出手段と、を更に備え、
前記分割手段は、前記撮像画像を前記第２方向において複数の第２基準領域に分割すると共に、所定の第１基準領域及び所定の第２基準領域の双方に位置する複数の分割領域に分割し、
前記明度算出手段は、前記複数の分割領域それぞれにおける明度を算出すると共に、前記複数の第２基準領域それぞれにおける前記側方基準領域に位置する分割領域の明度を合算して第１判定用明度をそれぞれ算出し、
前記フリッカ判定手段は、前記明度算出手段により算出された複数の第１判定用明度に
おける明度差に基づいてフリッカの発生を判定する
撮像装置。
前記明度算出手段は、前記第１基準領域の数がｎであり、前記側方基準領域の数がｘである場合、前記第１判定用明度にｎ／ｘを乗じて前記複数の第２基準領域それぞれにおける第２判定用明度を算出し、
前記フリッカ判定手段は、前記複数の第２判定用明度における明度差が所定の閾値よりも大きい場合にはフリッカが発生していると判定する
請求項４に記載の撮像装置。
前記フリッカ判定手段により前記撮像画像にフリッカが発生していると判定された場合、前記撮像画像に発生した前記フリッカを除去するフリッカ除去手段を更に備える
請求項１から５のいずれかに記載の撮像装置。