JP4130338B2

JP4130338B2 - Image processing system, image processing method, imaging apparatus, and image processing apparatus

Info

Publication number: JP4130338B2
Application number: JP2002225057A
Authority: JP
Inventors: 浩一坂本; 和彦竹村; 浩司福田; 淳彦石原
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-08-01
Filing date: 2002-08-01
Publication date: 2008-08-06
Anticipated expiration: 2022-08-01
Also published as: JP2004070421A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理システム、画像処理方法、撮像装置、及び画像処理装置に関する。特に本発明は、被写体の画像を撮像する撮像装置と、当該画像に対して画像処理を行う画像処理装置とを備える画像処理システムに関する。
【０００２】
【従来の技術】
従来、手ぶれ検出手段を備えるデジタルカメラが知られている。例えば、特開２０００−８０６１号公報に開示されたデジタルカメラは、手ぶれ検出手段が出力する手ぶれ情報に基づいて、適切にプリントを行えるかどうかを判断し、適切にプリントを行えないと判断された場合に警告を行う。
【０００３】
【発明が解決しようとする課題】
従来の手ぶれ検出手段は、加速センサ等の手ぶれ検出用センサ、または、撮像部からの画像出力情報の監視により手ぶれ量を検出していた。しかし、センサを用いる方法では、センサによる検知量と画像のぶれの量との相関を十分に対応付けることができない場合があり、高い精度での手ぶれ検出ができない場合があった。また、従来の、画像出力情報の監視による方法では、例えば、画像の不鮮明さが手ぶれによるものなのか判断できない場合があり、高い精度での手ぶれ検出は困難であった。
【０００４】
そこで本発明は、上記の課題を解決することのできる画像処理システム、画像処理方法、撮像装置、及び画像処理装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、被写体の画像を撮像する撮像装置と、当該画像に対して画像処理を行う画像処理装置とを備える画像処理システムであって、撮像装置は、被写体の撮像を指示する第１指示信号及び第２指示信号を生成する撮像指示部と、第１指示信号及び第２指示信号のそれぞれに応じて、被写体の画像である、予備画像及び撮像画像をそれぞれ取得する撮像部とを有し、画像処理装置は、予備画像及び撮像画像に基づいて、撮像画像の取得時における手ぶれを検出する検出部を有する。画像処理装置は、検出部が手ぶれを検出した場合に撮像画像を補正する補正部を更に有してよい。
【０００６】
補正部は、撮像画像に対するシャープネス補正を行ってよい。補正部は、シャープネス補正として、撮像画像のシャープネスを上げる補正を行ってよい。補正部は、撮像画像を複数の領域に分割し、複数の領域のうち、一の領域に対するシャープネス補正を行ってよい。補正部は、当該一の領域に対し、第１補正量でシャープネス補正を行い、複数の領域のうち、他の領域に対し、第１補正量と異なる第２補正量でシャープネス補正を行ってよい。
【０００７】
画像処理装置は、予備画像及び撮像画像に基づいて手ぶれの方向を検出する方向検出部を更に有し、補正部は、手ぶれの方向に基づいて撮像画像に対するシャープネス補正を行ってよい。また、画像処理装置は、予備画像及び撮像画像に基づいて手ぶれの方向を検出する方向検出部を更に有し、補正部は、手ぶれの方向と略直交する方向のエッジを強調する補正を行ってもよい。
【０００８】
検出部は、予備画像の空間周波数成分のピーク成分、及び撮像画像の空間周波数成分のピーク成分に基づいて、手ぶれを検出してよい。検出部は、予備画像における予め定められた領域の空間周波数成分のピーク成分、及び撮像画像における予め定められた領域に対応する領域の空間周波数成分のピーク成分に基づいて、手ぶれを検出してもよい。検出部は、予備画像における被写体の輪郭、及び撮像画像における被写体の輪郭に基づいて、手ぶれを検出してもよい。画像処理装置は、検出部が手ぶれを検出した場合に、ユーザに対する警告を行う警告部を更に有してよい。
【０００９】
本発明の第２の形態によると、被写体の画像を撮像する撮像段階と、当該画像に対して画像処理を行う画像処理段階とを備える画像処理方法であって、撮像段階は、被写体の撮像を指示する第１指示信号を生成する第１撮像指示段階と、第１指示信号に応じて、被写体の画像である予備画像を取得する第１取得段階と、被写体の撮像を指示する第２指示信号を生成する第２撮像指示段階と、第２指示信号に応じて、被写体の画像である撮像画像を取得する第２取得段階とを有し、画像処理段階は、予備画像及び撮像画像に基づいて、撮像画像の取得時における手ぶれを検出する検出段階を有する。
【００１０】
本発明の第３の形態によると、被写体の画像を撮像する撮像装置であって、被写体の撮像を指示する第１指示信号及び第２指示信号を生成する撮像指示部と、第１指示信号及び第２指示信号のそれぞれに応じて、被写体の画像である、予備画像及び撮像画像をそれぞれ取得する撮像部と、予備画像及び撮像画像に基づいて、撮像画像の取得時における手ぶれを検出する検出部とを備える。
【００１１】
本発明の第４の形態によると、撮像装置によって撮像された撮像画像に対して画像処理を行う画像処理装置であって、撮像装置によって撮像された、撮像画像、及び撮像画像に対応する予備画像に基づいて、撮像画像の取得時における手ぶれを検出する検出部を備える。
【００１２】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００１３】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームに係る発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１４】
図１は、本発明の一実施形態に係る画像処理システム１８の構成の一例を示す。画像処理システム１８は、デジタルカメラ１０、プリンタ１２、及びパーソナルコンピュータ１４を備える。デジタルカメラ１０、プリンタ１２、及びパーソナルコンピュータ１４は、互いにデータ伝送路を介してデータの送受信を行う。データ伝送路は、例えば、ＩＥＥＥ１３９４、ＵＳＢ等の有線通信媒体や、ＩｒＤＡ、ブルートゥース、無線ＬＡＮ等の無線通信媒体である。データ伝送路は、有線通信媒体及び無線通信媒体を複数用いたネットワーク網、例えばインターネット網であってもよい。また、デジタルカメラ１０、プリンタ１２、及びパーソナルコンピュータ１４間のデータの受け渡しは、リムーバブルメディア等の記録媒体を用いてもよい。
【００１５】
デジタルカメラ１０は、被写体の画像を撮像し、撮像した画像データをプリンタ１２又はパーソナルコンピュータ１４に送信する。本実施形態において、デジタルカメラ１０は、撮像した画像データである撮像画像、及び撮像画像に対応する予備画像をプリンタ１２又はパーソナルコンピュータ１４に送信する。プリンタ１２又はパーソナルコンピュータ１４は、受信した画像データに所定の画像処理を施して出力する。本実施形態において、プリンタ１２又はパーソナルコンピュータ１４は、撮像画像及び予備画像に基づいて、撮像画像の取得時における手ぶれを検出する。プリンタ１２又はパーソナルコンピュータ１４は、当該手ぶれを検出した場合、撮像画像を補正する。プリンタ１２又はパーソナルコンピュータ１４は、当該補正された撮像画像を出力する。即ち、プリンタ１２は、当該補正された撮像画像を印刷して出力し、パーソナルコンピュータ１４は、当該補正された撮像画像をモニタに出力する。また、パーソナルコンピュータ１４は、デジタルカメラ１０又はプリンタ１２に設定情報を送信し、デジタルカメラ１０又はプリンタ１２の設定情報を変更する。
【００１６】
なお、デジタルカメラ１０は、撮像装置の一例であり、プリンタ１２及びパーソナルコンピュータ１４は、画像処理装置の一例である。また、撮像装置は、静止画を撮影するデジタルスチルカメラであってもよく、動画を撮影するデジタルビデオカメラであってもよい。また、画像処理装置は、デジタルカメラで撮影した画像の画質等を自動調整して印刷するラボ用印刷装置であってもよい。
【００１７】
図２は、本実施形態に係るデジタルカメラ１０及びプリンタ１２の構成の一例を示す。デジタルカメラ１０は、被写体の画像を撮像する撮像装置の一例である。デジタルカメラ１０は、撮像指示部３０２及び撮像部２０を有する。撮像指示部３０２は、被写体の撮像を指示する第１指示信号及び第２指示信号を生成する。撮像部２０は、第１指示信号及び第２指示信号のそれぞれに応じて、被写体の画像である、予備画像及び撮像画像をそれぞれ取得する。撮像部２０は、予備画像及び撮像画像を、それぞれ異なるシャッタスピードで取得してよい。また、撮像部２０は、予備画像及び撮像画像を、それぞれ異なる絞りで取得してよい。本実施形態において、撮像部２０は、予め定められたシャッタスピード及び絞りで予備画像を取得する。また、撮像部２０は、ＡＥ（自動露光）に基づくシャッタスピード及び絞りで撮像画像を取得する。別の実施例において、撮像部２０は、第１指示信号に応じて撮像画像を取得し、第２指示信号に応じて予備画像を取得してよい。デジタルカメラ１０は、予備画像及び撮像画像を互いに関連づけて格納する格納部を更に備えてもよい。デジタルカメラ１０は、予備画像及び撮像画像をプリンタ１２に供給する。
【００１８】
プリンタ１２は、撮像画像に対して画像処理を行う画像処理装置の一例である。プリンタ１２は、検出部３０４、補正部３０６、方向検出部３０８、出力部３１０、及び警告部３１２を有する。
【００１９】
検出部３０４は、予備画像及び撮像画像に基づいて、撮像画像の取得時における手ぶれを検出する。補正部３０６は、検出部３０４が手ぶれを検出した場合に撮像画像を補正する。方向検出部３０８は、予備画像及び撮像画像に基づいて手ぶれの方向を検出する。
【００２０】
出力部３１０は、補正部３０６により補正された撮像画像を出力する。本実施形態において、出力部３１０は、当該補正された撮像画像を印刷出力する。別の実施例において、出力部３１０は、当該補正された撮像画像をモニターに出力してもよい。警告部３１２は、検出部３０４が手ぶれを検出した場合に、ユーザに対する警告を行う。警告部３１２は、当該手ぶれが検出された撮像画像を補正部３０６に補正させるか否かについてのユーザの指示を受け取ってよい。警告部３１２は、当該ユーザの指示に基づいて補正部３０６に撮像画像を補正させてよい。警告部３１２は、当該手ぶれが検出された撮像画像を出力部３１０に印刷させるか否かについてのユーザの指示を受け取ってもよい。
【００２１】
以下、検出部３０４、方向検出部３０８、及び補正部３０６について更に詳しく説明する。本実施形態において、検出部３０４は、予備画像の空間周波数成分のピーク成分、及び撮像画像の空間周波数成分のピーク成分に基づいて、手ぶれを検出する。例えば、検出部３０４は、予備画像においてピーク成分となる空間周波数と、予備画像においてピーク成分となる空間周波数とが予め定められた閾値以上異なる場合に、撮像画像取得時に手ぶれが発生したと判断してよい。
【００２２】
検出部３０４は、予備画像における予め定められた空間周波数成分の強度（パワー）、及び撮像画像における当該予め定められた空間周波数成分の強度に基づいて、手ぶれを検出してもよい。また、検出部３０４は、予備画像における予め定められた領域の空間周波数成分のピーク成分、及び撮像画像における当該予め定められた領域に対応する領域の空間周波数成分のピーク成分に基づいて、手ぶれを検出してもよい。検出部３０４は、予備画像における予め定められた複数の領域、及び撮像画像における当該複数の領域に対応する複数の領域をそれぞれ抽出し、それぞれの領域の空間周波数成分のピーク成分に基づいて、手ぶれを検出してもよい。
【００２３】
別の実施例において、検出部３０４は、予備画像における被写体の輪郭、及び撮像画像における被写体の輪郭に基づいて、手ぶれを検出してもよい。検出部３０４は、予備画像における被写体の位置、及び撮像画像における当該被写体の位置に基づいて、手ぶれを検出してもよい。
【００２４】
方向検出部３０８は、予備画像及び撮像画像に基づいて手ぶれの方向を検出する。方向検出部３０８は、例えば、予備画像及び撮像画像において縦エッジ強度及び横エッジ強度をそれぞれ算出し、当該算出の結果に基づいて手ぶれの方向を検出してよい。
【００２５】
補正部３０６は、検出部３０４が手ぶれを検出した場合に撮像画像を補正する。本実施形態において、補正部３０６は、撮像画像に対するシャープネス補正を行う。補正部３０６は、当該シャープネス補正として、撮像画像のシャープネスを上げる補正を行う。補正部３０６は、撮像画像を複数の領域に分割し、当該複数の領域のうち、一の領域に対するシャープネス補正を行ってよい。また、補正部３０６は、当該一の領域に対し、第１補正量でシャープネス補正を行い、複数の領域のうち、他の領域に対し、当該第１補正量と異なる第２補正量でシャープネス補正を行ってもよい。補正部３０６は、方向検出部３０８が検出する手ぶれの方向に基づいて撮像画像に対するシャープネス補正を行うのが好ましい。
【００２６】
補正部３０６は、シャープネス補正として、例えば、処理対象の画像から当該画像の２次微分画像（ラプラシアン画像）を引くアンシャープマスキング補正を行ってよい。この場合、撮像画像におけるエッジ部分の濃度変化を強調し、撮像画像を鮮鋭化することができる。補正部３０６は、シャープネス補正として、画像のエッジ部分に対するラプラシアン画像のみを抽出する選択的画像鮮鋭化補正を行ってもよい。この場合、ノイズの影響を抑えて撮像画像のエッジ部分を選択的に鮮鋭化することができる。
【００２７】
補正部３０６は、撮像画像に対するエッジ強調補正を行ってもよい。この場合、補正部３０６は、方向検出部３０８が検出する手ぶれの方向と略直交する方向のエッジを強調する補正を行うのが好ましい。
【００２８】
本実施形態によれば、予備画像及び撮像画像に基づいて手ぶれを検出することにより、高い精度で手ぶれを検出することができる。また、本実施形態によれば、手ぶれが検出された撮像画像を補正することにより、適切な印刷出力を得ることができる。
【００２９】
別の実施例においては、デジタルカメラ１０が、検出部３０４を有してもよい。デジタルカメラ１０は、補正部３０６、方向検出部３０８、及び警告部３１２を更に有してもよい。この場合、デジタルカメラ１０は、補正部３０６が補正した撮像画像をプリンタ１２に供給するのが好ましい。検出部３０４は、撮像部２０が撮像画像を取得する度に、当該撮像画像における手ぶれを検出するのが好ましい。
【００３０】
図３は、本実施形態に係る画像処理システム１８による画像処理方法の一例を示すフローチャートである。当該画像処理方法は、被写体の画像を撮像する撮像段階と、当該画像に対して画像処理を行う画像処理段階を備える。撮像段階は、第１撮像指示段階Ｓ１０２、第１取得段階Ｓ１０４、第２撮像指示段階Ｓ１０６、及び第２取得段階Ｓ１０８とを有する。画像処理段階は、検出段階Ｓ１１０、補正段階Ｓ１１２、及び出力段階Ｓ１１４を有する。
【００３１】
本実施形態において、画像処理システム１８は、まず、第１撮像指示段階Ｓ１０２で、被写体の撮像を指示する第１指示信号を生成する。第１撮像指示段階Ｓ１０２は、図２に関連して説明した撮像指示部３０２を用いて行ってよい。
【００３２】
次に、第１取得段階Ｓ１０４で、第１指示信号に応じて、被写体の画像である予備画像を取得する。第１取得段階Ｓ１０４は、図２に関連して説明した撮像部２０を用いて行ってよい。次に、第２撮像指示段階Ｓ１０６で、被写体の撮像を指示する第２指示信号を生成する。第２撮像指示段階Ｓ１０６は、撮像指示部３０２を用いて行ってよい。次に、第２取得段階Ｓ１０８で、第２指示信号に応じて、被写体の画像である撮像画像を取得する。第２取得段階Ｓ１０８は、撮像部２０を用いて行ってよい。
【００３３】
次に、検出段階Ｓ１１０で、予備画像及び撮像画像に基づいて、撮像画像の取得時における手ぶれを検出する。検出段階Ｓ１１０は、図２に関連して説明した検出部３０４を用いて行ってよい。検出段階Ｓ１１０において手ぶれが検出された場合、補正段階Ｓ１１２で、撮像画像を補正する。補正段階Ｓ１１２は、図２に関連して説明した補正部３０６を用いて行ってよい。次に、出力段階Ｓ１１４で、当該補正された撮像画像を印刷出力し、画像処理システム１８は動作を終了する。出力段階Ｓ１１４は、図２に関連して説明した出力部３１０を用いて行ってよい。一方、検出段階Ｓ１１０で、手ぶれが検出されない場合、出力段階Ｓ１１４で撮像画像を出力し、画像処理システム１８は動作を終了してよい。
【００３４】
図４は、本実施形態に係るデジタルカメラ１０の詳細な構成の一例を示す。デジタルカメラ１０は、撮像部２０、撮像制御部４０、システム制御部６０、表示部１００、操作部１１０、記憶部１２０、外部接続部１３０、及び画像処理部１４０を備える。撮像部２０は、図２に関連して説明した撮像部２０と同一又は同様の機能を有する。操作部１１０は、図２に関連して説明した撮像指示部３０２と同一又は同様の機能を有する。画像処理部１４０は、図２に関連して説明した検出部３０４、補正部３０６、又は方向検出部３０８と同一又は同様の機能を有してもよい。デジタルカメラ１０は、図２に関連して説明した出力部３１０又は警告部３１２を更に備えてもよい。
【００３５】
撮像部２０は、撮影レンズ部２２、絞り２４、シャッタ２６、光学ＬＰＦ２８、ＣＣＤ３０、撮像信号処理部３２、ファインダ３４、及びストロボ３６を有する。
【００３６】
撮影レンズ部２２は、被写体像を取り込んで処理を施す。撮影レンズ部２２は、フォーカスレンズやズームレンズ等を含み、被写体像をＣＣＤ３０の受光面上に結像する。絞り２４は、撮影レンズ部２２を通過した光を絞り、光学ＬＰＦ２８は、絞り２４を通過した光に含まれる所定の波長より長い波長成分を通過させる。ＣＣＤ３０の各センサエレメントは、結像した被写体像の光量に応じ、電荷を蓄積する（以下その電荷を「蓄積電荷」という）。
【００３７】
シャッタ２６は、機械式シャッタであり、撮影レンズ部２２を通過した光をＣＣＤ３０に露光するか否かを制御する。また、デジタルカメラ１０は、シャッタ２６に代えて電子シャッタ機能を有してもよい。電子シャッタ機能を実現するために、ＣＣＤ３０のセンサエレメントは、シャッタゲート及びシャッタドレインを有する。シャッタゲートを駆動することにより、蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積する時間、即ちシャッタスピードを制御できる。ＣＣＤ３０において、蓄積電荷は、リードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００３８】
撮像信号処理部３２は、ＣＣＤ３０から出力される被写体像を示す電圧信号、即ちアナログ信号をＲ、Ｇ、Ｂ成分に色分解する。そして、撮像信号処理部３２は、Ｒ、Ｇ、Ｂ成分を調整することにより、被写体像のホワイトバランスを調整する。撮像信号処理部３２は、被写体像のガンマ補正を行う。そして、撮像信号処理部３２は、Ｒ、Ｇ、Ｂ成分に分解されたアナログ信号をＡ／Ｄ変換し、その結果得られた被写体像のデジタルの画像データ（以下「デジタル画像データ」という）をシステム制御部６０へ出力する。
【００３９】
ファインダ３４は、表示手段を有してもよく、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示してもよい。ストロボ３６は、コンデンサに蓄えられたエネルギを放電する放電管３７を有し、放電管３７にエネルギが供給されたとき放電管３７が発光することで機能する。本実施形態において、撮像部２０は、操作部１１０から受け取る第１指示信号及び第２指示信号のそれぞれに応じて、被写体の画像である、予備画像及び撮像画像をそれぞれ取得する。
【００４０】
撮像制御部４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、及び測光センサ５４を有する。ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、及びシャッタ駆動部４８は、それぞれステッピングモータ等の駆動手段を有し、撮像部２０に含まれる機構部材を駆動する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。そして、測距センサ５２及び測光センサ５４は、測定された被写体までの距離のデータ（以下単に「測距データ」という）及び被写体輝度のデータ（以下単に「測光データ」という）を、それぞれ撮像系ＣＰＵ５０に供給する。
【００４１】
撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２及びフォーカス駆動部４４を制御して撮影レンズ部２２のズーム倍率とピントの調整を行う。また、撮像系ＣＰＵ５０は、測距センサ５２から受け取った測距データに基づいて、ズーム駆動部４２及びフォーカス駆動部４４を制御してズーム倍率及びピントの調整を行ってもよい。
【００４２】
撮像系ＣＰＵ５０は、測光センサ５４から受け取った測光データに基づいて、絞り値及びシャッタスピードを決定する。決定された値に従い、絞り駆動部４６及びシャッタ駆動部４８は、絞り２４の絞り量及びシャッタ２６の開閉をそれぞれ制御する。
【００４３】
また、撮像系ＣＰＵ５０は、測光センサ５４から受け取った測光データに基づいて、ストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０は電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷を撮像信号処理部３２へ出力する。
【００４４】
システム制御部６０は、メインＣＰＵ６２、キャラクタ生成部８４、タイマ８６、及びクロック発生器８８を有する。メインＣＰＵ６２は、デジタルカメラ１０全体、特にシステム制御部６０を制御する。メインＣＰＵ６２は、シリアル通信等により、撮像系ＣＰＵ５０との間で必要な情報の受け渡しをする。
【００４５】
クロック発生器８８は、メインＣＰＵ６２の動作クロックを発生し、メインＣＰＵ６２に供給する。また、クロック発生器８８は、撮像系ＣＰＵ５０及び表示部１００の動作クロックを発生する。クロック発生器８８は、メインＣＰＵ６２、撮像系ＣＰＵ５０、及び表示部１００に対してそれぞれ異なる周波数の動作クロックを供給してもよい。
【００４６】
キャラクタ生成部８４は、撮影日時、タイトル等の撮影画像に合成する文字情報や、図形情報を生成する。タイマ８６は、例えば電池等でバックアップされ、常に時間をカウントし、当該カウント値に基づいて撮影画像の撮影日時に関する情報等の時刻情報をメインＣＰＵ６２に供給する。タイマ８６は、蓄電池から供給された電力により、デジタルカメラ本体の電源がオフである場合にも時間をカウントするのが望ましい。また、キャラクタ生成部８４及びタイマ８６は、メインＣＰＵ６２に併設されることが好ましい。
【００４７】
記憶部１２０は、メモリ制御部６４、不揮発性メモリ６６、及びメインメモリ６８を有する。メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８とを制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去及びプログラム可能なＲＯＭ）やＦＬＡＳＨメモリ等で構成され、ユーザによる設定情報や出荷時の調整値等、デジタルカメラ１０の電源がオフの間も保持すべきデータを格納する。不揮発性メモリ６６は、メインＣＰＵ６２のブートプログラムやシステムプログラム等を格納してもよい。
【００４８】
メインメモリ６８は、ＤＲＡＭのように比較的安価で容量の大きなメモリで構成されることが好ましい。メインメモリ６８は、撮像部２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能を有する。不揮発性メモリ６６及びメインメモリ６８は、システム制御部６０内外の各部とバス８２を介してデータのやりとりを行う。不揮発性メモリ６６は、デジタル画像データを更に格納してもよい。
【００４９】
画像処理部１４０は、ＹＣ処理部７０、エンコーダ７２、及び圧縮伸張処理部７８を有する。また、外部接続部１３０は、オプション装置制御部７４、及び通信Ｉ／Ｆ部８０を有する。
【００５０】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙ、並びに色差（クロマ）信号Ｂ−Ｙ及びＲ−Ｙを生成する。メインメモリ６８は、メモリ制御部６４の制御に基づいて、輝度信号及び色差信号を格納する。
【００５１】
圧縮伸張処理部７８は、メインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。そして、オプション装置制御部７４は、圧縮されたデジタル画像データ（以下単に「圧縮データ」という）をオプション装置７６の一例であるメモリカードへ書き込む。当該メモリカードは、予備画像及び撮像画像を互いに関連付けて記憶してよい。
【００５２】
エンコーダ７２は、輝度信号と色差信号を、ビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換して端子９０から出力する。オプション装置７６に記録された圧縮データからビデオ信号を生成する場合、圧縮データは、まずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。続いて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００５３】
オプション装置制御部７４は、オプション装置７６が許容する信号仕様及びバス８２のバス仕様に従い、バス８２とオプション装置７６との間で必要な信号の生成、論理変換、及び／又は電圧変換等を行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードの他に、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩ等で構成してもよい。
【００５４】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット（登録商標）等の仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、圧縮データ又はデジタル画像データを、端子９２を介してネットワークを含む外部機器に出力してよい。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、外部機器と端子９２を介して通信する。通信Ｉ／Ｆ部８０は、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のインターフェースによるデータ授受を行う構成としてもよい。
【００５５】
表示部１００は、ＬＣＤモニタ１０２、ＬＣＤパネル１０４、モニタドライバ１０６、及びパネルドライバ１０８を有する。モニタドライバ１０６は、ＬＣＤモニタ１０２を制御する。また、パネルドライバ１０８は、ＬＣＤパネル１０４を制御する。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像等を表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣ等）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量／残量等の情報を表示する。
【００５６】
操作部１１０は、パワースイッチ１１２、レリーズスイッチ１１４、機能設定部１１６、及びズームスイッチ１１８を有する。パワースイッチ１１２は、ユーザの指示に基づいてデジタルカメラ１０の電源をオン／オフする。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造を有する。一例として、レリーズスイッチ１１４が半押しされることにより、撮像制御部４０は、自動焦点調整及び自動露出調整を行い、全押しされることにより、撮像部２０は、被写体像を取り込む。レリーズスイッチ１１４は、図２に関連して説明した撮像指示部３０２と同一又は同様の機能を有してよい。レリーズスイッチ１１４は、半押しされることにより、第１指示信号を生成し、全押しされることにより第２指示信号を生成してよい。
【００５７】
機能設定部１１６は、例えば回転式のモードダイヤルや十字キー等であって、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等の設定を受け付ける。ズームスイッチ１１８は、撮像部２０が取得する被写体像のズーム倍率の設定を受け付ける。
【００５８】
以上の構成による主な動作は以下のとおりである。まずパワースイッチ１１２が押下され、デジタルカメラ１０の各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００５９】
デジタルカメラ１０が撮影モードの場合、メインＣＰＵ６２は、レリーズスイッチ１１４の半押し状態を監視する。レリーズスイッチ１１４の半押し状態が検出されたとき、撮像系ＣＰＵ５０は、測光センサ５４及び測距センサ５２からそれぞれ測光データと測距データを得る。撮像制御部４０は、撮像系ＣＰＵ５０が得た測光データ及び測距データに基づいて、撮像部２０のピント、絞り等を調整する。調整が完了すると、ＬＣＤモニタは、「スタンバイ」等の文字を表示してユーザにその旨を伝える。本実施形態において、レリーズスイッチ１１４の半押し状態が検出されたとき、レリーズスイッチ１１４は、第１指示信号を生成し、撮像部２０は予備画像を取得する。予備画像は一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理され、オプション装置制御部７４を経由してオプション装置７６へ記録される。
【００６０】
続いて、メインＣＰＵ６２は、レリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４の全押し状態が検出されたとき、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはバス８２へ出力される。本実施形態において、レリーズスイッチ１１４の全押し状態が検出されたとき、レリーズスイッチ１１４は、第２指示信号を生成し、撮像部２０は当該デジタル画像データである撮像画像を取得する。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理され、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録されたデジタル画像データに基づく撮影画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザは撮影画像を確認することができる。以上で一連の撮影動作が完了する。
【００６１】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メインメモリ６８、不揮発性メモリ６６、及び／又はオプション装置７６から撮影した撮影画像を読み出し、これを表示部１００のＬＣＤモニタ１０２へ表示する。
【００６２】
この状態でユーザが機能設定部１１６にて「順送り」、「逆送り」を指示すると、メインＣＰＵ６２は、メインメモリ６８、不揮発性メモリ６６、及び／又はオプション装置７６が格納した他の撮影画像を読み出し、これを表示部１００のＬＣＤモニタ１０２へ表示する。
【００６３】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６４】
【発明の効果】
上記説明から明らかなように、本発明によれば撮像した画像における手ぶれを、高い精度で検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理システム１８の構成の一例を示す図である。
【図２】本実施形態に係るデジタルカメラ１０及びプリンタ１２の構成の一例を示す図である。
【図３】本実施形態に係る画像処理システム１８の動作の一例を示すフローチャートである。
【図４】本実施形態に係るデジタルカメラ１０の詳細な構成の一例を示す図である。
【符号の説明】
１０デジタルカメラ
１２プリンタ
１４パーソナルコンピュータ
１８画像処理システム
２０撮像部
２２撮影レンズ部
２４絞り
２６シャッタ
２８光学ＬＰＦ
３０ＣＣＤ
３２撮像信号処理部
３４ファインダ
３６ストロボ
３７放電管
４０撮像制御部
４２ズーム駆動部
４４フォーカス駆動部
４６絞り駆動部
４８シャッタ駆動部
５０撮像系ＣＰＵ
５２測距センサ
５４測光センサ
６０システム制御部
６２メインＣＰＵ
６４メモリ制御部
６６不揮発性メモリ
６８メインメモリ
７０ＹＣ処理部
７２エンコーダ
７４オプション装置制御部
７６オプション装置
７８圧縮伸張処理部
８０通信Ｉ／Ｆ部
８２バス
８４キャラクタ生成部
８６タイマ
８８クロック発生器
９０端子
９２端子
１００表示部
１０２ＬＣＤモニタ
１０４ＬＣＤパネル
１０６モニタドライバ
１０８パネルドライバ
１１０操作部
１１２パワースイッチ
１１４レリーズスイッチ
１１６機能設定部
１１８ズームスイッチ
１２０記憶部
１３０外部接続部
１４０画像処理部
３０２撮像指示部
３０４検出部
３０６補正部
３０８方向検出部
３１０出力部
３１２警告部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing system, an image processing method, an imaging apparatus, and an image processing apparatus. In particular, the present invention relates to an image processing system including an imaging device that captures an image of a subject and an image processing device that performs image processing on the image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a digital camera including a camera shake detection unit is known. For example, the digital camera disclosed in Japanese Patent Application Laid-Open No. 2000-8061 determines whether printing can be performed properly based on the camera shake information output by the camera shake detection means, and is determined not to perform printing properly. To warn you.
[0003]
[Problems to be solved by the invention]
Conventional camera shake detection means detects a camera shake amount by monitoring a camera shake detection sensor such as an acceleration sensor or image output information from an imaging unit. However, in the method using the sensor, there is a case where the correlation between the amount detected by the sensor and the amount of image blur cannot be sufficiently correlated, and there is a case where camera shake detection with high accuracy cannot be performed. Further, in the conventional method based on monitoring of image output information, for example, it may not be possible to determine whether the unclearness of an image is due to camera shake, and it is difficult to detect camera shake with high accuracy.
[0004]
Accordingly, an object of the present invention is to provide an image processing system, an image processing method, an imaging apparatus, and an image processing apparatus that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
[0005]
[Means for Solving the Problems]
That is, according to the first aspect of the present invention, there is provided an image processing system including an imaging device that captures an image of a subject and an image processing device that performs image processing on the image. An imaging instruction unit that generates a first instruction signal and a second instruction signal for instructing imaging, and a preliminary image and a captured image, which are images of the subject, are respectively acquired according to the first instruction signal and the second instruction signal. The image processing apparatus includes a detection unit that detects camera shake when acquiring a captured image based on the preliminary image and the captured image. The image processing apparatus may further include a correction unit that corrects the captured image when the detection unit detects camera shake.
[0006]
The correction unit may perform sharpness correction on the captured image. The correction unit may perform correction for increasing the sharpness of the captured image as the sharpness correction. The correction unit may divide the captured image into a plurality of regions and perform sharpness correction on one region among the plurality of regions. The correction unit may perform sharpness correction with the first correction amount for the one region, and may perform sharpness correction with a second correction amount different from the first correction amount for the other regions among the plurality of regions. .
[0007]
The image processing apparatus may further include a direction detection unit that detects a direction of camera shake based on the preliminary image and the captured image, and the correction unit may perform sharpness correction on the captured image based on the direction of camera shake. The image processing apparatus further includes a direction detection unit that detects a direction of camera shake based on the preliminary image and the captured image, and the correction unit performs correction for enhancing an edge in a direction substantially orthogonal to the direction of camera shake. Also good.
[0008]
The detection unit may detect camera shake based on the peak component of the spatial frequency component of the preliminary image and the peak component of the spatial frequency component of the captured image. The detection unit may detect camera shake based on a peak component of a spatial frequency component in a predetermined area in the preliminary image and a peak component of a spatial frequency component in an area corresponding to the predetermined area in the captured image. Good. The detection unit may detect camera shake based on the contour of the subject in the preliminary image and the contour of the subject in the captured image. The image processing apparatus may further include a warning unit that issues a warning to the user when the detection unit detects camera shake.
[0009]
According to a second aspect of the present invention, there is provided an image processing method comprising an imaging stage for capturing an image of a subject and an image processing stage for performing image processing on the image, wherein the imaging stage captures an image of the subject. A first imaging instruction stage for generating a first instruction signal for instructing; a first acquisition stage for acquiring a preliminary image that is an image of the subject in response to the first instruction signal; and a second instruction signal for instructing imaging of the subject. And a second acquisition stage for acquiring a captured image that is an image of the subject in response to the second instruction signal, and the image processing stage is based on the preliminary image and the captured image. And a detection stage for detecting camera shake at the time of acquisition of the captured image.
[0010]
According to a third aspect of the present invention, there is provided an imaging apparatus that captures an image of a subject, an imaging instruction unit that generates a first instruction signal and a second instruction signal that instructs imaging of the subject, a first instruction signal, An imaging unit that acquires a preliminary image and a captured image, each of which is an image of a subject, according to each of the second instruction signals, and a detection unit that detects camera shake at the time of acquiring the captured image based on the preliminary image and the captured image With.
[0011]
According to the fourth aspect of the present invention, an image processing device that performs image processing on a captured image captured by an imaging device, the captured image captured by the imaging device, and a preliminary image corresponding to the captured image And a detection unit that detects camera shake at the time of acquiring the captured image.
[0012]
The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are solutions of the invention. It is not always essential to the means.
[0014]
FIG. 1 shows an example of the configuration of an image processing system 18 according to an embodiment of the present invention. The image processing system 18 includes a digital camera 10, a printer 12, and a personal computer 14. The digital camera 10, the printer 12, and the personal computer 14 exchange data with each other via a data transmission path. The data transmission path is, for example, a wired communication medium such as IEEE1394 or USB, or a wireless communication medium such as IrDA, Bluetooth, or wireless LAN. The data transmission path may be a network network using a plurality of wired communication media and wireless communication media, for example, the Internet network. In addition, the data transfer between the digital camera 10, the printer 12, and the personal computer 14 may use a recording medium such as a removable medium.
[0015]
The digital camera 10 captures an image of a subject and transmits the captured image data to the printer 12 or the personal computer 14. In the present embodiment, the digital camera 10 transmits a captured image that is captured image data and a preliminary image corresponding to the captured image to the printer 12 or the personal computer 14. The printer 12 or the personal computer 14 performs predetermined image processing on the received image data and outputs it. In the present embodiment, the printer 12 or the personal computer 14 detects camera shake when acquiring a captured image based on the captured image and the preliminary image. The printer 12 or the personal computer 14 corrects the captured image when the camera shake is detected. The printer 12 or the personal computer 14 outputs the corrected captured image. That is, the printer 12 prints and outputs the corrected captured image, and the personal computer 14 outputs the corrected captured image to the monitor. The personal computer 14 transmits setting information to the digital camera 10 or the printer 12 and changes the setting information of the digital camera 10 or the printer 12.
[0016]
The digital camera 10 is an example of an imaging device, and the printer 12 and the personal computer 14 are examples of an image processing device. In addition, the imaging device may be a digital still camera that captures a still image or a digital video camera that captures a moving image. The image processing apparatus may be a laboratory printing apparatus that automatically adjusts and prints the image quality of an image captured by a digital camera.
[0017]
FIG. 2 shows an example of the configuration of the digital camera 10 and the printer 12 according to the present embodiment. The digital camera 10 is an example of an imaging device that captures an image of a subject. The digital camera 10 includes an imaging instruction unit 302 and an imaging unit 20. The imaging instruction unit 302 generates a first instruction signal and a second instruction signal that instruct imaging of the subject. The imaging unit 20 acquires a preliminary image and a captured image, which are images of the subject, according to each of the first instruction signal and the second instruction signal. The imaging unit 20 may acquire the preliminary image and the captured image at different shutter speeds. The imaging unit 20 may acquire the preliminary image and the captured image with different apertures. In the present embodiment, the imaging unit 20 acquires a preliminary image with a predetermined shutter speed and aperture. The imaging unit 20 acquires a captured image with a shutter speed and an aperture based on AE (automatic exposure). In another embodiment, the imaging unit 20 may acquire a captured image according to the first instruction signal and acquire a preliminary image according to the second instruction signal. The digital camera 10 may further include a storage unit that stores the preliminary image and the captured image in association with each other. The digital camera 10 supplies a preliminary image and a captured image to the printer 12.
[0018]
The printer 12 is an example of an image processing apparatus that performs image processing on a captured image. The printer 12 includes a detection unit 304, a correction unit 306, a direction detection unit 308, an output unit 310, and a warning unit 312.
[0019]
Based on the preliminary image and the captured image, the detection unit 304 detects camera shake when acquiring the captured image. The correction unit 306 corrects the captured image when the detection unit 304 detects camera shake. The direction detection unit 308 detects the direction of camera shake based on the preliminary image and the captured image.
[0020]
The output unit 310 outputs the captured image corrected by the correction unit 306. In the present embodiment, the output unit 310 prints out the corrected captured image. In another embodiment, the output unit 310 may output the corrected captured image to a monitor. The warning unit 312 issues a warning to the user when the detection unit 304 detects camera shake. The warning unit 312 may receive a user instruction as to whether or not the correction unit 306 corrects the captured image in which the camera shake is detected. The warning unit 312 may cause the correction unit 306 to correct the captured image based on an instruction from the user. The warning unit 312 may receive a user instruction as to whether or not to cause the output unit 310 to print the captured image in which the camera shake is detected.
[0021]
Hereinafter, the detection unit 304, the direction detection unit 308, and the correction unit 306 will be described in more detail. In the present embodiment, the detection unit 304 detects camera shake based on the peak component of the spatial frequency component of the preliminary image and the peak component of the spatial frequency component of the captured image. For example, the detection unit 304 determines that camera shake has occurred when the captured image is acquired when the spatial frequency that is the peak component in the preliminary image differs from the spatial frequency that is the peak component in the preliminary image by a predetermined threshold or more. It's okay.
[0022]
The detection unit 304 may detect camera shake based on the intensity (power) of a predetermined spatial frequency component in the preliminary image and the intensity of the predetermined spatial frequency component in the captured image. Further, the detection unit 304 detects camera shake based on the peak component of the spatial frequency component of the predetermined region in the preliminary image and the peak component of the spatial frequency component of the region corresponding to the predetermined region in the captured image. It may be detected. The detection unit 304 extracts a plurality of predetermined regions in the preliminary image and a plurality of regions corresponding to the plurality of regions in the captured image, respectively, and based on the peak component of the spatial frequency component of each region, May be detected.
[0023]
In another embodiment, the detection unit 304 may detect camera shake based on the contour of the subject in the preliminary image and the contour of the subject in the captured image. The detection unit 304 may detect camera shake based on the position of the subject in the preliminary image and the position of the subject in the captured image.
[0024]
The direction detection unit 308 detects the direction of camera shake based on the preliminary image and the captured image. For example, the direction detection unit 308 may calculate the vertical edge strength and the horizontal edge strength in the preliminary image and the captured image, respectively, and detect the direction of camera shake based on the calculation result.
[0025]
The correction unit 306 corrects the captured image when the detection unit 304 detects camera shake. In the present embodiment, the correction unit 306 performs sharpness correction on the captured image. The correction unit 306 performs correction for increasing the sharpness of the captured image as the sharpness correction. The correcting unit 306 may divide the captured image into a plurality of regions and perform sharpness correction on one region among the plurality of regions. In addition, the correction unit 306 performs sharpness correction with the first correction amount for the one region, and sharpness correction with a second correction amount different from the first correction amount for the other regions among the plurality of regions. May be performed. The correction unit 306 preferably performs sharpness correction on the captured image based on the direction of camera shake detected by the direction detection unit 308.
[0026]
As the sharpness correction, for example, the correction unit 306 may perform unsharp masking correction that subtracts a second-order differential image (Laplacian image) of the image to be processed. In this case, it is possible to enhance the density change of the edge portion in the captured image and sharpen the captured image. The correction unit 306 may perform selective image sharpening correction that extracts only the Laplacian image for the edge portion of the image as the sharpness correction. In this case, it is possible to selectively sharpen the edge portion of the captured image while suppressing the influence of noise.
[0027]
The correction unit 306 may perform edge enhancement correction on the captured image. In this case, it is preferable that the correction unit 306 performs correction that emphasizes an edge in a direction substantially orthogonal to the direction of camera shake detected by the direction detection unit 308.
[0028]
According to this embodiment, it is possible to detect camera shake with high accuracy by detecting camera shake based on the preliminary image and the captured image. Further, according to the present embodiment, it is possible to obtain an appropriate print output by correcting a captured image in which camera shake is detected.
[0029]
In another embodiment, the digital camera 10 may have the detection unit 304. The digital camera 10 may further include a correction unit 306, a direction detection unit 308, and a warning unit 312. In this case, the digital camera 10 preferably supplies the captured image corrected by the correction unit 306 to the printer 12. The detection unit 304 preferably detects camera shake in the captured image every time the imaging unit 20 acquires the captured image.
[0030]
FIG. 3 is a flowchart showing an example of an image processing method by the image processing system 18 according to the present embodiment. The image processing method includes an imaging stage for capturing an image of a subject and an image processing stage for performing image processing on the image. The imaging stage includes a first imaging instruction stage S102, a first acquisition stage S104, a second imaging instruction stage S106, and a second acquisition stage S108. The image processing stage includes a detection stage S110, a correction stage S112, and an output stage S114.
[0031]
In the present embodiment, the image processing system 18 first generates a first instruction signal instructing imaging of a subject in the first imaging instruction step S102. The first imaging instruction step S102 may be performed using the imaging instruction unit 302 described with reference to FIG.
[0032]
Next, in a first acquisition step S104, a preliminary image that is an image of the subject is acquired in response to the first instruction signal. The first acquisition step S104 may be performed using the imaging unit 20 described with reference to FIG. Next, in the second imaging instruction step S106, a second instruction signal for instructing imaging of the subject is generated. The second imaging instruction step S106 may be performed using the imaging instruction unit 302. Next, in a second acquisition step S108, a captured image that is an image of the subject is acquired in accordance with the second instruction signal. The second acquisition step S108 may be performed using the imaging unit 20.
[0033]
Next, in the detection step S110, camera shake at the time of acquisition of the captured image is detected based on the preliminary image and the captured image. The detection step S110 may be performed using the detection unit 304 described with reference to FIG. When camera shake is detected in the detection step S110, the captured image is corrected in the correction step S112. The correction step S112 may be performed using the correction unit 306 described with reference to FIG. Next, in the output step S114, the corrected captured image is printed out, and the image processing system 18 ends the operation. The output step S114 may be performed using the output unit 310 described in relation to FIG. On the other hand, if camera shake is not detected in the detection step S110, the captured image may be output in the output step S114, and the image processing system 18 may end the operation.
[0034]
FIG. 4 shows an example of a detailed configuration of the digital camera 10 according to the present embodiment. The digital camera 10 includes an imaging unit 20, an imaging control unit 40, a system control unit 60, a display unit 100, an operation unit 110, a storage unit 120, an external connection unit 130, and an image processing unit 140. The imaging unit 20 has the same or similar function as the imaging unit 20 described with reference to FIG. The operation unit 110 has the same or similar function as the imaging instruction unit 302 described with reference to FIG. The image processing unit 140 may have the same or similar function as the detection unit 304, the correction unit 306, or the direction detection unit 308 described with reference to FIG. The digital camera 10 may further include the output unit 310 or the warning unit 312 described with reference to FIG.
[0035]
The imaging unit 20 includes a photographic lens unit 22, a diaphragm 24, a shutter 26, an optical LPF 28, a CCD 30, an imaging signal processing unit 32, a finder 34, and a strobe 36.
[0036]
The taking lens unit 22 takes in a subject image and performs processing. The photographing lens unit 22 includes a focus lens, a zoom lens, and the like, and forms a subject image on the light receiving surface of the CCD 30. The stop 24 stops light that has passed through the photographing lens unit 22, and the optical LPF 28 passes wavelength components that are longer than a predetermined wavelength included in the light that has passed through the stop 24. Each sensor element of the CCD 30 accumulates charges according to the amount of light of the imaged subject image (hereinafter, the charges are referred to as “accumulated charges”).
[0037]
The shutter 26 is a mechanical shutter and controls whether or not the CCD 30 is exposed to the light that has passed through the photographing lens unit 22. The digital camera 10 may have an electronic shutter function instead of the shutter 26. In order to realize the electronic shutter function, the sensor element of the CCD 30 has a shutter gate and a shutter drain. By driving the shutter gate, the accumulated charge is swept out to the shutter drain. By controlling the shutter gate, the time for accumulating charges in each sensor element, that is, the shutter speed can be controlled. In the CCD 30, the accumulated charge is read to the shift register by a read gate pulse, and sequentially read as a voltage signal by a register transfer pulse.
[0038]
The imaging signal processing unit 32 color-separates a voltage signal indicating an object image output from the CCD 30, that is, an analog signal, into R, G, and B components. Then, the imaging signal processing unit 32 adjusts the white balance of the subject image by adjusting the R, G, and B components. The imaging signal processing unit 32 performs gamma correction on the subject image. The imaging signal processing unit 32 performs A / D conversion on the analog signal decomposed into R, G, and B components, and digital image data (hereinafter referred to as “digital image data”) of the subject image obtained as a result. Output to the system control unit 60.
[0039]
The finder 34 may have a display means, and may display various types of information from the main CPU 62 described later in the finder 34. The strobe 36 has a discharge tube 37 that discharges the energy stored in the capacitor, and functions when the discharge tube 37 emits light when energy is supplied to the discharge tube 37. In the present embodiment, the imaging unit 20 acquires a preliminary image and a captured image, which are images of the subject, in accordance with the first instruction signal and the second instruction signal received from the operation unit 110, respectively.
[0040]
The imaging control unit 40 includes a zoom driving unit 42, a focus driving unit 44, an aperture driving unit 46, a shutter driving unit 48, an imaging system CPU 50 that controls them, a distance measuring sensor 52, and a photometric sensor 54. The zoom driving unit 42, the focus driving unit 44, the aperture driving unit 46, and the shutter driving unit 48 each have a driving unit such as a stepping motor, and drive a mechanism member included in the imaging unit 20. In response to pressing of a release switch 114 described later, the distance measuring sensor 52 measures the distance to the subject, and the photometric sensor 54 measures the subject brightness. The distance measuring sensor 52 and the photometric sensor 54 respectively measure the measured distance to the subject (hereinafter simply referred to as “distance data”) and the subject luminance data (hereinafter simply referred to as “photometric data”). It supplies to CPU50.
[0041]
The imaging system CPU 50 adjusts the zoom magnification and focus of the photographing lens unit 22 by controlling the zoom driving unit 42 and the focus driving unit 44 based on photographing information such as a zoom magnification designated by the user. Further, the imaging system CPU 50 may adjust the zoom magnification and focus by controlling the zoom drive unit 42 and the focus drive unit 44 based on the distance measurement data received from the distance measurement sensor 52.
[0042]
The imaging system CPU 50 determines the aperture value and the shutter speed based on the photometric data received from the photometric sensor 54. In accordance with the determined values, the aperture driving unit 46 and the shutter driving unit 48 respectively control the aperture amount of the aperture 24 and the opening / closing of the shutter 26.
[0043]
Further, the imaging system CPU 50 controls the light emission of the strobe 36 based on the photometric data received from the photometric sensor 54 and adjusts the aperture amount of the aperture 24 at the same time. When the user instructs to capture an image, the CCD 30 starts charge accumulation, and outputs the accumulated charge to the imaging signal processing unit 32 after a lapse of the shutter time calculated from the photometric data.
[0044]
The system control unit 60 includes a main CPU 62, a character generation unit 84, a timer 86, and a clock generator 88. The main CPU 62 controls the entire digital camera 10, particularly the system control unit 60. The main CPU 62 exchanges necessary information with the imaging CPU 50 by serial communication or the like.
[0045]
The clock generator 88 generates an operation clock for the main CPU 62 and supplies it to the main CPU 62. The clock generator 88 generates an operation clock for the imaging system CPU 50 and the display unit 100. The clock generator 88 may supply operation clocks having different frequencies to the main CPU 62, the imaging system CPU 50, and the display unit 100.
[0046]
The character generation unit 84 generates character information and graphic information to be combined with a captured image such as a shooting date and time and a title. The timer 86 is backed up by a battery or the like, for example, always counts time, and supplies time information such as information related to the shooting date and time of the shot image to the main CPU 62 based on the count value. It is desirable that the timer 86 counts the time even when the power source of the digital camera body is off by the power supplied from the storage battery. The character generation unit 84 and the timer 86 are preferably provided in the main CPU 62.
[0047]
The storage unit 120 includes a memory control unit 64, a nonvolatile memory 66, and a main memory 68. The memory control unit 64 controls the nonvolatile memory 66 and the main memory 68. The non-volatile memory 66 includes an EEPROM (electrically erasable and programmable ROM), a FLASH memory, and the like, and should be retained even when the power of the digital camera 10 is turned off, such as setting information and adjustment values at the time of shipment. Store the data. The nonvolatile memory 66 may store a boot program, a system program, and the like for the main CPU 62.
[0048]
The main memory 68 is preferably composed of a relatively inexpensive memory having a large capacity, such as a DRAM. The main memory 68 has a function as a frame memory for storing data output from the imaging unit 20, a function as a system memory for loading various programs, and other functions as a work area. The nonvolatile memory 66 and the main memory 68 exchange data with each unit inside and outside the system control unit 60 via the bus 82. The nonvolatile memory 66 may further store digital image data.
[0049]
The image processing unit 140 includes a YC processing unit 70, an encoder 72, and a compression / decompression processing unit 78. The external connection unit 130 includes an optional device control unit 74 and a communication I / F unit 80.
[0050]
The YC processing unit 70 performs YC conversion on the digital image data, and generates a luminance signal Y and color difference (chroma) signals BY and RY. The main memory 68 stores the luminance signal and the color difference signal based on the control of the memory control unit 64.
[0051]
The compression / decompression processing unit 78 sequentially reads out the luminance signal and the color difference signal from the main memory 68 and compresses them. Then, the option device control unit 74 writes the compressed digital image data (hereinafter simply referred to as “compressed data”) to a memory card that is an example of the option device 76. The memory card may store the preliminary image and the captured image in association with each other.
[0052]
The encoder 72 converts the luminance signal and the color difference signal into a video signal (NTSC or PAL signal) and outputs it from the terminal 90. When a video signal is generated from the compressed data recorded in the option device 76, the compressed data is first supplied to the compression / decompression processing unit 78 via the option device control unit 74. Subsequently, the data that has undergone the necessary decompression processing in the compression / decompression processing unit 78 is converted into a video signal by the encoder 72.
[0053]
The optional device control unit 74 performs necessary signal generation, logical conversion, and / or voltage conversion between the bus 82 and the optional device 76 in accordance with the signal specifications allowed by the optional device 76 and the bus specifications of the bus 82. . The digital camera 10 may support, for example, a standard I / O card conforming to PCMCIA as the optional device 76 in addition to the memory card described above. In this case, the option device control unit 74 may be configured by a PCMCIA bus control LSI or the like.
[0054]
The communication I / F unit 80 performs control such as protocol conversion according to communication specifications supported by the digital camera 10, such as USB, RS-232C, Ethernet (registered trademark), and the like. The communication I / F unit 80 may output the compressed data or digital image data to an external device including a network via the terminal 92. The communication I / F unit 80 includes a driver IC as necessary, and communicates with an external device via a terminal 92. The communication I / F unit 80 may be configured to exchange data with an external interface such as a printer, a karaoke machine, or a game machine.
[0055]
The display unit 100 includes an LCD monitor 102, an LCD panel 104, a monitor driver 106, and a panel driver 108. The monitor driver 106 controls the LCD monitor 102. The panel driver 108 controls the LCD panel 104. The LCD monitor 102 is provided on the rear side of the camera with a size of about 2 inches, for example, and the current shooting / playback mode, zoom magnification for shooting / playback, battery level, date / time, mode setting screen, subject image, etc. Is displayed. The LCD panel 104 is a small black-and-white LCD provided on the upper surface of the camera, for example, and displays information such as image quality (FINE / NORMAL / BASIC, etc.), strobe emission / prohibition, standard number of shoots, number of pixels, battery capacity / remaining capacity, etc. .
[0056]
The operation unit 110 includes a power switch 112, a release switch 114, a function setting unit 116, and a zoom switch 118. The power switch 112 turns on / off the power of the digital camera 10 based on a user instruction. The release switch 114 has a two-stage pushing structure of half-pressing and full-pressing. As an example, when the release switch 114 is half-pressed, the imaging control unit 40 performs automatic focus adjustment and automatic exposure adjustment, and when fully pressed, the imaging unit 20 captures a subject image. The release switch 114 may have the same or similar function as the imaging instruction unit 302 described with reference to FIG. The release switch 114 may generate a first instruction signal when pressed halfway and a second instruction signal when pressed fully.
[0057]
The function setting unit 116 is, for example, a rotary mode dial or a cross key, and accepts settings such as “file format”, “special effect”, “print”, “decision / save”, “display switching”, and the like. The zoom switch 118 receives the setting of the zoom magnification of the subject image acquired by the imaging unit 20.
[0058]
The main operation of the above configuration is as follows. First, the power switch 112 is pressed to supply power to each part of the digital camera 10. The main CPU 62 reads the state of the function setting unit 116 to determine whether the digital camera 10 is in the shooting mode or the playback mode.
[0059]
When the digital camera 10 is in the shooting mode, the main CPU 62 monitors the half-pressed state of the release switch 114. When the half-pressed state of the release switch 114 is detected, the imaging system CPU 50 obtains photometry data and distance measurement data from the photometry sensor 54 and the distance measurement sensor 52, respectively. The imaging control unit 40 adjusts the focus, aperture, and the like of the imaging unit 20 based on the photometry data and the distance measurement data obtained by the imaging system CPU 50. When the adjustment is completed, the LCD monitor displays characters such as “standby” to inform the user accordingly. In the present embodiment, when the half-pressed state of the release switch 114 is detected, the release switch 114 generates a first instruction signal, and the imaging unit 20 acquires a preliminary image. The preliminary image is temporarily stored in the main memory 68, then processed by the YC processing unit 70 and the compression / decompression processing unit 78, and recorded in the option device 76 via the option device control unit 74.
[0060]
Subsequently, the main CPU 62 monitors the fully pressed state of the release switch 114. When the fully depressed state of the release switch 114 is detected, the shutter 26 is closed after a predetermined shutter time, and the accumulated charge of the CCD 30 is swept out to the imaging signal processing unit 32. Digital image data generated as a result of processing by the imaging signal processing unit 32 is output to the bus 82. In the present embodiment, when the fully pressed state of the release switch 114 is detected, the release switch 114 generates a second instruction signal, and the imaging unit 20 acquires a captured image that is the digital image data. The digital image data is temporarily stored in the main memory 68, then processed by the YC processing unit 70 and the compression / decompression processing unit 78, and recorded in the option device 76 via the option device control unit 74. The captured image based on the recorded digital image data is displayed on the LCD monitor 102 for a while in a frozen state, and the user can confirm the captured image. This completes a series of shooting operations.
[0061]
On the other hand, when the digital camera 10 is in the playback mode, the main CPU 62 reads a photographed image taken from the main memory 68, the non-volatile memory 66, and / or the optional device 76 and displays it on the LCD monitor 102 of the display unit 100. .
[0062]
In this state, when the user instructs “forward” and “reverse” in the function setting unit 116, the main CPU 62 displays other captured images stored in the main memory 68, the nonvolatile memory 66, and / or the option device 76. This is read and displayed on the LCD monitor 102 of the display unit 100.
[0063]
As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
[0064]
【The invention's effect】
As is clear from the above description, according to the present invention, camera shake in a captured image can be detected with high accuracy.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a configuration of an image processing system 18 according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a configuration of a digital camera 10 and a printer 12 according to the present embodiment.
FIG. 3 is a flowchart showing an example of the operation of the image processing system 18 according to the present embodiment.
FIG. 4 is a diagram showing an example of a detailed configuration of a digital camera 10 according to the present embodiment.
[Explanation of symbols]
10 Digital camera
12 Printer
14 Personal computer
18 Image processing system
20 Imaging unit
22 Shooting lens
24 Aperture
26 Shutter
28 Optical LPF
30 CCD
32 Imaging signal processor
34 Finder
36 Strobe
37 discharge tube
40 Imaging control unit
42 Zoom drive unit
44 Focus drive unit
46 Aperture drive
48 Shutter drive
50 Imaging CPU
52 Ranging sensor
54 Photometric sensor
60 System controller
62 Main CPU
64 Memory controller
66 Nonvolatile memory
68 Main memory
70 YC processor
72 Encoder
74 Optional device controller
76 Optional equipment
78 Compression / decompression processor
80 Communication I / F part
82 bus
84 Character generator
86 timer
88 clock generator
90 terminals
92 terminals
100 display section
102 LCD monitor
104 LCD panel
106 Monitor driver
108 Panel driver
110 Operation unit
112 Power switch
114 Release switch
116 Function setting section
118 Zoom switch
120 storage unit
130 External connection
140 Image processing unit
302 Imaging instruction unit
304 detector
306 Correction unit
308 Direction detection unit
310 Output unit
312 Warning section

Claims

An image processing system comprising: an imaging device that captures an image of a subject; and an image processing device that performs image processing on the image,
The imaging device
An imaging instruction unit for generating a first instruction signal and a second instruction signal for instructing imaging of the subject;
By acquiring a preliminary image at a predetermined shutter speed according to the first instruction signal and acquiring a captured image at a shutter speed based on photometric data received from a photometric sensor according to the second instruction signal, An imaging unit that acquires the preliminary image and the captured image at different shutter speeds, and
The image processing apparatus includes:
An image having a detection unit that determines that camera shake has occurred in the captured image when a spatial frequency serving as a peak component in the preliminary image differs from a spatial frequency serving as a peak component in the captured image by a predetermined threshold or more. Processing system.

The detection unit extracts a plurality of predetermined regions in the preliminary image and a plurality of regions corresponding to the plurality of regions in the captured image, respectively, based on the peak component of the spatial frequency component of each region The image processing system according to claim 1, wherein it is determined that camera shake has occurred in the captured image.

The detection unit is configured to capture the imaging based on a peak component of a spatial frequency component of a predetermined region in the preliminary image and a peak component of a spatial frequency component of a region corresponding to the predetermined region in the captured image. The image processing system according to claim 1, wherein the image blur is determined to have occurred in the image.

The image processing apparatus includes:
The image processing system according to any one of claims 1 to 3 further comprising a correction unit that corrects the captured image when the camera shake is determined to have occurred by the detection unit.

The image processing system according to claim 4 , wherein the correction unit performs sharpness correction on the captured image.

The image processing system according to claim 5 , wherein the correction unit performs correction for increasing the sharpness of the captured image as the sharpness correction.

The image processing system according to claim 4 , wherein the correction unit divides the captured image into a plurality of regions, and performs sharpness correction on one region of the plurality of regions.

The correction unit performs sharpness correction with the first correction amount for the one region, and performs sharpness correction with a second correction amount different from the first correction amount for the other regions among the plurality of regions. The image processing system according to claim 7 to be performed.

The image processing apparatus includes:
A direction detection unit that detects a direction of the camera shake based on the preliminary image and the captured image;
The image processing system according to claim 4 , wherein the correction unit performs sharpness correction on the captured image based on the direction of the camera shake.

The image processing apparatus includes:
A direction detection unit that detects a direction of the camera shake based on the preliminary image and the captured image;
The image processing system according to claim 4 , wherein the correction unit performs correction that emphasizes an edge in a direction substantially orthogonal to the direction of camera shake.

The image processing apparatus includes:
The image processing system according to any one of claims 1 to 10 having when said camera shake is determined to have occurred, further warning unit that issues a warning to the user by the detecting unit.

An image processing method comprising: an imaging stage for capturing an image of a subject; and an image processing stage for performing image processing on the image,
The imaging step includes
An imaging instruction stage for generating a first instruction signal and a second instruction signal for instructing imaging of the subject;
By acquiring a preliminary image at a predetermined shutter speed according to the first instruction signal and acquiring a captured image at a shutter speed based on photometric data received from a photometric sensor according to the second instruction signal, An imaging stage for acquiring the preliminary image and the captured image at different shutter speeds, respectively,
The image processing step includes
An image having a detection step of determining that camera shake has occurred in the captured image when a spatial frequency serving as a peak component in the preliminary image differs from a spatial frequency serving as a peak component in the captured image by a predetermined threshold or more. Processing method.

The image processing step includes
The image processing method according to claim 12 , further comprising a correction step of correcting the captured image when it is determined that the camera shake has occurred in the detection step.

An imaging device that captures an image of a subject,
An imaging instruction unit for generating a first instruction signal and a second instruction signal for instructing imaging of the subject;
By acquiring a preliminary image at a predetermined shutter speed according to the first instruction signal and acquiring a captured image at a shutter speed based on photometric data received from a photometric sensor according to the second instruction signal, An imaging unit that acquires the preliminary image and the captured image at different shutter speeds, and
A detection unit configured to determine that camera shake has occurred in the captured image when a spatial frequency serving as a peak component in the preliminary image differs from a spatial frequency serving as a peak component in the captured image by a predetermined threshold or more. Imaging device.

The imaging device according to claim 14 , further comprising: a correction unit that corrects the captured image when the detection unit determines that the camera shake has occurred.

An image processing apparatus that performs image processing on a captured image captured by an imaging apparatus,
The captured image acquired at the shutter speed based on the photometric data by the photometric sensor of the imaging device, and the preliminary image acquired at a predetermined shutter speed, the captured image acquired at different shutter speeds, and the Based on the preliminary image, when the spatial frequency that is the peak component in the preliminary image and the spatial frequency that is the peak component in the captured image are different from each other by a predetermined threshold or more, it is determined that camera shake has occurred in the captured image An image processing apparatus comprising a detection unit.

The image processing apparatus according to claim 16 , further comprising: a correction unit that corrects the captured image when the detection unit determines that the camera shake has occurred.