JP4274233B2 - 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム - Google Patents

撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム Download PDF

Info

Publication number
JP4274233B2
JP4274233B2 JP2006325015A JP2006325015A JP4274233B2 JP 4274233 B2 JP4274233 B2 JP 4274233B2 JP 2006325015 A JP2006325015 A JP 2006325015A JP 2006325015 A JP2006325015 A JP 2006325015A JP 4274233 B2 JP4274233 B2 JP 4274233B2
Authority
JP
Japan
Prior art keywords
face
image
detected
unit
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006325015A
Other languages
English (en)
Other versions
JP2008141437A (ja
Inventor
深雪 岡田
博文 野村
貴 辻村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006325015A priority Critical patent/JP4274233B2/ja
Priority to US11/924,158 priority patent/US8228390B2/en
Priority to CN2007101954816A priority patent/CN101193208B/zh
Publication of JP2008141437A publication Critical patent/JP2008141437A/ja
Application granted granted Critical
Publication of JP4274233B2 publication Critical patent/JP4274233B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Description

本発明は、撮像装置に関し、特に、撮影画像等のブレを補正する撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置、および両者の機能を備える動画および静止画カメラ等の撮像装置が急速に普及し、これらの撮像装置の高性能化が進んでいる。これらの撮像装置を手で持って撮影する場合には、撮像装置自体のブレおよび被写体のブレの２種類のブレが主に生じる。
これらのブレを検出する方法として、（１）振動センサ、速度センサ、加速度センサ、重力センサ等によるブレの検出方法や、（２）画像処理による動きベクトルの検出方法等の検出方法が主に知られている。
これらの検出方法によって検出されたブレ成分を用いて、このブレ成分をキャンセルする方向に撮影画像の位置を移動させることによって撮影画像におけるブレを補正することができる。なお、ブレの補正方法としては、（３）撮像素子の読み出しアドレスのシフト、画像メモリの書き込みまたは読み出しアドレスのシフト等の電子的ブレ補正処理、および（４）ブレ補正用レンズのシフトや傾斜、ブレ補正用プリズムの変形や傾斜、撮像素子のシフト等の光学的ブレ補正処理の２種類の補正方法が主に知られている。
例えば、タイミングジェネレータから供給されるサンプリング信号のうちシャッタ速度に応じたサンプルタイミングによって、手振れセンサから供給される手振れ検出情報をサンプリングし、サンプリングされた手振れ検出情報に基づいて、撮像素子によって得られる画像信号の読み出し位置を制御して手振れを補正する撮像装置が提案されている（例えば、特許文献１参照。）。
特開平０５−３１６４０４号公報（図１）
上述の従来技術では、撮影画像に含まれる被写体に関わらずに均一的にブレ補正処理が実施される。このため、撮影画像全体としての手振れ等のブレを補正することができる。
しかしながら、これらの補正処理では、撮影画像に含まれる背景や人物が均一に扱われるため、撮影者が被写体として狙っていた人物やその顔、目、鼻、口等にブレ成分が残った状態となることが考えられる。そこで、撮影画像全体としてのブレを補正するとともに、撮影画像に含まれる人物の顔等のブレについても適切に補正することができれば、さらに鮮鋭度の高い顔を撮影することができると考えられる。
そこで、本発明は、画像に含まれるブレを適切に補正することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体の画像を撮像する撮像手段と、上記撮像手段により撮像された画像から顔を検出する顔検出手段と、上記撮像手段により撮像された画像における上記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、上記移動量検出手段により検出された顔移動量および背景移動量に基づいて上記撮像手段により撮像された画像のブレを補正するブレ補正手段と
を具備することを特徴とする撮像装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像から顔を検出すると、撮像画像における顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出し、検出された顔移動量および背景移動量に基づいて撮像画像のブレを補正するという作用をもたらす。
また、この第１の側面において、上記移動量検出手段により検出された顔移動量および背景移動量に基づいて上記ブレ補正手段により補正される画像のブレの補正量を算出する補正量算出手段をさらに具備することができる。これにより、撮像画像から検出された顔移動量および背景移動量に基づいて、撮像画像のブレの補正量を算出するという作用をもたらす。この場合において、上記補正量算出手段は、上記移動量検出手段により検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて上記補正量を算出することができる。これにより、撮像画像から検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて、撮像画像のブレの補正量を算出するという作用をもたらす。この場合において、上記補正量算出手段は、上記移動量検出手段により検出された背景移動量に係る重み付け係数の値よりも上記移動量検出手段により検出された顔移動量に係る重み付け係数の値を大きくして上記補正量を算出することができる。これにより、背景移動量に係る重み付け係数の値よりも顔移動量に係る重み付け係数の値を大きくして、撮像画像のブレの補正量を算出するという作用をもたらす。
また、この第１の側面において、上記顔検出手段は、上記撮像手段により撮像された画像から検出された顔に関する各種情報を検出し、上記補正量算出手段は、上記顔検出手段により検出された顔に関する各種情報に基づいて上記重み付け係数を算出することができる。これにより、撮像画像から検出された顔に関する各種情報を検出し、検出された顔に関する各種情報に基づいて重み付け係数を算出するという作用をもたらす。この場合において、上記顔に関する各種情報は、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報であることができる。これにより、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報に基づいて重み付け係数を算出するという作用をもたらす。
また、この第１の側面において、上記補正量算出手段は、上記顔検出手段により検出された顔の領域付近における重み付け係数の値を大きくして上記補正量を算出することができる。これにより、撮影画像から検出された顔の領域付近における重み付け係数の値を大きくして、撮像画像のブレの補正量を算出するという作用をもたらす。
また、この第１の側面において、上記移動量検出手段は、上記顔検出手段により検出された顔が所定の領域に含まれるように上記撮像手段により撮像された画像を複数の領域に分割して当該顔が含まれる領域から顔移動量を検出して当該顔が含まれる領域以外の領域から背景移動量を検出することができる。これにより、撮像画像から検出された顔が所定の領域に含まれるようにその撮像画像を複数の領域に分割し、当該顔が含まれる領域から顔移動量を検出して当該顔が含まれる領域以外の領域から背景移動量を検出するという作用をもたらす。
また、この第１の側面において、上記撮像装置の振動によるブレ量を検出する振動検出手段をさらに具備し、上記ブレ補正手段は、上記移動量検出手段により検出された顔移動量および背景移動量と上記振動検出手段により検出されたブレ量とに基づいて上記撮像手段により撮像された画像のブレを補正することができる。これにより、検出された顔移動量および背景移動量と、撮像装置の振動によるブレ量とに基づいて、撮像画像のブレを補正するという作用をもたらす。
また、この第１の側面において、上記顔検出手段により検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたは露出が合っている度合いを検出するカメラ制御値検出手段をさらに具備し、上記補正量算出手段は、上記カメラ制御値検出手段により検出された顔についてのフォーカスが合っている度合いまたは露出が合っている度合いに基づいて当該顔に係る補正量を算出することができる。これにより、撮像画像から検出された顔についてのフォーカスが合っている度合いまたは露出が合っている度合いに基づいて当該顔に係る補正量を算出するという作用をもたらす。
また、この第１の側面において、上記撮像手段により撮像された画像から顔を検出するか否かを設定する設定手段をさらに具備することができる。これにより、撮像画像から顔を検出するか否かを設定し、顔移動量を考慮した撮像画像のブレ補正の有無を選択するという作用をもたらす。
また、この第１の側面において、特定の人物の顔に関する特定人物情報を記憶する特定人物記憶手段と、上記顔検出手段により検出された顔が上記特定人物記憶手段に記憶されている特定人物の顔と一致するか否かを判定する特定人物判定手段とをさらに具備し、上記補正量算出手段は、上記顔検出手段により検出された顔が上記特定人物記憶手段に記憶されている特定人物の顔と一致すると上記特定人物判定手段により判定された場合には当該特定人物の顔の領域であるか否かに応じて上記重み付け係数を変更して上記補正量を算出することができる。これにより、撮像画像から検出された顔が特定人物の顔と一致すると判定された場合には当該特定人物の顔の領域であるか否かに応じて重み付け係数を変更して、撮像画像のブレの補正量を算出するという作用をもたらす。
また、この第１の側面において、上記補正量算出手段は、上記移動量検出手段により検出された顔移動量の平均値である第１平均値を算出して当該第１平均値に基づいて上記顔検出手段により検出された顔の領域に係る補正量を算出するとともに上記移動量検出手段により検出された背景移動量の平均値である第２平均値を算出して当該第２平均値に基づいて上記顔検出手段により検出された顔の領域以外の領域に係る補正量を算出することができる。これにより、検出された顔移動量の平均値を算出してその平均値に基づいて顔の領域に係る補正量を算出するとともに、検出された背景移動量の平均値を算出してその平均値に基づいて顔の領域以外の領域に係る補正量を算出するという作用をもたらす。
また、この第１の側面において、上記補正量算出手段は、上記顔検出手段により複数の顔が検出された場合には上記検出された顔の領域毎に顔移動量の平均値を算出して当該平均値に基づいて上記補正量を算出することができる。これにより、複数の顔が検出された場合には、顔の領域毎に顔移動量の平均値を算出して、その平均値に基づいて顔の領域毎に補正量を算出するという作用をもたらす。
また、この第１の側面において、上記ブレ補正手段は、上記撮像手段により撮像された画像において上記顔検出手段により検出された顔の領域が当該画像の中央寄りに移動するように当該画像のブレを補正することができる。これにより、撮像画像において検出された顔の領域が画像の中央寄りに移動するように撮像画像のブレを補正するという作用をもたらす。
また、この第１の側面において、上記移動量検出手段は、上記撮像手段により撮像された画像において上記顔検出手段により検出された顔と当該画像の所定時間前に撮像された画像において上記顔検出手段により検出された顔との相関性の高さに基づいて当該顔の領域に係る顔移動量を検出することができる。これにより、撮像画像において検出された顔と当該画像の所定時間前に撮像された画像において検出された顔との相関性の高さに基づいて当該顔の領域の顔移動量を検出するという作用をもたらす。
また、本発明の第２の側面は、画像を入力する画像入力手段と、上記画像入力手段により入力された画像から顔を検出する顔検出手段と、上記画像入力手段により入力された画像における上記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、上記移動量検出手段により検出された顔移動量および背景移動量に基づいて上記画像入力手段により入力された画像のブレを補正するブレ補正手段とを具備することを特徴とする画像処理装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力画像から顔を検出すると、入力画像における顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出し、検出された顔移動量および背景移動量に基づいて入力画像のブレを補正するという作用をもたらす。
本発明によれば、画像に含まれるブレを適切に補正することができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
撮像装置１００は、制御部１１０と、撮像部１２０と、信号処理部１３０と、画像記憶部１４０と、画像圧縮伸張部１５０と、ユーザインターフェース１６０と、入出力端子１７０と、記憶媒体１８０と、バス１９０と、振動センサ２００と、メモリ２１０と、顔検出部３００と、動きベクトル検出部４００と、ブレ補正部４１０とを備える。なお、各ブロック間における画像信号の送受信は、直接のやりとり、または、画像記憶部１４０またはバス１９０を経由したやりとりによって行われる。
制御部１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御する制御部である。
撮像部１２０は、光学系１２１および撮像素子１２２を備え、被写体からの入射光を電気信号に光電変換し、光電変換された電気信号を信号処理部１３０に出力するものである。光学系１２１は、フォーカスレンズ、ズームレンズ、ブレ補正用レンズ、ブレ補正用プリズム等のレンズ群を備え、これらのレンズ群を介して入力された被写体からの入射光を撮像素子１２２に出力するものである。撮像素子１２２は、光学系１２１から出力された入射光を光電変換し、光電変換された電気信号を信号処理部１３０に出力するものである。なお、撮像部１２０において、ブレ補正用レンズの移動または傾き、ブレ補正用プリズムの変形や傾き、撮像素子１２２の移動等をすることによって、検出されたブレを光学的に補正することができる。これらは、制御部１１０からの制御に基づいて実行される。
信号処理部１３０は、撮像素子１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像記憶部１４０と画像圧縮伸張部１５０とユーザインターフェース１６０と顔検出部３００とに出力するものである。信号処理部１３０における信号処理として、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。また、信号処理部１３０は、制御部１１０の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。
画像記憶部１４０は、撮像装置１００において処理対象となる画像データを記憶するものである。
画像圧縮伸張部１５０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１５０により圧縮処理が施された画像データが記憶媒体１８０に出力されて記憶媒体１８０に記録される。また、画像圧縮伸張部１５０により伸張処理が施された画像データが画像記憶部１４０、表示部１６１、顔検出部３００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
ユーザインターフェース１６０は、表示部１６１と選択受付部１６２とを備え、撮像装置１００を使用するユーザに対するインターフェースを提供するものである。
表示部１６１は、信号処理部１３０または画像圧縮伸張部１５０が出力した画像データに対応する画像を表示する表示部である。表示部１６１は、例えば、撮像装置１００が撮像する被写体の画像である撮影画像を表示する。
選択受付部１６２は、ユーザが入力した選択情報を電気信号に変換し、変換された電気信号を制御部１１０に出力するものである。例えば、撮像部１２０が出力した撮影画像から顔検出部３００が顔を検出した場合には、その撮影画像について検出された顔に基づくブレ補正処理を撮像装置１００が実行する。このように、撮影画像に顔が含まれている場合において、その顔に基づくブレ補正処理を実行するように設定（ＯＮ設定）することができるとともに、その顔に基づくブレ補正処理を実行しない設定（ＯＦＦ設定）をすることができる。このＯＮ、ＯＦＦ設定を選択受付部１６２において行う。
なお、ユーザインターフェース１６０は、例えば、タッチパネルとして表示部１６１と選択受付部１６２とが一体で構成するようにしてもよく、表示部１６１を液晶ディスプレイ（ＬＣＤ）とし、選択受付部１６２をハードキーとして双方を別体で構成するようにしてもよい。
入出力端子１７０は、画像圧縮伸張部１５０が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部１５０に出力する入出力端子である。
記憶媒体１８０は、画像圧縮伸張部１５０が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部１５０に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体および内蔵の記憶媒体の少なくとも何れか一方である。
バス１９０は、画像データを伝達するための共有バスである。
振動センサ２００は、撮像装置１００の振動を検出し、画像に依存しないブレ成分（すなわち、撮像装置１００本体のブレ成分）を検出するものであり、検出された各種情報を制御部１１０に出力する。振動センサ２００は、例えばジャイロセンサ、速度センサ、加速度センサにより実現することができる。
メモリ２１０は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
顔検出部３００は、入力された画像データに対応する画像に含まれる人の顔を検出するものである。なお、顔検出部３００の詳細については、図２を参照して説明する。
動きベクトル検出部４００は、入力された画像データに対応する画像について分割された各ブロックの動きベクトルを画像処理によって検出し、検出された動きベクトルに対応する値を制御部１１０に出力するものである。
ブレ補正部４１０は、動きベクトル検出部４００が検出した動きベクトルに基づいて算出されるブレ補正量等に基づいて、入力された画像データに対応する画像の位置を移動させて、その画像のブレを補正するものである。なお、ブレ補正部４１０は、電子的ブレ補正手段および光学的ブレ補正手段を有する。これらの詳細については、図１４を参照して説明する。
なお、ブレ補正部４１０によりブレが補正された画像が画像圧縮伸張部１５０に出力される。そして、画像圧縮伸張部１５０は、ブレが補正された画像に対して画像圧縮処理を施し、画像圧縮処理が施された画像を記憶媒体１８０に記録する。また、ブレが補正された画像が表示部１６１に表示される。
図２は、顔検出部３００の機能構成例を示すブロック図である。
顔検出部３００は、制御部３１０と、画像入力部３２０と、画像拡大縮小部３３０と、画像保持部３４０と、基準データ保持部３５０と、判定部３６０と、検出結果出力部３７０と、画像出力部３８０とを備える。
制御部３１０は、制御部１１０からの指示に従って顔検出部３００の各部を制御するものである。
画像入力部３２０は、信号処理部１３０、画像記憶部１４０、画像圧縮伸張部１５０の何れかから画像データが入力されると、入力された画像データを画像拡大縮小部３３０に出力するものである。
画像拡大縮小部３３０は、画像入力部３２０が出力した画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、制御部１１０からの指示に基づいて決定される。
画像保持部３４０は、画像拡大縮小部３３０が拡大または縮小処理をした画像を保持するものである。
基準データ保持部３５０は、顔検出に用いる顔の基準データを保持するものであり、保持している顔の基準データを判定部３６０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔としての特徴データベース、特定の人物の顔に関する特徴データベース等である。一般に、顔画像そのものよりも特徴データの方が、多くの顔データベースを比較的少ない記憶容量で保持することができる。
判定部３６０は、画像保持部３４０に保持されている画像データに対応する画像に顔が含まれているか否かを判定するものであり、判定結果を検出結果出力部３７０に出力する。具体的には、判定部３６０は、画像保持部３４０に保持されている画像データに対応する画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準データ保持部３５０に保持されている顔データとの相関性の高さに基づいて、取り出された画像が顔画像であるか否かを判定する。これらの判定を繰り返し実行し、画像保持部３４０に保持されている画像データに対応する画像に顔が含まれているか否かを判定する。
また、判定部３６０は、基準データ保持部３５０に保持されている顔データとの相関性の高さに基づいて、画像保持部３４０に保持されている画像データに対応する画像に含まれている顔に関する各種情報を抽出し、抽出された各種情報を顔検出結果として検出結果出力部３７０に出力する。
検出結果出力部３７０は、判定部３６０が出力した判定結果および顔検出結果を受け取ると、受け取った判定結果および顔検出結果を制御部１１０に出力するものである。
画像出力部３８０は、画像保持部３４０に保持されている画像を画像記憶部１４０に出力するものである。
ここで、顔検出部３００が出力する顔検出結果の値について説明する。
顔検出部３００が出力する顔検出結果の値として、以下に示す（１）乃至（６）等の顔領域に関する評価値がある。
（１）顔の面積の大小（カメラからの距離）
（２）顔の位置（画像中心からの距離）
（３）顔らしさの値
（４）顔の横向きの度合い（正面方向、上下左右何れかの方向）
（５）顔の傾きの度合い（首をかしげている）
（６）顔の上下左右
また、（１）乃至（６）以外の顔検出結果の値として、以下に示す（７）乃至（９）等の顔の表情や顔の一部分の状態等に関する評価値がある。
（７）笑顔の度合い
（８）真顔（真剣な顔）の度合い
（９）目が閉じている（まばたきをしている）度合い
これらの顔領域に関する評価値等を用いて、動きベクトルについての重み付け係数等を算出することができる。
図３は、本発明の実施の形態における撮像装置１００における画像のブレ補正に関する機能構成例を示すブロック図である。
撮像装置１００は、画像入力部４２０と、顔検出部３００と、動きベクトル検出部４００と、ブレ補正部４１０と、画像出力部４３０と、補正量算出部４４０と、選択受付部１６２とを備える。
画像入力部４２０は、画像を入力するものであり、入力された画像を顔検出部３００と、動きベクトル検出部４００と、ブレ補正部４１０とに出力するものである。
顔検出部３００は、図１および図２で示した顔検出部３００と同じものであり、画像入力部４２０が出力した画像から顔を検出するものであり、検出結果等を動きベクトル検出部４００と補正量算出部４４０とに出力するものである。また、顔検出部３００は、撮影画像に含まれる顔に基づくブレ補正処理についてＯＮ設定が選択受付部１６２から出力された場合には顔検出処理を実行し、一方、ＯＦＦ設定が出力された場合には顔検出処理を実行しない。
動きベクトル検出部４００は、画像入力部４２０が出力した画像について画像処理によって動きベクトルを検出し、検出された動きベクトルを補正量算出部４４０に出力するものである。なお、動きベクトル検出部４００が検出する動きベクトルについては、図４乃至図１４等を用いて詳細に説明する。
補正量算出部４４０は、顔検出部３００が検出した顔に関する各種情報等に基づいて、動きベクトル検出部４００が出力した動きベクトルに重み付け処理を施してブレ補正量を算出し、算出されたブレ補正量をブレ補正部４１０に出力するものである。なお、補正量算出部４４０が算出するブレ補正量については、図４乃至図１４等を用いて詳細に説明する。
ブレ補正部４１０は、補正量算出部４４０が出力したブレ補正量に基づいて、画像入力部４２０が出力した画像の位置を移動させて、その画像のブレを補正するものである。
画像出力部４３０は、ブレ補正部４１０によりブレが補正された画像を出力するものである。画像出力部４３０は、例えば、撮影画像を表示する表示部１６１に対応する。また、例えば、撮影画像に対応する画像データを、撮影画像を表示する他の外部装置に出力する入出力端子１７０に対応する。なお、撮影画像に対応する画像データを記憶媒体１８０等の画像記憶媒体に出力してその外部装置に撮影画像を記憶させるようにすることができる。
選択受付部１６２は、図１で示した選択受付部１６２と同じものであり、ユーザにより入力された顔のブレ補正に関するＯＮ設定またはＯＦＦ設定に関する選択情報を顔検出部３００に出力するものである。
次に、動きベクトルの検出方法の一つとして、ブロックマッチング方式の画像処理による動きベクトル検出方法について図面を参照して説明する。
図４は、動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の一例を示す図である。
ブロックマッチング方式の画像処理による動きベクトル検出方法とは、図４に示すように、動画像を構成する時間的に連続するフレーム画像（画像５００）を小さなブロックに分割し、分割されたブロックと似ている画像ブロックが前フレームのどこにあるかを探索し、探索結果に基づいて分割された各ブロックにおける動きベクトルを検出する方法である。
具体的に、動きベクトル検出部４００がブロックマッチング方式の画像処理によって画像５００から動きベクトルを検出する場合には、画像５００を複数の領域に分割する。例えば、最も簡易な画像分割は画像の縦横を等分する分割であり、図４に示すように、画像５００を１６分割にすることができる。また、分割された画像における各領域においてターゲットブロックが配置され、配置された各ターゲットブロックに対して、想定される最大の動き量の大きさにサーチ範囲が設定される。そして、設定されたサーチ範囲内でターゲットブロックにより動きベクトルが算出される。例えば、図４に示すように、画像５００が１６分割された各領域においてターゲットブロック５０１、５０３乃至５１７が配置され、各ターゲットブロックに対してサーチ範囲が設けられる。なお、ターゲットブロックは、サーチ範囲内においてサーチ対象となるものを探索する領域であり、例えば、ターゲットブロック５０１はサーチ範囲５０２内を探索する。
図５は、動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における前フレーム５４０と現フレーム５５０との関係の一例を示す図である。
前フレーム５４０および現フレーム５５０は、動画像を構成する時間的に連続するフレーム画像のうちの現フレームおよび所定時間前の前フレームである。なお、前フレーム５４０にはターゲットブロック５４１が配置される。また、現フレーム５５０においては、ターゲットブロック５４１が配置された同座標にターゲットブロック５５１が射影され、ターゲットブロック５５１の周辺にサーチ範囲５５２が設定される。なお、図５に示す前フレーム５４０、現フレーム５５０、およびこれらに含まれるターゲットブロック、サーチ範囲等については、説明のため拡大等をして示している。また、各サーチ範囲は重複して設定されるようにしてもよい。
続いて、現フレーム５５０に設定されたサーチ範囲５５２においてターゲットブロック５５１を移動させる。例えば、サーチ範囲５５２において領域５５１ａ乃至５５１ｃ等を移動させる。そして、サーチ範囲５５２において、前フレーム５４０に含まれるターゲットブロック５４１と最も相関の高い領域を探索する。例えば、サーチ範囲５５２においてターゲットブロック５４１と最も相関の高い領域を領域５５３とする。
そして、この探索の結果、サーチ範囲５５２において、ターゲットブロック５４１と最も相関の高い領域が検出された場合には、前フレーム５４０に含まれるターゲットブロック５４１が、現フレーム５５０のサーチ範囲５５２において検出された領域５５３の位置に動いたと推定する。そして、現フレーム５５０に設定されたサーチ範囲５５２においてターゲットブロック５５１と領域５５３との位置関係に基づいて、動きベクトル５５４が求められる。このように、ブロックマッチング方式の画像処理による動きベクトルの検出方法では、１つのターゲットブロックに対して１つの動きベクトルを算出する。つまり、分割されたブロック単位で、フレーム間の相関判定（マッチング判定）処理を行い、ブロック毎に動きベクトルを求める。
なお、図４に示すように、１つの画像５００については、各ターゲットブロックにおける動きベクトルが検出され、検出された動きベクトルに所定の平均化処理が施されて、１つの画像５００における１つのグローバルな動きベクトルが検出される。また、各ターゲットブロックにおいて検出された動きベクトルに重み付け処理が施され、各ターゲットブロックについてのローカルな動きベクトルが検出される。
ここで、図４に示すように、画像５００に人間６０１の顔６０２が含まれている場合において、顔検出部３００によって顔６０２の顔領域６０３が検出されている場合を考える。例えば、図４に示すように、顔検出部３００によって検出された顔領域６０３がターゲットブロック５１１に含まれている場合には、顔領域６０３を含むターゲットブロック５１１についての動きベクトルを検出する。このように、顔領域６０３について１つの動きベクトルを検出することができるため、例えば、人間６０１が移動しているような場合であっても、顔領域６０３についての適切な動きベクトルを検出することができる。
これに対して、図６（ａ）に示すように、画像５６０に人間６０４の顔６０５が含まれている場合において、顔検出部３００によって顔６０５の顔領域６０６が検出され、画像５６０が１６分割されている場合を考える。この場合には、顔検出部３００によって検出された顔領域６０６が、１つのターゲットブロックに含まれておらず、複数のターゲットブロック５６３乃至５６６に含まれている。そうすると、顔領域６０６を含む複数のターゲットブロック５６３乃至５６６のそれぞれについての動きベクトルが検出される。このため、例えば、人間６０４が移動しているような場合には、適切な動きベクトルを検出することができない場合がある。そこで、本発明の実施の形態では、動きベクトル検出部４００が撮影画像から動きベクトルを検出する場合において、顔検出部３００によって検出された顔領域に基づいて撮影画像を分割して動きベクトルを検出する。
図６は、動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の例を示す図である。
図６（ａ）は、図４に示す画像５００と同様に、画像５６０を１６分割する場合の画像分割例を示す図である。このように、人間６０４が含まれている画像５６０について、顔検出部３００によって検出された顔領域６０６を考慮せずに分割した場合には、顔領域６０６が複数のターゲットブロック５６３乃至５６６に含まれることになる。
図６（ｂ）は、顔検出部３００によって検出された顔領域６０６に基づいて、画像５６０を９分割する場合の画像分割例を示す図である。このように、人間６０４が含まれている画像５６０について、顔検出部３００によって検出された顔領域６０６が１つのターゲットブロック５７３に含まれるように画像分割をすることによって、顔領域６０６について１つの動きベクトルを検出することができる。
このように、図６（ａ）に示す画像５６０においては、顔領域が画像分割の境界と交わってしまうため、１つの顔領域に対して１つの動きベクトルを検出することができない。これに対して、図６（ｂ）に示す画像５６０においては、画像分割の境界と顔領域が交わっていないため、１つの顔領域に対して１つの動きベクトルを検出することができ、画像分割の境界の設定方法として好ましい。このように、何れかのターゲットブロックが顔領域を包含するような位置に画像分割の境界を移動させることによって、顔領域に最適な動きベクトルを確実に検出することが可能となる。なお、ターゲットブロックを配置する場合には、検出された顔を囲むようにターゲットブロックが配置されるようにすれば、画像を等分割する以外の他の配置方法を用いることができる。
このように、本発明の実施の形態では、撮影画像から動きベクトルを検出する処理において、顔検出部３００が出力した顔領域の座標を利用する。
なお、顔領域におけるブレ成分（ブレ量）を重点的に補正するため、顔領域を含むターゲットブロックについては、比較的大きい重み付け処理を実行し、全体の動きベクトルの算出に対する寄与度を高める。この重み付け処理については、以下で示すように、顔領域の面積の広さ、顔としての確からしさ、正面向きの度合い等によって、精密に設定することが可能である。
図７は、動きベクトル検出部４００が画像５８０から検出した動きベクトルの例を示す図である。
画像５８０においては、図４に示す画像５００と同様に、画像５８０が１６分割されて各ブロックにおける動きベクトルが検出される。なお、画像５８０には、人間６０７および６１０が含まれ、顔６０８の顔領域６０９および顔６１１の顔領域６１２が顔検出部３００によって検出されている。このため、検出された各顔領域６０９および６１２を含むように、各ターゲットブロックが配置されている。矢印５８１ｖ、５８４ｖ等は、ターゲットブロック５８１乃至５９７において検出された動きベクトルの例を示すものである。図７に示すように、各ターゲットブロックにおいて動きベクトルが検出される。
次に、検出された動きベクトルを重み付け処理するための重み付け係数の算出方法について図面を参照して説明する。
最初に、検出された顔に関する各種情報に基づいて重み付け係数を算出する場合について説明する。
図８は、人間の顔６１３、６１５、６１７が含まれている画像７０１を示す図である。上述したように、撮影画像において動きベクトルが検出された場合においては、検出された動きベクトルをブレ補正量としてそのまま使用せずに、被写体に応じた重み付け処理を行い、重み付け処理された後の動きベクトルを使用してブレ補正を行う。例えば、人間の顔が含まれている撮影画像の場合には、撮影画像におけるターゲットブロックが顔領域を含んでいるか否かに応じて重み付け係数を算出する。また、ターゲットブロックが顔領域を含んでいる場合は、顔領域付近の画像ブレを重点的に補正するために、当該ターゲットブロックに対してさらに大きな重み付け係数を算出する。
例えば、撮影画像におけるターゲットブロックがＮ個の場合について説明する。撮影画像におけるターゲットブロックが顔領域を含んでいない場合には、予め決まっている重み付け係数ｗｎ'＝ｗ０（ｎ＝０〜Ｎ−１）を算出する。ただし、この重み付け係数の初期値ｗ０は、ｗ０＝１／Ｎである。一方、撮影画像におけるターゲットブロックが顔領域を含んでいる場合には、次の（式１）に示すように、重み付けの要因を複数用いて、重み付け係数を算出する。なお、Ｅ０１乃至Ｅ０５はそれぞれの顔評価値の重み付け係数である。
ｗｎ'＝ｗ０×｛（Ｅ０１×顔領域の面積)
＋（Ｅ０２×顔領域の座標）
＋（Ｅ０３×顔らしさの値）
＋（Ｅ０４×顔の正面向きの度合い）
＋（Ｅ０５×顔の傾きの度合い）｝……（式１）
具体的には、ターゲットブロックに含まれる顔領域について、顔領域の面積が広いほど重みを増やし、顔領域の座標が中央寄りであるほど重みを増やし、顔らしさの値が高いほど重みを増やし、顔の正面向きの度合いが高いほど重みを増やし、顔の傾きが少ないほど重みを増やす等の重み付け処理で算出する。
Ｎ個のターゲットブロックから、それぞれの重み付け係数ｗ０'〜ｗ（Ｎ−１）'が算出された場合には、それぞれの重み付け係数の総和が１となるように正規化処理を施す。
例えば、図８に示すように、複数の人間の顔６１３、６１５、６１７が含まれている画像７０１において、顔領域６１４に含まれる人間の顔６１３は、顔領域の面積が広く、その座標が中央寄りであり、顔の正面向きの度合いが高く、顔の傾きが少ないため、重み付け係数が高い。また、顔領域６１８に含まれる人間の顔６１７は、顔領域の面積が比較的狭く、その座標が中央寄りではなく、顔の傾きが比較的大きいため、重み付け係数が低い。さらに、顔領域６１６に含まれる人間の顔６１５は、顔領域の面積が比較的狭く、その座標が中央寄りではなく、顔の正面向きの度合いが低いため、重み付け係数が低い。
次に、検出された顔についてのフォーカスや露出の合っている度合いに基づいて重み付け係数を算出する場合について説明する。
図９乃至図１２は、複数の人間の顔が含まれている撮影画像の例を示す図である。
図９に示すように、例えば、撮像装置１００からの距離が異なる複数の人間の顔が含まれている撮影画像においては、顔の各種情報に基づいて重み付け係数を算出することができるとともに、各顔のフォーカスや露出の合っている度合い等に基づいて、重み付け係数を算出することができる。また、各顔のフォーカスや露出の合っている度合いに基づいて、顔の各種情報に基づいて算出された重み付け係数を補正することができる。
図９（ａ）は、撮像装置１００からの距離が異なる複数の人間の顔６１９、６２１、６２３が含まれている画像７０２を示す図である。なお、画像７０２においては、各顔６１９、６２１、６２３を含む顔領域６２０、６２２、６２４が検出されている。
フォーカスの合っている度合いを検出する方法として、検出された顔領域内にＡＦ検波枠を設け、枠の内側で高周波成分を求め、高周波成分の積分値が大きいほど、フォーカスが合っているとみなす方法がある。例えば、図９（ａ）に示す画像７０２において、最もフォーカスが合っている顔領域を顔領域６２２とする。この場合には、画像７０２において顔領域６２２に係るターゲットブロックの重み付け係数の重みを増やすようにする。
図９（ｂ）は、撮像装置１００からの距離が異なる複数の人間の顔６２５、６２７、６２９が含まれている画像７０３を示す図である。なお、画像７０３においては、各顔６２５、６２７、６２９を含む顔領域６２６、６２８、６３０が検出されている。
露出が合っている度合いを検出する方法として、適正露出を予め設定できるようにしておき、その値に近いほど露出が合っているとみなす方法がある。例えば、図９（ｂ）に示す画像７０３において、最も露出が合っている顔領域を顔領域６２６とする。この場合には、画像７０３において顔領域６２６に係るターゲットブロックの重み付け係数の重みを増やすようにする。
図１０は、多数の人間の顔が含まれている画像７０４（いわゆる集合写真）を示す図である。なお、画像７０４においては、人間６３１の顔６３２を含む顔領域６３３とともに他の顔領域の全てが検出されている。
図１０に示すように、いわゆる集合写真のような画像７０４においては、面積の比較的狭い顔領域が多数存在し、面積の広い顔領域が現れない。また、画像７０４に存在する顔の多くが正面を向いていることが多い。このため、撮影画像がいわゆる集合写真の画像であると判断された場合には、各々の顔領域に対する重み付けを均一にして、さらに重み付け係数を低めに設定するようにすることができる。これにより、いわゆる集合写真の画像に適した重み付けに補正することができる。
図１１は、主たる被写体の人物６３４および６３６とともに、他の人物６３８および６４０が背景に含まれている画像７０５を示す図である。
図１１に示すように、主たる被写体の人物６３４および６３６以外に、他の人物６３８および６４０が背景に存在する画像７０５においては、主たる被写体の人物６３４および６３６については、その顔領域の面積が比較的広く、さらに顔領域が画像の中央付近に存在する場合が多い。一方、背景の他の人物６３８および６４０については、その顔領域の面積は比較的狭く、さらに顔領域が画像の周辺付近に存在する場合が多い。また、主たる被写体の人物は正面を向いている確率が高く、背景の他の人物は正面を向いている確率が低い場合が多い。このため、これらを考慮して、背景の人物であると判断された場合には、その背景の人物の顔領域についての重み付け係数を低めに設定することができる。これにより、背景の人物に適した重み付けに補正することができる。
図１２は、複数の人間の顔６４２、６４４、６４６が含まれている画像７０６を示す図である。
図１２に示すように、例えば、画像７０６において複数の顔領域６４３、６４５、６４７が存在する場合において、複数の顔領域の中から特定人物（既知の人物）と認識される顔領域が存在している場合には、未知の顔領域よりも大きい重み付け係数を付与する。これにより、特定人物に対して最適なブレ補正を実現することができる。
例えば、図１２に示すように、画像７０６において複数の顔領域６４３、６４５、６４７が存在する場合において、特定人物の顔領域を顔領域６４３とする。この場合において、顔領域６４３に係るターゲットブロックの重み付け係数については、顔領域の面積や正面向きの度合い等よりも優先して、特定人物に対して最も大きな重み付け係数を付与するようにする。
なお、特定人物とは、撮像装置１００のユーザにより特定された人物である。その人物の顔領域に関する各種データが特定人物データベースとして撮像装置１００内に保持される。なお、各種データとしては、例えば、顔の輪郭、顔の構成部分（目、鼻、眉、口、耳、髪、ひげ、眼鏡等）の形状や特徴、位置等がある。また、外部から撮像装置１００に特定人物のデータを与えるようにしてもよい。その特定人物の顔に関する特定人物データベースと、撮影画像から検出された顔領域での各種データとを比較し、その相関値を算出して、同一人物であるか否かを判定し、同一人物であれば、その人物が特定人物であると判定する。このような顔画像による特定人物の認識に関しては、特公平６−７３８８等に記載されている技術がよく知られている。
以上で示したように、撮影画像から顔が１つまたは複数検出された場合において、どの顔がどの程度重要な被写体であるかを数値で表現することができ、顔検出の結果値を各動きベクトルの重み付け係数の算出に忠実に反映させることが可能である。
次に本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
図１３は、撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９０１）。撮像部１２０から撮影画像が入力されると、顔検出の設定がＯＮにされているか否かが判断される（ステップＳ９０２）。顔検出の設定がＯＦＦであれば（ステップＳ９０２）、顔に基づくブレ補正をする必要がないため、ステップＳ９１２に進む。
顔検出の設定がＯＮにされていれば（ステップＳ９０２）、顔検出部３００は、入力された画像から顔を検出するとともに検出された各顔の各種情報を算出する（ステップＳ９０３）。
続いて、入力された画像から顔が検出されたか否かが判断される（ステップＳ９０４）。入力された画像から顔が検出されていなければ（ステップＳ９０４）、顔に基づくブレ補正をする必要がないため、ステップＳ９１２に進む。
入力された画像から顔が検出されていれば（ステップＳ９０４）、検出された各顔領域を包含するように、入力された画像が複数のブロックに分割される（ステップＳ９０５）。この分割については、図６（ｂ）に示すように、顔領域が分割されないように各ブロックの境界が設定される。例えば、入力された画像がＮ個のブロックに分割されたとする。なお、入力された画像から複数の顔が検出されている場合には、検出された各顔の評価値に基づいて主要と思われる一または複数の顔が選択され、選択された顔の各顔領域を包含するように、入力された画像が複数のブロックに分割されるようにしてもよい。
続いて、複数のターゲットブロックの中から１つのターゲットブロックが取り出される（ステップＳ９０６）。続いて、取り出されたターゲットブロックに関する動きベクトルが検出されて記憶される（ステップＳ９０７）。続いて、取り出されたターゲットブロックに顔が含まれているか否かが判断される（ステップＳ９０８）。取り出されたターゲットブロックに顔が含まれていれば（ステップＳ９０８）、ターゲットブロックに含まれている顔の各種情報に基づいて重み付け係数が算出される（ステップＳ９０９）。例えば、ターゲットブロックに顔が含まれている場合には、上述した（式１）を用いて当該ターゲットブロックにおける重み付け係数が算出される（ステップＳ９０９）。このようにすることによって、ターゲットブロックに顔が含まれている場合には、当該ターゲットブロックについては比較的大きな重み付け係数が算出され、当該ターゲットブロックに含まれる顔の顔領域付近の画像のブレを重点的に補正することができる。なお、ステップＳ９０９で、ターゲットブロックにおける重み付け係数を算出する場合においては、図９乃至１２を用いて説明した重み付け係数の算出方法を用いるようにしてもよい。
一方、取り出したターゲットブロックに顔が含まれていなければ（ステップＳ９０８）、当該ターゲットブロックについては予め決定されている重み付け係数が算出される（ステップＳ９１０）。例えば、ターゲットブロックがＮ個ある場合において、予め決定されている重み付け係数の初期値をｗ０とした場合には、重み付け係数としてｗｎ'＝ｗ０＝１／Ｎが算出される（ｎ＝０〜Ｎ−１）。
続いて、複数のターゲットブロックの全てのターゲットブロックが取り出されたか否かが判断される（ステップＳ９１１）。全てのターゲットブロックが取り出されていなければ（ステップＳ９１１）、ステップＳ９０６に進み、各ターゲットブロックの重み付け係数の算出処理を繰り返す（ステップＳ９０６乃至Ｓ９１０）。
全てのターゲットブロックが取り出されていれば（ステップＳ９１１）、算出されたＮ個の各ターゲットブロックにおける重み付け係数ｗ０'〜ｗ（Ｎ−１）'について、その総和が１となるように正規化処理が実行される。続いて、正規化処理された各ターゲットブロックにおける重み付け係数ｗ０'〜ｗ（Ｎ−１）'を用いて、検出された各ターゲットブロックにおける動きベクトルについて重み付け処理が実行され、各ターゲットブロックに係るフレームにおける動きベクトルが算出される（ステップＳ９１５）。続いて、算出された各フレームの動きベクトルが補正量としてブレ補正部４１０に出力される（ステップＳ９１６）。
また、顔検出の設定がＯＮの場合（ステップＳ９０２）または入力画像から顔が検出されなかった場合には（ステップＳ９０４）、入力された画像が複数のターゲットブロックに分割される（ステップＳ９１２）。例えば、入力された画像がＮ個のターゲットブロックに等分割される。
続いて、複数のターゲットブロックの中から１つのターゲットブロックが順次取り出され、取り出されたターゲットブロックに関する動きベクトルが順次検出されて記憶される（ステップＳ９１３）。続いて、各ターゲットブロックについて予め決定されている重み付け係数が算出される（ステップＳ９１４）。例えば、ターゲットブロックがＮ個ある場合において、予め決定されている重み付け係数の初期値をｗ０とした場合には、重み付け係数としてｗｎ'＝ｗ０＝１／Ｎが算出される。続いて、ステップＳ９１５に進み、各ターゲットブロックに係るフレームにおける動きベクトルが算出される。
以上で示したように、Ｎ個のターゲットブロックに係る各フレームにおいて検出された動きベクトルについて、各ターゲットブロックに含まれる顔領域を考慮した重み付け係数による重み付け処理を行い、最終的に１フレームに１つの動きベクトルを算出する。この動きベクトルは、ブレ補正部４１０に出力され、ブレと反対方向に補正が行われる。これにより、出力画像については、ブレの十分に少ない良好な画像が得られる。特に背景よりも人物の顔部分に対してブレが抑圧され、主要な被写体を鮮鋭に撮影することができる。
次に、補正量算出部４４０が算出したブレ補正量に基づいて撮影画像のブレを補正するブレ補正部４１０について図１４を参照して説明する。
ブレ補正部４１０は、上述したように、電子的ブレ補正手段および光学的ブレ補正手段を有する。電子的ブレ補正手段は、撮像素子１２２のアドレスをずらして書き込みまたは読み出し動作をすることによってブレを補正する手段、または、画像記憶部１４０のアドレスをずらして書き込みまたは読み出し動作をすることによってブレを補正する手段である。また、光学的ブレ補正手段は、ブレ補正用レンズの移動や傾きによってブレを補正する手段、または、ブレ補正用プリズムの変形や傾きによってブレを補正する手段、または、撮像素子１２２の移動によってブレを補正する手段である。
なお、電子的ブレ補正手段および光学的ブレ補正手段は、１つの画像に対して複数得られたローカルな動きベクトルから、１つの動きベクトルを算出して、このベクトルに基づいて画像のブレを補正することができる。また、電子的ブレ補正手段は、１つの画像に対して複数得られたローカルな動きベクトルから、ローカルな補正を行うことが可能である。なお、ブレ補正部４１０は、少なくとも電子的ブレ補正手段を具備するようにする。
図１４は、人間６４８が含まれている画像７０７において、９分割された各ブロックから算出された動きベクトル７５１乃至７５９を示す図である。なお、画像７０７において、動きベクトル７５１乃至７５８は、画像７０７における背景部分と判断されたブロックの動きベクトル（グローバルなベクトル）であり、同一の動きベクトルである。一方、動きベクトル７５９は、動被写体である人間６４８の顔６４９の顔領域６５０を含むブロックにおける動きベクトル（ローカルなベクトル）であるため、動きベクトル７５１乃至７５８とは異なる動きベクトルとなっている。なお、動きベクトル７５９は、顔の領域のブレ量である顔移動量の例であり、動きベクトル７５１乃至７５８は、顔の領域以外の領域のブレ量である背景移動量の例である。
図１４に示す画像７０７については、ブレ補正部４１０の電子的ブレ補正手段は、動きベクトル７５１乃至７５８に係る各ブロックについては、同一の動きベクトルであるため、同一のローカルな補正を行う。一方、動きベクトル７５９に係るブロックについては、動きベクトル７５９が動きベクトル７５１乃至７５８とは異なる動きベクトルであるため、動きベクトル７５９に応じたローカルな補正を行う。
これにより、被写体である人間の顔についてブレが少ない鮮鋭な画像を撮影することができる。特に人の顔の付近については、ブレを十分に抑圧することができ、主要な被写体を高画質で撮影することができる。また、背景ブレや背景の物体の動きに影響を受けることなく、人物の顔に自動的に重点をおいて、効果的にブレ補正を実現することができる。なお、本発明の実施の形態は、ブレ補正手段について特定の手段に限定するものではなく、電子的補正や光学的補正の手段に係らず、他のブレ補正手段に対しても適用することができる。
次に、振動センサ２００が出力した撮像装置１００本体におけるブレ成分（ブレ量）２０１を用いて、撮影画像におけるブレを補正する場合について図１５を参照して説明する。
図１５は、振動センサ２００が出力した撮像装置１００本体のブレ成分（ブレ量）２０１と、動きベクトル検出部４００が出力した画像の各部分におけるブレ成分（ブレ量）４０１とに基づいて、被写体のブレ成分を抽出する場合における抽出方法の一例を示す図である。
図１５に示すように、動きベクトル検出部４００が出力した画像の各部分におけるブレ成分４０１から、振動センサ２００が出力した撮像装置１００本体のブレ成分２０１を減算すると、動被写体のブレ成分４０２を算出することができる。つまり、撮影画像の各部分におけるブレ成分から撮像装置１００本体のブレ成分（手振れ等によるブレ成分）を除去することができるため、動被写体のブレ成分を算出することができる。算出されたブレ成分を顔領域のブレ成分検出に利用することができる。
図１６は、動きベクトル検出部４００が検出した画像７０８の各部分における動きベクトルと、動きベクトル検出部４００が検出した画像７０８に含まれる動被写体である人間６５１の動きベクトルとに基づいて、画像７０８に含まれる動被写体以外の背景部分のブレ成分を抽出する場合における抽出方法の一例を示す図である。
図１６に示すように、画像７０８の各部分の動きベクトルから、動被写体である人間６５１の顔領域および胴体部分と推定される領域６５１ａに関する動きベクトルを減算すると、動いている被写体に影響を受けない、純粋な背景のみの動きベクトルを抽出することができる。
このように、振動センサ２００を用いることによって、画像処理に依存しないブレ成分（すなわち、撮像装置１００本体のブレ成分）を検出することが可能である。また、画像の各部分において動きベクトル検出部４００が検出した動きベクトルから振動センサ２００が検出したブレ成分を減算し、減算して求められた値を用いて重み付け処理を実行して動被写体のブレ補正量を算出することができる。このように、動きベクトル検出部４００により検出された動きベクトルの値と、振動センサ２００により検出されたブレ成分の値と用いて、ブレ補正量を算出することができる。
次に、顔検出部３００が検出した顔領域と動きベクトル検出部４００が検出した動きベクトルとに基づいて撮影画像の各部のブレを補正するブレ補正について図面を参照して説明する。なお、上記では、動きベクトル検出部４００が動きベクトルを検出する場合において、顔検出部３００が顔を検出している場合には、検出された顔を含むように撮影画像を複数の領域に分割し、分割された各領域における動きベクトルを求める例を説明した。
ここでは、動きベクトル検出部４００が動きベクトルを検出する場合において、撮影画像に含まれる顔とは無関係に、撮影画像を複数の領域に分割し、分割された各領域における動きベクトルを求める場合におけるブレ補正の例について説明する。つまり、撮影画像を複数の領域に分割し、分割された各領域において検出された動きベクトルを、背景のブレベクトル（グローバルなベクトル）と、顔領域を含む動被写体部分のブレベクトル（ローカルなベクトル）とに分離して、ブレ量の検出および補正をローカルに行う。
図１７は、人間６５２および人間６５５が含まれている画像７１１において、１６分割された各ブロックから算出された動きベクトル７５９乃至７７４を示す図である。なお、画像７１１において、動きベクトル７５９乃至７６８は、画像７１１における背景部分と判断されたブロックの動きベクトル（グローバルなベクトル）であり、同一の動きベクトルである。また、動きベクトル７６９および７７０は、動被写体である人間６５２の顔６５３の顔領域６５４の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。また、動きベクトル７７１は、動被写体である人間６５２の胴体部分の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。また、動きベクトル７７２および７７３は、動被写体である人間６５５の顔６５６の顔領域６５７の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。また、動きベクトル７７４は、動被写体である人間６５５の胴体部分の一部を含むブロックにおける動きベクトル（ローカルなベクトル）である。
ブレ補正部４１０が有する電子的ブレ補正手段は、１つの画像に対して複数得られたローカルな動きベクトルから、ローカルな補正を行うことが可能である。
図１７に示す画像７１１については、ブレ補正部４１０の電子的ブレ補正手段は、動きベクトル７５９乃至７６８に係る各ブロックについては、同一の動きベクトルであるため、同一のローカルな補正を行う。一方、動きベクトル７６９乃至７７４に係るブロックについては、動きベクトル７６９乃至７７４に応じたローカルな補正を行う。つまり、動被写体である人間６５５の顔６５６や胴体部分が移動しているような場合には、その移動に合わせてブレを補正することができる。
このように、分割されたブロック毎に顔の少なくとも一部の領域があるか否かの判定を行い、この判定結果をブッロクに対応させて保存するとともに、顔領域および背景領域のそれぞれの平均ベクトルを算出し、算出された平均ベクトルを保存し、これらの平均ベクトルに基づいてブレ補正量を算出する。なお、顔領域から推定される動被写体領域（例えば、その人物の胴体部分や腕・脚部分）についても顔の一部と判定し、顔領域とともに、または、顔領域および顔以外の動被写体領域のそれぞれについての平均ベクトルを算出するようにしてもよい。これにより、被写体である人間の顔についてブレが少ない鮮鋭な画像を撮影することができる。特に人の顔の付近については、ブレを十分に抑圧することができ、主要な被写体を高画質で撮影することができる。また、背景ブレや背景の物体の動きに影響を受けることなく、人物の顔に自動的に重点をおいて、効果的にブレ補正を実現することができる。
次に、図１７で示すブレ補正方法の動作について図１８を参照して説明する。
図１８は、撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９２１）。撮像部１２０から撮影画像が入力されると、顔検出の設定がＯＮにされているか否かが判断される（ステップＳ９２２）。顔検出の設定がＯＦＦであれば（ステップＳ９２２）、顔に基づくブレ補正をする必要がなく、通常のブレ補正処理によりブレ補正量が算出され、算出されたブレ補正量をブレ補正部４１０に出力する（ステップ９３８）。
顔検出の設定がＯＮにされていれば（ステップＳ９２２）、顔検出部３００は、入力された画像から顔を検出するとともに検出された各顔の各種情報を算出する（ステップＳ９２３）。
続いて、入力された画像が複数の領域（ブロック）に分割される（ステップＳ９２４）。例えば、入力された画像がＮ個のブロックに分割されたとする。
続いて、複数の領域の中から１つのブロックが取り出され（ステップＳ９２５）、取り出されたブロックに顔が含まれているか否かが判断される（ステップＳ９２６）。取り出されたブロックに顔が含まれていれば（ステップＳ９２６）、取り出されたブロックにおける動きベクトルが検出されるとともに、検出された動きベクトルが顔用の配列に記憶される（ステップＳ９２７）。続いて、取り出されたブロックに対応する顔／背景判定情報として「顔」が記憶される（ステップＳ９２８）。なお、複数の顔が検出されている場合には、各顔についての顔用の配列に各動きベクトルが記憶され、取り出されたブロックに対応する顔／背景判定情報として各顔の情報が記憶される。
一方、取り出されたブロックに顔が含まれていなければ（ステップＳ９２６）、取り出されたブロックにおける動きベクトルが検出されるとともに、検出された動きベクトルが背景用の配列に記憶される（ステップＳ９２９）。続いて、取り出されたブロックに対応する顔／背景判定情報として「背景」が記憶される（ステップＳ９３０）。
続いて、複数のブロックの全てのブロックが取り出されたか否かが判断される（ステップＳ９３１）。全てのブロックが取り出されていなければ（ステップＳ９３１）、ステップＳ９２５に進み、各ブロックの動きベクトルの検出処理を繰り返す（ステップＳ９２５乃至Ｓ９３０）。
全てのブロックが取り出されていれば（ステップＳ９３１）、顔用の配列に記憶されている動きベクトルに基づいて顔領域に関する平均ベクトルが算出されるとともに、背景用の配列に記憶されている動きベクトルに基づいて背景領域に関する平均ベクトルが算出される（ステップＳ９３２）。なお、複数の顔が検出されている場合には、各顔についての顔領域に関する平均ベクトルが算出される。
続いて、複数の領域の中から１つのブロックが取り出され（ステップＳ９３３）、取り出されたブロックに対応する顔／背景判定情報に「顔」が記憶されているか否かが判断される（ステップＳ９３４）。取り出されたブロックに対応する顔／背景判定情報に「顔」が記憶されていれば（ステップＳ９３４）、顔領域に関する平均ベクトルに基づいて、取り出されたブロックに対応するブレ補正量が算出される（ステップＳ９３５）。一方、取り出されたブロックに対応する顔／背景判定情報に「背景」が記憶されていれば（ステップＳ９３４）、背景領域に関する平均ベクトルに基づいて、取り出されたブロックに対応するブレ補正量が算出される（ステップＳ９３６）。
続いて、複数のブロックの全てのブロックが取り出されたか否かが判断される（ステップＳ９３７）。全てのブロックが取り出されていなければ（ステップＳ９３７）、ステップＳ９３３に進み、各ブロックの補正量の算出処理を繰り返す（ステップＳ９３３乃至Ｓ９３６）。
全てのブロックが取り出されていれば（ステップＳ９３７）、算出された各ブロックの補正量がブレ補正部４１０に出力される（ステップＳ９３８）。
以上で示したように、Ｎ個のブロックの全てについて動きベクトルを検出し、各ブロックにおける動きベクトルに基づいて顔領域および背景領域に応じた平均ベクトルを算出し、算出された平均ベクトルに基づいて各ブロックにおける顔領域および背景領域に応じた補正量を算出する。この補正量は、ブレ補正部４１０へ与えられ、ブレと反対方向に補正が行われて、出力画像ではブレの十分に少ない良好な画像が得られる。特に背景よりも人物の顔部分に対してブレが抑圧され、主要な被写体を鮮鋭に撮影することができる。
次に、顔領域を含む動被写体領域についてのローカルな動きベクトルに基づいた補正量を、撮影画像の中央寄りになるように算出することによって、人物の像を常に画像の中央付近に移動するブレ補正について説明する。
図１９は、顔領域を含む動被写体領域が撮影画像の中央寄りになるように算出する場合における概略を示す図である。
図１９（ａ）に示すように、画像７１２について算出されたグローバルな補正量（補正ベクトル）がベクトルａである場合には、画像７１２に含まれる顔領域についてもベクトルａだけブレ補正処理が行われる。
例えば、図１９（ｂ）に示すように、画像７１４に含まれる人間の顔６５８が画像の中央付近に存在しない場合には、ブレ補正とともに人間の顔６５８を画像７１４の中央付近に移動させることができる。
例えば、画像７１４について算出されたグローバルな補正量がベクトルａである場合において、画像の中央に移動するためのベクトルｂを求め、このベクトルｂに重み付け係数Ｗ６を乗じ、ベクトルａとの合成でローカルな補正を行う（式２）。なお、ベクトルｂは、顔の座標と画像中心の座標との差異によって算出されるベクトルである。また、ｗ６は、重み付け係数であり、例えば０．１〜０．５の値を用いることができる。
補正量＝ベクトルａ＋ｗ６×ベクトルｂ……（式２）
これにより、顔領域のブレ補正とともに、フレーミングの補正との双方を同時に行うことができる。
また、顔領域、および顔領域から推定される人物の領域はローカルなベクトルで補正し、それ以外の背景部分は全体的な（グローバルな）ベクトルで補正することが可能となり、画像の各領域においてそれぞれ最適なブレ補正ができる。
また、顔領域、および顔領域から推定される動被写体領域に対するローカルな補正ベクトルを、画像の中央寄りになるよう算出することにより、人物の像を画像の中央へと移動するようなブレ補正を行い、さらに適正なフレーミングを実現することができる。
次に、動きベクトルの検出方法の一つとして、上述したブロックマッチング方式の画像処理による動きベクトル検出方法以外の動きベクトル検出方法の例について図面を参照して説明する。
図２０は、顔検出部３００が検出した顔領域に基づいて撮影画像から動きベクトルを検出する場合における動きベクトル検出方法の一例を示す図である。
顔検出部３００が検出した顔領域に基づく動きベクトル検出方法とは、図２０に示すように、動画像を構成する時間的に連続する前フレーム画像（画像７１５）および現フレーム画像（画像７１６）における顔領域に基づいて検出する方法である。なお、現フレーム画像（画像７１６）は、前フレーム画像（画像７１５）の所定時間ｔ経過後のフレームである。また、ブレ検出手段（移動量算出手段）として、振動センサ２００と、顔検出部３００が検出した顔領域に基づく動きベクトル検出手段の両方を利用する。
図２０（ａ）は、前フレーム画像（画像７１５）において、人間６６０およびその顔６６１と、顔検出部３００により検出された顔６６１の顔領域６６２とを示す図である。
図２０（ｂ）は、現フレーム画像（画像７１６）において、人間６６０およびその顔６６１と、顔検出部３００により検出された顔６６１の顔領域６６３と、振動センサ２００により検出された手振れベクトル６８０と、顔検出部３００が検出した顔領域に基づいて検出された動きベクトル６８１とを示す図である。このように、図２０（ｂ）には、手振れベクトル６８１と顔領域に基づく動きベクトル６８１とを合成した場合を示す。
例えば、現フレーム画像（画像７１６）において顔検出部３００により顔領域が検出された場合には、検出された１または複数の顔についての顔領域の座標、顔らしさの値、顔の向きの値等の各種情報に基づいて総合的な評価値Ｅｎを求める。例えば、次の（式３）を用いて、総合的な評価値Ｅｎを求める。なお、ｗ１乃至ｗ５は、それぞれの顔評価値の重み付け係数である。
Ｅｎ＝ｗ１×顔領域の面積
＋ｗ２×顔領域の座標
＋ｗ３×顔らしさの値
＋ｗ４×正面向きの度合い
＋ｗ５×顔の傾きの度合い……（式３）
なお、（式３）で示す顔に関する各種情報以外の情報を用いて総合的な評価値Ｅｎを求めるようにしてもよく、各評価値を統合せずに、個々に用いてもよい。また、（式３）で示す総合的な評価値Ｅｎは一例であり、他の各種情報に基づいて総合的な評価値Ｅｎを求めるようにしてもよい。
また、前フレーム画像（画像７１５）において現フレーム画像（画像７１６）で検出された顔領域の近傍を含む広めのサーチ範囲を設定する。この設定されたサーチ範囲において、顔検出部３００により検出された顔領域に関する評価値と相関の高い顔を探索する。探索した結果、顔評価値が類似する顔が前フレームと現フレームとの双方に存在する場合には、その間のベクトルを動きベクトル（顔領域ベクトル）と判定する。
また、振動センサ２００により検出された画像に依存しない手振れベクトルを用いて、次の（式４）を用いて、最終的な補正ベクトルを求める。なお、ｗ７、ｗ８は、それぞれの重み付け係数である。なお、ｗ８は、上述したｗ６と同じ値を用いるようにしてもよい。
補正ベクトル＝手振れ成分の補正ベクトル
＋ｗ７×顔領域の動きベクトル
＋ｗ８×顔から画面中心までのベクトル……（式４）
なお、顔領域が複数検出された場合には、（式４）を用いて算出された補正ベクトルを１フレームに対して１つの補正ベクトルに統合するようにしてもよく、それぞれの顔領域に最適な補正ベクトルをローカルに適用してブレ補正するようにしてもよい。
次に、顔領域に基づく動きベクトルを用いたブレ補正方法の動作について図２１を参照して説明する。
図２１は、撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９４１）。撮像部１２０から撮影画像が入力されると、顔検出の設定がＯＮにされているか否かが判断される（ステップＳ９４２）。顔検出の設定がＯＦＦであれば（ステップＳ９４２）、振動センサ２００が検出した手振れベクトルに基づいて、ブレ補正量である補正量３を算出し（ステップＳ９５０）、ステップＳ９５１に進む。
顔検出の設定がＯＮにされていれば（ステップＳ９４２）、顔検出部３００は、入力された画像から顔を検出するとともに検出された各顔の各種情報を算出する（ステップＳ９４３）。
続いて、顔検出部３００により検出された各顔の各種情報に基づいて総合的な評価値Ｅｎを求める。例えば、次の（式３）を用いて、総合的な評価値Ｅｎを求める（ステップＳ９４４）。続いて、動画像を構成する時間的に連続する前フレーム画像において現フレーム画像で検出された顔領域の近傍を含む広めのサーチ範囲を設定し、このサーチ範囲において、顔検出部３００により検出された顔領域に関する評価値と相関の高い顔が存在するか否かが判断される（ステップＳ９４５）。このサーチ範囲において、顔領域に関する評価値と相関の高い顔が存在しなければ（ステップＳ９４５）、顔領域に基づく動きベクトルを検出することができないため、ステップＳ９５０に進む。
一方、このサーチ範囲において、顔領域に関する評価値と相関の高い顔が存在していれば（ステップＳ９４５）、前フレームと現フレームとの双方に存在する相関の高い顔と判断された各顔領域に基づいて、その間のベクトルを動きベクトル（顔領域の動きベクトル）と判定する（ステップＳ９４６）。
続いて、振動センサ２００が検出した手振れベクトルに基づいて、ブレ補正量である補正量１を算出し（ステップＳ９４７）、算出された補正量１と検出された顔領域の動きベクトルとに基づいて、次の（式５）を用いて補正量２を算出する（ステップＳ９４８）。
補正量２＝補正量１
＋ｗ７×顔領域の動きベクトル……（式５）
続いて、算出された補正量２と、次の（式６）を用いて補正量３を算出する（ステップＳ９４９）。
補正量３＝補正量２
＋ｗ８×顔から画面中心までのベクトル……（式６）
なお、ステップＳ９４８およびＳ９４９では、上記で示した（式４）の値を求める。また、Ｗ７、Ｗ８は、上記で示した重み付け係数と同じものである。
続いて、ステップＳ９４９またはステップＳ９５０で算出された補正量３に基づいて、撮影画像全体のブレ補正量を算出し、算出されたブレ補正量がブレ補正部４１０に出力される（ステップＳ９５１）。
これにより、顔領域についてのブレ補正処理とともに、顔が画像中心に向かって移動するようなフレーミング補正を同時に実現することができるため、顔領域のブレを抑圧するとともに、フレーミングのバランスのよい、より好ましい出力画像を得ることができる。なお、（式１）等で示す数値や式等は一例であり、他の数値や式等を用いるようにしてもよい。
以上で示したように、本発明の実施の形態によれば、ブレが少ない鮮鋭な画像を撮影することができる。特に人の顔の付近については、ブレを適切に補正することができるため、主要な被写体を高画質で撮影することができる。
また、背景ブレや背景の物体の動きに関する影響を低減させることができるため、人物の顔に重点をおいて効果的にブレ補正を実現することができる。
さらに、顔領域の座標、画像内での位置、面積、顔らしさの値、正面向きの度合い、顔の傾きの度合い等に基づいて、ブレ補正量の重み付け処理を実行することができ、適切なブレ補正量を算出することができる。
また、画面全体で１つのベクトルを用いて全体的にブレを補正することができるとともに、画面内の複数のベクトルを用いてローカルにブレを補正することができるため、被写体に応じて適切にブレ補正をすることができる。
さらに、ローカルなブレ補正をする場合には、顔領域をなるべく画像の中央寄りに移動させるような補正ベクトルを算出することによって、主要な被写体としての人物をより適切なフレーミングにすることができる。
また、ブレ検出手段およびブレ補正手段として電子的なブレ検出手段およびブレ補正手段のみを撮像装置に設けるようにする場合には、撮像装置としての小型化、低コスト化、省電力化を可能とすることができる。
さらに、人物のグループの画像（いわゆる集合写真）を判別することによって、いわゆる集合写真に適した重み付け処理を実行することができるため、適切な集合写真を撮影することができる。
また、主たる被写体の人物と、背景に混在する人物とを判別することによって、背景の人物の影響を低減させることができるため、主たる被写体の人物に対する最適なブレ補正を実現することができる。
さらに、画面内に複数の顔が存在する場合には、フォーカスや露出が最も適正な顔を選び出し、その領域のブレを重点的に補正することによって最適なブレ補正を実現することができ、適切な写真を撮影することができる。
また、撮影画像から特定人物の顔が検出された場合には、特定人物に係る重み付け係数を大きめ値に変更することによって、特定人物に最適なブレ補正を実現することができる。
さらに、動きベクトル検出の結果から顔領域付近のブレ成分を減算することによって、動被写体の動きに引かれない画像全体のブレ成分を抽出することができる。
また、従来から知られているブロックマッチング方式の動きベクトル検出方法の代わりに、顔領域の移動ベクトルを検出することによって動きベクトルを検出する方法を用いることもできる。これにより、ブロックマッチング方式の動きベクトル検出方法と同様に、それぞれの顔領域に最適なローカル補正を実現することができ、顔が複数存在している場合であってもそれぞれの顔のブレを適正に補正することができる。
このように、本発明の実施の形態によれば、画像に含まれるブレを適切に補正することができる。
なお、デジタルスチルカメラ等から出力された画像を入力し、入力された画像をディスプレイ等に表示するパーソナルコンピュータ等の画像処理装置に本実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項１において、撮像手段は、例えば撮像部１２０に対応する。
また、請求項１、請求項５、請求項１７において、顔検出手段は、顔検出部３００に対応する。
また、請求項１、請求項８、請求項１６、請求項１７において、移動量検出手段は、例えば動きベクトル検出部４００に対応する。
また、請求項１、請求項９、請求項１５、請求項１７において、ブレ補正手段は、例えばブレ補正部４１０に対応する。
また、請求項２乃至請求項７、請求項１０、請求項１２乃至請求項１４において、補正量算出手段は、例えば補正量算出部４４０に対応する。
また、請求項９において、振動検出手段は、例えば振動センサ２００に対応する。
また、請求項１０において、カメラ制御値検出手段は、例えば制御部１１０に対応する。
また、請求項１１において、設定手段は、例えば選択受付部１６２に対応する。
また、請求項１２において、特定人物記憶手段は、メモリ２１０に対応する。また、特定人物判定手段は、例えば制御部１１０に対応する。
また、請求項１７において、画像入力手段は、例えば信号処理部１３０に対応する。
また、請求項１８または請求項１９において、画像入力手順は、ステップＳ９０１に対応する。また、顔検出手順は、ステップＳ９０３に対応する。また、移動量検出手順は、ステップＳ９０７に対応する。また、ブレ補正手順は、ステップＳ９１６に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 顔検出部３００の機能構成例を示すブロック図である。 本発明の実施の形態における撮像装置１００における画像のブレ補正に関する機能構成例を示すブロック図である。 動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の一例を示す図である。 動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における前フレーム５４０と現フレーム５５０との関係の一例を示す図である。 動きベクトル検出部４００がブロックマッチング方式の画像処理によって撮影画像から動きベクトルを検出する場合における画像分割の例を示す図である。 動きベクトル検出部４００が画像５８０から検出した動きベクトルの例を示す図である。 人間の顔６１３、６１５、６１７が含まれている画像７０１を示す図である。 複数の人間の顔が含まれている撮影画像の例を示す図である。 複数の人間の顔が含まれている撮影画像の例を示す図である。 複数の人間の顔が含まれている撮影画像の例を示す図である。 複数の人間の顔が含まれている撮影画像の例を示す図である。 撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。 人間６４８が含まれている画像７０７において、９分割された各ブロックから算出された動きベクトル７５１乃至７５９を示す図である。 撮像装置１００本体のブレ成分２０１と、画像の各部分におけるブレ成分４０１とに基づいて、被写体のブレ成分を抽出する抽出方法の一例を示す図である。 画像７０８の各部分における動きベクトルと、画像７０８に含まれる人間６５１の動きベクトルとに基づいて、画像７０８に含まれる背景部分のブレ成分を抽出する抽出方法の一例を示す図である。 人間６５２および人間６５５が含まれている画像７１１において、１６分割された各ブロックから算出された動きベクトル７５９乃至７７４を示す図である。 撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。 顔領域を含む動被写体領域が撮影画像の中央寄りになるように算出する場合における概略を示す図である。 顔検出部３００が検出した顔領域に基づいて撮影画像から動きベクトルを検出する場合における動きベクトル検出方法の一例を示す図である。 撮像装置１００によるブレ補正量算出処理の処理手順を示すフローチャートである。
符号の説明
１００ 撮像装置
１１０ 制御部
１２０ 撮像部
１２１ 光学系
１２２ 撮像素子
１３０ 信号処理部
１４０ 画像記憶部
１５０ 画像圧縮伸張部
１６０ ユーザインターフェース
１６１ 表示部
１６２ 選択受付部
１７０ 入出力端子
１８０ 記憶媒体
１９０ バス
２００ 振動センサ
２１０ メモリ
３００ 顔検出部
３１０ 制御部
３２０ 画像入力部
３３０ 画像拡大縮小部
３４０ 画像保持部
３５０ 基準データ保持部
３６０ 判定部
３７０ 検出結果出力部
３８０ 画像出力部
４００ 動きベクトル検出部
４１０ ブレ補正部
４２０ 画像入力部
４３０ 画像出力部
４４０ 補正量算出部

Claims (19)

  1. 被写体の画像を撮像する撮像手段と、
    前記撮像手段により撮像された画像から顔を検出する顔検出手段と、
    前記撮像手段により撮像された画像における前記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、
    前記移動量検出手段により検出された顔移動量および背景移動量に基づいて前記撮像手段により撮像された画像のブレを補正するブレ補正手段と
    を具備することを特徴とする撮像装置。
  2. 前記移動量検出手段により検出された顔移動量および背景移動量に基づいて前記ブレ補正手段により補正される画像のブレの補正量を算出する補正量算出手段をさらに具備することを特徴とする請求項１記載の撮像装置。
  3. 前記補正量算出手段は、前記移動量検出手段により検出された顔移動量および背景移動量と所定の重み付け係数とに基づいて前記補正量を算出することを特徴とする請求項２記載の撮像装置。
  4. 前記補正量算出手段は、前記移動量検出手段により検出された背景移動量に係る重み付け係数の値よりも前記移動量検出手段により検出された顔移動量に係る重み付け係数の値を大きくして前記補正量を算出することを特徴とする請求項３記載の撮像装置。
  5. 前記顔検出手段は、前記撮像手段により撮像された画像から検出された顔に関する各種情報を検出し、
    前記補正量算出手段は、前記顔検出手段により検出された顔に関する各種情報に基づいて前記重み付け係数を算出する
    ことを特徴とする請求項３記載の撮像装置。
  6. 前記顔に関する各種情報は、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報であることを特徴とする請求項５記載の撮像装置。
  7. 前記補正量算出手段は、前記顔検出手段により検出された顔の領域付近における重み付け係数の値を大きくして前記補正量を算出することを特徴とする請求項５記載の撮像装置。
  8. 前記移動量検出手段は、前記顔検出手段により検出された顔が所定の領域に含まれるように前記撮像手段により撮像された画像を複数の領域に分割して当該顔が含まれる領域から顔移動量を検出して当該顔が含まれる領域以外の領域から背景移動量を検出する
    ことを特徴とする請求項１記載の撮像装置。
  9. 前記撮像装置の振動によるブレ量を検出する振動検出手段をさらに具備し、
    前記ブレ補正手段は、前記移動量検出手段により検出された顔移動量および背景移動量と前記振動検出手段により検出されたブレ量とに基づいて前記撮像手段により撮像された画像のブレを補正することを特徴とする請求項１記載の撮像装置。
  10. 前記顔検出手段により検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたは露出が合っている度合いを検出するカメラ制御値検出手段をさらに具備し、
    前記補正量算出手段は、前記カメラ制御値検出手段により検出された顔についてのフォーカスが合っている度合いまたは露出が合っている度合いに基づいて当該顔に係る補正量を算出する
    ことを特徴とする請求項５記載の撮像装置。
  11. 前記撮像手段により撮像された画像から顔を検出するか否かを設定する設定手段をさらに具備することを特徴とする請求項１記載の撮像装置。
  12. 特定の人物の顔に関する特定人物情報を記憶する特定人物記憶手段と、
    前記顔検出手段により検出された顔が前記特定人物記憶手段に記憶されている特定人物の顔と一致するか否かを判定する特定人物判定手段とをさらに具備し、
    前記補正量算出手段は、前記顔検出手段により検出された顔が前記特定人物記憶手段に記憶されている特定人物の顔と一致すると前記特定人物判定手段により判定された場合には当該特定人物の顔の領域であるか否かに応じて前記重み付け係数を変更して前記補正量を算出する
    ことを特徴とする請求項３記載の撮像装置。
  13. 前記補正量算出手段は、前記移動量検出手段により検出された顔移動量の平均値である第１平均値を算出して当該第１平均値に基づいて前記顔検出手段により検出された顔の領域に係る補正量を算出するとともに前記移動量検出手段により検出された背景移動量の平均値である第２平均値を算出して当該第２平均値に基づいて前記顔検出手段により検出された顔の領域以外の領域に係る補正量を算出することを特徴とする請求項２記載の撮像装置。
  14. 前記補正量算出手段は、前記顔検出手段により複数の顔が検出された場合には前記検出された顔の領域毎に顔移動量の平均値を算出して当該平均値に基づいて前記補正量を算出することを特徴とする請求項１３記載の撮像装置。
  15. 前記ブレ補正手段は、前記撮像手段により撮像された画像において前記顔検出手段により検出された顔の領域が当該画像の中央寄りに移動するように当該画像のブレを補正することを特徴とする請求項１記載の撮像装置。
  16. 前記移動量検出手段は、前記撮像手段により撮像された画像において前記顔検出手段により検出された顔と当該画像の所定時間前に撮像された画像において前記顔検出手段により検出された顔との相関性の高さに基づいて当該顔の領域に係る顔移動量を検出することを特徴とする請求項１記載の撮像装置。
  17. 画像を入力する画像入力手段と、
    前記画像入力手段により入力された画像から顔を検出する顔検出手段と、
    前記画像入力手段により入力された画像における前記顔検出手段により検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手段と、
    前記移動量検出手段により検出された顔移動量および背景移動量に基づいて前記画像入力手段により入力された画像のブレを補正するブレ補正手段と
    を具備することを特徴とする画像処理装置。
  18. 画像を入力する画像入力手順と、
    前記画像入力手順で入力された画像から顔を検出する顔検出手順と、
    前記画像入力手順で入力された画像における前記顔検出手順で検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手順と、
    前記移動量検出手順で検出された顔移動量および背景移動量に基づいて前記画像入力手順で入力された画像のブレを補正するブレ補正手順と
    を具備することを特徴とする画像処理方法。
  19. 画像を入力する画像入力手順と、
    前記画像入力手順で入力された画像から顔を検出する顔検出手順と、
    前記画像入力手順で入力された画像における前記顔検出手順で検出された顔の領域のブレ量である顔移動量と当該顔の領域以外の領域のブレ量である背景移動量とを検出する移動量検出手順と、
    前記移動量検出手順で検出された顔移動量および背景移動量に基づいて前記画像入力手順で入力された画像のブレを補正するブレ補正手順と
    をコンピュータに実行させることを特徴とするプログラム。
JP2006325015A 2006-11-30 2006-11-30 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム Expired - Fee Related JP4274233B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006325015A JP4274233B2 (ja) 2006-11-30 2006-11-30 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US11/924,158 US8228390B2 (en) 2006-11-30 2007-10-25 Image taking apparatus with shake correction, image processing apparatus with shake correction, image processing method with shake correction, and image processing program with shake correction
CN2007101954816A CN101193208B (zh) 2006-11-30 2007-11-30 图像拍摄装置、图像处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006325015A JP4274233B2 (ja) 2006-11-30 2006-11-30 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム

Publications (2)

Publication Number Publication Date
JP2008141437A JP2008141437A (ja) 2008-06-19
JP4274233B2 true JP4274233B2 (ja) 2009-06-03

Family

ID=39487927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006325015A Expired - Fee Related JP4274233B2 (ja) 2006-11-30 2006-11-30 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム

Country Status (3)

Country Link
US (1) US8228390B2 (ja)
JP (1) JP4274233B2 (ja)
CN (1) CN101193208B (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP4986175B2 (ja) * 2007-12-28 2012-07-25 カシオ計算機株式会社 撮像装置及びプログラム
JP4940164B2 (ja) * 2008-02-07 2012-05-30 オリンパス株式会社 撮像装置及び撮像方法
JP5048542B2 (ja) * 2008-02-07 2012-10-17 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP4534172B2 (ja) * 2008-04-03 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5109866B2 (ja) * 2008-08-13 2012-12-26 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
DE102008042562A1 (de) * 2008-10-02 2010-04-08 Robert Bosch Gmbh Kamera und korrespondierendes Verfahren zur Auswahl eines aufzunehmenden Objekts
US20100150447A1 (en) * 2008-12-12 2010-06-17 Honeywell International Inc. Description based video searching system and method
JP2010224677A (ja) * 2009-03-19 2010-10-07 Seiko Epson Corp 画像評価方法、画像評価プログラムおよび印刷装置
US8452599B2 (en) * 2009-06-10 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for extracting messages
US8269616B2 (en) * 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
US20110019018A1 (en) * 2009-07-22 2011-01-27 National Chung Cheng University Image comprssion system in coordination with camera motion
CN101990063B (zh) * 2009-08-05 2012-05-09 华晶科技股份有限公司 利用移动检测调整数字相机的拍摄设定的方法
US8337160B2 (en) * 2009-10-19 2012-12-25 Toyota Motor Engineering & Manufacturing North America, Inc. High efficiency turbine system
US8237792B2 (en) 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
CN102318334B (zh) * 2009-12-22 2015-12-02 松下电器（美国）知识产权公司 图像处理装置、摄像装置以及图像处理方法
CN102118559B (zh) * 2009-12-30 2012-10-03 华晶科技股份有限公司 利用移动侦测调整数字相机的拍摄条件的方法
JP5488076B2 (ja) * 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
JP5484184B2 (ja) * 2010-04-30 2014-05-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
US8424621B2 (en) 2010-07-23 2013-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Omni traction wheel system and methods of operating the same
EP2424243B1 (en) * 2010-08-31 2017-04-05 OCT Circuit Technologies International Limited Motion estimation using integral projection
JP5857322B2 (ja) * 2011-06-02 2016-02-10 新シコー科技株式会社 オートフォーカスカメラ及びカメラ付きモバイル端末装置
JP2012257080A (ja) 2011-06-09 2012-12-27 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US9357161B1 (en) * 2011-10-17 2016-05-31 Pixelworks, Inc. Motion vector interpolation for motion compensation
GB2511973A (en) * 2011-12-27 2014-09-17 Hewlett Packard Development Co User interface device
FR2991785B1 (fr) * 2012-06-06 2014-07-18 Astrium Sas Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite
KR20140031613A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 영상 처리 장치 및 방법
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
EP2739044B1 (en) * 2012-11-29 2015-08-12 Alcatel Lucent A video conferencing server with camera shake detection
CN103888655B (zh) * 2012-12-21 2017-07-25 联想(北京)有限公司 一种拍照方法及电子设备
WO2014109125A1 (ja) * 2013-01-09 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5892075B2 (ja) * 2013-01-16 2016-03-23 トヨタ自動車株式会社 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法
US9852511B2 (en) 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
JP2016009998A (ja) * 2014-06-24 2016-01-18 キヤノン株式会社 撮像装置、撮像方法及びプログラム
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
US9462189B2 (en) * 2014-07-31 2016-10-04 Apple Inc. Piecewise perspective transform engine
JP6454112B2 (ja) * 2014-09-25 2019-01-16 キヤノン株式会社 ぶれ補正装置、ぶれ補正方法及びプログラム、並びに撮像装置
JP6415228B2 (ja) * 2014-10-03 2018-10-31 キヤノン株式会社 画像合成装置および画像合成装置の制御方法
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
KR102655625B1 (ko) * 2015-11-24 2024-04-09 삼성전자주식회사 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
CN105516589B (zh) * 2015-12-07 2018-07-03 凌云光技术集团有限责任公司 基于人脸识别的智能曝光方法及系统
US20170272660A1 (en) * 2016-03-17 2017-09-21 Casio Computer Co., Ltd. Imaging device configured to control a region of imaging
JP6815747B2 (ja) * 2016-05-02 2021-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体
JP2018164146A (ja) * 2017-03-24 2018-10-18 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US10764499B2 (en) * 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
CN109255797B (zh) * 2017-07-14 2021-08-06 富士通株式会社 图像处理装置及方法、电子设备
CN107995413B (zh) * 2017-10-31 2020-09-29 维沃移动通信有限公司 一种拍照控制方法及移动终端
US11575834B2 (en) * 2019-12-17 2023-02-07 Canon Kabushiki Kaisha Image stabilization apparatus, method of controlling same, and storage medium
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
KR20210155284A (ko) * 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
CN112738405B (zh) * 2020-12-30 2022-02-01 维沃移动通信（杭州）有限公司 视频拍摄方法、装置和电子设备
US11228702B1 (en) * 2021-04-23 2022-01-18 Gopro, Inc. Stabilization of face in video
US20230368343A1 (en) * 2022-02-08 2023-11-16 Meta Platforms Technologies, Llc Global motion detection-based image parameter control
CN114827473B (zh) * 2022-04-29 2024-02-09 北京达佳互联信息技术有限公司 视频处理方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384459B2 (ja) 1992-04-17 2003-03-10 ソニー株式会社 撮像装置
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
JP3659157B2 (ja) * 2000-10-17 2005-06-15 日本電気株式会社 映像内容に重み付けをする画像圧縮方式
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
CN1221101C (zh) * 2002-09-25 2005-09-28 北京中星微电子有限公司 通过面部图像对键盘进行锁定的通信终端和方法
US7899208B2 (en) * 2004-01-06 2011-03-01 Sony Corporation Image processing device and method, recording medium, and program for tracking a desired point in a moving image
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4379918B2 (ja) * 2004-11-29 2009-12-09 富士フイルム株式会社 撮影装置及び撮影方法
JP2006295350A (ja) * 2005-04-07 2006-10-26 Sony Corp 撮像装置及び撮像結果の処理方法
JP2007033543A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮影装置
US8073280B2 (en) * 2006-05-16 2011-12-06 Panasonic Corporation Image processing apparatus and image processing program for correcting image degradation
US8699857B2 (en) * 2007-12-06 2014-04-15 Olympus Imaging Corp. Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program

Also Published As

Publication number Publication date
US8228390B2 (en) 2012-07-24
JP2008141437A (ja) 2008-06-19
US20080186386A1 (en) 2008-08-07
CN101193208B (zh) 2010-09-01
CN101193208A (zh) 2008-06-04

Similar Documents

Publication Publication Date Title
JP4274233B2 (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
JP5195120B2 (ja) デジタルカメラ
JP2010067102A (ja) 物体検出装置、撮像装置、物体検出方法およびプログラム
KR20100055946A (ko) 동영상 썸네일 생성 방법 및 장치
JP2007074143A (ja) 撮像装置及び撮像システム
CN112036311A (zh) 基于眼部状态检测的图像处理方法、装置及存储介质
CN108259769B (zh) 图像处理方法、装置、存储介质及电子设备
JP4885792B2 (ja) ガイド装置及びガイド方法
US20130293741A1 (en) Image processing apparatus, image capturing apparatus, and storage medium storing image processing program
JP5167236B2 (ja) 被写体追跡装置及びその制御方法
JP5272797B2 (ja) デジタルカメラ
JP5096610B2 (ja) ガイド装置およびガイド方法
JP5222429B2 (ja) 被写体追跡装置及びその制御方法
JP5380833B2 (ja) 撮像装置、被写体検出方法及びプログラム
JP2009017135A (ja) 撮像装置、撮像方法、及びプログラム
JP5002311B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体
JP2009212867A (ja) 撮影画像処理装置、撮影制御プログラム及び撮影制御方法
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム
JP2010039795A (ja) 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法
JP5901687B2 (ja) 撮影装置および撮影装置の制御方法
JP2022150652A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090223

R151 Written notification of patent or utility model registration

Ref document number: 4274233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees