JP5224149B2 - 画像処理装置および方法、撮像装置、並びにプログラム - Google Patents

画像処理装置および方法、撮像装置、並びにプログラム Download PDF

Info

Publication number
JP5224149B2
JP5224149B2 JP2010527850A JP2010527850A JP5224149B2 JP 5224149 B2 JP5224149 B2 JP 5224149B2 JP 2010527850 A JP2010527850 A JP 2010527850A JP 2010527850 A JP2010527850 A JP 2010527850A JP 5224149 B2 JP5224149 B2 JP 5224149B2
Authority
JP
Japan
Prior art keywords
image
input image
area
unit
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010527850A
Other languages
English (en)
Other versions
JPWO2010027080A1 (ja
Inventor
雄介 中村
信一郎 五味
智経 増野
優 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010527850A priority Critical patent/JP5224149B2/ja
Publication of JPWO2010027080A1 publication Critical patent/JPWO2010027080A1/ja
Application granted granted Critical
Publication of JP5224149B2 publication Critical patent/JP5224149B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Description

本発明は、画像処理装置および方法、撮像装置、並びにプログラムに関し、特に、人物以外の被写体であっても、最適な構図の画像を切出すことができるようにする画像処理装置および方法、撮像装置、並びにプログラムに関する。
デジタルカメラ等の撮像装置によって被写体を撮影するとき、好ましい構図となるように撮影を行うが、撮影時に構図を適切に定めることは熟練を要するため、撮影により取得された画像が必ずしも所望の構図を有するものとはならない。このような場合、所望の構図となるように、画像に対してトリミングを行う技術がある。
例えば、人体や重要な背景を欠落させることなくトリミングすることが提案されている（例えば、特許文献１参照）。
特開２００８−４２８００号公報
しかしながら、特許文献１の手法においては、被写体に人物が含まれることを前提としており、人物以外の被写体を含む画像に対しては、最適なトリミングを行うことができないおそれがある。
本発明は、このような状況に鑑みてなされたものであり、人物以外の被写体であっても、最適な構図の画像を切出すことができるようにするものである。
本発明の第１の側面の画像処理装置は、入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定手段と、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定手段とを備え、前記決定手段は、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する。
前記画像処理装置には、前記入力画像から、前記決定手段によって決定された前記切出し領域を切出す切出し手段をさらに設けることができる。
前記決定手段には、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定させ、前記入力画像上に、複数の前記切出し領域の候補を表示する表示手段と、前記表示手段によって表示された複数の前記切出し領域の候補のうちのいずれかを選択する選択手段とをさらに設け、前記切出し手段には、入力画像から、前記選択手段によって選択された前記切出し領域を切出させることができる。
前記画像処理装置には、前記入力画像において注目する前記注目領域を抽出する抽出手段と、前記入力画像の前記シーンを判別する判別手段とをさらに設けることができる。
前記画像処理装置には、前記入力画像のアスペクト比と所定の閾値とを比較することで、前記入力画像がパノラマ画像であるか否かを判定する判定手段をさらに設け、前記決定手段には、前記判定手段によって前記入力画像がパノラマ画像であると判定された場合、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定させることができる。
前記画像処理装置には、前記決定手段によって決定された前記切出し領域を示す情報を、EXIF情報として前記入力画像に付加する付加手段をさらに設けることができる。
前記注目領域には、前記入力画像において注目する被写体が含まれ、前記画像処理装置には、前記被写体の向きを検出する検出手段をさらに設け、前記決定手段には、前記設定手段によって設定された前記構図パターンと、前記検出手段によって検出された前記被写体の向きとを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定させることができる。
前記注目領域には、前記入力画像において注目する被写体が含まれ、前記画像処理装置には、前記被写体の動きの方向を決定する動き方向決定手段をさらに設け、前記決定手段には、前記設定手段によって設定された前記構図パターンと、前記動き方向決定手段によって決定された前記被写体の動きの方向とを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定させることができる。
前記画像処理装置には、前記入力画像全体の動きを求める全体動き算出手段と、前記注目領域の動きを求める局所動き算出手段とをさらに設け、前記動き方向決定手段には、前記全体動き算出手段によって求められた前記入力画像全体の動きの向きと、前記局所動き算出手段によって求められた前記注目領域の動きの向きとに基づいて、前記被写体の動きの方向を決定させることができる。
本発明の第１の側面の画像処理方法は、前記入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップと含み、前記決定ステップは、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する。
本発明の第１の側面のプログラムは、前記入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップとを含む処理をコンピュータに実行させ、前記決定ステップは、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する。
本発明の第２の側面の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像のシーンを取得する取得手段と、前記撮像画像において注目する被写体を含む注目領域の数と、前記取得手段によって取得された前記シーンとに基づいて、前記撮像画像に対応する構図パターンを設定する設定手段と、前記設定手段によって設定された前記構図パターンを基に、前記撮像画像から前記構図パターンで切出される画像の、前記撮像画像における最適な切出し領域を決定する決定手段とを備え、前記決定手段は、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する。
本発明の第１の側面においては、入力画像において注目する注目領域の数と、入力画像のシーンとに基づいて、入力画像に対応する構図パターンが設定され、設定された構図パターンを基に、入力画像から構図パターンで切出される画像の、入力画像における最適な切出し領域が、入力画像において注目する注目領域を全て含む最小の矩形領域である全注目矩形領域と切出し領域との共通領域の面積、および、全注目矩形領域の中心位置と切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、入力画像の領域からはみ出した切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように決定される。
本発明の第２の側面においては、被写体が撮像され、撮像された撮像画像のシーンが取得され、撮像画像において注目する被写体を含む注目領域の数と、取得されたシーンとに基づいて、撮像画像に対応する構図パターンが設定され、設定された構図パターンを基に、撮像画像から構図パターンで切出される画像の、撮像画像における最適な切出し領域が、入力画像において注目する注目領域を全て含む最小の矩形領域である全注目矩形領域と切出し領域との共通領域の面積、および、全注目矩形領域の中心位置と切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、入力画像の領域からはみ出した切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように決定される。
本発明の第１および第２の側面によれば、人物以外の被写体であっても、最適な構図の画像を切出すことが可能となる。
本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。 注目領域抽出部の機能構成例を示すブロック図である。 図１の画像処理装置の画像切出し処理について説明するフローチャートである。 注目領域の例を示す図である。 注目領域の数と、シーンとに基づいて設定される構図パターンについて説明する図である。 構図パターン設定部によって設定される構図パターンの例について説明する図である。 切出し領域決定処理について説明するフローチャートである。 エネルギー関数Ecの係数について説明する図である。 ３分割構図における注目領域について説明する図である。 ９分割構図について説明する図である。 エネルギー関数Esの作成について説明する図である。 エネルギー関数Epの作成について説明する図である。 最適切出し領域の例を示す図である。 最適切出し領域の画像の例を示す図である。 画像処理装置の他の構成例を示すブロック図である。 図１５の画像処理装置の画像切出し処理について説明するフローチャートである。 オブジェクトに応じた構図パターンの例について説明する図である。 画像処理装置のさらに他の構成例を示す図である。 図１８の画像処理装置の画像切出し処理について説明するフローチャートである。 切出し領域候補決定処理について説明するフローチャートである。 切出し領域候補の表示例を示す図である。 確認画面の表示例を示す図である。 画像処理装置のさらに他の構成例を示すブロック図である。 図２３の画像処理装置の画像切出し処理について説明するフローチャートである。 目的関数Eの係数について説明する図である。 パノラマ画像における切出し領域候補の画像の切出しを説明する図である。 画像処理装置のさらに他の構成例を示すブロック図である。 画像処理装置のさらに他の構成例を示すブロック図である。 図２８の画像処理装置の画像切出し処理について説明するフローチャートである。 画像処理装置のさらに他の構成例を示すブロック図である。 図３０の画像処理装置の画像切出し処理について説明するフローチャートである。 本発明を適用した撮像装置の一実施の形態の機能構成例を示すブロック図である。 図３２の撮像装置の画像切出し処理について説明するフローチャートである。 画像処理装置のさらに他の構成例を示すブロック図である。 図３４の画像処理装置の画像切出し処理について説明するフローチャートである。 向き検出処理について説明するフローチャートである。 図３４の画像処理装置の切出し領域決定処理について説明するフローチャートである。 向き情報について説明する図である。 ３分割構図について説明する図である。 向き情報について説明する図である。 画像処理装置のさらに他の構成例を示すブロック図である。 図４１の画像処理装置の画像切出し処理について説明するフローチャートである。 動き方向決定処理について説明するフローチャートである。 図４１の画像処理装置の切出し領域決定処理について説明するフローチャートである。 動き方向情報について説明する図である。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．第７の実施の形態
８．第８の実施の形態
９．第９の実施の形態
１０．第１０の実施の形態
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置から入力された入力画像の注目領域とシーンとに応じた構図パターンを設定し、その構図パターンを基に、最適な切出し領域で切出した画像を、出力画像として出力する。
画像処理装置１１は、注目領域抽出部３１、シーン判別部３２、構図パターン設定部３３、構図解析部３４、および画像切出し部３５から構成される。
画像処理装置１１に入力された入力画像は、注目領域抽出部３１、シーン判別部３２、および画像切出し部３５に供給される。
注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン設定部３３に供給する。注目領域は、入力画像における被写体（物体）を含む（囲む）矩形領域であり、入力画像中の被写体の数だけ設定され、抽出される。また、注目領域情報は、例えば、矩形領域の頂点の位置等とされる。
図２は、注目領域抽出部３１の機能構成例を示している。
注目領域抽出部３１は、注目度算出部５１、注目矩形領域決定部５２、および顔矩形領域決定部５３を備えている。
注目度算出部５１は、入力画像の各画素について特徴量を求め、その特徴量から画素毎の注目度を算出する。ここで、特徴量とは、画像のエッジ成分の大きさ、近傍画素との色相の差、画像の所定の領域における色分布、画像全体の平均色と各画素の色相の差などである。さらに、注目度算出部５１は、画素毎の注目度（特徴量）から、１枚の入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給する。注目度算出部５１によって生成される注目度マップは、いわば、１枚の入力画像において注目すべき被写体が含まれる領域を表す情報である。
また、注目度算出部５１は、入力画像の各画素について求めた特徴量から、顔度（顔らしさ度）を算出し、１枚の入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。注目度算出部５１によって生成される顔度マップは、いわば、１枚の入力画像において注目すべき顔が含まれる領域を表す情報である。
注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン設定部３３に供給する。より具体的には、注目矩形領域決定部５２は、注目度マップにおいて、所定の閾値より高い注目度の画素（位置）を矩形の中心とし、その周辺で、他の閾値より低い注目度の画素（位置）を矩形の端点（頂点）とすることで、注目矩形領域を決定する。
また、複数の注目矩形領域が決定された場合、矩形の中心同士が所定の距離より小さいときには、それらを併せて含む最小の矩形領域を、注目矩形領域とする。
顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン設定部３３に供給する。より具体的には、顔矩形領域決定部５３は、顔度マップにおいて、顔の鼻の画素（位置）を矩形の中心とし、その周辺で、顔度が急激に変化する（下がる）画素（位置）を矩形の端点（頂点）とすることで、顔矩形領域を決定する。
なお、注目矩形領域決定部５２によって得られる注目矩形領域情報と、顔矩形領域決定部５３によって得られる顔矩形領域情報とを併せて注目領域情報という。
図１に戻り、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を構図パターン設定部３３に供給する。より具体的には、シーン判別部３２は、予め設定した学習用画像と、例えば、SVM（Support Vector Machines）等の機械学習とを用いてシーン判別を行う。
SVMにおいては、２クラス判別（１対１の判別）が行われ、例えば、「海岸」のクラスとそれ以外のクラス、「田園風景」のクラスとそれ以外のクラス、「空」のクラスとそれ以外のクラス、「山」のクラスとそれ以外のクラス、・・・のように判定され、それぞれのスコアが比較され、最もスコアの高いクラスが、判別結果とされる。
なお、シーン判別部３２は、SVMを用いることとしたが、これに限らず、例えば、ニューラルネットワークを用いたパターン認識や、パターンマッチング等によるパターン認識を用いるようにしてもよい。
構図パターン設定部３３は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報とに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。構図パターンは、注目領域（被写体）の数と、シーンとに対応して予め決められている。構図パターンの詳細については、図５を参照して後述することとする。
構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を画像切出し部３５に供給する。
構図解析部３４は、構図モデル作成部３４ａ、安全モデル作成部３４ｂ、ペナルティモデル作成部３４ｃ、目的関数作成部３４ｄ、および最適化部３４ｅを備えている。
構図モデル作成部３４ａは、構図パターン設定部３３からの構図パターンに基づいた切出し領域を表す構図モデルを作成する。構図モデルは、所定のエネルギー関数Ecで表される。
安全モデル作成部３４ｂは、切出し領域が小さくなりすぎるのを防ぐための安全モデルを作成する。安全モデルは、所定のエネルギー関数Esで表される。
ペナルティモデル作成部３４ｃは、切出し領域の入力画像からはみ出した領域の面積を評価するペナルティモデルを作成する。ペナルティモデルは、所定のエネルギー関数Epで表される。
目的関数作成部３４ｄは、構図モデルを表すエネルギー関数Ec、安全モデルを表すエネルギー関数Es、ペナルティモデルを表すエネルギー関数Epから、目的関数Eを作成する。
最適化部３４ｅは、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。
エネルギー関数Ec，Es，Ep、および目的関数Eの詳細については、後述することとする。
画像切出し部３５は、構図解析部３４からの最適切出し領域に基づいて、入力された入力画像から最適切出し領域の画像を切出し、出力する。
［画像処理装置の画像切出し処理］
次に、図３のフローチャートを参照して、図１の画像処理装置１１の画像切出し処理について説明する。
ステップＳ１１において、注目領域抽出部３１は、入力画像に対応する注目度マップおよび顔度マップを生成する。より詳細には、注目度算出部５１は、入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給するとともに、入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。
ステップＳ１２において、注目領域抽出部３１は、注目度マップおよび顔度マップに基づいて、入力画像において注目する注目領域を抽出し、決定する。より詳細には、注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン設定部３３に供給する。また、顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン設定部３３に供給する。
なお、ステップＳ１２においては、注目領域として、注目矩形領域と顔矩形領域とを決定するようにしたが、顔矩形領域を、注目矩形領域としてまとめて処理するようにしてもよい。
このようにして決定される注目領域の例を図４に示す。
図４において、入力画像Ｐは、１羽の鳥（鶴）が空を飛んでいる画像である。図４に示されるように、ステップＳ１２の処理によれば、１羽の鳥に注目し、その鳥を含むように、１つの注目領域Ｌが決定される。
図３のフローチャートに戻り、ステップＳ１３において、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を構図パターン設定部３３に供給する。
ステップＳ１４において、構図パターン設定部３３は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報とに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。
ここで、図５を参照して、注目領域（被写体）の数と、シーンとに基づいて設定される構図パターンについて説明する。
図５においては、注目領域（被写体）の数と、シーンである「海岸」、「田園風景」、「空」、「山」、「高速道路」、「街路」、「街中」、「高層ビル」それぞれに対応して、種々の構図パターンが決められている。
図５によれば、例えば、シーンが「海岸」である入力画像において、注目領域の数が０であるとき（すなわち、海岸の風景のみのとき）には、構図パターンとして水平線構図が設定される。注目領域の数が１であるときには、構図パターンとして３分割構図と水平線構図とが設定される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と水平線構図が設定され、注目領域の数が６以上であるときには、構図パターンとして対比構図と水平線構図とが設定される。
また、シーンが「田園風景」である入力画像において、注目領域の数が０であるとき（すなわち、田園風景のみのとき）には、構図パターンとして放射線構図が設定される。注目領域の数が１であるときには、構図パターンとして３分割構図と放射線構図とが設定される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と放射線構図が設定され、注目領域の数が６以上であるときには、構図パターンとして放射線構図とパターン構図とが設定される。
同様にして、シーンが「空」である入力画像、「山」である入力画像、「高速道路」である入力画像、・・・における注目領域の数に応じて、構図パターンが設定される。
なお、構図パターンが２つ設定されている場合、それぞれの構図を満たすような構図パターンが設定される。
また、図５で説明した、注目領域の数とシーンとに対応付けられた構図パターンは、予め設定されていてもよいし、ユーザによって適宜設定されるようにしてもよい。
ここで、図６を参照して、構図パターン設定部３３によって設定される構図パターンの例について説明する。
図６の構図Ａは、３分割構図を示しており、垂直線と水平線の交点に被写体を配置することで、バランスのとれた画像となる。
図６の構図Ｂは、対比構図を示しており、同じような被写体や似たような被写体を並べる構図である。構図Ｂにおいて、メインとなる被写体を大きく、他の被写体を小さくなるように配置することで、メインとなる被写体が引き立つ。
図６の構図Ｃは、斜線構図を示しており、リズム感を出したいときに用いられる。また、構図Ｃは、狭い面積を効率的に活用することができる構図である。
図６の構図Ｄは、放射線構図を示しており、開放感や広がりを出したいときに用いられる。被写体の例として、木の枝や、雲間からの太陽光などがある。
図６の構図Ｅは、水平線構図であり、左右の広がりを持たせたいときに用いられる。水平線の位置を垂直方向にずらすことで主題を変えることができる。
図６の構図Ｆは、垂直線構図であり、画像の垂直方向を強調したいときに用いられる。被写体の例として、木の幹や、道路などがある。
図６の構図Ｇは、遠近法構図であり、消失点（図中では、対角線の交点）からの広がりを出したいときに用いられる。
図６の構図Ｈは、パターン構図であり、同じような被写体が複数、規則的に配置され、リズム感や統一感を出したいときに用いられる。
すなわち、構図パターン設定部３３は、注目領域情報の数と、シーン情報とに基づいて、図６で示される構図パターンのうちの、図５において注目領域の数とシーンとによって対応付けられている構図パターンを設定する。なお、構図パターンは、図６で示される８種類に限られるものではなく、さらに多くの種類のパターンがあってもよい。
例えば、図４で示された入力画像Ｐについては、注目領域の数は１であり、シーンは「空」であるので、構図パターン設定部３３は、図５において対応付けられている３分割構図（構図Ａ）を設定する。
なお、以降においては、ステップＳ１４において、入力画像Ｐの構図パターンとして、３分割構図が設定されたものとして説明する。
図３のフローチャートに戻り、ステップＳ１５において、構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、切出し領域決定処理を実行し、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。
［構図解析部の切出し領域決定処理］
ここで、図７のフローチャートを参照して、図３のフローチャートのステップＳ１５における切出し領域決定処理について説明する。
ステップＳ３１において、構図解析部３４の構図モデル作成部３４ａは、構図パターン設定部３３からの構図パターンに基づいた切出し領域を表す構図モデルを作成する。言い換えると、構図モデル作成部３４ａは、構図モデルについてのエネルギー関数Ecを求める。エネルギー関数Ecは、以下の式（１）で与えられる。
Figure 0005224149
式（１）において、SVAは、注目領域の面積を表しており、GDLhn，GDLvn，GDPnは、以下の式（２）で与えられる。
Figure 0005224149
式（２）において、LDh，LDv，PDは、それぞれ、３分割構図において水平方向を３分割する線（水平３分割線）、垂直方向を３分割する線（垂直３分割線）、水平３分割線と垂直３分割線との交点（３分割線交点）を示しており、Pnは注目領域の中心位置を示している。また、ｄは、切出し領域の対角線の長さであり、以下の式（３）で与えられる。
Figure 0005224149
したがって、式（１）におけるGDLhn，GDLvn，GDPnのそれぞれは、注目領域の中心位置が、水平３分割線、垂直３分割線、３分割線交点のそれぞれに近づくほど大きい値となる。
また、式（１）における係数αhn，αvn，αpnは、注目領域の幅、高さをそれぞれCrop_width，Crop_heightとしたとき、以下の式（４）で与えられる注目領域のアスペクト比VA_aspect_rationに応じて、それぞれ、図８の上段図乃至下段図で示されるように変化するパラメータである。図８上段図乃至下段図において、横軸はアスペクト比VA_aspect_rationを、縦軸はそれぞれの係数αhn，αvn，αpnの値を示している。
Figure 0005224149
図８の上段図によれば、アスペクト比VA_aspect_rationが０乃至r_minのとき、係数αhnは1.0となり、アスペクト比VA_aspect_rationがr_mid1より大きいとき、係数αhnは0.0となる。また、アスペクト比VA_aspect_rationがr_min乃至r_mid1のときは、アスペクト比VA_aspect_rationの増加に応じて、係数αhnは減少する。すなわち、式（１）においては、注目領域が縦長であるときに、係数αhnが有効となる。
図８の中段図によれば、アスペクト比VA_aspect_rationが０乃至r_mid2のとき、係数αvnは0.0となり、アスペクト比VA_aspect_rationがr_maxより大きいとき、係数αvnは1.0となる。また、アスペクト比VA_aspect_rationがr_mid2乃至r_maxのときは、アスペクト比VA_aspect_rationの増加に応じて、係数αvnは増加する。すなわち、式（１）においては、注目領域が横長であるときに、係数αvnが有効となる。
図８下段図によれば、アスペクト比VA_aspect_rationが０乃至r_min、または、r_maxより大きいとき、係数αpnは0.0となり、アスペクト比VA_aspect_rationがr_mid1乃至r_mid2のとき、係数αpnは1.0となる。また、アスペクト比VA_aspect_rationがr_min乃至r_mid1のときは、アスペクト比VA_aspect_rationの増加に応じて、係数αpnは増加し、アスペクト比VA_aspect_rationがr_mid2乃至r_maxのときは、アスペクト比VA_aspect_rationの増加に応じて、係数αpnは減少する。すなわち、式（１）においては、注目領域が正方形に近い形であるときに、係数αpnが有効となる。
以上のことより、式（１）は、注目領域が、縦長であるならば水平３分割線に、横長であるならば垂直３分割線に、正方形に近い形であるならば３分割線交点に近づくほど、エネルギー関数Ecの値が大きくなることを示している。
例えば、図９の例においては、注目領域Rhは、縦長で水平３分割線に近く、注目領域Rvは、横長で垂直３分割線に近く、注目領域Rpは、正方形に近い形で３分割線交点に近いので、エネルギー関数Ecの値は大きくなる。
以上においては、構図パターンとして３分割構図を用いた場合について説明してきたが、例えば、図１０に示されるように、３分割構図における１つの分割領域をさらに３分割した構図（９分割構図）を用いるようにしてもよい。９分割構図によれば、３分割構図と比較して、奥行きのある構図となることが期待される。
９分割構図についてのエネルギー関数Ecは、以下の式（５）で与えられる。
Figure 0005224149
式（５）において、GdLhn，GdLvn，GdPnは、以下の式（６）で与えられる。
Figure 0005224149
式（６）において、Ldh，Ldv，Pdは、それぞれ、９分割構図において水平方向を９分割する線（水平９分割線）、垂直方向を９分割する線（垂直９分割線）、水平９分割線と垂直９分割線との交点（９分割線交点）を示している。ただし、図１０に示されるように、３分割構図における中央の分割領域内の、水平９分割線h1a,h1bと垂直９分割線v1a,v1bとの交点は含まれないものとする。
また、式（５）において、係数α3rdは、０乃至１の値をとり、式（５）における、３分割構図についてのエネルギー関数の値と、９分割構図についてのエネルギー関数の値との割合を決めるパラメータである。例えば、適用する構図パターンを９分割構図のみとする場合は、α3rd＝０とすればよい。
図７のフローチャートに戻り、ステップＳ３２において、安全モデル作成部３４ｂは、切出し領域が小さくなりすぎるのを防ぐための安全モデルを作成する。言い換えると、安全モデル作成部３４ｂは、安全モデルについてのエネルギー関数Esを求める。エネルギー関数Esは、以下の式（７）で与えられる。
Figure 0005224149
ここで、図１１に示されるように、入力画像中の全注目領域を含む最小矩形を全注目矩形領域とし、その面積をSWVA、中心位置をPWVAとし、また、切出し領域の面積をSCrop、中心位置をPCropとする。さらに、全注目矩形領域と切出し領域との共通領域の面積をSWVA&Cropとする。
このとき、式（７）のエネルギー関数Esは、全注目矩形領域と切出し領域との共通領域の面積SWVA&Cropが大きいほど大きい値となる（式（７）の第１項）。
また、式（７）のエネルギー関数Esは、切出し領域の中心位置PCropと、全注目矩形領域の中心位置をPWVAとの距離が近いほど大きい値となる（式（７）の第２項）。
ステップＳ３３において、ペナルティモデル作成部３４ｃは、切出し領域の入力画像からはみ出した領域の面積を評価するペナルティモデルを作成する。言い換えると、ペナルティモデル作成部３４ｃは、ペナルティモデルについてのエネルギー関数Epを求める。エネルギー関数Epは、以下の式（８）で与えられる。
Figure 0005224149
ここで、図１２に示されるように、切出し領域の面積をSCropとし、入力画像領域からはみ出した切出し領域の面積をSOverとする。
このとき、式（８）のエネルギー関数Epは、入力画像領域からはみ出した切出し領域の面積SOverが大きいほど大きい値となる。なお、演算量を削減するために、切出し領域が入力画像領域からはみ出したときは常に、エネルギー関数Ep＝１としてもよい。
ステップＳ３４において、目的関数作成部３４ｄは、エネルギー関数Ec，Es，Epから、以下の式（９）で与えられる目的関数Eを作成する。
Figure 0005224149
式（９）において、係数CC，CS，CPは、それぞれ、エネルギー関数Ec，Es，Epについての調整係数である。式（９）によれば、目的関数Eは、その値が小さいほど、得られる切出し領域が最適な切出し領域に近づくことを示している。
ステップＳ３５において、最適化部３４ｅは、目的関数Eを最小とする切出し領域の位置情報を基に、最適切出し領域を決定して、画像切出し部３５に供給する。より具体的には、最適化部３４ｅは、例えば、粒子群最適化（Particle Swarm Optimization：PSO）を用いて、目的関数Eを最適化する。
粒子群最適化においては、複数の変数がランダムに変化する中で、そのうちの１つの変数が、目的となる最適な値に近づくと、これに伴い他の変数もより最適な値に近づき、これが繰り返されて、複数の変数は、それぞれ最適な値となる。
すなわち、最適化部３４ｅは、切出し領域の切出しのスタート位置（水平方向、垂直方向）と、切出し領域の大きさ（幅、高さ）とを変数として、粒子群最適化により、目的関数Eが最小となる位置情報（切出し領域のスタート位置および大きさ）を求める。最適化部３４ｅは、求めた位置情報を基に、最適切出し領域を決定し、処理はステップＳ１５に戻る。
なお、切出し領域のアスペクト比を固定とした場合、最適化部３４ｅは、切出し領域の切出しのスタート位置（水平方向、垂直方向）と、切出し領域の大きさ（幅）とを変数としてもよい。さらに、変数として、切出し領域の回転角度を加えてもよい。
このようにして決定された最適切出し領域の例を図１３に示す。
図１３に示されるように、入力画像Ｐにおいて、１羽の鳥が、３分割構図の３分割線交点の位置に配置するように、最適切出し領域Ｐcが決定されている。
図３のフローチャートに戻り、ステップＳ１６において、画像切出し部３５は、構図解析部３４からの最適切出し領域に基づいて、入力された入力画像から最適切出し領域の画像を切出し、出力する。例えば、画像切出し部３５は、構図解析部３４からの最適切出し領域Ｐcに基づいて、図１４に示されるような、３分割構図の最適切出し領域Ｐcの画像を切出す。
以上の処理によれば、入力画像における注目領域の数と、入力画像のシーンと対応付けられた構図パターンを基に、切出し領域を決定することができる。注目領域は、被写体が人物以外であっても決定されるので、人物以外の被写体であっても、最適な構図の画像を切出すことが可能となる。また、構図パターンは、注目領域の数とシーンに基づいて設定されるので、入力画像のカテゴリに関わらず、最適な構図の画像を切出すことが可能となる。
以上においては、構図パターンが、注目領域の数とシーンとに対応付けて予め決められている構成について説明してきたが、入力画像に対してオブジェクト認識をし、そのオブジェクトに応じた構図パターンを設定するようにしてもよい。
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１５は、入力画像に対してオブジェクト認識をし、そのオブジェクトに応じた構図パターンを設定するようにした画像処理装置の構成例を示している。なお、図１５の画像処理装置１１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図１５の画像処理装置１１１において、図１の画像処理装置１１と異なるのは、構図パターン設定部３３に代えて、構図パターン設定部１３１を設けた点である。
なお、図１５において、シーン判別部３２は、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、入力画像とともに、構図パターン設定部１３１に供給する。
構図パターン設定部１３１は、シーン判別部３２からの入力画像において、オブジェクトを認識する。また、構図パターン設定部１３１は、シーン判別部３２からのシーン情報で表されるシーンと、認識したオブジェクトとに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。構図パターン設定部１３１は、シーン毎に、構図内のオブジェクトの配置や割合が予め決められた構図パターンを記憶しており、シーンとオブジェクトとに応じた構図パターンを、記憶している構図パターンから選択することで、構図パターンを設定する。構図内のオブジェクトの配置や割合は、構図のバランスが良くなるように設定することができる。なお、シーン毎に構図内のオブジェクトの配置や割合が予め決められた構図パターンは、図示せぬデータベース等に記憶するようにしてもよい。
［画像処理装置の画像切出し処理］
次に、図１６のフローチャートを参照して、図１５の画像処理装置１１１の画像切出し処理について説明する。なお、図１６のフローチャートにおけるステップＳ１１１乃至Ｓ１１３，Ｓ１１５，Ｓ１１６の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ１６の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ１１４において、構図パターン設定部１３１は、シーン判別部３２からの入力画像において、オブジェクトを認識する。また、構図パターン設定部１３１は、シーン判別部３２からのシーン情報で表されるシーンと、認識したオブジェクトとに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。
ここで、図１７を参照して、オブジェクトに応じた構図パターンの例について説明する。
図１７に示される入力画像には、空、岩、草、および人が、オブジェクトとして存在している。構図パターン設定部１３１は、図１７に示される入力画像において、これらのオブジェクトを認識すると、記憶している構図パターンの中から、構図内の空、岩、草、および人の割合がそれぞれ30％，20％，40％，10％となる構図パターンを選択する。この結果、最終的に、図１７において入力画像上の枠で示された構図の画像が切出されるようになる。
以上の処理によれば、入力画像におけるオブジェクトを認識し、そのオブジェクトとシーンとに応じた構図パターンを設定することができる。構図パターンによって決まる構図内のオブジェクトの配置や割合は、構図のバランスが良くなるように設定されるので、最適な構図の画像を切出すことが可能となる。
以上においては、入力画像における切出し領域をただ１つ決定する構成について説明してきたが、入力画像における切出し領域の候補を複数決定するようにしてもよい。
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図１８は、入力画像における切出し領域の候補を複数決定するようにした画像処理装置の構成例を示している。なお、図１８の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図１８の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、構図解析部３４に代えて、構図解析部２３１を設け、表示部２３２および操作入力部２３３を新たに設けた点である。
構図解析部２３１は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域の、複数の候補（切出し領域候補）を決定し、表示部２３２に供給する。また、構図解析部２３１は、操作入力部２３３からの、切出し領域候補のうちのいずれかが選択された旨の操作信号に基づいて、選択された切出し領域を画像切出し部３５に供給する。
構図解析部２３１は、構図モデル作成部２３１ａ、安全モデル作成部２３１ｂ、ペナルティモデル作成部２３１ｃ、目的関数作成部２３１ｄ、および最適化部２３１ｅを備えている。なお、構図モデル作成部２３１ａ乃至目的関数作成部２３１ｄは、それぞれ、図１の構図モデル作成部３４ａ乃至目的関数作成部３４ｄと同様の機能を備えるので、その説明は省略する。
最適化部２３１ｅは、目的関数Eの小さいほうから上位ｎ個が得られる切出し領域を決定し、切出し領域候補として、表示部２３２に供給する。
表示部２３２は、タッチパネルとしての操作入力部２３３が積層されたモニタとして構成され、入力画像上に、構図解析部２３１からの切出し領域候補を示す枠を表示したり、ユーザに操作を指示するための操作画像を表示する。
操作入力部２３３は、表示部２３２の表示面に積層されたタッチパネルとして構成され、ユーザの操作に応じた操作信号を、構図解析部２３１に供給する。
［画像処理装置の画像切出し処理］
次に、図１９のフローチャートを参照して、図１８の画像処理装置２１１の画像切出し処理について説明する。なお、図１６のフローチャートにおけるステップＳ２１１乃至Ｓ１１４の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ２１５において、構図解析部２３１は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域の、複数の候補を決定する、切出し領域候補決定処理を行う。
［構図解析部の切出し領域候補決定処理］
ここで、図２０のフローチャートを参照して、図１９のフローチャートのステップＳ２１５における切出し領域候補決定処理について説明する。なお、図２０のフローチャートにおけるステップＳ２３１乃至Ｓ２３４の処理は、図７のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ２３５において、最適化部２３１ｅは、目的関数Eの小さいほうから上位ｎ個が得られる切出し領域を決定し、切出し領域候補として、表示部２３２に供給する。
より具体的には、例えば、最適化部２３１ｅは、粒子群最適化（PSO）を用いて目的関数Eの最適化を行った際に、ローカルミニマムの値とそのときの位置情報とを保持しておき、目的関数Eの値が小さい順に上位から、位置情報が大きく異なるものをｎセット、表示部２３２に供給し、処理はステップＳ１５に戻る。
このようにして、構図解析部２３１は、切出し領域候補を決定することができる。
図１９のフローチャートに戻り、ステップＳ２１６において、表示部２３２は、入力画像上に、構図解析部２３１からの切出し領域候補を示す枠を、例えば、図２１に示されるように表示する。
図２１に示される表示部２３２には、２つの切出し領域候補を示す枠と、それぞれを識別する「候補１」、「候補２」の名称が表示されている。ユーザは、表示部２３２に積層されているタッチパネルとしての操作入力部２３３により、「候補１」、「候補２」で示される切出し領域候補を選択することができる。
ステップＳ２１７において、構図解析部２３１は、切出し領域候補のうちのいずれかが選択されたか否かを判定する。すなわち、構図解析部２３１は、操作入力部２３３から、切出し領域候補のうちのいずれかが選択された旨の操作信号が供給されたか否かを判定する。
このとき、ユーザによって、図２１に示される「候補１」、「候補２」で示される切出し領域候補のうちのいずれかを選択されると、図２２に示されるような、「この画角でよいですか？」「はい」「いいえ」の文言からなる確認画面が表示される。図２２の表示部２３２において、タッチパネルとしての操作入力部２３３に対するユーザの操作によって、「はい」が選択されると、切出し領域候補のうちのいずれかが選択された旨の操作信号が、構図解析部２３１に供給される。
ステップＳ２１７において、切出し領域候補のうちのいずれも選択されていないと判定された場合、操作入力部２３３からの、切出し領域候補のうちのいずれかが選択された旨の操作信号が供給されるまで、処理が繰り返される。
一方、ステップＳ２１７において、切出し領域候補のうちのいずれかが選択されたと判定された場合、構図解析部２３１は、操作入力部２３３からの、切出し領域候補のうちのいずれかが選択された旨の操作信号に基づいて、選択された切出し領域を画像切出し部３５に供給する。
ステップＳ２１８において、画像切出し部３５は、構図解析部２３１からの切出し領域に基づいて、入力された入力画像から、選択された切出し領域の画像を切出し、出力する。
以上の処理によれば、最適切出し領域の候補を複数表示し、選択されるようにできるので、ユーザは、切出し領域の候補を確認して、選択することができる。したがって、ユーザの好みにあった、最適な構図の画像を切出すことが可能となる。
以上においては、入力画像のサイズについて言及してこなかったが、入力画像としてパノラマ画像を入力するようにしてもよい。
＜４．第４の実施の形態＞
［画像処理装置の構成例］
図２３は、入力画像としてパノラマ画像を入力するようにした画像処理装置の構成例を示している。なお、図２３の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図２３の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、パノラマ判別部３３１を新たに設けた、構図解析部３４に代えて、構図解析部３３２を設けた点である。
パノラマ判別部３３１は、入力画像が、パノラマ画像であるか否かを判別し、判別結果を構図解析部３３２に供給する。
構図解析部３３２は、パノラマ判別部３３１からの判別結果に応じて、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における切出し領域を決定し、その切出し領域を画像切出し部３５に供給する。
構図解析部３３２は、構図モデル作成部３３２ａ、安全モデル作成部３３２ｂ、ペナルティモデル作成部３３２ｃ、目的関数作成部３３２ｄ、および最適化部３３２ｅを備えている。なお、構図モデル作成部３３２ａ、安全モデル作成部３３２ｂ、およびペナルティモデル作成部３３２ｃは、それぞれ、図１の構図モデル作成部３４ａ、安全モデル作成部３４ｂ、およびペナルティモデル作成部３４ｃと同様の機能を備えるので、その説明は省略する。
目的関数作成部３３２ｄは、パノラマ判別部３３１からの判別結果が、入力画像がパノラマ画像であることを示している場合、目的関数Eにおいて、エネルギー関数Esの項を無効にする。
最適化部３３２ｅは、パノラマ判別部３３１からの判別結果が、入力画像がパノラマ画像でないことを示している場合、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。また、最適化部２３１ｅは、パノラマ判別部３３１からの判別結果が、入力画像がパノラマ画像であることを示している場合、目的関数Eの小さいほうから上位ｎ個が得られる切出し領域を決定し、切出し領域候補として、画像切出し部３５に供給する。
［画像処理装置の画像切出し処理］
次に、図２４のフローチャートを参照して、図２３の画像処理装置３１１の画像切出し処理について説明する。なお、図２４のフローチャートにおけるステップＳ３１１乃至Ｓ３１４の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略するものとする。また、図２４のフローチャートにおけるステップＳ３１８，Ｓ３１９の処理は、図３のフローチャートを参照して説明したステップＳ１５，Ｓ１６の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ３１５において、パノラマ判別部３３１は、入力画像が、パノラマ画像であるか否かを判別する。より具体的には、パノラマ判別部３３１は、入力画像の幅、高さをそれぞれIn_width，In_heightとしたとき、以下の式（１０）で表されるアスペクト比In_aspect_ratioと、所定の閾値In_aspect_ratio_thとを比較する。
Figure 0005224149
ステップＳ３１５において、入力画像が、パノラマ画像であると判別された場合、パノラマ判別部３３１は、入力画像がパノラマ画像である旨の情報とともに、アスペクト比In_aspect_ratioを構図解析部３３２に供給し、処理は、ステップＳ３１６に進む。
ステップＳ３１６において、構図解析部３３２は、パノラマ判別部３３１からの入力画像がパノラマ画像である旨の情報、および、アスペクト比In_aspect_ratioに基づいて、切出し領域候補決定処理を行う。
なお、図２３の画像処理装置３１１による切出し領域候補決定処理については、図２０のフローチャートを参照して説明した、図１８の画像処理装置２１１の処理と略同様であるので、その説明は省略する。
ただし、画像処理装置３１１による切出し領域候補決定処理に対応する図２０のフローチャートの処理のステップＳ２３４においては、目的関数作成部３３２ｄは、目的関数Eにおいて、エネルギー関数Esの項を無効にする。より具体的には、目的関数作成部３３２ｄは、式（９）で示された目的関数Eにおける係数CSの値を、図２５に示す特性にしたがって切り替える。
図２５は、入力画像のアスペクト比In_aspect_ratioと、目的関数Eにおける係数CSとの関係を示している。
図２５によれば、アスペクト比In_aspect_ratioが、所定の閾値In_aspect_ratio_thより大きいとき、目的関数Eにおける係数CSの値は0.0となり、所定の閾値In_aspect_ratio_thより小さいとき、目的関数Eにおける係数CSの値は1.0となり。すなわち、入力画像がパノラマ画像であるとき、目的関数Eにおいて、切出し領域が小さくなりすぎるのを防ぐための安全モデルについてのエネルギー関数は０とされる。
これにより、切出し領域候補は、比較的小さな切出し領域として、画像切出し部３５に供給される。
図２４のフローチャートに戻り、ステップＳ３１７において、画像切出し部３５は、構図解析部３３２からの切出し領域候補に基づいて、図２６に示されるように、入力された入力画像（パノラマ画像）から、切出し領域候補の画像を切出し、出力する。
図２６は、パノラマ画像における切出し領域候補の例を示している。図２６においては、入力画像としてのパノラマ画像上に、候補１乃至３の、３つの切出し領域候補を示す枠が設定されている。
図２４のフローチャートに戻り、ステップＳ３１５において、入力画像が、パノラマ画像でないと判別された場合、パノラマ判別部３３１は、入力画像がパノラマ画像でない旨の情報を構図解析部３３２に供給する。そして、処理は、ステップＳ３１８に進み、最適切出し領域が決定され、ステップＳ３１９において、入力画像から最適切出し領域の画像が切出される。
以上の処理によれば、入力画像がパノラマ画像である場合、複数の、小さな切出し領域候補を決定することができる。したがって、ユーザは、パノラマ画像から切出された、複数の構図の中から、ユーザの好みにあった、最適な構図の画像を選択することが可能となる。
以上においては、出力画像として、切出し領域画像のみを出力する構成について説明してきたが、切出し領域画像とともに、入力画像をそのまま出力するようにしてもよい。
＜５．第５の実施の形態＞
［画像処理装置の構成例］
図２７は、切出し領域画像とともに、入力画像をそのまま出力するようにした画像処理装置の構成例を示している。なお、図２７の画像処理装置４１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図２７の画像処理装置４１１において、図１の画像処理装置１１と異なるのは、切出し領域画像とともに、入力画像をそのまま出力する点である。
以上の構成によれば、切出し領域画像とともに、入力画像をそのまま出力できるので、これらを表示装置に出力した場合には、ユーザは、入力画像と切出し領域画像とを比較することが可能となる。例えば、入力画像が、ユーザが撮像装置によって撮像された画像であった場合、ユーザは、自分が撮影した画像の構図と、切出された画像の構図との違いを確認することができる。
なお、図２７の画像処理装置４１１による切出し領域候補決定処理については、図３のフローチャートを参照して説明した、図１の画像処理装置１１の処理と同様であるので、その説明は省略する。
以上においては、決定した切出し領域に基づいて、入力画像から切出し領域の画像を切出して出力する構成について説明したが、切出し領域を表す情報のみを出力するようにしてもよい。
＜６．第６の実施の形態＞
［画像処理装置の構成例］
図２８は、切出し領域画像とともに、切出し領域を表す情報のみを出力するようにした画像処理装置の構成例を示している。なお、図２８の画像処理装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図２８の画像処理装置５１１において、図１の画像処理装置１１と異なるのは、画像切出し部３５を削除し、入力画像をそのまま出力する点である。
なお、図２８の構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を表す情報を、外部の装置等に出力する。
［画像処理装置の画像切出し処理］
次に、図２９のフローチャートを参照して、図２８の画像処理装置５１１の画像切出し処理について説明する。なお、図２９のフローチャートにおけるステップＳ５１１乃至Ｓ５１５の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ５１６において、画像処理装置５１１は、入力画像をそのまま出力するとともに、構図解析部３４は、決定した入力画像における最適切出し領域を表す情報を、外部の装置等に出力する。
以上の処理によれば、入力画像とともに、切出し領域の画像ではなく、最適切出し領域を表す情報を出力できるので、画像処理装置５１１内の図示せぬフレームメモリの容量を削減することができる。
以上においては、入力画像と、最適切出し領域を表す情報とを別個に出力する構成について説明してきたが、入力画像と、最適切出し領域を表す情報とを１つのデータとして出力するようにしてもよい。
＜７．第７の実施の形態＞
［画像処理装置の構成例］
図３０は、入力画像と、最適切出し領域を表す情報とを１つのデータとして出力するようにした画像処理装置の構成例を示している。なお、図３０の画像処理装置６１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図３０の画像処理装置６１１において、図１の画像処理装置１１と異なるのは、画像切出し部３５に代えて、付加部６３１を設けた点である。
なお、図３０の構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を表す情報を、付加部６３１に供給する。
付加部６３１は、入力された入力画像に、構図解析部３４からの最適切出し領域を表す情報を、EXIF情報として付加し、出力画像として出力する。
［画像処理装置の画像切出し処理］
次に、図３１のフローチャートを参照して、図３０の画像処理装置６１１の画像切出し処理について説明する。なお、図３１のフローチャートにおけるステップＳ６１１乃至Ｓ６１５の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ６１６において、付加部６３１は、入力された入力画像に、構図解析部３４からの最適切出し領域を表す情報を、EXIF情報として付加し、出力画像として出力する。
以上の処理によれば、入力画像に、最適切出し領域を表す情報をEXIF情報として付加して出力できるので、切出し領域の画像を生成することなく、画像処理装置６１１内の図示せぬフレームメモリの容量を削減することができる。
以上においては、撮像装置等で撮像された画像を入力画像として、切出し領域の画像を出力する画像処理装置について説明してきたが、撮像した撮像画像について、切出し領域を決定する構成を撮像装置に設けるようにしてもよい。
＜８．第８の実施の形態＞
［撮像装置の構成例］
図３２は、撮像した撮像画像について、切出し領域を決定するようにした撮像装置の構成例を示している。なお、図３２の撮像装置７１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図３２の撮像装置７１１において、図１の画像処理装置１１と異なるのは、撮像部７３１、画像処理部７３２、および表示部７３３を新たに設けた点である。
なお、図３２の構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を、画像切出し部３５および表示部７３３に供給する。
撮像部７３１は、光学レンズ、撮像素子、A/D(Analog/Digital)変換部（いずれも図示せず）を含むように構成される。撮像部７３１は、光学レンズに入射された光を、撮像素子が受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部７３１は、A/D変換の結果得られたデジタルの画像データ（撮像画像）を画像処理部７３２に供給する。
画像処理部７３２は、撮像部７３１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、注目領域抽出部３１、シーン判別部３２、画像切出し部３５、および表示部７３３に供給する。
表示部７３３は、画像処理部７３２からの撮像画像上に、構図解析部３４からの最適切出し領域を示す枠を表示したり、画像切出し部３５によって切出された最適切出し領域の画像を表示する。
［撮像装置の画像切出し処理］
次に、図３３のフローチャートを参照して、図３２の撮像装置７１１の画像切出し処理について説明する。なお、図３３のフローチャートにおけるステップＳ７１３乃至Ｓ７１７の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ７１１において、撮像部７３１は、被写体を撮像し、得られた撮像画像を画像処理部７３２に供給する。
ステップＳ７１２において、画像処理部７３２は、撮像部７３１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、注目領域抽出部３１、シーン判別部３２、画像切出し部３５、および表示部７３３に供給する。
ステップＳ７１８において、表示部７３３は、画像処理部７３２からの撮像画像上に、構図解析部３４からの最適切出し領域を示す枠を表示する。このとき、例えば、ユーザによって図示せぬ操作入力部が操作され、最適切出し領域の画像を切出す指示を表す操作信号が、画像切出し部３５に供給されると、処理は、ステップＳ７１９に進む。
ステップＳ７１９において、画像切出し部３５は、構図解析部３４からの最適切出し領域に基づいて、画像処理部７３２からの撮像画像から最適切出し領域の画像を切出す。
ステップＳ７２０において、表示部７３３は、画像切出し部３５によって切出された最適切出し領域の画像を表示する。
以上の処理によれば、撮像画像における注目領域の数と、撮像画像のシーンと対応付けられた構図パターンを基に、切出し領域を決定することができる。注目領域は、被写体が人物以外であっても決定されるので、人物以外の被写体であっても、最適な構図の画像を切出すことが可能となる。また、構図パターンは、注目領域の数とシーンに基づいて設定されるので、撮像画像のカテゴリに関わらず、最適な構図の画像を切出すことが可能となる。
以上においては、注目領域に含まれる被写体がどの方向を向いているかにかかわらず、最適切り出し領域を決定する構成について説明してきたが、被写体の向きに応じて最適切り出し領域を決定するようにしてもよい。
＜９．第９の実施の形態＞
［画像処理装置の構成例］
図３４は、被写体の向きに応じて最適切り出し領域を決定するようにした画像処理装置の構成例を示している。なお、図３４の画像処理装置８１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図３４の画像処理装置８１１において、図１の画像処理装置１１と異なるのは、向き検出部８３１を新たに設け、構図解析部３４に代えて、構図解析部８３２を設けた点である。
なお、図３４において、注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン設定部３３および向き検出部８３１に供給する。また、シーン判別部３２は、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、入力画像とともに、構図パターン設定部１３１に供給するとともに、そのシーン情報を向き検出部８３１に供給する。
向き検出部８３１は、入力画像において、注目領域抽出部３１からの注目領域情報で表わされる注目領域に含まれる被写体の向きを検出し、その向きを表す向き情報を、構図解析部８３２に供給する。
構図解析部８３２は、構図パターン設定部３３からの構図パターンと、向き検出部８３１からの向き情報とを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、画像切出し部３５に供給する。
構図解析部８３２は、構図モデル作成部８３２ａ、安全モデル作成部８３２ｂ、ペナルティモデル作成部８３２ｃ、目的関数作成部８３２ｄ、および最適化部８３２ｅを備えている。なお、構図モデル作成部８３２ａ乃至目的関数作成部８３２ｄは、それぞれ、図１の構図モデル作成部３４ａ乃至目的関数作成部３４ｄと同様の機能を備えるので、その説明は省略する。
最適化部８３２ｅは、向き検出部８３１からの向き情報に基づいて、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。
［画像処理装置の画像切出し処理］
次に、図３５のフローチャートを参照して、図３４の画像処理装置８１１の画像切出し処理について説明する。なお、図３５のフローチャートにおけるステップＳ８１１乃至Ｓ８１４，Ｓ８１７の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４，Ｓ１６の処理と同様であるので、その説明は省略するものとする。また、図３５のフローチャートで説明する画像切出し処理においては、被写体の数、すなわち、注目領域の数は１であるものとする。
すなわち、ステップＳ８１５において、向き検出部８３１は、向き検出処理を実行して、入力画像において、注目領域抽出部３１からの注目領域情報で表わされる注目領域に含まれる被写体の向きを検出する。
［向き検出部の向き検出処理］
ここで、図３６のフローチャートを参照して、図３５のフローチャートのステップＳ８１５における向き検出処理について説明する。
ステップＳ８２１において、向き検出部８３１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域が、顔矩形領域であるか否かを判定する。
ステップＳ８２１において、注目領域が顔矩形領域であると判定された場合、すなわち、注目領域抽出部３１からの注目領域情報が顔矩形領域情報であった場合、処理はステップＳ８２２に進む。
ステップＳ８２２において、向き検出部８３１は、入力画像において、顔矩形領域情報で表わされる顔矩形領域に含まれる顔の向きを検出し、その向きを表す向き情報を、構図解析部８３２に供給する。
より具体的には、例えば、向き検出部８３１は、様々な向きを向いた顔画像を学習サンプルとして予め学習することで形成されたツリー構造において、顔矩形領域に含まれる顔の画像について、ツリー構造の最も上流のノードから末端のノードに向かって判別を繰り返すことによって、顔の向きを識別（検出）する。例えば、向き検出部８３１は、正面、上、下、左、右、右上、右下、左上、および左下の９方向を向いた顔画像を予め学習しており、顔矩形領域に含まれる顔の向きをその９方向の中から選択する。
なお、向き検出部８３１は、上述した手法に限らず、他の手法によって、顔の向きを検出するようにしてももちろんよい。
一方、ステップＳ８２１において、注目領域が顔矩形領域でないと判定された場合、すなわち、注目領域抽出部３１からの注目領域情報が注目矩形領域情報であった場合、処理はステップＳ８２３に進む。
ステップＳ８２３において、向き検出部８３１は、シーン判別部３２からのシーン情報に基づいて、入力画像において、注目矩形領域情報で表わされる注目矩形領域に含まれる被写体の向きを検出し、その向きを表す向き情報を、構図解析部８３２に供給する。
より具体的には、向き検出部８３１は、シーン毎に、そのシーンに存在し得る物体が、正面、上、下、左、右、右上、右下、左上、左下の９方向を向いた画像からなるテンプレートを記憶しており、シーン判別部３２からのシーン情報で表わされるシーンに応じたテンプレートの中から、注目矩形領域に含まれる被写体に対応する物体のテンプレートを検索し、検索されたテンプレートに基づいてテンプレートマッチングを行うことで、注目矩形領域に含まれる被写体の向きを特定（検出）する。
例えば、シーン判別部３２からのシーン情報で表わされるシーンが「草原」であり、注目矩形領域に含まれる被写体が「花」であった場合、向き検出部８３１は、「草原」のテンプレートから「花」のテンプレートを検索し、そのテンプレートに基づいてテンプレートマッチングを行うことで、被写体としての「花」の向きを特定する。
なお、向き検出部８３１は、上述した手法に限らず、他の手法によって、被写体の向きを検出するようにしてももちろんよい。
また、以上においては、向き検出部８３１が、シーン情報に応じたテンプレートから、被写体に対応する物体のテンプレートを用いて、被写体とその向きを識別するようにしたが、例えば、向き検出部８３１は、特徴量を基に統計学習処理を実行して生成した、対象物体を認識する認識器を用いて、入力画像における特徴量に基づいて、入力画像中に対象物体が存在するか否かを判定することで、被写体とその向きを識別するようにしてもよい。
以上のようにして、向き検出部８３１は、入力画像における注目領域に含まれる被写体の向きを検出する。
図３５のフローチャートに戻り、ステップＳ８１６において、構図解析部８３２は、構図パターン設定部３３からの構図パターンと、向き検出部８３１からの向き情報とを基に、切出し領域決定処理を実行し、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。
［構図解析部の切出し領域決定処理］
ここで、図３７のフローチャートを参照して、図３５のフローチャートのステップＳ８１６における切出し領域決定処理について説明する。
なお、図３７のフローチャートにおけるステップＳ８３１乃至Ｓ８３４の処理は、図７のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ８３５において、最適化部８３２ｅは、目的関数Eを最小とする切出し領域の位置情報と、向き検出部８３１からの向き情報を基に、最適切出し領域を決定して、画像切出し部３５に供給する。
注目領域に含まれる被写体が顔であった場合、例えば、図３８に示される向き情報Ｄ１０乃至Ｄ１８のいずれかが、向き検出部８３１から最適化部８３２ｅに供給される。図３８には、図中向かって、正面、上、右上、右、右下、下、左下、左、左上をそれぞれ向いている顔Ｄ１０乃至Ｄ１８が示されており、それぞれがその向いている向きを表す向き情報に対応している。すなわち、向き情報Ｄ１０は、入力画像において、顔が正面を向いていることを表しており、向き情報Ｄ１１は、顔が上を向いていることを表しており、向き情報Ｄ１２は、顔が右上を向いていることを表している。同様に、向き情報Ｄ１３は、顔が右を向いていることを表しており、向き情報Ｄ１４は、顔が右下を向いていることを表している。また、向き情報Ｄ１５は、顔が下を向いていることを表しており、向き情報Ｄ１６は、顔が左下を向いていることを表しており、向き情報Ｄ１７は、顔が左を向いていることを表しており、向き情報Ｄ１８は、顔が左上を向いていることを表している。
ここで、構図パターンとして３分割構図が設定されているとすると、最適化部８３２ｅは、向き情報Ｄ１０乃至Ｄ１８に応じて、３分割構図における被写体（顔）の配置を決定するとともに、目的関数Eを最小とする切出し領域の位置情報を求め、その位置情報を基に、最適切出し領域を決定する。
より具体的には、例えば、向き情報が向き情報Ｄ１３，Ｄ１４のいずれかである場合、すなわち、顔が右または右下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ０とする。また、向き情報が向き情報Ｄ１６，Ｄ１７のいずれかである場合、すなわち、顔が左下または左を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ１とする。さらに、向き情報が向き情報Ｄ１２である場合、すなわち、顔が右上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ２とする。また、向き情報が向き情報Ｄ１８である場合、すなわち、顔が左上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ３とする。
なお、向き情報が向き情報Ｄ１０，Ｄ１５のいずれかである場合、すなわち、顔が正面または下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ０，Ｐ１のいずれかとする。また、向き情報が向き情報Ｄ１１である場合、すなわち、顔が上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ２，Ｐ３のいずれかとする。このように、向き情報に対して顔の配置が２以上選ばれる場合、目的関数Eがより小さくなる配置に決定される。
ここで、図３９における３分割線交点Ｐ０乃至Ｐ３において、下側の３分割線交点Ｐ２，Ｐ３に顔が配置される条件としての向き情報が少ないのは、被写体が人全体である場合に、顔は、構図の上の方に位置することが自然であることによるが、向き情報と３分割線交点との対応関係は任意に変更されるようにできる。
以上のように、最適化部８３２ｅは、顔の向きに応じて、３分割構図における顔の配置を決定する。特に、最適化部８３２ｅは、３分割構図において、顔の向いている側の空間が広くなるように顔の配置を決定する。これにより、被写体としての人の顔（視線）の先にある物体や風景を切出し領域に含めることができるので、より広がりのある、最適な構図の画像を切出すことが可能となる。
また、注目領域に含まれる被写体が花であった場合、例えば、図４０に示される向き情報Ｄ２０乃至Ｄ２８のいずれかが、向き検出部８３１から最適化部８３２ｅに供給される。図４０には、図中向かって、正面、上、右上、右、右下、下、左下、左、左上をそれぞれ向いている花Ｄ２０乃至Ｄ２８が示されており、それぞれがその向いている向きを表す向き情報に対応している。すなわち、向き情報Ｄ２０は、入力画像において、花が正面を向いていることを表しており、向き情報Ｄ２１は、花が上を向いていることを表しており、向き情報Ｄ２２は、花が右上を向いていることを表している。同様に、向き情報Ｄ２３は、花が右を向いていることを表しており、向き情報Ｄ２４は、花が右下を向いていることを表している。また、向き情報Ｄ２５は、花が下を向いていることを表しており、向き情報Ｄ２６は、花が左下を向いていることを表しており、向き情報Ｄ２７は、花が左を向いていることを表しており、向き情報Ｄ２８は、花が左上を向いていることを表している。
そして、構図パターンとして３分割構図が設定されている場合、最適化部８３２ｅは、向き情報Ｄ２０乃至Ｄ２８に応じて、３分割構図における被写体（花）の配置を決定するとともに、目的関数Eを最小とする切出し領域の位置情報を求め、その位置情報を基に、最適切出し領域を決定する。
より具体的には、例えば、向き情報が向き情報Ｄ２４である場合、すなわち、花が右下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ０とする。また、向き情報が向き情報Ｄ２６である場合、すなわち、花が見左下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ１とする。さらに、向き情報が向き情報Ｄ２２，Ｄ２３のいずれかである場合、すなわち、花が右上または右を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ２とする。また、向き情報が向き情報Ｄ２７，Ｄ２８のいずれかである場合、すなわち、花が左または左上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ３とする。
なお、向き情報が向き情報Ｄ２５である場合、すなわち、花が下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ０，Ｐ１のいずれかとする。また、向き情報が向き情報Ｄ２０，Ｄ２１のいずれかである場合、すなわち、花が正面または上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ２，Ｐ３のいずれかとする。このように、向き情報に対して花の配置が２以上選ばれる場合、目的関数Eがより小さくなる配置に決定される。
ここで、図３９における３分割線交点Ｐ０乃至Ｐ３において、上側の３分割線交点Ｐ０，Ｐ１に花が配置される条件としての向き情報が少ないのは、花は、構図の下の方に位置することが自然であることによるが、向き情報と配置される３分割線交点との対応関係は任意に変更されるようにできる。
以上のように、最適化部８３２ｅは、花の向きに応じて、３分割構図における花の配置を決定する。特に、最適化部８３２ｅは、３分割構図において、花の向いている側の空間が広くなるように花の配置を決定する。これにより、被写体としての花の先にある物体や風景を切出し領域に含めることができるので、より広がりのある、最適な構図の画像を切出すことが可能となる。
以上においては、被写体の向きに応じて最適切り出し領域を決定する構成について説明してきたが、被写体の動きに応じて最適切り出し領域を決定するようにしてもよい。
＜１０．第１０の実施の形態＞
［画像処理装置の構成例］
図４１は、被写体の動きに応じて最適切り出し領域を決定するようにした画像処理装置の構成例を示している。なお、図４１の画像処理装置８６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図４１の画像処理装置８６１において、図１の画像処理装置１１と異なるのは、フレームバッファ８８１、GMV（Global Motion Vector）算出部８８２、LMV（Local Motion Vector）算出部８８３、および動き方向決定部８８４を新たに設け、構図解析部３４に代えて、構図解析部８８５を設けた点である。
なお、図４１において、注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン設定部３３およびLMV算出部８８３に供給する。
フレームバッファ８８１は、入力画像を１フレーム分保持し、GMV算出部８８２およびLMV算出部８８３に供給する。
GMV算出部８８２は、入力画像と、フレームバッファ８８１からの１フレーム前の入力画像（以下、前フレーム入力画像という）とから、画像全体の動きを表すGMVを算出し、動き方向決定部８８４に供給する。
LMV算出部８８３は、入力画像と、フレームバッファ８８１からの前フレーム入力画像とから、注目領域抽出部３１からの注目領域情報で表わされる注目領域における局所的な動きを表すLMVを算出し、動き方向決定部８８４に供給する。
動き方向決定部８８４は、GMV算出部８８２からのGMV、および、LMV算出部８８３からのLMVに基づいて、注目領域に含まれる被写体の動きの方向（動き方向）を決定し、その動き方向を表す動き方向情報を、構図解析部８８５に供給する。
構図解析部８８５は、構図パターン設定部３３からの構図パターンと、動き方向決定部８８４からの動き方向情報とを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、画像切出し部３５に供給する。
構図解析部８８５は、構図モデル作成部８８５ａ、安全モデル作成部８８５ｂ、ペナルティモデル作成部８８５ｃ、目的関数作成部８８５ｄ、および最適化部８８５ｅを備えている。なお、構図モデル作成部８８５ａ乃至目的関数作成部８８５ｄは、それぞれ、図１の構図モデル作成部３４ａ乃至目的関数作成部３４ｄと同様の機能を備えるので、その説明は省略する。
最適化部８８５ｅは、動き方向決定部８８４からの動き方向情報に基づいて、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。
［画像処理装置の画像切出し処理］
次に、図４２のフローチャートを参照して、図４１の画像処理装置８６１の画像切出し処理について説明する。なお、図４２のフローチャートにおけるステップＳ８６１乃至Ｓ８６４，Ｓ８６７の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４，Ｓ１６の処理と同様であるので、その説明は省略するものとする。また、図４２のフローチャートで説明する画像切出し処理においては、被写体の数、すなわち、注目領域の数は１であるものとする。
すなわち、ステップＳ８６５において、動き方向決定部８８４は、動き方向決定処理を実行して、入力画像において、注目領域抽出部３１からの注目領域情報で表わされる注目領域に含まれる被写体の動き方向を決定する。
［動き方向決定部の動き方向決定処理］
ここで、図４３のフローチャートを参照して、図４２のフローチャートのステップＳ８６５における動き方向決定処理について説明する。
ステップＳ８７１において、GMV算出部８８２は、入力画像と、フレームバッファ８８１からの前フレーム入力画像とからGMVを算出し、動き方向決定部８８４に供給する。
ステップＳ８７２において、LMV算出部８８３は、入力画像と、フレームバッファ８８１からの前フレーム入力画像とから、注目領域抽出部３１からの注目領域情報で表わされる注目領域のLMVを算出し、動き方向決定部８８４に供給する。
ステップＳ８７３において、動き方向決定部８８４は、LMVが０または略０であるか否かを判定する。
ステップＳ８７３において、LMVが０または略０でないと判定された場合、すなわち、注目領域に含まれる被写体に十分な動きがある場合、処理はステップＳ８７４に進み、動き方向決定部８８４は、LMVの向きを動き方向とし、その動き方向を表す動き方向情報を構図解析部８８５に供給する。
一方、ステップＳ８７３において、LMVが０または略０であると判定された場合、すなわち、注目領域に含まれる被写体に全くまたは略動きがない場合、処理はステップＳ８７５に進み、動き方向決定部８８４は、GMVが０または略０であるか否かを判定する。
ステップＳ８７５において、GMVが０または略０でないと判定された場合、すなわち、画像全体に十分な動きがある場合、処理はステップＳ８７６に進み、動き方向決定部８８４は、GMVの向きと反対の向きを被写体の動き方向とし、その動き方向を表す動き方向情報を構図解析部８８５に供給する。
ステップＳ８７５における状態は、入力画像全体に動きがあるが、注目領域に含まれる被写体に動きがない状態、例えば、背景が動いていて、被写体が静止しているような状態であるが、この場合、被写体は背景に対して相対的に、背景の動きの向きとは反対の向きに動いていることになる。すなわち、GMVの向きと反対の向きは、相対的に、被写体の動き方向となる。
一方、ステップＳ８７５において、GMVが０または略０であると判定された場合、すなわち、画像全体に全くまたは略動きがないとされる場合、処理はステップＳ８７７に進み、動き方向決定部８８４は、動き方向なしとして、動き方向なしを表す動き方向情報を構図解析部８８５に供給する。
以上のようにして、動き方向決定部８８４は、入力画像における注目領域に含まれる被写体の動き方向を決定する。なお、以上の処理においては、動き方向決定部８８４は、動き方向を、例えば、なし、上、下、左、右、右上、右下、左上、および左下の９種類のうちのいずれかに決定する。
図４２のフローチャートに戻り、ステップＳ８６６において、構図解析部８８５は、構図パターン設定部３３からの構図パターンと、動き方向決定部８８４からの動き方向情報とを基に、切出し領域決定処理を実行し、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。
［構図解析部の切出し領域決定処理］
ここで、図４４のフローチャートを参照して、図４２のフローチャートのステップＳ８６６における切出し領域決定処理について説明する。
なお、図４４のフローチャートにおけるステップＳ８８１乃至Ｓ８８４の処理は、図７のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ８８５において、最適化部８８５ｅは、目的関数Eを最小とする切出し領域の位置情報と、動き方向決定部８８４からの動き方向情報を基に、最適切出し領域を決定して、画像切出し部３５に供給する。
より具体的には、例えば、図４５に示される動き方向情報Ｄ３０乃至Ｄ３８が、動き方向決定部８８４から最適化部８８５ｅに供給される。図４５には、上、右上、右、右下、下、左下、左、左上への動きを表す矢印が示されており、その始点を含めたそれぞれが、動き方向情報Ｄ３０乃至Ｄ３８に対応している。すなわち、動き方向情報Ｄ３０は、入力画像において、被写体の動き方向がないことを表しており、動き方向情報Ｄ３１は、動き方向が上であることを表しており、動き方向情報Ｄ３２は、動き方向が右上であることを表している。同様に、動き方向情報Ｄ３３は、動き方向が右であることを表しており、動き方向情報Ｄ３４は、動き方向が右下であることを表している。また、動き方向情報Ｄ３５は、動き方向が下であることを表しており、向き情報Ｄ３６は、動き方向が左下であることを表しており、動き方向情報Ｄ３７は、動き方向が左であることを表しており、動き方向情報Ｄ３８は、動き方向が左上であることを表している。
ここで、構図パターンとして３分割構図（図３９）が設定されているとすると、最適化部８８５ｅは、動き方向情報Ｄ３０乃至Ｄ３８に応じて、３分割構図における被写体の配置を決定するとともに、目的関数Eを最小とする切出し領域の位置情報を求め、その位置情報を基に、最適切出し領域を決定する。
より具体的には、例えば、動き方向情報が動き方向情報Ｄ３４である場合、すなわち、被写体の動き方向が右下である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０とする。また、動き方向情報が動き方向情報Ｄ３６である場合、すなわち、被写体の動き方向が左下である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ１とする。さらに、動き方向情報が動き方向情報Ｄ３２のいずれかある場合、すなわち、被写体の動き方向が右上である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ２とする。また、動き方向情報が動き方向情報Ｄ３８である場合、すなわち、被写体の動き方向が左上である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ３とする。
なお、動き方向情報が動き方向情報Ｄ３１である場合、すなわち、被写体の動き方向が上である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ２，Ｐ３のいずれかとする。また、動き方向情報が動き方向情報Ｄ３３である場合、すなわち、被写体の動き方向が右である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０，Ｐ２のいずれかとする。さらに、動き方向情報が動き方向情報Ｄ３５である場合、すなわち、被写体の動き方向が下である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０，Ｐ１のいずれかとする。また、動き方向情報が動き方向情報Ｄ３７である場合、すなわち、被写体の動き方向が左である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ１，Ｐ３のいずれかとする。
また、動き方向情報が動き方向情報Ｄ３０である場合、すなわち、被写体の動き方向がない場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０乃至Ｐ３のいずれかとする。すなわち、被写体に動きがない場合は、３分割構図における被写体の配置は、３分割線交点のいずれでもよい。
このように、動き方向情報に対して被写体の配置が２以上選ばれる場合、目的関数Eがより小さくなる配置に決定される。
以上のように、最適化部８８５ｅは、被写体の動き方向に応じて、３分割構図における被写体の配置を決定する。特に、最適化部８８５ｅは、３分割構図において、被写体の動く方向の空間が広くなるように被写体の配置を決定する。これにより、被写体の移動する先にある物体や風景を切出し領域に含めることができるので、より広がりのある、最適な構図の画像を切出すことが可能となる。
なお、以上においては、３分割構図（図３９）における被写体の配置について説明してきたが、３分割構図に限らず、図６で示された対比構図（構図Ｂ）やパターン構図（構図Ｈ）等の他の構図において、被写体の向きや動きに応じて被写体を配置するようにしてもよい。
また、以上においては、被写体の数、すなわち、注目領域の数は１であるものとして説明してきたが、被写体の数が２以上である場合であっても、２以上の被写体は、それぞれの向きや動き方向に応じて配置される。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 画像処理装置， ３１ 注目領域抽出部， ３２ シーン判別部， ３３ 構図パターン設定部， ３４ 構図解析部， ３４ａ 構図モデル作成部， ３４ｂ 安全モデル作成部， ３４ｃ ペナルティモデル作成部， ３４ｄ 目的関数作成部， ３４ｅ 最適化部， ３５ 画像切出し部， ５１ 注目度算出部， ５２ 注目矩形領域決定部， ５３ 顔矩形領域決定部， １１１ 画像処理装置， １３１ 構図パターン設定部， ２１１ 画像処理装置， ２３１ 構図解析部， ２３１ａ 構図モデル作成部， ２３１ｂ 安全モデル作成部， ２３１ｃ ペナルティモデル作成部， ２３１ｄ 目的関数作成部， ２３１ｅ 最適化部， ２３２ 表示部， ２３３ 操作入力部， ３１１ 画像処理装置， ３３１ パノラマ判別部， ３３２ 構図解析部， ３３２ａ 構図モデル作成部， ３３２ｂ 安全モデル作成部， ３３２ｃ ペナルティモデル作成部， ３３２ｄ 目的関数作成部， ３３２ｅ 最適化部， ６３１ 付加部， ７１１ 撮像装置， ８１１ 画像処理装置， ８３１ 向き検出部， ８３２ 構図解析部， ８３２ｅ 最適化部， ８６１ 画像処理装置， ８８１ フレームバッファ， ８８２ GMV算出部， ８８３ LMV算出部， ８８４ 動き方向決定部， ８８５ 構図解析部， ８８５ｅ 最適化部

Claims (12)

  1. 入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定手段と、
    前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定手段と
    を備え、
    前記決定手段は、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する
    画像処理装置。
  2. 前記入力画像から、前記決定手段によって決定された前記切出し領域を切出す切出し手段をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記決定手段は、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定し、
    前記入力画像上に、複数の前記切出し領域の候補を表示する表示手段と、
    前記表示手段によって表示された複数の前記切出し領域の候補のうちのいずれかを選択する選択手段と
    をさらに備え、
    前記切出し手段は、入力画像から、前記選択手段によって選択された前記切出し領域を切出す
    請求項２に記載の画像処理装置。
  4. 前記入力画像において注目する前記注目領域を抽出する抽出手段と、
    前記入力画像の前記シーンを判別する判別手段と
    をさらに備える
    請求項１に記載の画像処理装置。
  5. 前記入力画像のアスペクト比と所定の閾値とを比較することで、前記入力画像がパノラマ画像であるか否かを判定する判定手段をさらに備え、
    前記決定手段は、前記判定手段によって前記入力画像がパノラマ画像であると判定された場合、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定する
    請求項１に記載の画像処理装置。
  6. 前記決定手段によって決定された前記切出し領域を示す情報を、EXIF情報として前記入力画像に付加する付加手段をさらに備える
    請求項１に記載の画像処理装置。
  7. 前記注目領域には、前記入力画像において注目する被写体が含まれ、
    前記被写体の向きを検出する検出手段をさらに備え、
    前記決定手段は、前記設定手段によって設定された前記構図パターンと、前記検出手段によって検出された前記被写体の向きとを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する
    請求項１に記載の画像処理装置。
  8. 前記注目領域には、前記入力画像において注目する被写体が含まれ、
    前記被写体の動きの方向を決定する動き方向決定手段をさらに備え、
    前記決定手段は、前記設定手段によって設定された前記構図パターンと、前記動き方向決定手段によって決定された前記被写体の動きの方向とを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する
    請求項１に記載の画像処理装置。
  9. 前記入力画像全体の動きを求める全体動き算出手段と、
    前記注目領域の動きを求める局所動き算出手段と
    をさらに備え、
    前記動き方向決定手段は、前記全体動き算出手段によって求められた前記入力画像全体の動きの向きと、前記局所動き算出手段によって求められた前記注目領域の動きの向きとに基づいて、前記被写体の動きの方向を決定する
    請求項８に記載の画像処理装置。
  10. 入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、
    前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップと
    含み、
    前記決定ステップは、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する
    画像処理方法。
  11. 前記入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、
    前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップと
    を含む処理をコンピュータに実行させ、
    前記決定ステップは、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する
    プログラム。
  12. 被写体を撮像する撮像手段と、
    前記撮像手段によって撮像された撮像画像のシーンを取得する取得手段と、
    前記撮像画像において注目する被写体を含む注目領域の数と、前記取得手段によって取得された前記シーンとに基づいて、前記撮像画像に対応する構図パターンを設定する設定手段と、
    前記設定手段によって設定された前記構図パターンを基に、前記撮像画像から前記構図パターンで切出される画像の、前記撮像画像における最適な切出し領域を決定する決定手段と
    を備え、
    前記決定手段は、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域である全注目矩形領域と前記切出し領域との共通領域の面積、および、前記全注目矩形領域の中心位置と前記切出し領域の中心位置との距離で表される第１のエネルギー関数がより大きい値に、かつ、前記入力画像の領域からはみ出した前記切出し領域の面積で表される第２のエネルギー関数がより小さい値になるように、前記切出し領域を決定する
    撮像装置。
JP2010527850A 2008-09-08 2009-09-08 画像処理装置および方法、撮像装置、並びにプログラム Expired - Fee Related JP5224149B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010527850A JP5224149B2 (ja) 2008-09-08 2009-09-08 画像処理装置および方法、撮像装置、並びにプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008229310 2008-09-08
JP2008229310 2008-09-08
PCT/JP2009/065626 WO2010027080A1 (ja) 2008-09-08 2009-09-08 画像処理装置および方法、撮像装置、並びにプログラム
JP2010527850A JP5224149B2 (ja) 2008-09-08 2009-09-08 画像処理装置および方法、撮像装置、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2010027080A1 JPWO2010027080A1 (ja) 2012-02-02
JP5224149B2 true JP5224149B2 (ja) 2013-07-03

Family

ID=41797242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010527850A Expired - Fee Related JP5224149B2 (ja) 2008-09-08 2009-09-08 画像処理装置および方法、撮像装置、並びにプログラム

Country Status (7)

Country Link
US (2) US8538074B2 (ja)
EP (1) EP2207341B1 (ja)
JP (1) JP5224149B2 (ja)
CN (1) CN101843093A (ja)
BR (1) BRPI0905360A2 (ja)
RU (1) RU2462757C2 (ja)
WO (1) WO2010027080A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2207341B1 (en) * 2008-09-08 2013-11-06 Sony Corporation Image processing apparatus and method, imaging apparatus, and program
US8494259B2 (en) * 2009-12-28 2013-07-23 Teledyne Scientific & Imaging, Llc Biologically-inspired metadata extraction (BIME) of visual data using a multi-level universal scene descriptor (USD)
JP2011193125A (ja) * 2010-03-12 2011-09-29 Sony Corp 画像処理装置および方法、プログラム、並びに撮像装置
JP2012042720A (ja) * 2010-08-19 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
US8692907B2 (en) 2010-09-13 2014-04-08 Sony Corporation Image capturing apparatus and image capturing method
US9325804B2 (en) 2010-11-08 2016-04-26 Microsoft Technology Licensing, Llc Dynamic image result stitching
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
JP2012205037A (ja) * 2011-03-25 2012-10-22 Olympus Imaging Corp 画像処理装置および画像処理方法
JP5000781B1 (ja) * 2011-11-09 2012-08-15 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
US9025873B2 (en) * 2011-11-10 2015-05-05 Canon Kabushiki Kaisha Image processing apparatus and control method therefor
JP2013153375A (ja) * 2012-01-26 2013-08-08 Sony Corp 画像処理装置、画像処理方法および記録媒体
US8773543B2 (en) * 2012-01-27 2014-07-08 Nokia Corporation Method and apparatus for image data transfer in digital photographing
WO2013121471A1 (ja) * 2012-02-16 2013-08-22 パナソニック株式会社 映像生成装置
KR101952174B1 (ko) * 2012-04-26 2019-05-22 엘지전자 주식회사 영상표시기기 및 그 영상표시방법
US9595298B2 (en) 2012-07-18 2017-03-14 Microsoft Technology Licensing, Llc Transforming data to create layouts
JP6137800B2 (ja) * 2012-09-26 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
JP5882975B2 (ja) * 2012-12-26 2016-03-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及び記録媒体
US9582610B2 (en) * 2013-03-15 2017-02-28 Microsoft Technology Licensing, Llc Visual post builder
JP2015002484A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 表示制御装置、表示制御方法、プログラムおよび撮像装置
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US10019823B2 (en) * 2013-10-24 2018-07-10 Adobe Systems Incorporated Combined composition and change-based models for image cropping
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
JP6381892B2 (ja) * 2013-10-28 2018-08-29 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9195903B2 (en) * 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
FR3021768B1 (fr) * 2014-05-28 2017-12-01 Dxo Sa Procede parametrable de traitement d'un fichier representatif d'au moins une image
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US9798972B2 (en) 2014-07-02 2017-10-24 International Business Machines Corporation Feature extraction using a neurosynaptic system for object classification
US10115054B2 (en) 2014-07-02 2018-10-30 International Business Machines Corporation Classifying features using a neurosynaptic system
US9626768B2 (en) * 2014-09-30 2017-04-18 Microsoft Technology Licensing, Llc Optimizing a visual perspective of media
US10282069B2 (en) 2014-09-30 2019-05-07 Microsoft Technology Licensing, Llc Dynamic presentation of suggested content
US9626584B2 (en) * 2014-10-09 2017-04-18 Adobe Systems Incorporated Image cropping suggestion using multiple saliency maps
GB201501311D0 (en) 2015-01-27 2015-03-11 Apical Ltd Method, system and computer program product
CN105989572B (zh) * 2015-02-10 2020-04-24 腾讯科技（深圳）有限公司 图片处理方法及装置
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
CN105357436B (zh) * 2015-11-03 2018-07-03 广东欧珀移动通信有限公司 用于图像拍摄中的图像裁剪方法和系统
CN105323491B (zh) * 2015-11-27 2019-04-23 小米科技有限责任公司 图像拍摄方法及装置
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN108496368B (zh) 2015-12-16 2020-11-24 格雷斯诺特公司 动态视频覆盖
CN105912259A (zh) * 2016-04-14 2016-08-31 深圳天珑无线科技有限公司 照片优化的方法及设备
CN106162146B (zh) * 2016-07-29 2017-12-08 暴风集团股份有限公司 自动识别并播放全景视频的方法及系统
CN109196852B (zh) * 2016-11-24 2021-02-12 华为技术有限公司 拍摄构图引导方法及装置
WO2018106213A1 (en) * 2016-12-05 2018-06-14 Google Llc Method for converting landscape video to portrait mobile layout
US10380228B2 (en) 2017-02-10 2019-08-13 Microsoft Technology Licensing, Llc Output generation based on semantic expressions
US10218901B2 (en) * 2017-04-05 2019-02-26 International Business Machines Corporation Picture composition adjustment
CN110546942B (zh) * 2017-04-14 2021-04-06 夏普株式会社 图像处理装置、终端装置以及存储介质
CN107545576A (zh) * 2017-07-31 2018-01-05 华南农业大学 基于构图规则的图像编辑方法
EP3698540A1 (en) 2017-12-05 2020-08-26 Google LLC Method for converting landscape video to portrait mobile layout using a selection interface
JP7013272B2 (ja) * 2018-02-13 2022-01-31 キヤノン株式会社 画像処理装置
CN108810418B (zh) 2018-07-16 2020-09-11 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN109246351B (zh) * 2018-07-20 2021-04-06 维沃移动通信有限公司 一种构图方法及终端设备
JP7236869B2 (ja) * 2019-01-31 2023-03-10 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
US11176411B2 (en) 2019-02-28 2021-11-16 Stats Llc System and method for player reidentification in broadcast video
US11373407B2 (en) * 2019-10-25 2022-06-28 International Business Machines Corporation Attention generation
CN116097308A (zh) * 2020-08-21 2023-05-09 华为技术有限公司 自动摄影构图推荐
WO2023286367A1 (ja) * 2021-07-15 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211315A (ja) * 1999-11-18 2001-08-03 Fuji Photo Film Co Ltd 出力画像領域調整方法
JP2004274428A (ja) * 2003-03-10 2004-09-30 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP2005175684A (ja) * 2003-12-09 2005-06-30 Nikon Corp デジタルカメラおよびデジタルカメラの画像取得方法
JP2006004287A (ja) * 2004-06-18 2006-01-05 Fuji Photo Film Co Ltd 画像処理方法及び装置
JP2008147997A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮像装置、撮像方法、監視システム、監視方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834127B1 (en) * 1999-11-18 2004-12-21 Fuji Photo Film Co., Ltd. Method of adjusting output image areas
US20020063725A1 (en) * 2000-11-30 2002-05-30 Virtuallylisted Llc Method and apparatus for capturing and presenting panoramic images for websites
US7561288B2 (en) * 2002-07-05 2009-07-14 Canon Kabushiki Kaisha Recording system and controlling method therefor
JP2006121298A (ja) * 2004-10-20 2006-05-11 Canon Inc トリミングの実行方法及び装置
US7529390B2 (en) * 2005-10-03 2009-05-05 Microsoft Corporation Automatically cropping an image
JP4493631B2 (ja) 2006-08-10 2010-06-30 富士フイルム株式会社 トリミング装置および方法並びにプログラム
US8218830B2 (en) * 2007-01-29 2012-07-10 Myspace Llc Image editing system and method
JP4854539B2 (ja) * 2007-02-21 2012-01-18 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
EP2207341B1 (en) * 2008-09-08 2013-11-06 Sony Corporation Image processing apparatus and method, imaging apparatus, and program
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211315A (ja) * 1999-11-18 2001-08-03 Fuji Photo Film Co Ltd 出力画像領域調整方法
JP2004274428A (ja) * 2003-03-10 2004-09-30 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP2005175684A (ja) * 2003-12-09 2005-06-30 Nikon Corp デジタルカメラおよびデジタルカメラの画像取得方法
JP2006004287A (ja) * 2004-06-18 2006-01-05 Fuji Photo Film Co Ltd 画像処理方法及び装置
JP2008147997A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮像装置、撮像方法、監視システム、監視方法、及びプログラム

Also Published As

Publication number Publication date
EP2207341A4 (en) 2012-04-11
RU2462757C2 (ru) 2012-09-27
US8538074B2 (en) 2013-09-17
US20100290705A1 (en) 2010-11-18
CN101843093A (zh) 2010-09-22
US20160171647A9 (en) 2016-06-16
RU2010117215A (ru) 2011-11-10
EP2207341B1 (en) 2013-11-06
US20130272611A1 (en) 2013-10-17
EP2207341A1 (en) 2010-07-14
BRPI0905360A2 (pt) 2015-06-30
WO2010027080A1 (ja) 2010-03-11
JPWO2010027080A1 (ja) 2012-02-02
US9390466B2 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
JP5224149B2 (ja) 画像処理装置および方法、撮像装置、並びにプログラム
JP5016541B2 (ja) 画像処理装置および方法並びにプログラム
US8908976B2 (en) Image information processing apparatus
JP4844657B2 (ja) 画像処理装置及び方法
JP5136474B2 (ja) 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP5432714B2 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
JP3684017B2 (ja) 画像処理装置及び方法
US8565491B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
CN110909724B (zh) 一种多目标图像的缩略图生成方法
JP2010267180A (ja) 画像処理装置、電子機器、及びプログラム
CN111881849A (zh) 图像场景检测方法、装置、电子设备及存储介质
US9332196B2 (en) Image processing device, method and program
JP5016540B2 (ja) 画像処理装置および方法並びにプログラム
JP2017201818A (ja) 領域抽出装置
CN112348822A (zh) 图像处理设备和图像处理方法
CN112017120A (zh) 一种图像合成方法及装置
JP7000921B2 (ja) 撮像装置、撮像方法、及びプログラム
CN112070672B (zh) 一种图像合成方法及装置
JP5155971B2 (ja) 画像処理装置及びプログラム
JP6996347B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2011086901A1 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2005071389A (ja) 画像処理装置及び方法
CN112070674A (zh) 一种图像合成方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees