JPWO2018189971A1 - 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム - Google Patents

Abstract

画像処理装置（１）は、入力画像に対し、切り出し、回転、および射影変換のうち少なくとも一つの補正を行って出力画像を生成する画像補正部（１０４）を備え、画像補正部（１０４）は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに基づいて前記補正を行う。

Description

本発明は、画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラムに関する。

従来から、画像処理により画像の回転および／または切出しを行い、好適な画像に補正する技術がある。当該技術により、例えば、画像中に含まれる水平線が画像の横方向と平行となるように当該画像を回転することで、鑑賞者に安定感のある印象を与える画像に補正することができる。また例えば、画像中に含まれる注目被写体が画像中の所定位置に移動するように当該画像を切り出すことで、鑑賞者にバランスの良い印象を与える画像に補正することができる。

上述のような画像を補正する技術として、例えば、特許文献１に記載の技術がある。特許文献１に記載の画像処理装置は、入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、入力画像に対応する構図パターンを設定し、設定された前記構図パターンを基に、入力画像における最適な切出し領域を決定する。これにより、最適な構図の画像を切出すことができる。

ＷＯ２０１０／０２７０８０号公報（２０１０年 ３月１１日公開）

しかし、好適な出力画像を生成することが可能な新規の画像処理装置を実現することができれば有用である。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、好適な出力画像を生成することが可能な新規の画像処理装置を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像に対し、切り出し、回転、および射影変換のうち少なくとも一つの補正を行って出力画像を生成する画像補正部を備え、前記画像補正部は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに基づいて前記補正を行う構成である。

本発明の一態様に係る画像処理装置によれば、好適な出力画像を生成することができるという効果を奏する。

実施形態１に係る画像処理装置の要部構成を示す機能ブロック図である。 実施形態１に係る画像処理装置の動作の一例を説明するフローチャートである。 代表的な構図の例を示す図である。 入力画像およびそこから切り出された出力画像の一例を示す図である。 入力画像およびそこから切り出された出力画像の一例を示す図である。 アスペクト比が横長の画像を示す図である。 アスペクト比が縦長の画像を示す図である。 アスペクト比が異なる画像における切り取り幅の制限を説明する図である。 実施形態３に係る画像処理装置の要部構成を示す機能ブロック図である。 実施形態３に係る画像処理装置の動作の一例を説明するフローチャートである。 アスペクト比と回転の精度との関係について説明する図である。 アスペクト比と回転量との関係について説明する図である。 実施形態５に係る画像処理装置を備えた撮像装置の要部構成を示すブロック図である。 実施形態５に係る画像処理装置の動作の一例を説明するフローチャートである。 実施形態５に係る撮像装置の外観を示す図である。 撮影者が実施形態５に係る撮像装置を保持して被写体を撮影する様子を説明する図である。 図１６の（ａ）または（ｂ）に示す条件で被写体を撮影した場合の撮影画像を示す図である。 実施形態６に係る端末およびの要部構成を示すブロック図である。

〔実施形態１〕
以下、本発明の実施形態１に係る画像処理装置１について、図１〜図７に基づいて詳細に説明する。

（１．画像処理装置１の要部構成）
図１は、本実施形態に係る画像処理装置１の要部構成を示す機能ブロック図である。画像処理装置１は、画像処理装置１に入力された入力画像に対し、切り出しを行って構図を補正する画像処理を行い、補正後の画像（出力画像）を生成する。画像処理装置１は、表示部２と、無線接続または有線接続されている。また、図示は省略したが、画像処理装置１および表示部２は、無線接続または有線接続を実現するための通信部または接続部を備えている。

画像処理装置１は、制御部１０、および記憶部２０を備えている。制御部１０は、画像処理装置１を統括的に制御する。

制御部１０は、画像取得部１０１、アスペクト比情報取得部１０２および画像補正部１０４を備えている。

画像取得部１０１は、入力画像を取得する。

アスペクト比情報取得部１０２は、入力画像または出力画像のアスペクト比に関する情報を取得する。アスペクト比は、画像の縦方向の辺と横方向の辺との長さの比であり、縦方向の辺の長さ：横方向の辺の長さ、または、横方向の辺の長さ：縦方向の辺の長さとして表される。尚、本明細書では、アスペクト比は、画像の上下方向を縦方向、画像の左右方向を横方向として、横方向の辺の長さ：縦方向の辺の長さとして示す。アスペクト比情報取得部１０２は、入力画像のアスペクト比情報を、画像取得部１０１が取得した入力画像から取得する。出力画像のアスペクト比は、入力画像と同じアスペクト比としてもよいし、ユーザが設定したアスペクト比としてもよい。

なお、アスペクト比は様々な種類があり、特に限定されないが、代表的なものとして、例えば、「４：３」、「３：２」、「１：１」、「１６：９」、「２１：９（７：３）」等が知られている。

画像補正部１０４は、入力画像から、被写体情報（例えば、被写体の代表位置）を検出する。そして、画像補正部１０４は、被写体情報とアスペクト比情報取得部１０２が取得したアスペクト比とに基づいて入力画像を補正し、構図の補正された出力画像を生成する。具体的には、画像補正部１０４は、入力画像を、決定した構図にあわせて切り出すことで、好適な構図に補正された画像を生成する。尚、「被写体の代表位置」とは、被写体の中の任意の一点の位置であり、例えば、被写体が人物である場合は人物の顔であり、被写体が物体である場合は物体の中心位置であり、被写体が複数個存在する場合は注目被写体の位置である。

入力画像中の被写体情報としては、例えば、人物の顔等の注目被写体、入力画像中に含まれるエッジおよび直線、輝度分布および色分布等の多岐に渡る情報が挙げられる。例えば、入力画像中の被写体情報として、入力画像中の顔を検出する場合であれば、入力画像から検出した肌色領域の情報を利用する等、既存の技術を用いて入力画像中の被写体情報を検出することができる。

また、入力画像における被写体情報は、画像処理装置１の外部から画像処理装置１に入力される構成でもよい。例えば、表示部２に表示された入力画像上でユーザが被写体を選択し、選択された被写体の位置が、入力画像における被写体情報として画像処理装置１に入力される構成とすることができる。例えば、表示部２がタッチパネルである場合は、ユーザがタッチパネルに触れることで被写体を選択することができる。また、ユーザがマウスやキーボードを操作することによって、入力画像中の被写体を選択してもよい。

記憶部２０は、例えば、画像処理装置１が実行する各種の制御プログラム等を記憶するものであり、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成される。記憶部２０には、例えば、入力画像および出力画像が記憶される。また、記憶部２０には、画像処理（構図補正処理）、被写体の検出処理等、画像処理装置１での処理に必要なパラメータ等が記憶されていてもよい。

（２．画像処理装置１の動作）
図２は、画像処理装置１の動作の一例を説明するフローチャートである。

（ステップＳ１１）
まず、画像取得部１０１は、入力画像を取得する。画像取得部１０１は、取得した入力画像をアスペクト比情報取得部１０２および画像補正部１０４に供給する。

（ステップＳ１２）
次いで、アスペクト比情報取得部１０２は、入力画像または出力画像のアスペクト比に関する情報を取得する。アスペクト比情報取得部１０２は、取得したアスペクト比情報を、画像補正部１０４に供給する。

（ステップＳ１３）
次いで、画像補正部１０４は、入力画像から、被写体情報を検出する。

（ステップＳ１４）
次いで、画像補正部１０４は、ステップＳ１３で検出した被写体情報と、ステップ１２で取得したアスペクト比情報に基づいて入力画像から画像を切り出し、構図が補正された出力画像を生成する。

（ステップＳ１５）
次いで、画像補正部１０４は、生成した出力画像を、表示部２に出力させる。

（３．補正の一例）
以下に、画像処理装置１の画像補正部１０４が行う補正について、具体的に説明する。画像補正部１０４は、被写体情報と入力画像または出力画像のアスペクト比とに基づいて、入力画像から画像を切り出し、構図を補正する。画像補正部１０４は、被写体情報とアスペクト比とに基づいて、構図を補正する場合、入力画像のアスペクト比と出力画像のアスペクト比とが同じ場合は、入力画像のアスペクト比（＝出力画像のアスペクト比）を考慮した構図補正を行い、入力画像のアスペクト比と出力画像のアスペクト比とが異なる場合は、出力画像のアスペクト比を考慮した構図補正を行う。以下、入力画像のアスペクト比と出力画像のアスペクト比とが同じである場合、つまり、入力画像のアスペクト比を考慮した構図補正について具体的に説明する。

（構図）
構図には様々な種類がある。図３に代表的な構図の例を示す。図３の（ａ）は日の丸構図（Centered Composition）を示し、（ｂ）は三分割構図を示し、（ｃ）は対角線構図を示し、（ｄ）はシンメトリー構図を示している。

（ａ）の日の丸構図は、画像の中心に主要被写体が位置する構図である。（ｂ）の三分割構図は、画像の縦方向および横方向をそれぞれ３分割する線上またはこれらの線の交点上に主要被写体または主要な線（例えば、水平線等）が位置するような構図である。（ｃ）の対角線構図は、画像の対角線上に被写体または直線等が位置する構図である。（ｄ）のシンメトリー構図は、画像の中心線を境界に線対称となる構図である。また、図示しないが、これらの他にも、主要被写体の周囲を囲む額縁構図、主要被写体の両側を他の被写体で挟むサンドイッチ構図、主要被写体以外を暗くするトンネル構図、消失点を有する放射構図等が知られている。また、画像中の水平線が画像の横方向と平行である構図も、構図の１つと言える。これらの構図は、互いに独立である必要性はなく、２種類以上を組み合わせた構図とすることも可能である。例えば、日の丸構図且つシンメトリー構図であるような構図とすることも可能である。

（構図に基づく切り出し）
入力画像（撮像画像）から三分割構図の画像を切り出して出力画像を生成する場合の例について説明する。図４は、入力画像（撮像画像）およびそこから切り出された出力画像の一例を示す図である。図４の（ａ）に示す入力画像４０１は、被写体４０２の代表位置（具体的には、花の中心）が、画像の中央に位置している日の丸構図である。入力画像４０１のアスペクト比は１：１である。入力画像４０１から、三分割構図の画像を切り出す場合、例えば、画像４０１内に矩形の破線で囲む領域４０３が切出し領域となる。切出し領域４０３のアスペクト比は出力画像のアスペクト比と同一であり、この場合は、１：１である。切り出された画像は、図４の（ｂ）に示す出力画像４０４となる。出力画像４０４では、被写体４０２の代表位置が画像の左上の三分割点上に位置する構図となっている。

一方、図４の（ｃ）に示す入力画像４０５は、入力画像４０１と同様に、被写体４０２の代表位置（具体的には、花の中心）が、画像の中央に位置している日の丸構図である。入力画像４０５のアスペクト比は１６：９である。このような入力画像４０５から、三分割構図の画像を切り出す場合、例えば、画像４０５内に矩形の破線で囲む領域４０６が切出し領域となる。切出し領域４０６のアスペクト比は出力画像のアスペクト比と同一であり、この場合は、１６：９である。切り出された画像は、図４の（ｄ）に示す出力画像４０７となる。出力画像４０７では、出力画像４０４と同様に、被写体４０２の代表位置が画像の左上の三分割点上に位置する構図となっている。

一態様において、画像補正部１０４は、図４に示すような、被写体が左上の三分割点上に位置する三分割構図の出力画像を、次のように切り出す。画像補正部１０４は、入力画像の横幅をｗ０、縦幅をｈ０とし、入力画像中の被写体の位置を（ｘ０，ｙ０）とし、切り出し領域の左上隅の点を（ｘ１，ｙ１）とし、横幅をｗ１とし、縦幅をｈ１としたとき、ｘ１，ｙ１，ｗ１，ｈ１（何れも０以上）を、式（１）〜（４）を満たすように決定し、切り出し領域内の各画素のデータから出力画像のデータを生成する。

ｘ１＋ｗ１／３＝ｘ０・・・（１）
ｙ１＋ｈ１／３＝ｙ１・・・（２）
ｘ１＋ｗ１≦ｗ０・・・（３）
ｙ１＋ｈ１≦ｈ０・・・（４）
次に、入力画像（撮像画像）から日の丸構図の画像を切り出して出力画像を生成する場合の例について説明する。図５は、入力画像（撮像画像）およびそこから切り出された出力画像の一例を示す図である。図５の（ａ）に示す入力画像５０１は、被写体５０２の代表位置（具体的には、花の中心）が、画像の中央に位置している日の丸構図である。入力画像５０１のアスペクト比は１：１である。入力画像５０１から、日の丸構図の画像を切り出す場合、例えば、入力画像５０１内に矩形の破線で囲む領域５０３が切出し領域となる。切出し領域５０３のアスペクト比は出力画像のアスペクト比と同一であり、この場合は、１：１である。切り出された画像は、図５の（ｂ）に示す出力画像５０４となる。出力画像５０４では、被写体５０２の代表位置が画像の中央に位置する構図となっている。

一方、図５の（ｃ）に示す入力画像５０５は、入力画像５０１と同様に、被写体５０２の代表位置が、画像の中央に位置している日の丸構図である。入力画像５０５のアスペクト比は１６：９である。入力画像５０５から、日の丸構図の画像を切り出す場合、例えば、画像５０５内に矩形の破線で囲む領域５０６が切出し領域となる。切出し領域５０６のアスペクト比は出力画像のアスペクト比と同一であり、この場合は、１６：９である。切り出された画像は、図５の（ｄ）に示す出力画像５０７となる。出力画像５０７では、出力画像５０４と同様に、被写体５０２の代表位置が画像の中央に位置する構図となっている。

一態様において、画像補正部１０４は、図５に示すような、日の丸構図の出力画像を、次のように切り出す。画像補正部１０４は、入力画像の横幅をｗ０、縦幅をｈ０とし、入力画像中の被写体の位置を（ｘ０，ｙ０）とし、切り出し領域の左上隅の点を（ｘ１，ｙ１）とし、横幅をｗ１とし、縦幅をｈ１としたとき、ｘ１，ｙ１，ｗ１，ｈ１（何れも０以上）を、式（３）〜（６）を満たすように決定し、切り出し領域内の各画素のデータから出力画像のデータを生成する。

ｘ１＋ｗ１／２＝ｘ０・・・（５）
ｙ１＋ｈ１／２＝ｙ１・・・（６）
他の構図の出力画像を生成する場合も、画像補正部１０４は、同様に、被写体の位置が、出力画像において構図に適合するように切り出し領域を決定し、切り出し領域内の各画素のデータから出力画像のデータを生成すればよい。また、一態様において、画像補正部１０４は、入力画像を回転させて切り出しを行ってもよいし、切り出した画像を回転させたものを出力画像としてもよい。

また、別の一態様において、切り出しを行う画像は、入力画像であってもよく、入力画像に対して回転、拡大・縮小、幾何学的な変換等を行った変換画像であってもよい。

また、別の一態様において、切り出しにおいて、矩形以外の形状の切り出し領域を設定して、入力画像から矩形以外の形状の画像を切り出してもよい。例えば、円形、楕円形、平行四辺形等の形状の画像を、用途に応じて切り出してもよい。

（構図の決定方法）
ここで、構図の評価方法について説明する。上述したように、構図には複数の種類があり、評価方法の異なる構図がある。例えば、日の丸構図は主要被写体が重要であり、主要被写体を検出し、その位置や大きさを評価することで、日の丸構図に適しているか否かを評価することができる。三分割構図でも、被写体の位置が重要である。また、シンメトリー構図は、被写体の線対称性を評価することで、シンメトリー構図であるか否かを評価することができる。また、画像中の直線を検出し、直線の傾きを評価することで、水平度や対角線構図に対する評価を行うことができる。また、トンネル構図は、被写体の位置や輝度分布を用いて評価することができる。画像補正部１０４は、複数の評価指標で入力画像を評価し、出力画像の構図を決定することで、好適な構図の画像を生成することができる。

また、画像の切出し領域の大きさも評価指標の１つである。切出し領域が極端に狭いと、撮影画像の画角に対して出力画像の画角が狭くなるため、出力画像が撮影者の意図と異なる構図となる可能性がある。例えば、シンメトリー性の高い小さな被写体が入力画像内に含まれる場合に、当該被写体部分のみを切り出せば、出力画像のシンメトリー性は高くなるが、画角が狭くなり、また、解像度が低下する。従って、例えば、入力画像の画角に対する出力画像の画角の割合が大きいほど、評価を高くすることで、画角の広い構図が選択され易くなり好適である。

また、回転角度も評価指標の１つである。入力画像は撮影者が意図した被写体の向きで撮影されている可能性が高いため、手振れや撮影者の撮影技術によっては被写体が少々傾いている可能性があるが、撮影者の意図した被写体の向きに対して極端に大きく傾いて撮影されている可能性は低い。従って、例えば、入力画像の被写体の向きに対する出力画像の被写体の傾きが大きいほど、評価を低くすることで、入力画像に対して被写体が極端に傾いた構図が選択されにくくなり好適である。

また、画像補正部１０４は、入力画像の画素数等の画像情報や、入力画像を撮影したときのフォーカス位置等の撮像情報を加味して構図を評価してもよい。なお、このような画像情報および撮像情報は、入力画像と共に、画像処理装置１の外部から画像処理装置１に入力される構成でもよい。また、入力画像の画素数等の画像情報は、画像補正部１０４が入力画像を基に算出してもよいし、画像処理装置１が更に画像情報算出部（図示せず）を備える構成とし、当該画像情報算出部が入力画像を基に画素数等の画像情報を算出してもよい。

ここまで、構図の評価方法について例を挙げて述べたが、本実施形態では、更に、画像のアスペクト比を考慮して構図を補正することで、好適な構図の出力画像を生成する。

画像のアスペクト比を考慮した構図の補正方法として、例えば、画像のアスペクト比に応じて、特定の構図の評価を高くすることで、各構図の選択され易さを異ならせることができる。一実施形態において、画像補正部１０４は、アスペクト比以外の基準（例えば、被写体の線対称性等）に基づいて算出したスコアに対し、アスペクト比に基づく追加スコアを加算し、最もスコアが高い構図を選択するようにすればよい。

例えば、入力画像のアスペクト比が１：１である場合、三分割構図に補正された出力画像４０４（図４の（ｂ））は、被写体４０２から左側の画像端までにスペースがなく、窮屈な印象を与える構図となっている。一方、日の丸構図に補正された出力画像５０４（図５の（ｂ））は、被写体５０２の代表位置が画像の中央に位置することで存在感のある構図となっている。このように、入力画像のアスペクト比が１：１である場合、日の丸構図が好適な印象を与える構図であると言える。

また、入力画像のアスペクト比が１６：９である場合、日の丸構図に補正された出力画像５０７（図５の（ｄ））は、被写体５０２の代表位置は画像の中央に位置しているが、被写体５０２の左右に大きなスペースがあることで、被写体５０２の存在感が薄い印象を与える構図となっている。一方、三分割構図に補正された出力画像４０７（図４の（ｄ））は、被写体４０２の右側に広いスペースがあり、また、左側にもスペースがあり、バランスの良い構図となっている。このように、入力画像のアスペクト比が１６：９である場合、三分割構図が好適な印象を与える構図であると言える。

以上のように、入力画像４０１、４０５、５０１、５０５はいずれも被写体４０２が画像中央に位置するように撮られた画像であるが、入力画像のアスペクト比によって、好適な印象となる構図が変化している。

一態様において、画像補正部１０４は、画像のアスペクト比が１：１の場合は、日の丸構図のスコアに追加スコアを加算する。これにより、日の丸構図が好適な構図と評価される可能性が、横長の構図に比べて高くなる。また、一態様において、画像補正部１０４は、入力画像のアスペクト比が１：１に近い構図であるほど、日の丸構図の評価値を高くしてもよい。これにより、正方形に近いアスペクト比である場合は、日の丸構図が選択されやすくなり、横に長いアスペクト比であるほど、日の丸構図は選択されにくくなる。

また、他の態様において、画像のアスペクト比に応じて、特定の構図が選択されないようにしてもよい。例えば、画像のアスペクト比が２１：９のように横に長い場合は、画像補正部１０４は、日の丸構図のスコアを減算してもよい。画像のアスペクト比が所定の割合よりも横長の場合は、日の丸構図が好ましい構図となる可能性が低いため、日の丸構図が選択されないようにすることで、他の好ましい構図が選択され易くなる。

また、三分割構図においても同様に、例えば、一態様において、画像のアスペクト比が横長である場合は、画像補正部１０４が、三分割構図のスコアにアスペクト比に基づく追加スコアを加算することにより、画像のアスペクト比が横長であるほど（画像のアスペクト比が１６：９である場合よりも２１：９である場合の方が）、三分割構図において縦方向に二分割する構図が好適な構図と評価される可能性を、縦方向に三分割する構図に比べて高くすることができる。また、例えば、画像のアスペクト比が縦長である場合は、画像補正部１０４が、三分割構図のスコアにアスペクト比に基づく追加スコアを加算することにより、画像のアスペクト比が縦長であるほど（画像のアスペクト比が９：１６である場合よりも９：２１である場合の方が）、三分割構図において横方向に二分割する構図が好適な構図と評価される可能性を、横方向に三分割する構図に比べて高くすることができる。

また、画像補正部１０４は、出力画像の構図として三分割構図を用いる場合、画像のアスペクト比に応じて、上述した三分割構図に替えて、画像の長辺方向を３分割する線と、画像の短辺方向を２分割する線との交点上に主要被写体が位置する変形三分割構図を使用してもよい。

一態様において、画像補正部１０４は、アスペクト比が閾値よりも横長を示す場合には、画像の横方向を３分割する線と、縦方向を２分割する線との交点上に主要被写体が位置する変形三分割構図を、出力画像の構図として決定する。

図６の（ａ）、（ｂ）および（ｃ）は、それぞれ、アスペクト比が２１：９の構図補正後の出力画像６０１、６０２、６０３を示しており、それぞれ、同一の被写体６０４が写っている。出力画像６０１では、被写体６０４は、縦方向および横方向をそれぞれの方向に三分割した左上の点に位置している。出力画像６０２では、被写体６０４は、縦方向に二分割し且つ横方向に三分割した左側の点に位置している。出力画像６０３では、被写体６０４は、縦方向および横方向をそれぞれの方向に三分割した左下の点に位置している。図６に示したようなアスペクト比が横長の画像においては、出力画像６０１および６０３に示すように、出力画像の短辺方向である縦方向に三分割した位置に被写体が位置すると、被写体が画像端に寄った印象を与える出力画像となる。一方、出力画像６０２に示すように、出力画像の短辺方向を二分割した位置に被写体が位置すると、上下方向のバランスが良く且つ左右方向には三分割された位置に被写体が位置するため、より好適な三分割構図となる。

また、一態様において、画像補正部１０４は、アスペクト比が閾値よりも縦長を示す場合には、画像の横方向を２分割する線と、縦方向を３分割する線との交点上に主要被写体が位置する変形三分割構図を、出力画像の構図として決定する。

図７の（ａ）、（ｂ）および（ｃ）は、それぞれ、アスペクト比が９：２１の構図補正後の出力画像７０１、７０２、７０３を示しており、それぞれ、同一の被写体７０４が写っている。出力画像７０１では、被写体７０４は、縦方向および横方向をそれぞれの方向に三分割した左上の点に位置している。出力画像７０２では、被写体７０４は、縦方向に三分割し且つ横方向に二分割した上側の点に位置している。出力画像７０３では、被写体７０４は、縦方向および横方向をそれぞれの方向に三分割した右上の点に位置している。図７に示したようなアスペクト比が縦長の画像においては、出力画像７０１および７０３に示すように、出力画像の短辺方向である横方向に三分割した位置に被写体が位置すると、被写体が画像端に寄った印象を与える出力画像となる。一方、出力画像７０２に示すように、出力画像の短辺方向を二分割した位置に被写体が位置すると、左右方向のバランスが良く且つ上下方向には三分割された位置に被写体が位置するため、より好適な三分割構図となる。

〔実施形態２〕
本発明の実施形態２について、図８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態に係る画像処理装置は、実施形態１の画像処理装置１と同様の構成であり、画像補正部１０４の動作が異なっている。

本実施形態において、画像補正部１０４は、入力画像のアスペクト比に応じて、切り出しにおける入力画像の切り取り幅を制限してもよい。すなわち、画像補正部１０４は、切り出しにおける切り取り幅の入力画像の幅に対する割合の最大値を、入力画像のアスペクト比に応じて設定し、出力画像を入力画像から切り出す際の切り取り幅の入力画像の幅に対する割合を、当該最大値以下となるように設定してもよい。

なお、入力画像の切り取り幅を制限することが好ましい理由は以下のとおりである。例えば、入力画像のアスペクト比が縦長の場合、主要被写体の横側のマージン（被写体と画像端との間の距離）が小さいことが予想され、横方向の切り出し幅を大きく切り出すと、出力画像において主要被写体の一部が切出し領域外になり、画質が劣化する可能性がある。また、入力画像のアスペクト比が横長の場合、主要被写体の縦側のマージンが小さいことが予想され、縦方向の切り出し幅を大きく切り出すと、出力画像において主要被写体の一部が切出し領域外になり、画質が劣化する可能性がある。このように、入力画像の短辺側の切り出し幅が大きいと、画質が劣化する可能性がある。特に、短辺方向の長さに対する長辺方向の長さの比率が高い画像ほど、短辺方向（縦長の場合は横方向、横長の場合は縦方向）の切り取り幅の最大値を小さくすることが好ましい。一方、画像の長辺方向の端部（横長の場合は左右端、縦長の場合は上下端）に主要被写体が写っている可能性は低いため、長辺方向の切り出し幅はある程度大きくすることができる。従って、入力画像のアスペクト比が縦長である程、入力画像のアスペクト比が横長である場合よりも、横方向の切り取り幅の入力画像の幅に対する割合の最大値を小さく設定することが好ましい。同様に、入力画像のアスペクト比が横長である程、入力画像のアスペクト比が縦長である場合よりも、縦方向の切り取り幅の入力画像の幅に対する割合の最大値を小さく設定することが好ましい。

一態様において、図８の（ａ）に示すように、主要被写体８０２を含む入力画像８０１が横長である場合、画像補正部１０４は、（ｉ）入力画像８０１のアスペクト比に基づいて入力画像８０１が横長であると判定し、（ｉｉ）入力画像８０１から切り出し領域８０３を切り出すための横方向の切り取り幅Ｌ１の入力画像の幅に対する割合の最大値を、例えば予め定められた値に設定し、（ｉｉｉ）切り取り幅Ｌ１の入力画像の幅に対する割合が当該最大値以下となるように、切り出し領域８０３を設定した上で、（ｉｖ）入力画像８０１から切り出し領域８０３を切り出して出力画像を生成する。

また、図８の（ｂ）に示すように、主要被写体８０２を含む入力画像８０４が縦長である場合、画像補正部１０４は、（ｉ）入力画像８０４のアスペクト比に基づいて入力画像８０４が縦長であると判定し、（ｉｉ）入力画像８０４から切り出し領域８０５を切り出すための縦方向の切り取り幅Ｌ２の入力画像の幅に対する割合の最大値を、例えば予め定められた値に設定し、（ｉｉｉ）切り取り幅Ｌ２の入力画像の幅に対する割合が当該最大値以下となるように、切り出し領域８０５を設定した上で、（ｉｖ）入力画像８０４から切り出し領域８０５を切り出して出力画像を生成する。入力画像８０１の横幅に対する横方向の切り取り幅Ｌ１の割合と、入力画像８０４の横幅に対する横方向の切り取り幅Ｌ２の割合とを比較すると、入力画像８０４の横幅に対する横方向の切り取り幅Ｌ２の割合の方が小さい。すなわち、図８の（ｂ）の方が、切り取り幅が小さい画像が出力画像として出力される。

以上の構成によれば、出力画像から主要被写体８０２の一部が失われ、画質が劣化することを好適に避けることができる。

尚、他の一態様において、画像補正部１０４は、入力画像のアスペクト比の代わりに、入力画像を撮像したときの撮像装置の向きに応じて、切り出しにおける入力画像の切り取り幅を制限してもよい。

撮像装置は、一般に、撮像時の撮像装置の向きに応じて、縦長の画像または横長の画像を撮像する。撮像装置は、例えば、撮像装置に対する加速度（重力）の向きを計測する加速度センサを備えており、これにより、撮像時の撮像装置の向きに関する情報を取得することができる。一態様において、撮像装置は、入力画像を撮像したときの撮像装置の向きを示す情報を、入力画像にメタデータとして付与することができる。この場合、画像補正部１０４は、当該メタデータから入力画像を撮像したときの撮像装置の向きを取得することができる。また、他の態様において、画像補正部１０４は、撮像装置と接続されているか、撮像装置に組み込まれており、撮像装置から、入力画像を撮像したときの撮像装置の向きを示す情報を受け取ることができるようになっている。

そして、一態様において、画像補正部１０４は、入力画像を撮像したときの撮像装置の向きが、縦長の画像を撮像する向きであれば、上述した入力画像のアスペクト比が縦長の場合と同様に処理すればよい。また、画像補正部１０４は、入力画像を撮像したときの撮像装置の向きが、横長の画像を撮像する向きであれば、上述した入力画像のアスペクト比が横長の場合と同様に処理すればよい。

〔実施形態３〕
以下、本発明の実施形態３に係る画像処理装置１ａについて、図９〜図１１に基づいて詳細に説明する。尚、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（１．画像処理装置１ａの要部構成）
図９は、本実施形態に係る画像処理装置１ａの要部構成を示すブロック図である。画像処理装置１ａは、画像処理装置１ａに入力された入力画像に対し、画像を回転させる画像処理を行い、補正後の画像（出力画像）を生成する。図９に示すように、画像処理装置１ａは、制御部１０ａが画像補正部１０４の代わりに画像補正部１０４ａを備えている点、および向き情報取得部１０３を更に備えている点が、実施形態１の画像処理装置１と異なっている。かかる構成とすることによって、画像処理装置１ａは、入力画像もしくは出力画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じて、入力画像の回転の精度を切り替えることが可能となっている。

向き情報取得部１０３は、入力画像を撮像したときの撮像装置の向き（撮像装置が縦向き（縦長の画像を撮像する向き）であったか横向き（横長の画像を撮像する向き）であったか）を示す向き情報を取得する。入力画像を撮像したときの撮像装置の向きは、撮像装置に対する加速度（重力）の向きを計測し、これを、入力画像を撮像したときの撮像装置の向きに関する情報とすることができる。撮像装置に対する加速度（重力）の向きは、例えば、撮像装置が備えている加速度センサによって計測することができる。これにより、入力画像を撮像したときの撮像装置の向きが縦向きであるか横向きであるかについての情報を取得する。

画像補正部１０４ａは、アスペクト比情報取得部１０２が取得したアスペクト比情報、または、向き情報取得部１０３が取得した向き情報に基づいて、入力画像の回転の精度を決定する。さらに、画像補正部１０４ａは、入力画像中の水平方向の手掛かりとなる水平方向情報を検出し、決定した回転の精度および水平方向情報に基づいて、画像を回転させる回転量を決定する。さらに、画像補正部１０４ａは、決定した回転量に基づいて入力画像を回転させて、回転補正された出力画像を生成する。

（２．画像処理装置１ａの動作）
図１０は、画像処理装置１ａの動作の一例を説明するフローチャートである。

（ステップＳ２１）
まず、画像取得部１０１は、入力画像を取得する。画像取得部１０１は、取得した入力画像をアスペクト比情報取得部１０２および画像補正部１０４ａに供給する。

（ステップＳ２２）
次いで、アスペクト比情報取得部１０２は、入力画像または出力画像のアスペクト比に関する情報を取得する。アスペクト比情報取得部１０２は、取得したアスペクト比情報を、画像補正部１０４ａに供給する。

（ステップＳ２３）
次いで、向き情報取得部１０３は、入力画像を撮像したときの撮像装置の向き（撮像装置が縦向きか横向きか）を示す向き情報を取得する。向き情報取得部１０３は、取得した向き情報を、画像補正部１０４ａに供給する。

（ステップＳ２４）
次いで、画像補正部１０４ａは、アスペクト比情報または向き情報に基づいて、回転の精度を決定する。

（ステップＳ２５）
次いで、画像補正部１０４ａは、入力画像中の水平方向の手掛かりとなる水平方向情報を検出する。

（ステップＳ２６）
次いで、画像補正部１０４ａは、ステップＳ２４で決定した回転の精度およびステップＳ２５で検出した水平方向情報に基づいて、画像を回転させる回転量を決定する。

（ステップＳ２７）
次いで、画像補正部１０４ａは、ステップＳ２６で決定した回転量に基づいて入力画像を回転させて、回転補正された出力画像を生成する。

（ステップＳ２８）
次いで、画像補正部１０４ａは、生成した出力画像を、表示部２に出力させる。

（３．補正の一例）
以下に、画像処理装置１ａの画像補正部１０４ａが行う補正について、具体的に説明する。画像補正部１０４ａは、画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じて、入力画像の回転の精度を切り替える。ここでは、画像補正部１０４ａがアスペクト比に基づいて、入力画像の回転の精度を切り替える場合について説明する。尚、画像補正部１０４ａは、アスペクト比に基づいて入力画像の回転の精度を切り替える際に、入力画像のアスペクト比と出力画像のアスペクト比とが同じ場合には、入力画像のアスペクト比（＝出力画像のアスペクト比）を考慮した入力画像の回転の精度の切り替えを行い、入力画像のアスペクト比と出力画像のアスペクト比とが異なる場合には、出力画像のアスペクト比を考慮した入力画像の回転の精度の切り替えを行う。以下、入力画像のアスペクト比と出力画像のアスペクト比とが同じである場合、つまり、入力画像のアスペクト比を考慮した回転補正について具体的に説明する。

まず、アスペクト比と回転の精度との関係について説明する。図１１の（ａ）は、アスペクト比が１：１の入力画像１１０１を示しており、図１１の（ｂ）は、アスペクト比が２１：９の入力画像１１０４を示している。入力画像１１０１および１１０４には、被写体１１０２および水平線１１０３が写っており、水平線１１０３が入力画像の横方向（水平方向）に対して約１°傾いた状態で撮影されている。入力画像１１０１および１１０４の水平線１１０３の水平方向の傾きは同じである。しかし、入力画像１１０１よりも入力画像１１０４の方が、水平線１１０３の傾きが大きい印象を与える。これは、入力画像１１０１よりも入力画像１１０４の方が横に長い画像であり、傾きを認識しやすいためである。

入力画像１１０１の左側に矢印で示す幅Ｗ１は、入力画像１１０１の画像下端から水平線１１０３までの長さを示しており、入力画像１１０１の右側に矢印で示す幅Ｗ２は、入力画像１１０１の画像下端から水平線１１０３までの長さを示している。同様に、入力画像１１０４の左側に矢印で示す幅Ｗ３は、入力画像１１０４の画像下端から水平線１１０３までの長さを示しており、入力画像１１０４の右側に矢印で示す幅Ｗ４は、入力画像１１０４の画像下端から水平線１１０３までの長さを示している。画像下端から水平線１１０３までの幅は、入力画像１１０１および１１０４共に左右で異なるが、幅Ｗ３と幅Ｗ４との差の方が、幅Ｗ１と幅Ｗ２との差より大きい。従って、入力画像１１０１よりも入力画像１１０４の方が、水平線１１０３の傾きを認識し易くなる。すなわち、画像のアスペクト比が横長である程、水平線の傾きを認識し易いため、入力画像の構図の補正において、アスペクト比が横長の場合は水平補正の精度が重要となる。

そこで、本実施形態では、画像補正部１０４ａは、画像のアスペクト比に応じて、水平補正の処理方法および精度（つまり、画像の回転の精度）を変える。これにより、水平線の傾きが認識されやすい横長のアスペクト比の構図においても、水平が精度良く補正された好適な構図の出力画像を生成することができる。

画像の水平線の傾きを補正する方法の一例について説明する。撮像装置が加速度センサを備えていれば、撮像したときの撮像装置の鉛直方向に対する傾きの度合いを検出することができるが、加速度センサは水平方向に対する撮像装置の傾きの度合いを常に正しく検出できるとは限らず、加速度センサで検出した傾き角に基づいて補正した画像に、水平方向からのズレが生じる場合がある。そこで、画像処理装置１ａの画像補正部１０４ａは、精度良く水平補正を行うために、画像から水平方向の手掛かりとなる情報（水平方向情報）を検出し、検出した水平方向情報に基づいて、水平を補正する。入力画像中の水平方向情報としては、入力画像中の直線、人物の顔の向き等が挙げられる。

一例として、水平方向情報として入力画像中の直線を利用した水平補正方法について、図１１に基づいて以下に説明する。入力画像１１０１には、水平方向を示唆する直線が複数存在するが、ここでは、画像補正部１０４ａは、水平線１１０３を水平補正するための直線として検出するものとする。同様に、画像補正部１０４ａは、入力画像１１０４から、水平線１１０３を水平補正するための直線として検出する。そして、画像補正部１０４ａは、水平線１１０３が入力画像の横方向に対して平行となるように画像を回転させることで、画像中の水平線１１０３が画像の横方向と平行な構図に補正することができる。

上述の方法で水平補正を行う場合に、画像処理装置１ａは、画像のアスペクト比に応じて、回転の精度を切り替える。本実施形態において、回転の精度とは、水平方向情報に基づいて水平方向の傾き角度を検出するときの回転角度の分解能を意味する。一態様において、画像処理装置１ａは、画像のアスペクト比が横長であるほど、水平方向情報として入力画像から検出する直線の傾き度合いの分解能を高くする。具体的に説明すると、例えば、画像処理装置１ａは、アスペクト比が１：１の入力画像１１０１からは、直線の傾き角度を１°精度で検出する。これに対して、画像処理装置１ａは、アスペクト比が２１：９の横長の入力画像１１０４からは、直線の傾き角度を、角度精度がより高い０．５°精度で検出する。

これにより、直線の角度精度が高いほど、直線の傾きを正確に補正した好適な出力画像を生成することができる。一方、直線の角度精度が低いほど、直線の傾きの補正精度は低下するが、画像のアスペクト比が横長でない場合は、水平線の傾きを認識し難いため、微小な傾きは認識されにくい。直線の傾きの角度精度を低くすることには以下の効果がある。直線はハフ変換等の既知の方法によって検出することができるが、角度精度（回転角度の分解能）を高くするほど、画像の処理量が増大し処理時間を要することになる。このため、画像のアスペクト比が横長でない場合は、角度精度を低くすることで、処理量が削減され高速処理が可能となり好適である。

なお、画像処理装置１ａが、入力画像のアスペクト比の代わりに、入力画像を撮像したときの撮像装置の向きに応じて入力画像の回転の精度を切り替える場合は、入力画像を撮像したときの撮像装置の向きが縦向き（縦長の画像を撮像する向き）であれば、入力画像のアスペクト比が縦長の場合の説明を、画像処理装置１ａの処理に準用する。また、入力画像を撮像したときの撮像装置の向きが横向き（横長の画像を撮像する向き）であれば、入力画像のアスペクト比が横長の場合の説明を、画像処理装置１ａの処理に準用する。

〔実施形態４〕
本発明の実施形態４について、図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態に係る画像処理装置は、実施形態３の画像処理装置１ａと同様の構成であるが、画像補正部１０４ａの動作が異なっている。

一態様において、画像補正部１０４ａは、入力画像のアスペクト比に応じて、補正可能な回転量の最大値を変えてもよい。図１２の（ａ）はアスペクト比１：１の入力画像１２０１を示しており、図１２の（ｂ）はアスペクト比２１：９の入力画像１２０２を示している。入力画像１２０１中に破線で囲む領域１２０３は、入力画像１２０１の横方向に対して１５°回転させたアスペクト比１：１の矩形の内、入力画像１２０１内に収まる最大の矩形を示している。同様に、入力画像１２０２中に破線で囲む領域１２０４は、入力画像１２０２の横方向に対して１５°回転させたアスペクト比２１：９の矩形の内、入力画像１２０２内に収まる最大の矩形を示している。

領域１２０３および領域１２０４は、共に入力画像の横方向に対して１５°傾いた矩形であるが、入力画像に対する面積比が異なる。具体的には、領域１２０３と比較して、領域１２０４の方が、入力画像に対する面積比が小さくなっている。すなわち、入力画像のアスペクト比が横長であるほど、回転量が同じであっても、回転補正して得られる出力画像の入力画像に対する面積の減少率が大きくなる。その結果、回転補正して得られる出力画像の入力画像に対する画角の減少率が大きくなる。そこで、画像補正部１０４ａが、入力画像のアスペクト比が横長または縦長であるほど、回転量の最大値を小さく設定することで、入力画像に対する出力画像の画角の減少を低減することができる。

また、画像補正部１０４ａは、回転量の評価方法を入力画像のアスペクト比に応じて変えてもよい。例えば、入力画像のアスペクト比が正方形に近いほど、回転補正による出力画像の画角の減少が少ないため、回転量（回転角度）の増加に対する評価の低下が少ない評価方法とする。これに対して、入力画像のアスペクト比が横長または縦長であるほど、回転補正による出力画像の画角の減少が多いため、回転量（回転角度）の増加に対する評価の低下が大きい評価方法とする。一実施形態において、画像補正部１０４ａは、入力画像のアスペクト比が横長または縦長である場合に、入力画像のアスペクト比が１：１である場合よりも、回転量（回転角度）の増加に対してよりスコアが低下するように設定する。これにより、入力画像のアスペクト比が横長または縦長の場合に、過度に回転補正されにくくなり、画角の広い出力画像が生成されやすくなる。

〔実施形態５〕
以下、本発明の実施形態５に係る画像処理装置１ｂついて、図１３〜図１７に基づいて詳細に説明する。尚、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（１．画像処理装置１ｂの要部構成）
図１３は、本実施形態に係る画像処理装置１ｂを備えた撮像装置１３００の要部構成を示すブロック図である。図１３に示すように、撮像装置１３００は、画像処理装置１ｂ、表示部２、撮像部３、操作部４、向き検出部５、記憶部６および制御部７を備えている。

撮像部３は、被写体を撮像するものであり、撮像した画像を入力画像として画像処理装置１ｂに送信する。

操作部４は、ユーザの入力を受け付けるものであり、例えば、物理的なボタンやタッチパネルによって実現される。例えば、操作部４がタッチパネルである場合、表示部２に操作部４が備えられる構成となり、表示部２に操作画面が表示され、ユーザの操作を受け付ける。操作部４が受け付ける操作は、例えば、撮影指示、露出設定等の各種撮影設定、撮影画像の記憶および削除、画像処理装置１ｂでの処理の実行指示等が挙げられる。

表示部２は、撮像部３が撮像した画像や、画像処理装置１ｂの画像補正部１０４ｂが生成する出力画像を表示する。また、表示部２は、操作部４が受け付ける操作情報等、および撮影時の各種撮影設定等を表示してもよい。

向き検出部５は、入力画像を撮像したときの撮像装置１３００の向き（撮像装置が縦向きであったか横向きであったか）を検出する。向き検出部５は、例えば、加速度センサを備えることで、撮像装置１３００の重力方向に対する傾きを検出する。これによって、向き検出部５は、撮像装置１３００が縦向きに保持されているか横向きに保持されているか、を検出することができる。

記憶部６は、例えば、画像処理装置１ｂが実行する各種の制御プログラム等を記憶するものであり、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成される。記憶部６には、例えば、入力画像および出力画像が記憶される。また、記憶部６には、画像処理（構図補正処理）、被写体の検出処理等、画像処理装置１ｂでの処理に必要なパラメータ等が記憶されていてもよい。

制御部７は、撮像装置１３００を統括的に制御する。制御部７は、例えば、操作部４で受け付けた撮像指示に基づいて撮像部３を制御したり、向き検出部５で検出した撮像装置１３００の傾きに基づいて表示部２に表示する画像の向きを制御したりする等、撮像装置１３００内に備えられる各部を制御する。

また、処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

画像処理装置１ｂは、画像処理装置１ｂに入力された入力画像に対し、画像を特定の軸を中心に回転させる射影変換する画像処理を行い、補正後の画像（出力画像）を生成する。図１３に示すように、画像処理装置１ｂは、制御部１０ｂが画像補正部１０４の代わりに画像補正部１０４ｂを備えている点、制御部１０ｂが向き情報取得部１０３ｂを更に備えている点、制御部１０ｂが記憶部２０の代わりに画像処理装置１ｂの外部の記憶部６と接続されている点が、実施形態１の画像処理装置１と異なっている。かかる構成とすることによって、画像処理装置１ｂは、入力画像もしくは出力画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じて、入力画像に対する射影変換の回転軸を切り替えることが可能となっている。

向き情報取得部１０３ｂは、向き検出部５が検出した入力画像を撮像したときの撮像装置の向き（撮像装置が縦向きであったか横向きであったか）を示す向き情報を取得する。

画像補正部１０４ｂは、アスペクト比情報取得部１０２が取得したアスペクト比情報、または、向き情報取得部１０３ｂが取得した向き情報に基づいて、入力画像に対する射影変換の回転軸を決定する。さらに、画像補正部１０４ｂは、決定した射影変換の回転軸について入力画像を射影変換して、補正された出力画像を生成する。

（２．画像処理装置１ｂの動作）
図１４は、画像処理装置１ｂの動作の一例を説明するフローチャートである。

（ステップＳ３１）
まず、画像取得部１０１は、入力画像を取得する。画像取得部１０１は、取得した入力画像をアスペクト比情報取得部１０２および画像補正部１０４ｂに供給する。

（ステップＳ３２）
次いで、アスペクト比情報取得部１０２は、入力画像または出力画像のアスペクト比に関する情報を取得する。アスペクト比情報取得部１０２は、取得したアスペクト比情報を、画像補正部１０４ｂに供給する。

（ステップＳ３３）
次いで、向き情報取得部１０３ｂは、向き検出部５が検出した入力画像を撮像したときの撮像装置の向き（撮像装置が縦向きか横向きか）を示す向き情報を取得する。向き情報取得部１０３ｂは、取得した向き情報を、画像補正部１０４ｂに供給する。

（ステップＳ３４）
次いで、画像補正部１０４ｂは、アスペクト比情報または向き情報に基づいて、射影変換の回転軸を決定する。

（ステップＳ３５）
次いで、画像補正部１０４ｂは、ステップＳ３４で決定した回転軸について入力画像を射影変換して、補正された出力画像を生成する。

（ステップＳ３６）
次いで、画像補正部１０４ａは、生成した出力画像を、表示部２に出力させる。

（３．補正の一例）
以下に、画像処理装置１ｂの画像補正部１０４ｂが行う補正について、具体的に説明する。画像補正部１０４ｂは、画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じて、入力画像に対する射影変換の回転軸を切り替える。ここでは、画像補正部１０４ｂがアスペクト比に基づいて、入力画像に対する射影変換の回転軸を切り替える場合について説明する。尚、画像補正部１０４ｂは、アスペクト比に基づいて入力画像に対する射影変換の回転軸を切り替える際に、（ｉ）入力画像のアスペクト比と出力画像のアスペクト比とが同じ場合には、入力画像のアスペクト比（＝出力画像のアスペクト比）に基づいて、入力画像に対する射影変換の回転軸の切り替えを行い、（ｉｉ）入力画像のアスペクト比と出力画像のアスペクト比とが異なる場合には、出力画像のアスペクト比に基づいて、入力画像に対する射影変換の回転軸の切り替えを行う。以下、入力画像のアスペクト比と出力画像のアスペクト比とが同じである場合、つまり、入力画像のアスペクト比に基づいて、入力画像に対する射影変換を行う場合について具体的に説明する。

まず、アスペクト比と射影変換の回転軸との関係について説明する。図１５は、撮像装置１３００の外観を示す図である。図１５の（ａ）は撮像装置１３００の表面を示し、図１５の（ｂ）は撮像装置１３００の裏面を示している。図１５の（ａ）に示すように、撮像装置１３００の表面には表示部２が備えられている。また、図１５の（ｂ）に示すように、撮像装置１３００の裏面には撮像部３が備えられている。図１５中のｘ軸方向が撮像装置１３００の縦方向を示し、ｙ軸方向が撮像装置１３００の横方向を示す。

図１６は、撮影者１６０１が撮像装置１３００を保持して被写体１６０２を撮影する様子を説明する図である。図１６の（ａ）および（ｃ）では、撮影者１６０１が撮像装置１３００を横向きに（横長の画像を撮像するように）保持して被写体１６０２を撮影する様子を上から俯瞰した図を示しており、図１６の（ｂ）では、撮影者１６０１が撮像装置１３００を縦向きに（縦長の画像を撮像するように）保持して被写体１６０２を撮影する様子を上から俯瞰した図を示している。図１６の（ａ）および（ｃ）は、撮像装置１３００と被写体１６０２との距離を変えて撮影している。図１６の（ａ）〜（ｃ）では、撮影者１６０１は、撮影者１６０１と、撮像装置１３００の中心と、被写体１６０２とが一直線上に並ぶ位置で撮影している。

図１６の（ａ）〜（ｃ）に示すように、被写体１６０２が撮影画像の中心に位置するように意識して撮影する場合は、撮影者１６０１、撮像装置１３００の中心および被写体１６０２が一直線上に位置した状態で撮影されることがある。しかし、撮像装置１３００のような横向きに保持した場合に撮像部３が中央に位置しない撮像装置を使用する場合には、図１６の（ａ）に示すように、被写体１６０２を斜めから撮影する場合がある。これを、図１６の（ａ）に示す軸方向に基づいて説明すると、図１６の（ａ）では、撮像装置１３００の被写体１６０２に対する向きには、ｙ軸を中心とした回転が生じている。図１７の（ａ）は、図１６の（ａ）に示す条件で被写体１６０２を撮影した場合の撮影画像１７０１を示している。撮影画像１７０１では、被写体１６０２が傾いて撮影されている。一方、図１６の（ｂ）では、被写体１６０２に正対して撮影されている。従って、撮像装置１３００の被写体１６０２に対する向きには、ｙ軸を中心とした回転が生じていない。図１７の（ｂ）は、図１６の（ｂ）に示す条件で被写体１６０２を撮影した場合の撮影画像１７０２を示している。撮影画像１７０２では、被写体１６０２が傾くことなく撮影されている。被写体１６０２はシンメトリー性の高い被写体であるので、シンメトリー構図で撮影することで好適な印象の画像となる。しかし、図１６の（ａ）に示すように、斜めから撮影された場合には、シンメトリー性の低い画像となる。このような画像は、平行移動や回転等の既知のアフィン変換では、撮影画像１７０２のような被写体１６０２に正対した画像に補正することができない。従って、既知の方法では、撮影画像１７０１をシンメトリー性の高い画像に補正することができない。撮影画像１７０１を、撮影画像１７０２のようなシンメトリー性の高い画像に補正するために、画像補正部１０４ｂは、被写体１６０２を右斜め方向から撮影したことを考慮して、ｙ軸を中心とした回転を行う射影変換を行う必要性がある。

そこで、画像処理装置１ｂは、入力画像のアスペクト比から想定される、入力画像を撮像したときの撮像装置の向きを考慮し、射影変換を含む補正を行った上で構図の評価を行い、好適な構図の出力画像を生成する。例えば、図１６の（ａ）では、撮像装置１３００は横向きに保持されているため、撮影画像が横長のアスペクト比となるように撮影されている。そして、撮像装置１３００は撮像部３が撮像装置の中央に位置していないため、図１６の（ａ）に示すように、撮像部３が被写体１６０２に向かって右側になるように撮像装置１３００を横向きに保持した条件で撮影する場合は、被写体１６０２に対して右斜めの方向から撮影される可能性が高くなる。そこで、撮影画像１７０１を評価して最適な構図を選択する場合には、右斜め方向から撮影された場合に生じる撮像装置１３００の傾きを相殺するよう、画像補正部１０４ｂは、ｙ軸を中心とした回転を補正する射影変換を行った画像を含めて評価を行い、最も好適な構図を選択すればよい。なお、射影変換における回転角度は特に限定されず、複数の予め定められた角度で回転させたものをそれぞれ出力してもよい。

撮影画像１７０１は、右斜め方向から撮影されている可能性が高いが、その傾き角度は被写体１６０２までの距離等、撮像装置１３００と被写体１６０２との位置関係によって変わる。例えば、図１６の（ａ）と（ｃ）とは、撮像装置１３００と被写体１６０２との距離が異なる。この場合、図１６の（ａ）の条件で被写体１６０２を撮影した場合の被写体１６０２に対する撮像装置１３００の傾き角度α１は、図１６の（ｃ）の条件で被写体１６０２を撮影した場合の被写体１６０２に対する撮像装置１３００の傾き角度α２よりも大きくなる。このため、複数の回転量で射影変換を行った画像を評価することで、最適な射影変換を行った画像を生成できる可能性がある。例えば、図１６の（ａ）および（ｃ）の撮影条件においては、最適な射影変換を行った画像は、シンメトリー性が高くなるため、複数の回転量で射影変換を行った画像の中からシンメトリー構図が好適な構図として選択され易くなる。一実施形態において、複数の回転量で射影変換を行った候補画像の中でシンメトリー構図のスコアを最も高く設定することで、候補画像の中からシンメトリー構図が最適な画像として選択され易くなる。また、別の実施形態において、複数の回転量で射影変換を行った候補画像の中から最適な画像をユーザが選択することが可能である。また、別の一実施形態において、射影変換の最適な回転量をユーザが選択することも可能である。

一方で、図１６の（ｂ）の条件で撮影する場合は、撮像部３は撮像装置１３００の中央よりも上側または下側に位置するので、被写体１６０２に対して上下方向の傾きが生じる可能性がある。すわなち、撮像装置１３００の被写体１６０２に対する向きには、ｘ軸を中心とした回転が生じる可能性がある。そこで、撮影画像１７０２を評価して最適な構図を選択する場合には、画像補正部１０４ｂは、上斜め方向または下斜め方向から撮影された場合に生じる撮像装置１３００の傾きを相殺するよう、ｘ軸を中心とした回転を補正する射影変換を行った画像を含めて評価を行い、最も好適な構図を選択すればよい。

ｘ軸を中心とした回転に関しては、重力方向に対する傾きであるため、画像補正部１０４ｂは、撮像装置１３００の重力方向に対する傾きと併せて評価してもよい。例えば、画像補正部１０４ｂは、ｘ軸を中心とした傾きを撮像装置の重力方向に対する傾きに基づいて補正し、更に、その画像に対してｘ軸を中心とした回転補正を行った上で構図の評価を行い、好適な構図を選択してもよい。また、画像補正部１０４ｂが、上述の２回のｘ軸回転を同時に処理した上で構図の評価を行うことにより、処理量が削減でき好適である。

以上説明したように、画像処理装置１ｂでは、画像補正部１０４ｂは、画像のアスペクト比の違いに起因する撮影時の被写体に対する撮像装置１３００の向きを考慮して、射影変換の回転軸を切り替えて射影変換を行うことで、アスペクト比に適した射影変換を行った出力画像を生成することができる。尚、入力画像のアスペクト比の代わりに入力画像を撮像したときの撮像装置の向きに応じて射影変換の回転軸を切り替える場合は、入力画像を撮像したときの撮像装置の向きが縦向きであれば、撮影画像（入力画像）が縦長になるので、入力画像のアスペクト比が縦長の場合の説明を、画像補正部１０４ｂの処理に準用する。また、入力画像を撮像したときの撮像装置の向きが横向きであれば、撮影画像（入力画像）が横長になるので、入力画像のアスペクト比が横長の場合の説明を、画像補正部１０４ｂの処理に準用する。

〔実施形態６〕
以下、本発明の実施形態６に係る端末装置１８０１およびサーバ１８０３について、図１８に基づいて詳細に説明する。

図１８は、本実施形態に係る端末装置１８０１およびサーバ１８０３の要部構成を示す機能ブロック図である。

サーバ１８０３は、制御部１０、記憶部２０および第１通信部１８０４を備えている。制御部１０は、第１通信部１８０４を介して端末装置１８０１から受信した、入力画像、および、入力画像を撮像したときの撮像装置の向きを示す情報に基づいて、出力画像を生成し、第１通信部１８０４を介して端末装置１８０１に送信する。

端末装置１８０１は、表示部２、撮像部３、操作部４、向き検出部５、第２通信部１８０２および制御部１８０５を備えている。制御部１８０５は、撮像部３によって撮像した画像を入力画像として、撮像部３による撮像時に向き検出部５が検出した向きを示す情報、入力画像を撮像したときの撮像装置の向きを示す情報として、第２通信部１８０２を介してサーバ１８０３に送信し、サーバ１８０３（の制御部１０）において処理された出力画像を、第２通信部１８０２を介して受信する。

端末装置１８０１とサーバ１８０３とは通信ネットワークによって接続されている。

以上の構成によっても、他の実施形態と同様の効果を得ることができる。

〔ソフトウェアによる実現例〕
画像処理装置１、１ａおよび１ｂの制御ブロック（特に画像補正部１０４、１０４ａおよび１０４ｂ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像処理装置１、１ａおよび１ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータシステム（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

〔まとめ〕
本発明の態様１に係る画像処理装置（１、１ａ、１ｂ、制御部１０）は、入力画像に対し、切り出し、回転、および射影変換のうち少なくとも一つの補正を行って出力画像を生成する画像補正部（１０４、１０４ａ、１０４ｂ）を備え、前記画像補正部（１０４、１０４ａ、１０４ｂ）は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置（撮像部３）の向きに基づいて前記補正を行う構成である。

上記の構成によれば、好適な出力画像を生成することができる。

本発明の態様２に係る画像処理装置（１）は、上記の態様１において、前記画像補正部（１０４）は、前記入力画像または前記出力画像のアスペクト比に基づいて、前記出力画像の構図を決定する構成としてもよい。

上記の構成によれば、画像のアスペクト比に応じた最適な構図を決定することができる。

本発明の態様３に係る画像処理装置（１）は、上記の態様１において、前記画像補正部（１０４）は、前記入力画像に含まれる被写体情報を検出し、前記被写体情報と、前記入力画像もしくは出力画像のアスペクト比に基づいて、前記入力画像を補正する構成としてもよい。

上記の構成によれば、画像のアスペクト比に応じた構図の出力画像を好適に生成することができる。

本発明の態様４に係る画像処理装置（１）は、上記の態様１において、前記画像補正部（１０４）は、前記入力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置（撮像部３）の向きに応じて、前記切り出しにおける前記入力画像の切り取り幅を制限する構成としてもよい。

上記の構成によれば、画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じた出力画像を生成することができる。

本発明の態様５に係る画像処理装置（１ａ）は、上記の態様１において、前記画像補正部（１０４）は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに応じて、前記回転の精度を切り替える構成としてもよい。

上記の構成によれば、画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じて、回転の精度を切り替えるので、傾きが適切に補正された出力画像を生成することができる。

本発明の態様６に係る画像処理装置（１ａ）は、上記の態様１において、前記画像補正部（１０４）は、前記入力画像のアスペクト比に応じて、前記回転の回転量を制限する構成としてもよい。

上記の構成によれば、入力画像のアスペクト比に応じたより画角の広い出力画像を生成することができる。

本発明の態様７に係る画像処理装置（１ｂ）は、上記の態様１において、前記画像補正部（１０４）は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置（撮像部３）の向きに応じて、前記射影変換の回転軸を切り替える構成としてもよい。

上記の構成によれば、画像のアスペクト比、または、入力画像を撮像したときの撮像装置の向きに応じて、射影変換の回転軸を切り替えるので、傾きが適切に補正された出力画像を生成することができる。

本発明の態様８に係る画像処理装置（制御部１０）は、上記の態様１〜７の何れか一つにおいて、前記入力画像、および、前記入力画像を撮像したときの撮像装置（撮像部３）の向きを示す情報を端末装置（１８０１）から受信し、前記出力画像を前記端末装置（１８０１）に送信する第１通信部（１８０４）を備えている構成としてもよい。

本発明の態様９に係る端末装置（１８０１）は、本発明の態様８に係る画像処理装置（制御部１０）に対し、前記入力画像、および、前記入力画像を撮像したときの撮像装置（撮像部３）の向きを示す情報を送信し、前記画像処理装置（制御部１０）から、前記出力画像を受信する第２通信部（１８０２）を備えている構成としてもよい。

上記の構成によれば、端末装置と画像処理装置とが通信することにより、態様１と同等の効果を奏することができる。

本発明の態様１０に係る撮像装置（１３００）は、撮像部（３）と、前記撮像部（３）が撮像した画像を前記入力画像として前記出力画像を生成する上記の態様１〜７の何れか一つの画像処理装置（１、１ａ、１ｂ）とを備えている構成である。

上記の構成によれば、態様１と同等の効果を奏する。

本発明の態様１１に係る撮像装置（１３００）は、上記の態様１０において、前記撮像装置（１３００）の向きを検出するための向き検出部（５）をさらに備え、前記画像処理装置（１、１ａ、１ｂ）は、前記向き検出部（５）が検出した前記撮像装置（１３００）の向きに基づいて前記出力画像を生成する構成である。

上記の構成によれば、入力画像を撮像したときの撮像装置の向きに基づいて前記出力画像を生成することができる。

本発明の態様１２に係る画像補正方法は、画像処理装置（１、１ａ、１ｂ）が、入力画像に対し、切り出し、回転、および射影変換からなる群より選択される一つ以上の補正を少なくとも行って出力画像を生成する画像補正工程を含み、前記画像補正工程では、前記画像処理装置（１、１ａ、１ｂ）は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置（撮像部３）の向きに基づいて前記補正を行う方法である。

上記の構成によれば、態様１と同様の効果を奏する。

本発明の各態様に係る画像処理装置（１、１ａ、１ｂ）は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置（１、１ａ、１ｂ）が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置（１、１ａ、１ｂ）をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、２０１７年４月１３日に出願された日本国特許出願：特願２０１７−０７９９４８に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１、１ａ、１ｂ 画像処理装置
３ 撮像部
５ 向き検出部
１０４、１０４ａ、１０４ｂ 画像補正部
１８０１ 端末装置
１８０２ 第２通信部
１８０３ サーバ（画像処理装置）
１８０４ 第１通信部
１３００ 撮像装置

Claims (13)

1. 入力画像に対し、切り出し、回転、および射影変換のうち少なくとも一つの補正を行って出力画像を生成する画像補正部を備え、
   前記画像補正部は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに基づいて前記補正を行うことを特徴とする画像処理装置。
2. 前記画像補正部は、前記入力画像または前記出力画像のアスペクト比に基づいて、前記出力画像の構図を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像補正部は、前記入力画像に含まれる被写体情報を検出し、前記被写体情報と、前記入力画像もしくは出力画像のアスペクト比に基づいて、前記入力画像を補正することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像補正部は、前記入力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに応じて、前記切り出しにおける前記入力画像の切り取り幅を制限することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像補正部は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに応じて、前記回転の精度を切り替えることを特徴とする請求項１に記載の画像処理装置。
6. 前記画像補正部は、前記入力画像のアスペクト比に応じて、前記回転の回転量を制限することを特徴とする請求項１に記載の画像処理装置。
7. 前記画像補正部は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに応じて、前記射影変換の回転軸を切り替えることを特徴とする請求項１に記載の画像処理装置。
8. 前記入力画像、および、前記入力画像を撮像したときの撮像装置の向きを示す情報を端末装置から受信し、前記出力画像を前記端末装置に送信する第１通信部を備えていることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 請求項８に記載の画像処理装置に対し、前記入力画像、および、前記入力画像を撮像したときの撮像装置の向きを示す情報を送信し、前記画像処理装置から、前記出力画像を受信する第２通信部を備えていることを特徴とする端末装置。
10. 撮像部と、
    前記撮像部が撮像した画像を前記入力画像として前記出力画像を生成する請求項１〜７の何れか一項に記載の画像処理装置と、
    を備えていることを特徴とする撮像装置。
11. 前記撮像装置の向きを検出するための向き検出部をさらに備え、
    前記画像処理装置は、前記向き検出部が検出した前記撮像装置の向きに基づいて前記出力画像を生成することを特徴とする請求項１０に記載の撮像装置。
12. 画像処理装置が、入力画像に対し、切り出し、回転、および射影変換からなる群より選択される一つ以上の補正を少なくとも行って出力画像を生成する画像補正工程を含み、
    前記画像補正工程では、前記画像処理装置は、前記入力画像もしくは出力画像のアスペクト比、または、前記入力画像を撮像したときの撮像装置の向きに基づいて前記補正を行うことを特徴とする画像補正方法。
13. 請求項１〜７の何れか一項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記画像補正部としてコンピュータを機能させるための画像処理プログラム。

Images