JP6722349B2 - 画像処理装置、端末装置、および画像処理プログラム - Google Patents

Description

本発明の一態様は、画像処理装置、端末装置、および画像処理プログラムに関するものである。

撮像画像の構図が最適になるように、撮像画像の一部を切り出して構図を補正し、構図を補正した画像を保存する技術が知られている。特許文献１は、三分割法や三角法などの複数の構図に関する論理にしたがい、被写体が好ましい位置に配置される構図領域を抽出し、抽出した画像を保存する技術を開示している。

日本国公開特許公報「特開２００８−９２０４６号公報（２００８年４月１７日公開）」

しかしながら、上述のような技術は、構図を補正する補正量が微小であった場合、入力画像と極めて類似する画像を生成する。この場合、生成された画像を見たユーザは、構図を補正した効果を感じることができない。また、生成された画像の画素数が入力画像の画素数と同じである場合は、切り出した画像を拡大するので、解像感が減少し、画質が劣化する。また、生成された画像を保存する場合、画質が劣化した、入力画像に類似する画像を保存することになるので、記憶領域を無駄に消費する。

本発明の一態様は、有用ではない画像の出力を抑制することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、前記構図補正部は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、前記構図補正部が前記出力画像を出力するとき、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上である。

本発明の一態様によれば、有用ではない画像の出力を抑制することができる。

本発明の第一の実施形態に係る画像処理装置１の概略構成例を示すブロック図である。 入力画像から出力画像を生成する場合の一例を説明する図である。 シンメトリ構図の一例を説明する図である。 三分割構図の一例を説明する図である。 日の丸構図の一例を説明する図である。 対角線構図の一例を説明する図である。 三角構図の一例を説明する図である。 本発明の第一の実施形態に係る画像処理装置１における処理の流れを説明するためのフロー図である。 本発明の第二の実施形態に係る画像処理装置１０における処理の流れを説明するためのフロー図である。 本発明の第三の実施形態に係る画像撮像装置２０の概略構成例を示すブロック図である。 本発明の第三の実施形態に係る画像撮像装置２０における処理の流れを説明するためのフロー図である。 表示部２２が表示する画面の一例を説明する図である。 本発明の第四の実施形態に係る画像処理装置２００、および端末装置３００の概略構成例を示すブロック図である。

本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の一態様の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の一態様の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各要素は、本発明の一態様の理解を深めるために敢えて誇張して記載されているので、実際の各要素の間隔および大きさとは異なることに留意すべきである。

以下の説明において、ある図面においてある要素に付された符号と同じ符号が他の図面内の同一の要素にも付されている場合、当該同一の要素の構成および機能などは当該ある要素と同一であるため、当該同一の要素についての詳細な説明を省略する。また、以下に記載される「画像」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」は音声情報も含むものとする。

〔第一の実施形態〕
本発明の第一の実施形態について、図面に基づき以下に説明する。

（画像処理装置１）
図１は、本発明の第一の実施形態に係る画像処理装置１の構成を示す機能ブロック図である。図１に示すように、画像処理装置１は、構図補正部２を備えている。

本実施形態に係る画像処理装置１は、図１に示すように、入力画像を示す画像情報が入力され、構図補正部２が、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する。

入力される画像情報は、撮像素子により撮像された画像情報や、記録部（不図示）に記録された画像情報などである。出力される出力画像情報は、画像表示装置（不図示）に出力され表示されたり、記録部に出力され記録されたり、他機器へ出力されたりする。

（構図補正部２）
構図補正部２は、例えば、図２の（ａ）に示すような入力画像を取得する。この場合、構図補正部２は、注目する被写体１００を含んだ、入力画像の一部の領域１１０を切り出すことにより、図２の（ｂ）に示すような、入力画像に応じた構図を有する出力画像を出力することができる。以下、構図補正部２の動作の流れについて説明する。

まず、構図補正部２は、顔検出や特徴点抽出などを行い、入力画像に含まれる被写体の情報を抽出する。顔検出として、例えば、入力画像内の肌色の領域の抽出、顔情報を示すデータとのマッチングなどを行う。特徴点抽出として、例えば、画像内のエッジ、コーナー、直線などの検出、画像の特徴量の抽出などを行う。また、構図補正部２は、被写体の位置（例えば、被写体の中心位置）を検出する。

続いて、構図補正部２は、入力画像に基づいて、出力画像の候補となる複数の構図から、出力画像の構図を選択し、検出した顔の領域、および特徴点が、出力画像内に、選択した構図に従って再配置されるように、出力画像を生成し、出力する。出力画像の候補となる複数の構図としては、シンメトリ構図、三分割構図、日の丸構図（Centered Composition）、対角線構図、三角構図を挙げることができる。

シンメトリ構図の例を図３に示す。図３に示すように、シンメトリ構図は、注目する被写体３Ａが、画像の中心線３Ｂについて左右対称（または上下対称）になるように配置する構図である。つまり、構図としてシンメトリ構図が採用されると、算出した特徴点を含む領域が、画像の中心線について左右対称、または上下対称となるように配置される。

三分割構図の例を図４に示す。図４に示すように、三分割構図は、画像を縦方向に三分割する分割線４Ｂ１１，４Ｂ１２、および横方向に三分割する分割線４Ｂ２１，４Ｂ２２、ならびに各々の分割線４Ｂ１１，４Ｂ１２，４Ｂ２１，４Ｂ２２が交わる分割点４Ｃ１，４Ｃ２，４Ｃ３，４Ｃ４の位置に、注目する被写体４Ａ１，４Ａ２が配置される構図である。つまり、構図として三分割構図が採用されると、算出した特徴点を含む領域が、分割線の各々、および分割点の各々の位置（このような位置を、「特徴点を含む領域の配置先の位置」とよぶ）に配置される。

日の丸構図の例を図５に示す。図５に示すように、日の丸構図は、注目する被写体５Ａが、画像の中心５Ｂに配置される構図である。つまり、構図として日の丸構図が採用されると、算出した特徴点を含む領域が、画像の中心（特徴点を含む領域の配置先の位置）に配置される。

対角線構図の例を図６に示す。図６に示すように、対角線構図は、画像内に含まれる被写体やエッジ６Ａ１，６Ａ２，６Ａ３が、画像内の対角線と平行な線６Ｂ上に配置される構図である。つまり、構図として対角線構図が採用されると、抽出した対角線が、画像内の対角線上にのる、または対角線に平行となるように配置される。

三角構図の例を図７に示す。図７に示すように、三角構図は、画像内に含まれる被写体７Ａ１やエッジ７Ａ２が、三角形７Ｂ上に配置される構図である。つまり、構図として三角構図が採用されると、抽出した特徴点や線が、画像内で三角形を描くように配置される。

構図補正部２は、出力画像の構図を、上述した、出力画像の候補となる複数の構図から選択する。

構図補正部２は、例えば、構図のスコアを算出することにより、出力画像の構図を選択する。構図補正部２は、構図がシンメトリ構図であった場合、画像の中心線についての左右対称、または上下対称の度合いをマッチングしてスコアを算出する。また、構図補正部２は、構図が三分割構図、または日の丸構図であった場合、特徴点を含む領域の配置先の位置と特徴点の位置との間の距離や特徴点の数を算出してスコアを算出する。また、構図補正部２は、構図が対角線構図であった場合、対角線とした直線の長さや、直線上のエッジの数を算出してスコアを算出する。そして、構図補正部２は、算出したスコアを比較し、複数の想定される構図から、最もスコアの値が大きい構図を選択する。

また、構図補正部２は、各構図に優先順位を付けておき、優先度の高い順番に、予め設定されている閾値と算出されたスコアを比較して、スコアが閾値より大きい場合に、対応する構図を選択してもよい。この場合、構図補正部２は、閾値よりもスコアが小さい構図は、出力画像の構図として選択することは不適であると判断し、選択しない。構図補正部２は、例えば、スコアが０である構図を選択せずに、他の構図を選択する。この場合、構図補正部２は、スコアが閾値よりも大きい構図が１つも無ければ、最もスコアが大きい構図を選択することができる。または、構図補正部２は、スコアが閾値よりも大きい構図が１つも無ければ、出力画像を示す出力画像情報を出力しない。また、構図補正部２は、スコアの閾値を構図毎に設定してもよい。

構図補正部２は、選択した構図および入力画像の被写体情報に基づいて補正量を算出し、算出した補正量に基づいて構図を補正した出力画像を出力する。

一態様において、構図補正部２は、入力画像に対し、並進量および範囲（サイズ）によって規定される切り出し、および、回転量によって規定される回転の少なくとも一方を行うことにより、出力画像を生成する。例えば、図２の（ａ）に示すような入力画像から、切り出し領域１１０を切り出すとき、並進量は、入力画像の基点（例えば、左上隅の点）から切り出し領域の基点（例えば、左上隅の点）へのベクトルを示す。また、範囲（サイズ）は、切り出し領域１１０の縦幅および横幅を示す。また、入力画像または入力画像を切り出した画像を回転させて出力画像を生成するとき、回転量は、入力画像から出力画像への回転角度を示す。

構図補正部２は、選択した構図および入力画像の被写体情報に基づいて、補正量（並進量、範囲（サイズ）および回転量）を算出する。例えば、シンメトリ構図が選択された場合は、構図補正部２は、入力画像の中心線の位置に応じて、並進量および範囲を算出し、入力画像の中心線の傾きに応じて、回転量を算出すればよい。また、三分割構図または日の丸構図が選択された場合は、構図補正部２は、入力画像の被写体の位置に応じて、並進量および範囲を算出すればよい。また、対角線構図が選択された場合には、構図補正部２は、入力画像の対角線の位置に応じて、並進量および範囲を算出し、入力画像の対角線の傾きに応じて、回転量を算出すればよい。

ところで、補正量が小さいと、入力画像と出力画像とが類似する。例えば、回転量が０度、並進量が縦方向に１画素、範囲が入力画像に対して縦方向に１画素小さい補正量である場合、出力画像は、入力画像の１行目の画素が切り取られた画像であるので、入力画像と出力画像とは極めて類似している。

そこで、本実施形態に係る画像処理装置１は、入力画像に類似した出力画像を出力しないように、補正量が小さい場合には、出力画像を出力しない。例えば、構図補正部２は、選択している構図の補正量を参照し、補正量の値が小さい場合は、構図を補正した出力画像を出力しない。補正量の大小の判断は、予め定められた閾値と比較する。例えば、回転量の閾値を１度に設定すると、補正量に含まれる回転量が１度未満である場合には、出力画像が出力されない。閾値は、回転量、並進量および範囲（サイズ）の変化量といった要素ごとに設定する。閾値は、全ての要素に対して設定してもよいし、一部の要素に対して設定してもよい。

図８は、本実施形態に係る画像処理装置１によって実行される画像処理方法の流れの例を表すフローチャートである。画像処理装置１に画像情報が入力されると、画像処理装置１は処理を開始する。

構図補正部２は、入力画像について、構図毎に補正量とスコアを算出する（Ｓ１）。

次に、構図補正部２は、全ての構図について補正量とスコアを算出したかを判定する（Ｓ２）。

算出処理が終了していない場合（Ｓ２でＮＯ）、ステップＳ１に戻り、算出処理が終了した場合（Ｓ２でＹＥＳ）、ステップＳ３に進む。

構図補正部２は、各構図のスコアを比較し（Ｓ３）、構図補正部２は、出力画像の構図を選択する（Ｓ４）。

次に、構図補正部２は、選択した構図の出力画像を生成するための補正量と、予め設定されている閾値を比較することにより、出力画像を出力するか否かを決定する（Ｓ５）。

補正量が閾値未満の場合（Ｓ５でＮＯ）、構図補正部２は、生成した出力画像を出力せずに処理を終了する。このとき、構図補正部２は、入力画像をそのまま出力してもよい。なお、構図補正部２は、選択した構図の補正量に関わらず、出力画像を生成してもよい。すなわち、構図補正部２は、補正量が閾値未満の場合（Ｓ５でＮＯ）にも、出力画像を生成してもよいが、生成した出力画像の出力をしない。

補正量が閾値以上の場合（Ｓ５でＹＥＳ）、構図補正部２は、選択した構図の出力画像を生成し、出力画像のみ、または入力画像および出力画像の両方を出力（Ｓ６）し、処理を終了する。

構図補正部２が、出力画像のみを出力するか、入力画像および出力画像の両方を出力するかは、画像処理装置１の設定によって切り替えることができる。

ここで、補正量の閾値は、各構図で共通に設定することもできるし、各構図で個別に設定することもできる。また、補正量の閾値は、回転量、並進量、範囲などの各要素のうちの一つに設定することもできるし、各要素のうちの複数の要素に閾値を設定することができる。複数の要素に対して閾値を設定した場合には、２つの処理が考えられる。１つ目は、回転量、および並進量の各々に閾値が設定されている場合、いずれかの補正量が閾値未満であった場合に出力画像を生成しない処理である。２つ目は、両方の補正量が閾値未満であった場合に出力画像を生成しない処理である。１つ目の処理を用いた場合では、より構図の変化が大きい画像の場合に出力画像が出力されることになる。いずれにせよ、結果として、構図補正部２が出力する出力画像は、入力画像から出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上であるものとなる。

また、補正量の閾値は、ユーザの指定等の画像処理装置１の外部からの指定により任意に設定できるようにしても良い。ユーザによって構図を補正した効果の感じ方は異なる。このため、任意に補正量の閾値を設定できると、ユーザに合わせた処理が可能となる。

また、一般的に、補正画像を表示する画面の大きさが大きくなるほど、補正の効果も大きくなる。したがって、テレビなどの大画面で表示する場合、補正の効果も大きくなる。このように、外部入力により補正量の閾値を設定すると、想定した表示サイズに適した処理ができる。

また、構図補正部２は、補正量の閾値の設定の組み合わせを、一つだけではなく、複数にすることにより、補正量の全ての要素を考慮した構図の変化に対応することができる。補正量に含まれる所定の要素の閾値を大きく設定した場合は、補正量に含まれる他の要素の閾値を小さくしてもよい。例えば、回転量の閾値が１度の場合は、並進量の閾値を１００画素とし、回転量の閾値が２度の場合は、並進量の閾値を８０画素とするなどの複数の条件を設定することができる。これにより、補正量の全要素を考慮した最終的な構図の変化量で、出力画像の出力の可否を制御することができる。

また、構図補正部２は、補正量のいずれかの要素の値が閾値未満であった場合、閾値未満の要素の値を０に設定し、残りの要素について値を変更せずに構図を補正することができる。これにより、補正の効果のある要素についてのみ補正を行うことができるとともに、画像の劣化を抑えることができる。例えば、回転量の閾値が１度、並進量の閾値が１００画素に設定されている場合に、回転量が０．５度、並進量が２００画素であったとすると、構図補正部２は、回転量が０度、並進量が２００画素の補正を行っても構わない。

上述したように、構図補正部２は、構図を補正した出力画像を出力する場合、しない場合のいずれの場合であっても、別途、入力画像を出力してもよい。これにより、撮像した画像が、各構図のいずれとも合わない画像である場合、構図の判定に誤りがあった場合、補正された構図をユーザが気に入らない場合などにおいて、ユーザは補正前の入力画像も利用することができる。また、構図を補正した出力画像を出力する場合では、特に、補正前後の画像を比較して補正の結果を確かめることもできる。

このように、本実施形態では、入力画像と出力画像との違いが小さい場合、つまり、補正量が小さい場合には、構図補正部２は、出力画像を出力しない。これにより、ユーザが効果を感じられる画像が出力できると予想される場合にのみ、出力画像を出力することができる。したがって、ユーザが補正の効果を感じないことが抑制される。また、類似した画像の記憶により記憶領域が少なくなることを抑制できる。また、画質が劣化した画像が出力されることを抑制することができる。

〔第二の実施形態〕
本発明の第二の実施形態について説明する。

（構図補正部２）
本実施形態における構図補正部２は、選択した構図だけでなく、他の構図についても、補正量と閾値とを比較する。以下では、各々の構図について、補正量と閾値とを比較する動作についてのみ説明する。

構図補正部２は、選択した構図の補正量が閾値より小さい場合、選択した構図に補正した出力画像の出力を行わない。そして、選択した構図とは異なる他の構図について、補正量と閾値とを比較し、補正量が閾値以上であれば、入力画像の構図を他の構図に補正した出力画像を出力する。

例えば、構図補正部２が、シンメトリ構図を含む複数の構図から、出力画像の構図を選択する場合に、シンメトリ構図の出力画像を生成するための補正量が、閾値より小さい場合、シンメトリ構図とは異なる他の構図を選択する。なお、全ての構図について、出力画像を生成するための補正値が予め設定されている閾値より小さい場合は、出力画像を出力しない。

（全体的な処理の流れ）
図９は、本実施形態に係る画像処理装置１０によって実行される画像処理方法の流れを表すフローチャートである。

図９のフローチャートは、図８のフローチャートに対して、ステップＳ１００が追加された点において異なる。このため、ステップＳ１００に関連する処理についてのみ説明する。

本実施形態では、ステップＳ４において、構図補正部２は、構図を、未だ選択されていない構図から選択する。

構図補正部２は、ステップＳ５において補正量が閾値以下であると判定した構図が、最後の構図であったかを判定する（ステップＳ１００）。

最後の構図である場合（ステップＳ１００でＹＥＳ）は、出力画像を出力せずに処理を終了する。最後の構図でない場合（ステップＳ１００でＮＯ）は、ステップＳ４に戻る。

以上の処理により、選択された構図の出力画像を生成するための補正量が、設定された閾値より小さい場合は、選択された構図と異なる他の構図を再選択し、再選択された他の構図の出力画像を生成するための補正量が、設定された閾値より大きい場合は、再選択された他の構図に補正した出力画像を出力する。すなわち、構図補正部２は、入力画像から出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上であるように、当該出力画像の構図を選択する。これにより、ユーザが構図を補正した効果を感じやすい、入力画像と類似しない出力画像を出力することができる。また、再選択された他の構図の補正量が設定された閾値よりも小さい場合は、その構図による出力画像を出力しない。さらに、全ての構図の補正量が、構図毎に設定された閾値より小さい場合は、出力画像を出力しない。これにより、補正の効果が少ない構図の出力画像、すなわち、入力画像と類似した出力画像が出力されない。

さらに、構図補正部２は、再選択する上記他の構図として、構図のスコアが所定のスコア閾値以上となる構図のみを対象にすることができる。これにより、構図として不適切な構図に補正した出力画像は出力されない。

なお、複数の構図において、各構図の出力画像を生成するための補正量が閾値よりも大きく、補正の効果があると判断された場合は、出力画像を生成するための補正量の大きな構図の各々について、当該構図に補正した出力画像を出力しても構わない。

〔第三の実施形態〕
本発明の第三の実施形態に係る画像撮像装置について説明する。

（画像撮像装置２０）
第三の実施形態に係る画像撮像装置２０は、実施形態１または実施形態２に係る画像処理装置を備えている。図１０に示すように、画像撮像装置２０は、画像処理装置１、撮像部２１、表示部２２、記録部２３、および操作部（入力部）２４を備えている。画像撮像装置２０は、撮像部２１が取得した画像を用いて、画像処理装置１が構図を補正した出力画像を出力し、表示部２２がその出力画像を表示する、操作部２４が操作され、画像が選択された場合は、記録部２３が画像を示す画像情報を記録する。

（撮像部２１）
撮像部２１は、撮像レンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子とを備えている。撮像部２１は、被写体を撮像して、当該被写体を含む画像（静止画または動画）を生成する。

（表示部２２）
表示部２２は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどの表示画面である。表示部２２は、画像や文字などの情報や被写体の画像などを表示する。

（記録部２３）
記録部２３は、画像を示す画像情報を記憶媒体に記録させる。また、記録部２３は、記憶媒体に記録された画像情報を読み込んで、画像処理装置１に出力する。記録部２３は、フラッシュメモリやハードディスクなどで構成される。

（操作部２４）
操作部２４は、ユーザによる操作入力を受け付ける。操作部２４は、ユーザが所望の操作入力を行えるものであればよく、特に限定されない。

画像処理装置１は、第一の実施形態で説明したものと同様の動作となる。

（全体的な処理の流れ）
本実施形態に係る画像撮像装置２０の動作を、図１１に示すフローチャートを参照して説明する。

画像を取得する処理として、撮像部２１は、画像を撮像する。または、記録部２３は、画像情報を読み出す。そして、画像処理装置１は、撮像部２１が撮像した画像を示す画像情報、または記録部２３が読み出した画像情報を取得する（Ｓ２００）。

画像処理装置１は、取得した画像情報が示す入力画像に対し、第一の実施形態または第二の実施形態に係る画像処理装置１の構図補正部２と同じ処理を行う。具体的には、画像処理装置１は、構図を補正する処理を行って、補正量が設定した閾値以上の場合に、入力画像と類似しない出力画像を出力する（Ｓ２０１）。なお、どの構図においても補正量が設定した閾値よりも小さい場合は、画像処理装置１は、出力画像を出力しない。

表示部２２は、構図が補正された出力画像が出力された場合は、画像処理装置１から出力された出力画像を表示する（Ｓ２０２）。

図１２に、表示部２２の表示例を示す。図１２に示すように、表示部２２は、出力画像２２Ｂとともに、構図を補正する前の入力画像２２Ａを表示する。また、表示部２２は、出力画像２２Ｂの下方に、出力画像を記録することを選択するか否かを示すオブジェクト２２Ｂ１，２２Ｂ２を表示する。同様に、表示部２２は、入力画像２２Ａの下方に、入力画像を記録することを選択するか否かを示すオブジェクト２２Ａ１，２２Ａ２を表示する。

記録部２３は、オブジェクト２２Ａ１，２２Ｂ１に対する操作（入力画像または出力画像を記録部２３に記録するか否かの入力）を操作部２４が受け付けたか否かを判定する（Ｓ２０３）。出力画像、および入力画像の少なくとも一方が選択された場合（Ｓ２０３でＹＥＳ）、Ｓ２０４に進む。出力画像、および入力画像の何れも選択されなかった場合（Ｓ２０３でＮＯ）、処理を終了する。

記録部２３は、出力画像が選択された場合、画像処理装置１から取得した出力画像を示す出力画像情報を記録媒体に記録させる。また、記録部２３は、入力画像が選択された場合、入力画像を示す入力画像情報を記録媒体に記録させる（Ｓ２０４）。

以上の処理により、画像撮像装置２０は、構図の補正量が小さい場合に、入力画像の構図を補正した出力画像を出力しない上、出力画像を記録部２３に記録するか否かを選択することができる。これにより、ユーザが構図の補正の効果を感じられる画像が生成できると予想される場合に、出力画像を出力し、表示または記録することができる。また、類似した画像を記憶させることより記憶領域が少なくなることを抑制できる。

なお、Ｓ２０３をスキップして、記録部２３が、全ての出力画像を記録するようにしてもよい。

さらに、記録部２３は、どの画像を出力するかを予め設定しておき、その設定に従って出力画像を記録するようにしてもよい。

〔第四の実施形態〕
本発明の第四の実施形態に係る画像処理装置、および端末装置について説明する。図１３に示すように、画像処理装置２００と端末装置３００とは、ネットワーク４００を介して通信する。

（画像処理装置２００）
第四の実施形態に係る画像処理装置２００は、実施形態１または実施形態２の構図補正部２、および通信部２１０を備えている。

（端末装置３００）
端末装置３００は、通信部３１０、撮像部３２１、表示部３２２、記録部３２３、および操作部３２４を備えている。

撮像部３２１、表示部３２２、記録部３２３、および操作部３２４は、それぞれ、第三の実施形態に係る画像撮像装置２０の撮像部２１、表示部２２、記録部２３、および操作部２４に対応する。

通信部３１０は、ネットワーク４００を介して画像処理装置２００の通信部２１０と通信する。通信部３１０は、撮像部３２１が撮像した画像、または記録部３２３が記録する画像を、入力画像として画像処理装置２００へ送信する。

画像処理装置２００は、通信部２１０を介して、端末装置３００が送信した入力画像を受信すると、図８または図９に示される処理を実行する。

また、端末装置３００は、通信部３１０を介して、画像処理装置２００が出力した出力画像を受信すると、図１１のＳ２０１〜Ｓ２０４に示される処理を実行する。

〔ソフトウェアによる実現例〕
画像処理装置１の制御ブロック（構図補正部２）は、ＡＳＩＣ（Application SpecificIntegrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、ここでいう「コンピュータ」とは、ＯＳや周辺機器などのハードウェアを含むものとする。また、コンピュータは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（または表示環境）も含むものとする。

〔まとめ〕
本発明の態様１に係る画像処理装置１は、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、前記構図補正部は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、前記構図補正部が前記出力画像を出力するとき、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上である。

上記の構成によれば、有用ではない画像の出力を抑制することができる。

本発明の態様２に係る画像処理装置１は、上記態様１において、前記構図補正部２は、前記構図補正部２が前記出力画像を出力しない場合、前記入力画像を出力してもよい。

上記の構成によれば、撮像した画像が、各構図のいずれとも合わない画像である場合、構図の判定に誤りがあった場合、補正された構図をユーザが気に入らない場合などにおいて、ユーザは補正前の入力画像も利用することができる。

本発明の態様３に係る画像処理装置１は、上記態様１または２において、前記構図補正部２は、前記構図補正部２が前記出力画像を出力する場合、さらに前記入力画像を出力してもよい。

上記の構成によれば、補正前後の画像を比較して補正の結果を確かめることができる。

本発明の態様４に係る画像処理装置１は、上記態様１から３の一態様において、前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択するものであってもよい。

上記の構成によれば、構図を好適に選択することができる。

本発明の態様５に係る画像処理装置１は、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択し、前記構図補正部は、前記入力画像から前記出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上であるように、当該出力画像の構図を選択するものであってもよい。

上記の構成によれば、有用ではない画像の出力を抑制することができる。

本発明の態様６に係る画像処理装置１は、上記態様１から５の一態様において、前記出力画像を記録するか否かの入力を受け付ける入力部（操作部２４）と、前記入力部への入力に応じて前記構図補正部が出力した前記出力画像を記録する記録部２３とをさらに備えていてもよい。

上記の構成によれば、出力画像を記録部に記録するか否かをユーザが選択することができる。これにより、有用ではない画像の記録をさらに抑制することができる。

本発明の態様７に係る画像処理装置２００は、上記態様１から６の一態様において、前記入力画像を端末装置３００から受信し、前記構図補正部が出力した前記出力画像を当該端末装置に送信する第１通信部（通信部２１０）をさらに備えている。

本発明の態様８に係る端末装置３００は、態様７に係る画像処理装置２００と通信する端末装置であって、前記画像処理装置に対し、前記入力画像を送信し、当該画像処理装置から前記出力画像を受信する第２通信部（通信部３１０）を備えている。

上記の構成によれば、端末装置と画像処理装置とが通信することにより、態様１と同等の効果を奏することができる。

本発明の態様９に係る画像処理装置の制御は、画像処理装置が、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正工程を含み、前記構図補正工程では、前記画像処理装置は、前記入力画像に応じて、前記出力画像を出力するか否かを決定し、前記構図補正工程において前記画像処理装置が前記出力画像を出力するときは、前記入力画像から当該出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上である。

上記の構成によれば、態様１と同様の効果を奏する。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、2017年4月14日に出願された日本国特許出願：特願2017-080426に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１,１０，２００ 画像処理装置
２,１１ 構図補正部
２０ 画像撮像装置
２１，３２１ 撮像部
２２，３２２ 表示部
２３，３２３ 記録部
２４，３２４ 操作部（入力部）
２１０ 通信部（第１通信部）
３００ 端末装置
３１０ 通信部（第２通信部）

Claims (9)

1. 入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正部を備え、
   前記構図補正部は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択し、
   前記構図補正部は、前記入力画像から前記出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上であるように、当該出力画像の構図を選択することを特徴とする画像処理装置。
2. 前記構図補正部は、前記入力画像から前記出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが前記閾値以上である場合、選択した前記構図の前記出力画像を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記構図補正部は、前記構図補正部が前記出力画像を出力しない場合、前記入力画像を出力することを特徴とする請求項２に記載の画像処理装置。
4. 前記構図補正部は、前記構図補正部が前記出力画像を出力する場合、さらに前記入力画像を出力することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記出力画像を記録するか否かの入力を受け付ける入力部と、
   前記入力部への入力に応じて前記構図補正部が出力した前記出力画像を記録する記録部とをさらに備えていることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記入力画像を端末装置から受信し、前記構図補正部が出力した前記出力画像を当該端末装置に送信する第１通信部をさらに備えていることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 請求項６に記載の画像処理装置と通信する端末装置であって、
   前記画像処理装置に対し、前記入力画像を送信し、当該画像処理装置から前記出力画像を受信する第２通信部を備えていることを特徴とする端末装置。
8. 画像処理装置が、入力画像に基づき、当該入力画像に応じた構図の出力画像を出力する構図補正工程を含み、
   前記構図補正工程では、前記画像処理装置は、前記入力画像に基づいて、複数の構図から前記出力画像の構図を選択し、
   前記構図補正工程では、前記入力画像から前記出力画像への補正におけるサイズの変化、並進量および回転量の少なくとも１つが閾値以上であるように、当該出力画像の構図を選択することを特徴とする画像処理装置の制御方法。
9. 請求項１から６の何れか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記構図補正部としてコンピュータを機能させるための画像処理プログラム。

Images