WO2019026746A1

WO2019026746A1 - 画像処理装置および方法、撮像装置、並びにプログラム

Info

Publication number: WO2019026746A1
Application number: PCT/JP2018/028029
Authority: WO
Inventors: 鎌田　征人
Original assignee: ソニー株式会社
Priority date: 2017-08-02
Filing date: 2018-07-26
Publication date: 2019-02-07
Also published as: EP3664432B1; US20200213529A1; EP3664432A1; EP3664432A4; US11184559B2; CN111316629B; CN111316629A; JPWO2019026746A1

Abstract

本技術は、使い勝手を向上させることができるようにする画像処理装置および方法、撮像装置、並びにプログラムに関する。画像処理装置は、撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の境界線のうちの少なくとも１つの境界線の表示を変更する表示制御部を備える。本技術はデジタルスチルカメラに適用することができる。

Description

画像処理装置および方法、撮像装置、並びにプログラム

　本技術は、画像処理装置および方法、撮像装置、並びにプログラムに関し、特に、使い勝手を向上させることができるようにした画像処理装置および方法、撮像装置、並びにプログラムに関する。

　従来、静止画像の撮影に関する技術として、HDR（High Dynamic Range）が知られている。HDRを用いれば白飛びや黒潰れを抑制して、ダイナミックレンジの広い高品質な画像を得ることができる。

　例えばHDRに関する技術として、動体を考慮した画像合成を行うことで、残像や不連続点の発生を抑制し、自然な合成画像を得ることができるようにしたものが提案されている（例えば、特許文献１参照）。

特開２０１１－１８８２７７号公報

　また、HDRでは撮影時にスルー画像が表示される表示画面をいくつかの領域に分割し、分割された領域ごとに露出等の設定を行うことができるようにする技術もある。

　しかしながら、この技術では領域の分割や領域ごとの設定等が面倒であり、使い勝手がよいとはいえなかった。

　例えば表示画面上で領域の分割を行った後、カメラを傾けると表示画面に表示される被写体が傾いてしまい、表示画面上の分割された領域と被写体の位置関係が変化してしまうので撮影者は再度、領域の分割等の操作を行う必要があり、面倒であった。

　本技術は、このような状況に鑑みてなされたものであり、使い勝手を向上させることができるようにするものである。

　本技術の第１の側面の画像処理装置は、撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する表示制御部を備える。

　本技術の第１の側面の画像処理方法またはプログラムは、撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更するステップを含む。

　本技術の第１の側面においては、撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線が表示されるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示が変更される。

　本技術の第２の側面の撮像装置は、撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する表示制御部を備える。

　本技術の第２の側面の画像処理方法またはプログラムは、撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更するステップを含む。

　本技術の第２の側面においては、撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報が変更される。

　本技術の第１の側面および第２の側面によれば、使い勝手を向上させることができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

撮像装置の構成例を示す図である。分割領域について説明する図である。分割領域や撮影条件の設定時の表示画面例を示す図である。撮影条件の連動設定時の表示画面例を示す図である。本技術について説明する図である。境界線の表示補正について説明する図である。境界線の表示補正について説明する図である。境界線の表示補正について説明する図である。境界線の表示補正について説明する図である。境界線の表示補正について説明する図である。境界線の表示補正について説明する図である。境界線の表示補正について説明する図である。設定処理を説明するフローチャートである。撮影処理を説明するフローチャートである。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈撮像装置の構成例〉
　本技術は、表示画面上で画像の領域をいくつかに分割し、領域ごとに撮影に関する設定を行ってHDR撮影をする場合に、カメラの向き（傾き）の変化に応じて分割した領域の境界をユーザの操作なしに自動的に補正するものである。これにより、使い勝手を向上させることができる。

　このような本技術は、デジタルスチルカメラやデジタルビデオカメラ、携帯型電話機など撮影機能を有する各種の電子機器に適用することが可能である。以下では、本技術をデジタルスチルカメラに適用する場合を例として説明を続ける。

　図１は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。

　図１に示す撮像装置１１はデジタルスチルカメラからなり、HDR撮影を行って静止画像や動画像を得る画像処理装置である。なお、撮像装置１１により撮影される画像は静止画像であってもよいし動画像であってもよいが、以下では最終的に記録される画像が静止画像であるものとして説明を続ける。

　撮像装置１１は、撮影レンズ２１、撮像部２２、レンズ情報交信部２３、角度検出部２４、制御部２５、表示部２６、操作部２７、および画像記録部２８を有している。

　撮影レンズ２１は、例えば１または複数の光学レンズや絞り、撮影レンズ２１に関する各種のデータを保持するメモリ、撮影レンズ２１に関する情報をレンズ情報交信部２３と授受する交信部を有しており、被写体から入射した光を集光して撮像部２２へと導く。

　なお、撮影レンズ２１は、撮像装置１１に対して着脱可能な交換式レンズであってもよいし、撮像装置１１に一体的に設けられたレンズであってもよい。

　また、撮影レンズ２１は、焦点距離を変化させることが可能なズームレンズであってもよいし、焦点距離が固定である単焦点レンズであってもよいが、ここでは撮影レンズ２１がズームレンズであるものとする。

　撮像部２２は、例えばイメージセンサからなり、撮影レンズ２１を介して被写体から入射した光を受光して光電変換することで被写体を撮影し、その結果得られた撮影画像を制御部２５に供給する。

　レンズ情報交信部２３は、撮影レンズ２１と交信し、撮影レンズ２１に関する情報を取得する。具体的には、例えばレンズ情報交信部２３は、撮影レンズ２１から、撮影レンズ２１に関する情報として、撮影レンズ２１の焦点距離を示す焦点距離情報を取得し、制御部２５に供給する。

　角度検出部２４は、例えばジャイロセンサなどの角度検出センサからなり、撮像装置１１の傾き（回転）を検出し、その検出結果を制御部２５に供給する。

　ここでは、特に撮影レンズ２１の光軸を回転軸として撮像装置１１を回転させたときの回転の角度を回転角とも称することとする。また、撮影レンズ２１の光軸と垂直な直線を回転軸として、撮像装置１１を鉛直方向、すなわち上下方向にあおるように回転させたときの回転の角度を傾き角とも称することとする。これらの回転角と傾き角は、互いに回転軸が異なるが、何れも撮像装置１１が基準とする位置から回転したときの回転角度を示す情報である。

　角度検出部２４は、撮像装置１１の傾きとして回転角および傾き角を検出し、その検出結果を示す検出角度情報を制御部２５に供給する。

　制御部２５は、撮像装置１１全体の動作を制御する。例えば制御部２５は、撮像部２２から供給された撮影画像に基づいてスルー画像を生成して表示部２６に供給したり、撮影画像に基づいて記録画像を生成して画像記録部２８に供給したりする。

　ここで、スルー画像は、撮影画像の取り込み（撮影）の開始後、撮影者によりシャッタボタンが押されて撮影が指示されるまでの間に表示部２６に表示される、撮影する画像の構図や明るさ等を確認するための確認用の画像である。

　また、記録画像は、撮影者であるユーザによりシャッタボタンが押されて撮影が指示されたときに、その指示に応じて撮影（記録）する記録用の画像である。

　より詳細には記録画像はHDRにより複数の画像を合成して得られた合成画像とされる。

　撮像装置１１では表示部２６の表示画面、すなわちスルー画像をいくつかの領域に分割し、分割された領域（以下、分割領域とも称する）ごとに絞り値やISO感度、WB（White Balance（ホワイトバランス））、明るさ（露出補正値）、シャッタスピード等の撮影条件を設定することが可能となっている。

　撮影者により撮影が指示されると、分割領域ごとに設定された撮影条件のそれぞれで撮影が行われ、それらの撮影条件ごとの撮影画像（以下、合成用画像とも称する）が得られる。そして、撮像装置１１では分割領域に対応する撮影条件で撮影された合成用画像における分割領域の部分の画像が切り出され、それらの各分割領域の部分の画像が合成されて１つのHDR合成画像である記録画像とされる。

　また、制御部２５は、補正量計算部４１および表示制御部４２を有している。

　補正量計算部４１は、レンズ情報交信部２３から供給された焦点距離情報、および角度検出部２４から供給された検出角度情報の少なくとも何れか一方に基づいて、表示部２６にスルー画像とともに表示させる分割領域の境界線の表示位置や傾きを補正するための補正情報を計算により求める。

　詳細については後述するが、撮像装置１１では、撮影時には表示部２６にスルー画像とともに分割領域の境界線が表示される。

　このとき、撮像装置１１が傾けられて、すなわち撮像装置１１が回転されて傾き角や回転角が変化すると、撮像装置１１は、それらの傾き角や回転角の変化に応じて表示部２６の表示画面上の境界線の傾きや表示位置を変化させる。

　補正量計算部４１は、このような境界線の傾きや位置を補正するための情報を補正情報として求める。なお、補正情報は、境界線の表示位置や傾きの補正量を示す情報など、境界線の表示補正を行うことができる情報であればどのような情報であってもよいが、ここでは表示補正後の境界線の傾きや表示位置を示す情報が補正情報として求められるものとする。

　表示制御部４２は、スルー画像や分割領域の境界線の表示等、表示部２６における各種の画像の表示を制御する。例えば表示制御部４２は、補正量計算部４１で得られた補正情報に基づいて、スルー画像に重畳表示されている分割領域の境界線等の表示補正を行う。換言すれば、表示制御部４２は、補正情報に基づいて、スルー画像に重畳表示されている分割領域の境界線等の表示を変更する。

　表示部２６は、例えば液晶表示パネルや有機EL（Electro Luminescence）などからなり、スルー画像等の制御部２５から供給された画像を表示する。操作部２７は、例えばシャッタボタン等の各種のボタンやスイッチ、ホイールボタン、十字キー、ダイヤル、表示部２６に重畳されたタッチパネルなどからなり、ユーザの操作に応じた信号を制御部２５に供給する。

　画像記録部２８は、制御部２５から供給された記録画像等を記録したり、記録している画像等を制御部２５に供給したりする。なお、画像記録部２８は撮像装置１１に対して着脱可能であってもよい。

〈本技術について〉
　撮像装置１１では、HDRにより記録画像を得る場合に、複数の異なる合成用画像の各分割領域の画像を合成することにより記録画像が生成される。

　ユーザは操作部２７としてのシャッタボタンを押して撮影を指示する前に、事前に分割領域の境界を指定しておく。

　例えばユーザは、図２に示すように表示画面において任意に境界線を指定し、画像を複数の領域に分割することができる。

　この例では、表示部２６の表示画面上にはユーザにより定められた境界線BD11および境界線BD12が表示されており、これらの境界線により表示画面が３つの分割領域R11乃至分割領域R13に分割されている。ここで、分割領域R11は表示画面の図中、上側の端（上端）から境界線BD11までの間の領域であり、分割領域R12は境界線BD11から境界線BD12までの間の領域であり、分割領域R13は境界線BD12から表示画面の図中、下側の端（下端）までの間の領域である。

　ユーザは、操作部２７を操作することで、例えば境界線BD11や境界線BD12を図中、上下方向に移動させたり、境界線BD11や境界線BD12が任意の傾きとなるように回転させたりすることで、分割領域R11乃至分割領域R13を決定する。

　この場合、ユーザは表示部２６にスルー画像が表示されている状態でそれらの境界線を定める操作を行うこともできるし、表示部２６にスルー画像が表示されていない状態で境界線を定める操作を行うこともできる。

　例えば、スルー画像が表示されている状態で境界線の傾きや位置を定める（指定する）操作をユーザが行う場合、一例としてスルー画像として表示されている空と地面との境界と境界線BD11とが重なるように境界線BD11の位置や傾きを定めることができる。これにより、分割領域R11を空の領域とし、分割領域R12を地面の領域とすることができる。

　なお、境界線BD11や境界線BD12を指定するにあたっては、ユーザの操作部２７に対する操作に応じて、これらの境界線BD11および境界線BD12が同時に同じだけ移動されたり回転されたりしてもよいし、境界線BD11と境界線BD12が個別に（独立して）移動されたり回転されたりしてもよい。

　また、ここでは境界線BD11および境界線BD12は横方向の直線とされているが、境界線は縦方向の直線や斜め方向の直線、曲線など、どのようなものであってもよく、また境界線の数はいくつであってもよい。つまり、ユーザは画像を任意の数の分割領域に分割することができ、また各分割領域の形状も任意の形状とすることができる。

　また、詳細は後述するが、ユーザは撮影を指示する前に各境界線により分割された分割領域R11乃至分割領域R13ごとに撮影条件も指定しておく。ここでは分割領域R11乃至分割領域R13のそれぞれに対して、撮影条件V11乃至撮影条件V13が定められたとする。

　このようにして、ユーザが操作部２７を操作して境界線、つまり分割領域と、各分割領域の撮影条件とを指定した後、操作部２７としてのシャッタボタンを押して撮影を指示すると、撮像装置１１は分割領域R11乃至分割領域R13に対応する合成用画像を撮影する。

　すなわち、撮像装置１１は、分割領域R11に対して定められた撮影条件V11で撮影を行って得られた撮影画像を合成用画像G11とし、分割領域R12に対して定められた撮影条件V12で撮影を行って得られた撮影画像を合成用画像G12とし、分割領域R13に対して定められた撮影条件V13で撮影を行って得られた撮影画像を合成用画像G13とする。

　そして、撮像装置１１は、このようにして得られた互いに撮影時刻の異なる合成用画像G11乃至合成用画像G13に基づいて記録画像を生成する。

　すなわち、合成用画像G11から分割領域R11に対応する領域の部分の画像CG11が切り出され、合成用画像G12から分割領域R12に対応する領域の部分の画像CG12が切り出される。また、合成用画像G13から分割領域R13に対応する領域の部分の画像CG13が切り出される。これらの画像CG11乃至画像CG13は互いに異なる領域の画像である。

　さらに、それらの画像CG11乃至画像CG13が、対応する分割領域R11乃至分割領域R13と同じ位置関係となるように並べられて合成され、１つの記録画像とされる。このように領域ごとに撮影条件を定めることができるようにすれば、領域ごとに適切な明るさや色合いの記録画像を得ることができる。

　以下では、画像CG11乃至画像CG13など、分割領域に対して定められた撮影条件で撮影された合成用画像から切り出された、その分割領域に対応する領域の部分の画像を切出画像とも称することとする。

　また、画像合成時には、互いに隣接する分割領域に対応する切出画像が繋ぎ合わせられるように合成されるが、各切出画像の撮影条件が異なることもあるため、単純に切出画像を繋ぎ合わせるとそれらの切出画像の境界部分が目立ってしまうことがある。

　そこで、切出画像同士を繋ぎ合わせるときには、それらの切出画像の境界位置近傍については、例えばアルファブレンドなどのブレンド処理が行われる。つまり、境界位置近傍では平滑化が行われる。

　ユーザは操作部２７を操作することで、境界線BD11や境界線BD12を指定する操作を行うときに、ブレンド処理の対象となる領域（以下、ブレンド領域とも称する）を指定することができる。

　例えば図２に示す例では、境界線BD12を中心とする所定の幅の領域がブレンド領域BR11として指定されている。したがって、境界線BD12はブレンド処理の対象となるブレンド領域に関する境界線であるともいうことができる。

　ここでは、境界線BD12を含む、境界線BD12と平行な２つの直線BDR11および直線BDR12の間の領域がブレンド領域BR11とされている。換言すれば、直線BDR11および直線BDR12は、ブレンド領域BR11の範囲を示す境界線となっている。

　したがって、より詳細には、例えば分割領域R13に対応する画像CG13は、合成用画像G13におけるブレンド領域BR11を含む領域の画像、つまり合成用画像G13における直線BDR11から合成用画像G13の下端までの間の領域の画像とされる。

　ユーザは、操作部２７を操作することで直線BDR11や直線BDR12を上下に移動させて、直線BDR11と直線BDR12との間の距離（幅）を指定することにより、ブレンド領域BR11とする領域を指定する。なお、直線BDR11と直線BDR12は、ユーザによる操作部２７の操作に対して、連動して移動するようにしてもよいし、個別に、つまり独立に移動するようにしてもよい。

　この場合、記録画像におけるブレンド領域に対応する領域の画像は、以下のようにして生成される。

　すなわち、例えば記録画像におけるブレンド領域BR11に対応する領域内の画素を注目画素とする。そして、合成用画像G12（画像CG12）における注目画素と同じ位置の画素の画素値と、合成用画像G13（画像CG13）における注目画素と同じ位置の画素の画素値とが所定の混合比により混合（ブレンド）、つまり重み付き加算され、その結果得られた画素値が注目画素の画素値とされる。

　このとき、例えば注目画素の位置に応じて混合比が線形または非線形に変化するようにされる。具体的には、例えば注目画素が境界線BD12上の位置に対応する位置であるときには、合成用画像G12と合成用画像G13とで注目画素の画素値への寄与率が同じとなるように混合比が定められる。つまり、合成用画像G12の画素の混合比と、合成用画像G13の画素の混合比とが同じ値（例えば0.5）とされる。

　また、例えば注目画素が直線BDR11上の位置に対応する位置により近くなるほど、線形または非線形に、合成用画像G12の寄与率がより大きくなるように混合比が定められる。同様に、例えば注目画素が直線BDR12上の位置に対応する位置により近くなるほど、線形または非線形に、合成用画像G13の寄与率がより大きくなるように混合比が定められる。

　ユーザは、操作部２７を操作することでブレンド領域BR11の幅や、線形または非線形に変化する混合比の変化の割合、つまりブレンド処理によるぼかし量などを任意に設定することができる。同様に、ユーザは境界線BD11のブレンド領域についてもブレンド領域の幅や混合比の変化の割合などを指定することができる。

　なお、ブレンド領域BR11の幅等を変化させたときに、それに連動して境界線BD11のブレンド領域の幅等も同時に同じだけ変化するようにしてもよいし、ブレンド領域BR11と、境界線BD11のブレンド領域とで個別に幅や混合比の変化の割合を設定できるようにしてもよい。

　さらに、分割領域や撮影条件の設定時には、例えば図３に示すように各設定を行うためのボタン（アイコン）が表示される。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　この例では、表示部２６の表示画面、つまり設定画面には分割領域や撮影条件に関する設定を行うためのボタンIQ11乃至ボタンIQ18が表示されている。

　例えばユーザは操作部２７を操作してボタンIQ11を選択（操作）することで、画像をいくつの分割領域に分割するか、つまり分割領域の数を指定することができる。

　また、ユーザはボタンIQ12を選択することで分割領域の境界線の位置や傾き（角度）などを指定することができ、ボタンIQ13を選択することでブレンド領域の幅や混合比等に関する指定（設定）を行うことができる。

　なお、ボタンIQ11乃至ボタンIQ13に関する設定については、合成用画像の撮影後に行われるようにしてもよい。

　ユーザはボタンIQ14を選択することで明るさ（露出補正値）を指定することができ、ボタンIQ15を選択することで絞り値（F値）を指定することができ、ボタンIQ16を選択することでシャッタスピードを指定することができる。さらに、ユーザはボタンIQ17を選択することでISO感度を指定することができ、ボタンIQ18を選択することでWB、すなわちWBの種類や色温度を指定することができる。

　上述したように、ユーザはボタンIQ12やボタンIQ13に関する設定、つまり分割領域の境界線の位置や傾き、ブレンド領域の幅や混合比等に関する設定を行うときに、複数の境界線やブレンド領域の設定を連動させることができる。

　例えば分割領域の複数の境界線の設定を連動させて、それらの境界線の位置や傾きを同時に同じだけ変化させる設定、つまり同じ位置や同じ傾きとする設定となっているときには、ボタンIQ12内の矢印AI11に示すアイコンが明るく表示される。

　同様に、複数のブレンド領域に関する設定が連動するように設定されているとき、つまり複数のブレンド領域の幅や混合比等を同時に同じだけ変化させる設定となっているときには、ボタンIQ13内のアイコンが明るく表示される。

　この場合、ユーザが操作部２７を操作してブレンド領域の幅や混合比等の設定値を指定したときには、制御部２５は各ブレンド領域の幅や混合比といった設定値が同じ値、つまりユーザにより指定された値となるように、それらのブレンド領域の設定値を変更する。

　また、分割領域の撮影条件、すなわち明るさや絞り値、シャッタスピード、ISO感度、WBなどの各項目についても、それらの項目ごとにユーザが任意の２以上の分割領域を指定し、指定された複数（２以上）の分割領域間で撮影条件の項目の設定値を連動させることができる。つまり、指定された２以上の分割領域の任意の撮影条件の項目の設定値を同時に指定することができる。

　この場合、例えば図３に示す例においてユーザが操作部２７を操作して、分割領域R11と分割領域R12の撮影条件の絞り値が連動するように設定したとする。すると、ユーザが操作部２７を操作して、分割領域R11と分割領域R12の何れか一方の絞り値として所定の値を指定すると、制御部２５は、一方の分割領域の絞り値をユーザにより指定された所定の値に変更するとともに、それと連動させて他方の分割領域の絞り値も所定の値に変更する。

　このように撮影条件の項目が連動する設定となっている場合、その項目に関するボタン、すなわちボタンIQ14乃至ボタンIQ18のうちの対応する項目のボタンには、どの分割領域が連動する設定となっているかを示すアイコンが表示される。すなわち、表示制御部４２は、撮影条件の項目が連動する設定となっている分割領域を表すアイコン（画像）を設定画面上に表示させる。

　例えばボタンIQ15には、分割領域R11乃至分割領域R13で絞り値の設定が連動となっていることを示すアイコンAI12が表示されている。

　この例では、アイコンAI12は、各分割領域を表す四角形がそれらの分割領域と同じ位置関係で並べられた画像となっており、互いに連動する分割領域に対応する四角形がより明るく表示されている。ここでは、分割領域R11乃至分割領域R13のそれぞれに対応する四角形が明るく表示されているので、それらの分割領域のうちの何れかの分割領域の絞り値を指定すると、他の全ての分割領域の絞り値も指定された絞り値に変更される。

　ここで、表示画面（画像）が３つの分割領域に分割される場合における、各分割領域の撮影条件の連動設定時の表示画面例を図４に示す。

　図４に示す例では、表示部２６には、連動設定のための画面が表示されており、その画面内には図３に示した分割領域R11の撮影条件の各項目を連動設定とするためのチェックボックスCB11-1乃至チェックボックスCB15-1が設けられている。

　同様に、画面内には図３に示した分割領域R12の撮影条件の各項目を連動設定とするためのチェックボックスCB11-2乃至チェックボックスCB15-2と、図３に示した分割領域R13の撮影条件の各項目を連動設定とするためのチェックボックスCB11-3乃至チェックボックスCB15-3も設けられている。

　なお、以下、チェックボックスCB11-1乃至チェックボックスCB11-3を特に区別する必要のない場合、単にチェックボックスCB11とも称し、チェックボックスCB12-1乃至チェックボックスCB12-3を特に区別する必要のない場合、単にチェックボックスCB12とも称する。

　同様に、チェックボックスCB13-1乃至チェックボックスCB13-3を特に区別する必要のない場合、単にチェックボックスCB13とも称し、チェックボックスCB14-1乃至チェックボックスCB14-3を特に区別する必要のない場合、単にチェックボックスCB14とも称する。さらに、チェックボックスCB15-1乃至チェックボックスCB15-3を特に区別する必要のない場合、単にチェックボックスCB15とも称する。

　チェックボックスCB11-1乃至チェックボックスCB11-3のそれぞれは、分割領域R11乃至分割領域R13のそれぞれの明るさ（露出補正値）を連動させるためのものである。

　ユーザは操作部２７を操作して、チェックボックスCB11にチェックマークを表示させることで、そのチェックボックスCB11に対応する分割領域の露出補正値を他の分割領域の露出補正値と連動させて変化させる設定とすることができる。

　また、ユーザは文字「ALL」が記されたボタンBT11を操作することにより、１度の操作で、つまり一括して３つのチェックボックスCB11全てにチェックマークが表示された状態とすることができる。

　図４に示す例では、３つのチェックボックスCB11の何れにもチェックマークが表示されていない状態となっているため、各分割領域の露出補正値は連動しておらず、それらの分割領域ごとに露出補正値の設定が行われる。

　チェックボックスCB12-1乃至チェックボックスCB12-3のそれぞれは、分割領域R11乃至分割領域R13のそれぞれの絞り値を連動させるためのものである。

　ユーザは操作部２７を操作して、チェックボックスCB12にチェックマークを表示させることで、そのチェックボックスCB12に対応する分割領域の絞り値を他の分割領域の絞り値と連動させて変化させる設定とすることができる。

　ここでは、３つ全てのチェックボックスCB12にチェックマークが表示された状態となっているため、分割領域R11乃至分割領域R13の何れかの絞り値を変更すると、その変更後の絞り値が分割領域R11乃至分割領域R13の全てに反映される。すなわち、分割領域R11乃至分割領域R13の絞り値が、全てユーザにより指定された同じ絞り値とされる。

　なお、初めての連動設定時等には、近傍に王冠のマーク（アイコン）が表示されているチェックボックスCB12-3に対応する分割領域R13の値が反映されるようになされている。

　すなわち、初めての連動設定時や連動設定変更時に、チェックボックスCB12-3を含むいくつかのチェックボックスCB12にチェックマークが表示された状態とされると、チェックマークが表示された各チェックボックスCB12に対応する分割領域の絞り値が、チェックボックスCB12-3に対応する分割領域R13の絞り値と同じ値とされる。

　また、チェックボックスCB12-3の図中、下側にも、ボタンBT11に対応する、全てのチェックボックスCB12を一括で選択可能なボタンが設けられている。

　チェックボックスCB13-1乃至チェックボックスCB13-3のそれぞれは、分割領域R11乃至分割領域R13のそれぞれのシャッタスピードを連動させるためのものである。

　ユーザは操作部２７を操作して、チェックボックスCB13にチェックマークを表示させることで、そのチェックボックスCB13に対応する分割領域のシャッタスピードを他の分割領域のシャッタスピードと連動させて変化させる設定とすることができる。

　ここでもチェックボックスCB12における場合と同様にチェックボックスCB13-3の近傍には王冠のマークが表示されており、ボタンBT11に対応する、チェックボックスCB13の一括選択のためのボタンも設けられている。

　チェックボックスCB14-1乃至チェックボックスCB14-3のそれぞれは、分割領域R11乃至分割領域R13のそれぞれのISO感度を連動させるためのものである。

　ユーザは操作部２７を操作して、チェックボックスCB14にチェックマークを表示させることで、そのチェックボックスCB14に対応する分割領域のISO感度を他の分割領域のISO感度と連動させて変化させる設定とすることができる。

　チェックボックスCB14についてもチェックボックスCB12における場合と同様にチェックボックスCB14-3の近傍には王冠のマークが表示されており、ボタンBT11に対応する、チェックボックスCB14の一括選択のためのボタンも設けられている。

　チェックボックスCB15-1乃至チェックボックスCB15-3のそれぞれは、分割領域R11乃至分割領域R13のそれぞれのWBの設定（調整値）を連動させるためのものである。

　ユーザは操作部２７を操作して、チェックボックスCB15にチェックマークを表示させることで、そのチェックボックスCB15に対応する分割領域のWBの設定を他の分割領域のWBの設定と連動させて変化させる設定とすることができる。

　チェックボックスCB15についてもチェックボックスCB12における場合と同様にチェックボックスCB15-3の近傍には王冠のマークが表示されており、ボタンBT11に対応する、チェックボックスCB15の一括選択のためのボタンも設けられている。

　さらに、表示部２６の表示画面にスルー画像が表示されている状態で撮影条件の設定を行う場合には、分割領域に対して指定された撮影条件が、表示されるスルー画像に反映されるようにすることができる。

　具体的には、例えば全分割領域のうち、少なくとも撮影条件の設定中の分割領域を含む互いに隣接するいくつかの分割領域については、設定中の撮影条件が反映されたリアルタイムの撮影により得られたスルー画像が表示される。また、他の分割領域については、それらの分割領域に対して設定された撮影条件で以前に撮影された撮影画像がスルー画像として表示される。

　このようにすることで、ユーザはスルー画像を見ながら、実際に得られる記録画像をイメージすることができ、より適切な撮影条件を指定することができる。すなわち、撮像装置１１の使い勝手を向上させることができる。

　本技術を利用したHDR撮影は、基本的には三脚等により撮像装置１１を固定した状態で行われることが想定されている。

　したがって、ユーザは例えば撮像装置１１を固定した状態でスルー画像を表示させながら記録画像の構図等を決定した後、スルー画像上の被写体の領域に合わせて分割領域の境界線の位置や傾き、各分割領域に対する撮影条件などの設定を行う。

　ユーザにより境界線の位置や傾きが指定されると、表示部２６ではスルー画像に重畳されて分割領域の境界線が表示された状態となる。

　しかし、ユーザがシャッタボタンを押して記録画像の撮影を行うまでの間や、１度、記録画像の撮影を行った後などに、ユーザが撮像装置１１の画角（焦点距離）や撮像装置１１の向き（傾き）などを変えることもある。

　そのような場合、表示部２６の表示画面上においては、分割領域の境界線はそのままであるが、スルー画像の被写体の位置や大きさ、向きなどは撮像装置１１の焦点距離や向きの変化に伴って変化する。そのため、表示画面上において、境界線（分割領域）とスルー画像上の被写体との相対的な位置関係が変化してしまうことになる。分割領域の境界線だけでなく、ブレンド領域の境界線についても同様のことがいえる。

　そうすると、再度、分割領域等の境界線の位置や傾きを調整する必要が生じるが、ユーザがそのような境界線の位置や傾き等の再調整を行うのは面倒である。特に、分割領域等の境界線とスルー画像上の被写体との相対的な位置関係のずれが大きくなるほど、再調整の手間も増加する。

　そこで、撮像装置１１では焦点距離の変化や、撮像装置１１の傾き等の変化、つまり回転角や傾き角の変化が検出されたときには、表示画面上の被写体の大きさや位置、傾き等の変化に合わせて、分割領域の境界線やブレンド領域の境界線などの重畳表示情報の表示位置や傾きがユーザの操作を必要とすることなく調整されるようにした。すなわち、撮像装置１１の傾きや焦点距離が変化した場合に、その変化の前後においてスルー画像の被写体と分割領域等の境界線との相対的な位置関係が維持されるように、境界線の表示位置や傾きが調整される。これにより、撮像装置１１の使い勝手を向上させることができる。

　なお、ここでいう重畳表示情報とは、表示部２６においてスルー画像に重畳表示されるものであれば、分割領域の境界線やブレンド領域の境界線に限らず、他のどのようなものであってもよい。

　具体的には、例えばグリッド線や水平線、垂直線などのOSD（On Screen Display）情報、基準となる位置や領域を示す点、アイコン、ユーザにより操作部２７から入力されたスルー画像上の被写体としての人の顔の輪郭を示す曲線などを重畳表示情報とすることができる。特に、重畳表示情報は、分割領域の境界線など、スルー画像上の被写体と関連するもの、つまり関係のあるものであるとより好適である。

　以下では、重畳表示情報が分割領域の境界線やブレンド領域の境界線であるものとして説明を続ける。また、以下では、ことわりなく単に境界線というときには、分割領域の境界線を示しているものとする。

　次に、重畳表示情報としての分割領域の境界線の表示位置と傾きの調整の具体例について説明する。

　なお、補正量計算部４１では、重畳表示情報としての分割領域の境界線の表示補正を行うための補正情報だけでなく、ブレンド領域の境界線等の他の重畳表示情報の表示補正を行うための補正情報も得られる。しかし、各重畳表示情報の補正情報は同様の計算により得ることができるので、ここでは分割領域の境界線の補正情報の算出について説明する。

　例えば図５の矢印Q11に示すように撮像装置１１が傾いていない状態、つまり撮像装置１１が真正面を向いており、回転角も傾き角も０度である状態で表示部２６にスルー画像が表示されているとする。

　ここでは、スルー画像上には海や船、太陽などが被写体として表示されている。また、以下、回転角をθ_ｒとも記し、傾き角をθ_ｐとも記すこととする。

　なお、回転角θ_ｒは、表示部２６の表示画面を正面から見ているユーザから見て反時計回りの方向、つまり図５中、反時計回りの方向が正の方向であるとする。また、傾き角θ_ｐは、表示部２６の表示画面を正面から見ているユーザから見て上方向、つまり図５中、上方向が正の方向であるとする。

　矢印Q11に示す状態で、ユーザが操作部２７を操作して表示部２６の表示画面、つまりスルー画像を２つの分割領域に分割したとする。

　すると、表示部２６の表示画面には、例えば矢印Q12に示すようにスルー画像に重畳されて分割領域の境界線BD31が表示される。

　この例では、境界線BD31がスルー画像の被写体である海と空との境界、つまり水平線と重なるように、その境界線BD31の位置と傾きが指定されている。ユーザは操作部２７を操作することで、表示画面上において境界線BD31を移動させたり、境界線BD31を傾けたり、つまり回転させたりして、表示位置や傾きを調整することができる。

　矢印Q12に示すように境界線BD31を指定することで、ユーザは被写体としての空の部分と、海の部分とで個別に撮影条件を設定することができるようになる。

　また、境界線BD31の指定後、ユーザが撮像装置１１を、ユーザから見て反時計回りの方向に回転角θ_ｒだけ回転させると、矢印Q13に示すように被写体としての水平線と境界線BD31とにずれが生じる。ここでは、水平線に対して境界線BD31が相対的に回転角θ_ｒだけ傾いてしまっている。

　そのため、このままでは被写体としての空に対する撮影条件が表示画面における被写体としての海の図中、左側の部分の領域、すなわち被写体としての海の境界線BD31よりも図中、上側の部分の領域に対しても適用されてしまうことになる。本技術が適用されていない場合には、境界線BD31の表示は矢印Q13に示した状態のままとなってしまう。

　そこで、補正量計算部４１は、角度検出部２４から供給された検出角度情報に含まれる回転角θ_ｒに基づいて境界線BD31を表示させるときの補正量、より詳細には表示補正後の境界線BD31の表示位置および傾きを補正情報として求める。

　そして、表示制御部４２は、補正量計算部４１により求められた表示位置に、補正量計算部４１により求められた傾きで境界線BD31が表示されるように、表示部２６における境界線BD31の表示を制御する。つまり、補正情報に基づいて境界線BD31の表示位置や傾きが補正される。

　ここでは、境界線BD31が表示画面に対して角度－θ_ｒだけ回転するように、境界線BD31の表示補正が行われる。

　これにより、矢印Q14に示すように撮像装置１１の回転後においても被写体としての水平線と境界線BD31とにずれがなく、それらの水平線と境界線BD31とが重なった状態とすることができる。また、制御部２５では、境界線BD31の表示位置や傾きの補正に伴って、分割領域も補正される。

　その結果、ユーザが空に対して設定した撮影条件が画像の空の領域の部分に正しく適用され、海に対して設定した撮影条件が画像の海の領域の部分に正しく適用されることになる。すなわち、ユーザが境界線BD31の表示位置等の再度の設定など、面倒な操作を行うことなく高品質な記録画像を得ることができるようになり、撮像装置１１の使い勝手を向上させることができる。

　同様に、境界線BD31の指定後、ユーザが撮像装置１１を、ユーザから見て鉛直方向上側に傾き角θ_ｐだけ傾ける（あおる）と、矢印Q15に示すように被写体としての水平線と境界線BD31とにずれが生じる。ここでは、水平線に対して境界線BD31が図中、上方向にずれてしまっている。

　この場合、矢印Q13に示した例と同様に、水平線と境界線BD31の相対的な位置関係が変化しているため、このままでは被写体としての空の一部の領域にも、被写体としての海の領域の部分に対して定められた撮影条件が適用されてしまう。つまり、本技術が適用されていない場合には、境界線BD31の表示は矢印Q15に示した状態のままとなる。

　そこで、補正量計算部４１は、角度検出部２４から供給された検出角度情報に含まれる傾き角θ_ｐと、焦点距離情報とに基づいて境界線BD31を表示させるときの補正量、より詳細には表示補正後の境界線BD31の表示位置および傾きを補正情報として求める。

　そして、表示制御部４２は、補正量計算部４１により求められた補正情報に基づいて、表示部２６における境界線BD31の表示補正を行う。

　これにより、矢印Q16に示すように撮像装置１１をあおった後においても被写体としての水平線と境界線BD31とにずれがなく、それらの水平線と境界線BD31とが重なった状態とすることができる。その結果、ユーザが境界線BD31の位置の再度の設定等の面倒な操作を行うことなく、高品質な記録画像を得ることができるようになり、撮像装置１１の使い勝手を向上させることができる。

　続いて、境界線BD31等の分割領域の境界線の表示補正の具体的な例について、さらに詳細に説明する。

　例えば、撮像装置１１が回転角θ_ｒだけ回転されたとする。すなわち、回転角θ_ｒと、傾き角θ_ｐ＝0とからなる検出角度情報が角度検出部２４から出力されたとする。

　この場合、図６の矢印Q21に示すように表示部２６の表示画面において、分割領域の境界線BD41が表示されていたとする。ここで、境界線BD41は表示補正前、つまり撮像装置１１が回転角θ_ｒだけ回転される前の表示となっている。

　また、表示部２６の表示画面の中心位置にある点を点A11とし、境界線BD41上の任意の位置にある点を点B11とする。

　なお、点A11は撮像部２２における撮像面の中心位置、つまり撮像面と撮影レンズ２１の光軸との交点に相当し、スルー画像の中心位置の点でもある。

　また、境界線の傾きを傾きθとし、表示部２６の表示画面を正面から見ているユーザから見て表示画面の下側の辺と平行な直線に対して、境界線の右側の端が上側に位置し、境界線の左側の端が下側に位置するような傾きの方向が傾きθの正の方向であるとする。

　図６の例では表示部２６の表示画面の図中、下側の辺、つまりスルー画像の図中、下側の辺と、境界線BD41とのなす角度が、境界線BD41の傾きθとなっている。

　補正量計算部４１では、回転角θ_ｒと、点A11と、点B11とを利用して、補正後の境界線BD41の傾きθを求める。

　なお、以下、補正後の境界線BD41、および補正後の境界線BD41の傾きθを、それぞれ境界線BD41’および傾きθ’とも記すこととする。また、表示部２６の表示画面上、つまりスルー画像上における境界線BD41の補正後の点B11、つまり境界線BD41’上における点B11に対応する点を点B11’とも記すこととする。

　これらの境界線BD41’、点B11’、および傾きθ’を図示すると、矢印Q22に示すようになる。なお、点A11は撮像装置１１の回転中心であるので、表示補正前後において点A11の位置は同じである。

　また、この場合、撮像装置１１が角度θ_ｒだけ回転されているので、点A11および点B11を結ぶ直線と、点A11および点B11’を結ぶ直線とのなす角は－θ_ｒとなる。つまり、点B11’の位置は、点A11を回転中心として、点B11を－θ_ｒだけ回転させた位置となる。

　境界線BD41の補正時には、まず補正量計算部４１は、点B11の位置（座標）と回転角θ_ｒとに基づいて、座標変換により点B11’の位置（座標）を求める。

　ここでは、上述したように点A11を回転中心として、点B11を－θ_ｒだけ回転させた位置が点B11’の位置である。なお、点B11の位置は、スルー画像に重畳表示される境界線BD41の表示位置および傾きθから求めることができる。

　続いて補正量計算部４１は、境界線BD41の傾きθと回転角θ_ｒとに基づいて、境界線BD41’の傾きθ’を求める。すなわち、補正量計算部４１は次式（１）に示されるように、傾きθから回転角θ_ｒを減算することで傾きθ’を算出する。

　このようにして傾きθ’と点B11’の位置が求められると、それらの傾きθ’と点B11’の位置が、境界線BD41’の表示補正のための補正情報として得られることになる。

　表示制御部４２は、このようにして得られた傾きθ’と点B11’の位置に基づいて表示部２６を制御し、表示部２６の表示画面に境界線BD41’を表示（描画）させる。この場合、表示画面上において、点B11’を通る傾きθ’の直線を境界線BD41’として表示させればよい。

　このようにすることで、例えば図５の矢印Q14に示したように、スルー画像に重畳されて補正後の境界線BD31が正しく表示されるようになる。

　次に、例えば撮影レンズ２１の焦点距離情報が変化した場合、つまりズーム操作が行われた場合における分割領域の境界線の表示補正について説明する。なお、ここではズーム操作のみが行われ、撮像装置１１の回転やあおりはないものとする。つまり、回転角θ_ｒおよび傾き角θ_ｐはともに０度であるものとする。

　例えば図７に示すように、表示部２６の表示画面に分割領域の境界線BD51が表示されていたとする。なお、図７において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　この例では、表示画面の中心位置にある点A11から境界線BD51へと垂線を引いたときの、その垂線と境界線BD51との交点が点B21となっている。

　このような状態において、図８に示すように撮影レンズ２１を構成する光学レンズOL11の主点位置、つまり合焦点の位置が点D1にあり、撮影レンズ２１の焦点距離がS1であったとする。

　図８では実空間上の被写体OB11、撮影レンズ２１を構成する光学レンズOL11、および撮像部２２を構成する撮像素子IM11が図示されており、被写体OB11上の点を点Pとする。ここで、点Pは図７に示した点B21に対応する被写体の部位であるとする。換言すれば、スルー画像上、つまり表示部２６の表示画面上における点B21には、被写体OB11の点Pが写っているとする。

　また、撮像素子IM11の撮像面の中心位置を点Aとする。この点Aは、図７に示したスルー画像の中心位置、つまり表示画面の中心位置である点A11に対応する。

　光学レンズOL11の主点が点D1にある状態では、光学レンズOL11の光軸方向における、点D1から撮像素子IM11上の点Aまでの距離が光学レンズOL11の焦点距離S1となる。この場合、レンズ情報交信部２３からは焦点距離S1を示す焦点距離情報が出力されることになる。

　また、この状態における点Pの光学像の結像位置を点P1とする。つまり、点Pの像が撮像素子IM11上の点P1の位置にあるとする。さらに、光学レンズOL11の光軸方向における、光学レンズOL11の主点がある点D1から点Pまでの距離をL1とし、光学レンズOL11の光軸と垂直な方向における、光学レンズOL11の光軸から点Pまでの距離をHとする。

　例えば光学レンズOL11の主点が点D1にある状態から、光学レンズOL11の主点が点D2にある状態となるようにユーザがズーム操作を行ったとする。

　すると、光学レンズOL11の焦点距離は、ズーム操作後の光学レンズOL11の主点位置である点D2から点Aまでの距離であるS2となり、光学レンズOL11の主点から点Pまでの距離もL2に変化する。さらに、撮像素子IM11上の点Pの像の位置も点P1から点P2へと移動する。

　ここで、焦点距離S2は光学レンズOL11の光軸方向における、光学レンズOL11の主点がある点D2から撮像素子IM11上の点Aまでの距離であり、距離L2は光学レンズOL11の光軸方向における、光学レンズOL11の主点がある点D2から点Pまでの距離である。

　また、撮像素子IM11上における点Aから点P1までの距離を距離p1とも記し、撮像素子IM11上における点Aから点P2までの距離を距離p2とも記すこととする。

　このように光学レンズOL11の主点が点D2の位置となるようにズーム操作が行われると、レンズ情報交信部２３からは焦点距離S2を示す焦点距離情報が出力される。

　光学レンズOL11の主点が点D1の位置にある図７に示した状態からズーム操作が行われ、光学レンズOL11の主点が点D2の位置へと移動すると、表示部２６の表示画面の表示は図９に示すようになる。なお、図９において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図９では、点B21’はズーム操作に伴って移動した点B21の移動後の位置を示しており、この点B21’は図８に示した点P2に対応する。なお、図９では、説明を分かり易くするため、図７に示した点B21も図示されている。

　また、境界線BD51’は、ズーム操作に伴って表示補正を行った後の境界線BD51を示している。

　ズーム操作前の状態では点B21は境界線BD51上に位置しており、ここではズーム操作のみが行われる。そのため、点B21の移動後の点B21’を通り、境界線BD51と同じ傾きθの直線を、ズーム操作後に表示させる境界線BD51’、つまり表示補正後の境界線BD51’とすればよい。

　図９に示す例では、境界線BD51’は点B21’を通り、境界線BD51と同じ傾きθの直線となっている。このような境界線BD51’を表示補正後の境界線として表示させるには、点B21’の位置を求めればよい。

　ここで、点B21’の位置（座標）を求めることを考える。

　点B21’の位置を求めるには、図８に示した点Aから点P2までの距離p2を求めればよい。図８に示した点Pと点P2との位置関係、つまり三角形の相似の関係から、以下の式（２）および式（３）が導かれる。

　また、式（２）と式（３）の比を求めると以下の式（４）に示すようになり、その式（４）を変形することで、式（５）に示すように距離p2が求まる。

　ここで、式（５）における距離L1を∞とすることで、距離p2は次式（６）に示すようになる。

　このように距離p2は距離p1、焦点距離S2、および焦点距離S1により表すことができる。ここで、図８に示した点P1および点P2は、それぞれ図９の点B21および点B21’に対応し、図８の点Aは図９の点A11に対応する。また、ズーム操作の前後で点Aや点A11の位置は不変であるため、式（６）から以下の式（７）が成立することが分かる。

　なお、式（７）において、AB’は図９における点A11から点B21’までの距離を示しており、ABは図９における点A11から点B21までの距離を示している。

　ここで、点A11の位置（座標）と点B21の位置（座標）は既知であり、また焦点距離S1および焦点距離S2は、ズーム前後の焦点距離情報として得ることができる。

　したがって補正量計算部４１では、これらの点A11の位置、点B21の位置、焦点距離S1、および焦点距離S2と、式（７）とから点B21’の位置を求めることができる。補正量計算部４１は、点B21’の位置の算出結果から境界線BD51’の表示位置および傾きθを補正情報として得ることができる。

　なお、ここでは式（５）において距離L1を∞とする場合について説明したが、ユーザの操作部２７による入力や、図示せぬ測距センサの出力等から距離L1を得ることができるときには、その距離L1を式（５）に代入して距離p2が求められるようにしてもよい。

　さらに、撮像装置１１が傾き角θ_ｐだけあおられた場合における分割領域の境界線の表示補正について説明する。なお、ここでは撮影レンズ２１の焦点距離の変化がなく、撮像装置１１の光軸回りの回転もないものとする。

　例えば図１０に示すように、表示部２６の表示画面に分割領域の境界線BD61が表示されていたとする。なお、図１０において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　この例では、境界線BD61上の所定の位置にある点が点B31とされている。

　このように境界線BD61が表示されている状態から、撮像装置１１が傾き角θ_ｐだけあおられたとする。

　すると、図１１に示すように、実空間上において撮像部２２の撮像素子が傾き角θ_ｐだけ上方に傾くことになる。なお、図１１において図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１１では、傾き角θ_ｐだけ傾けた後の撮像素子IM11が撮像素子IM11’となっており、撮像装置１１をあおる際には撮像素子IM11の中心の位置である点Aを通る直線を回転軸として撮像装置１１が傾けられる（回転される）ものとする。

　いま、図１１中、縦方向をｙ軸方向（ｙ方向）とし、図１１中、横方向をｘ軸方向（ｘ方向）とし、傾き角θ_ｐだけ傾ける前の光学レンズOL11の主点位置を原点とするｘｙ座標系を考える。また、ｘ座標がｘであり、ｙ座標がｙである点の位置、つまり座標を（ｘ,ｙ）と記すこととする。ここで、図中、右方向がｘ方向の正の方向であり、図中、上方向がｙ方向の正の方向である。

　このとき、光学レンズOL11の主点位置の座標は（0,0）となる。また、光学レンズOL11の焦点距離、つまり光学レンズOL11の主点から、撮像素子IM11の中心位置にある点Aまでの距離をSとすると、点Aの位置の座標は（S,0）となる。

　さらに図１０に示した点B31に対応する撮像素子IM11上の点を点K1とし、その点K1の座標を（S,K1y）とするとともに、光学レンズOL11の主点と点K1とを通る直線を直線LN1とする。ここで、直線LN1の傾きがφであるとする。

　また、撮像装置１１を傾き角θ_ｐだけ傾けた後の撮像素子IM11’上における、撮像素子IM11’と直線LN1との交点を点K2とし、その点K2の座標を（K2x,K2y）とするとともに、点Aと点K2とを通る直線を直線LN2とする。

　このような場合、図７乃至図９を参照して説明した例と同様に、図１１における点Aから点K2までの距離を求めることで、撮像装置１１を傾き角θ_ｐだけ傾けた後の境界線BD61の表示位置を求めることができる。

　例えば表示部２６の表示画面が図１０に示した状態から撮像装置１１が傾き角θ_ｐだけあおられると、表示部２６の表示画面の表示は図１２に示すようになる。なお、図１２において図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１２では、点B31’は撮像装置１１が傾き角θ_ｐだけあおられたことで移動した点B31の移動後の位置を示しており、この点B31’は図１１に示した点K2に対応する。なお、図１２では、説明を分かり易くするため、図１０に示した点B31も図示されている。

　ここでは、撮像装置１１が傾き角θ_ｐだけあおられ、撮像装置１１の光軸回りの回転は行われないので、点B31は図１２中、横方向へは移動せず、縦方向、つまり鉛直方向（垂直方向）にのみ移動する。換言すれば、点B31’と点B31とは図１２中、横方向において同じ位置にある。

　また、境界線BD61’は、撮像装置１１が傾き角θ_ｐだけあおられたことに伴って表示補正を行った後の境界線BD61を示している。

　撮像装置１１があおられる前の状態では点B31は境界線BD61上に位置しており、ここでは撮像装置１１をあおる動作のみが行われる。すなわち回転角θ_ｒ＝０である。そのため、点B31の移動後の点B31’を通り、境界線BD61と同じ傾きθの直線を、表示補正後の境界線BD61’とすればよい。

　図１２に示す例では、境界線BD61’は点B31’を通り、境界線BD61と同じ傾きθの直線となっている。このような境界線BD61’を表示補正後の境界線として表示させるには、点B31’の位置を求めればよい。

　この点B31’の位置（座標）は、既知である点B31の位置（座標）と、点A11から点B31’までの図１２中、縦方向の距離AK11とから求めることができる。これは、上述したように点B31’と点B31とは図１２中、横方向において同じ位置にあるからである。

　ここで、距離AK11は、図１１に示した点Aから点K2までの距離に対応する。

　表示部２６の表示画面（スルー画像）の大きさと、撮像素子IM11の撮像面の大きさとの関係、つまり表示画面と撮像素子IM11の画素ピッチの関係が既知であるので、この画素ピッチの関係（画素ピッチの比）と点Aから点K2までの距離とから距離AK11を得ることができる。

　図１１に示した点Aから点K2までの距離を求める場合、まず点K2の座標（K2x,K2y）が求められる。点K2の座標（K2x,K2y）は、直線LN1と直線LN2の交点の座標を求めることで得ることができる。

　まず、直線LN1は以下の式（８）により表すことができ、直線LN2は以下の式（９）により表すことができる。

　なお、式（８）および式（９）における光学レンズOL11の焦点距離Sは、レンズ情報交信部２３から出力される焦点距離情報から得ることができ、式（９）における傾き角θ_ｐは、角度検出部２４から出力される検出角度情報から得ることができる。

　さらに、式（８）における点K1のｙ座標K1yは、既知である点B31の位置（座標）、および表示部２６の表示画面の画素ピッチと撮像素子IM11の画素ピッチとの比から得ることができる。

　また、これらの式（８）および式（９）から以下の式（１０）が成立し、その式（１０）を変形することで以下の式（１１）が得られる。

　点K2は、直線LN1と直線LN2の交点であるから、式（１１）に示されるｘが点K2のｘ座標となる。したがって、以下の式（１２）により点K2のｘ座標であるK2xを得ることができる。

　さらに、このようにして得られたK2x、つまり式（１１）により示されるｘを上述した式（８）または式（９）に代入することで点K2のｙ座標であるK2yを得ることができる。

　このようにして点K2の座標（K2x,K2y）が得られると、図１１に示した点Aから点K2までの距離を得ることができる。

　すなわち、補正量計算部４１は、例えば焦点距離情報、つまり焦点距離S、検出角度情報、つまり傾き角θ_ｐ、および点B31の位置から式（１２）と、式（８）または式（９）とを計算することで点K2の座標（K2x,K2y）を得ることができる。なお、式（８）や式（１１）における角度φは、焦点距離S、点B31の位置（座標）、および表示部２６の表示画面と撮像素子IM11の画素ピッチの比から得ることができる。

　また、補正量計算部４１は、得られた点K2の座標（K2x,K2y）、および表示部２６の表示画面（スルー画像）と撮像素子IM11との大きさの関係（画素ピッチの比）に基づいて距離AK11を得ることができ、さらに距離AK11と点B31の位置（座標）とから点B31’の位置（座標）を求めることができる。

　補正量計算部４１は、このようにして得られた点B31’の位置（座標）と、これまで表示していた境界線BD61の傾きθとから、境界線BD61’の表示位置および傾きθを補正情報として得ることができる。

　なお、ここでは回転角θ_ｒ＝０である場合を例として説明したが、回転角θ_ｒが０度でない場合には、座標変換を行ってから点B31’の位置（座標）を求めればよい。

　そのような場合、補正量計算部４１は、表示部２６の表示画面の座標系、すなわち点B31等の座標が回転角θ_ｒ＝０であるときの座標となるように、それらの座標を－θ_ｒだけ回転させる座標変換を行い、座標変換後の座標を用いて点B31’の位置を求める。

　そして、補正量計算部４１は、得られた点B31’の座標に対して、その座標をθ_ｒだけ回転させる座標変換を行い、最終的な点B31’の座標とする。このようにすることで、表示補正後の境界線BD61’の正しい表示位置および傾きθを得ることができる。

　なお、以上において説明した回転角θ_ｒに応じた境界線の表示補正、焦点距離情報の変化に応じた境界線の表示補正、および傾き角θ_ｐに応じた境界線の表示補正のうちの任意のものを組わせて行うことも勿論可能である。

　また、分割領域の境界線の表示補正が行われると、制御部２５では、境界線の表示位置および傾きの補正に応じて分割領域の位置も補正される。つまり、表示補正後の境界線により表示画面（画像）が分割領域に分割される。

　以上のように分割領域の境界線の表示補正を行うことで、ユーザが撮像装置１１を回転させたり傾けたり、ズーム操作を行ったりしたときでも、特にユーザの操作を必要とすることなく境界線の表示が補正され、境界線の補正に合わせて分割領域も変更される。従って、ユーザによる境界線や撮影条件等の再度の設定の手間を減らすことができ、使い勝手を向上させることができる。

〈設定処理の説明〉
　次に、撮像装置１１により行われる処理の流れについて説明する。

　例えば記録画像の撮影のための動作が開始されると、撮像部２２は撮影レンズ２１を介して被写体から入射した光を受光して光電変換することで被写体を撮影し、その結果得られた撮影画像を制御部２５に供給する。

　制御部２５の表示制御部４２は、撮像部２２から供給された撮影画像をスルー画像として表示部２６に供給し、表示させる。また、分割領域の境界線等の重畳表示情報の表示も指示されている場合には、表示制御部４２は重畳表示情報を表示部２６に供給し、スルー画像上に重畳表示情報を重畳表示させる。

　このようにしてスルー画像が表示されると、ユーザは適宜、撮影に関する設定を行ったり、スルー画像を見ながら記録画像の構図を決めたりする。

　例えばスルー画像が表示されている状態で、ユーザにより分割領域の境界線に関する設定や撮影条件の設定等、何らかの設定に関する操作が行われると、撮像装置１１は図１３に示す設定処理を開始する。

　以下、図１３のフローチャートを参照して、撮像装置１１により行われる設定処理について説明する。

　ステップＳ１１において、制御部２５は、操作部２７から供給される信号に基づいて、境界線に関する設定を行うか否かを判定する。

　例えばユーザが操作部２７を操作して、分割領域の新たな境界線の設定や、分割領域の境界線の表示位置等の設定、ブレンド領域に関する設定等を指示し、ユーザの操作に応じた信号が操作部２７から制御部２５に供給された場合、境界線に関する設定を行うと判定される。

　ステップＳ１１において境界線に関する設定を行わないと判定された場合、ステップＳ１２の処理はスキップされて、その後、処理はステップＳ１３へと進む。

　これに対して、ステップＳ１１において境界線に関する設定を行うと判定された場合、ステップＳ１２において、制御部２５は、操作部２７から供給された信号に応じて、境界線に関する設定を行う。

　例えばユーザが新たな境界線による表示部２６の表示画面（スルー画像）のいくつかの分割領域への分割を指示した場合、制御部２５はユーザの操作に応じて新たな境界線と分割領域を設定する。表示制御部４２は、新たな境界線の設定、つまり分割領域の設定に応じて表示部２６を制御し、表示部２６の表示画面に新たな境界線を表示させる。

　また、例えば図２に示した境界線BD11および境界線BD12が表示されている状態で、ユーザが操作部２７としてのホイールボタンや十字キーなどを操作することで、境界線BD11や境界線BD12の表示位置や傾き等を変更する操作を行ったとする。そのような場合、表示制御部４２は、ユーザの操作に応じて操作部２７から供給された信号に基づいて表示部２６を制御し、それらの境界線のうちの少なくとも１つの境界線を移動させたり傾けたりする。

　このとき表示制御部４２は、連動に関する設定に応じて、分割領域の複数の境界線を同じ距離だけ同時に移動させたり、分割領域の複数の境界線を同じ角度だけ同時に傾けたりすることもできるし、分割領域の境界線を個別に（独立に）移動させたり傾けたりすることもできる。

　さらに、例えばユーザが操作部２７を操作することによりブレンド領域の幅等が指定されたときには、制御部２５はユーザの操作に応じて操作部２７から供給された信号に基づいてブレンド領域の幅等を変更する。ブレンド領域についても制御部２５は、複数のブレンド領域の幅等の設定を連動して変更することもできるし、個別に（独立に）変更することもできる。

　ステップＳ１２の処理が行われたか、またはステップＳ１１において境界線に関する設定を行わないと判定された場合、ステップＳ１３において、制御部２５は、操作部２７から供給される信号に基づいて、連動に関する設定を行うか否かを判定する。

　例えばユーザが操作部２７を操作して、図４に示した連動設定時の表示画面の表示を指示したり、図４に示した表示画面が表示されている状態でチェックボックス等の選択操作などを行ったりした場合、連動に関する設定を行うと判定される。

　また、例えばユーザにより境界線の移動や傾きの調整に関する設定の連動、ブレンド領域の幅や混合比等に関する設定の連動が指示された場合、連動に関する設定を行うと判定される。

　ステップＳ１３において連動に関する設定を行わないと判定された場合、ステップＳ１４の処理はスキップされて、その後、処理はステップＳ１５へと進む。

　一方、ステップＳ１３において連動に関する設定を行うと判定された場合、ステップＳ１４において、制御部２５は操作部２７から供給される信号に応じて、連動に関する設定を行う。

　例えば表示部２６に図４に示した表示画面が表示されている状態で、ユーザが操作部２７を操作してチェックボックスCB11等のチェックボックスを選択したり、ボタンBT11等の各種のボタンを操作したりした場合、制御部２５はユーザの操作に応じて連動に関する設定を行う。

　具体的には、例えばユーザが全てのチェックボックスCB11を選択して、それらのチェックボックスCB11にチェックマークを表示させた場合、制御部２５は、それらのチェックボックスCB11に対応する分割領域の露出補正値が連動して変更されるようにする。

　また、例えばユーザが操作部２７を操作して、ユーザの操作による分割領域の境界線の表示位置の移動や傾きの調整について、複数の分割領域の境界線が連動して同時に同じだけ変更される設定を選択したり、複数の分割領域の境界線のそれぞれが個別に（独立に）変更される設定を選択したりしたとする。

　この場合、制御部２５は、ユーザの操作に応じて操作部２７から供給された信号に基づいて、複数の分割領域の境界線が連動して同時に同じだけ変更される設定としたり、複数の分割領域の境界線のそれぞれが個別に（独立に）変更される設定としたりする。

　ステップＳ１４の処理が行われたか、またはステップＳ１３において連動に関する設定を行わないと判定された場合、ステップＳ１５の処理が行われる。

　ステップＳ１５において、制御部２５は、操作部２７から供給される信号に基づいて、撮影条件の設定を行うか否かを判定する。

　例えばユーザが操作部２７を操作して、複数の分割領域の何れかの撮影条件の変更を指示した場合や、図４に示した表示画面が表示されている状態で複数のチェックボックスが選択され、ステップＳ１４の処理が行われた場合、撮影条件の設定を行うと判定される。

　ステップＳ１５において撮影条件の設定を行わないと判定された場合、ステップＳ１６およびステップＳ１７の処理は行われず、設定処理は終了する。この場合、これまでと同様の撮影条件で撮影されたスルー画像が表示部２６に表示されることになる。

　これに対して、ステップＳ１５において撮影条件の設定を行うと判定された場合、ステップＳ１６において制御部２５は、操作部２７から供給される信号に応じて、分割領域ごとの撮影条件の設定を行う。

　例えば制御部２５は、操作部２７から供給された信号に基づいて、指定されている分割領域の明るさや絞り値、シャッタスピード、ISO感度、WBなどの撮影条件の項目の値の変更が指示された場合、その分割領域の撮影条件の項目の値を変更する。

　このとき、撮影条件の設定対象の項目について、指定された分割領域と他の分割領域とで撮影条件の項目の値（設定値）が連動する設定とされているときには、制御部２５は指定された分割領域の撮影条件の項目の値だけでなく、その指定された分割領域と連動する設定とされている他の分割領域の撮影条件の項目の値もユーザにより指定された値とする。

　また、例えば図４に示した画面が表示されている状態で、撮影条件の所定の項目に関する複数のチェックボックスが選択され、ステップＳ１４の処理が行われたとする。この場合、制御部２５は、選択された各チェックボックスに対応する分割領域の撮影条件の所定の項目の値を、それらのチェックボックスのうちの近傍に王冠のマークがあるチェックボックスに対応する分割領域の撮影条件の所定の項目の値に変更する。

　ステップＳ１７において、表示制御部４２は、撮影条件の設定に応じて表示部２６にスルー画像を表示させる。

　このとき、表示制御部４２は複数の分割領域のうち、少なくとも最後に撮影条件の設定が行われた分割領域を含む互いに隣接するいくつかの分割領域については、その最後に設定された撮影条件で新たに撮影された撮影画像の分割領域に対応する領域の画像をスルー画像として表示させる。

　また、表示制御部４２は、最後に設定された撮影条件で新たに撮影された撮影画像がスルー画像として表示される分割領域とは異なる他の分割領域については、その分割領域に対して設定された撮影条件で過去に撮影された撮影画像の他の分割領域に対応する領域の画像をスルー画像として表示させる。

　このようにしてスルー画像が表示されると、設定処理は終了する。

　以上のようにして撮像装置１１は、ユーザの操作に応じて、境界線に関する設定や連動に関する設定、撮影条件の設定等を行う。

　これにより、撮像装置１１の使い勝手を向上させることができる。すなわち、例えば複数の境界線の位置を同時に移動させるようにすれば、ユーザは一度の操作で複数の境界線の位置を決定することができ、また連動設定を行えば、ユーザは一度の操作で複数の分割領域の撮影条件を指定することができる。

〈撮影処理の説明〉
　また、表示部２６にスルー画像が表示されている状態では、撮像装置１１はユーザの操作に応じて記録画像を生成する撮影処理も行う。以下、図１４のフローチャートを参照して、撮像装置１１により行われる撮影処理について説明する。

　ステップＳ４１において、制御部２５はレンズ情報交信部２３から焦点距離情報を取得する。すなわち、レンズ情報交信部２３は、撮影レンズ２１と交信し、撮影レンズ２１から焦点距離情報を取得して出力する。制御部２５は、このようにしてレンズ情報交信部２３から出力された焦点距離情報を取得する。

　ステップＳ４２において、制御部２５は、角度検出部２４から検出角度情報を取得する。

　すなわち、角度検出部２４は、ジャイロセンサ等の出力から回転角θ_ｒと傾き角θ_ｐを検出し、その検出結果を示す検出角度情報を出力する。制御部２５は、このようにして角度検出部２４から出力された検出角度情報を取得する。

　ステップＳ４３において、制御部２５は、ステップＳ４１において取得された焦点距離情報と、ステップＳ４２で取得された検出角度情報とに基づいて、表示部２６に表示されている分割領域の境界線の表示補正を行うか否かを判定する。

　例えば焦点距離情報により示される焦点距離、検出角度情報により示される回転角θ_ｒ、および検出角度情報により示される傾き角θ_ｐのうちの少なくとも何れか１つが変化した場合、境界線の表示補正を行うと判定される。すなわち、焦点距離、回転角θ_ｒ、および傾き角θ_ｐのうちの何れかの値が前回取得されたときの値とは異なる場合に、境界線の表示補正を行うと判定される。

　その他、例えば焦点距離や傾き角θ_ｐ、回転角θ_ｒが、現時点で表示部２６に表示されている分割領域の境界線に対応する焦点距離や傾き角θ_ｐ、回転角θ_ｒの値から所定の値以上変化した場合に、境界線の表示補正（変更）を行うと判定されるようにしてもよい。

　そのような場合、例えば回転角θ_ｒが２度だけ変化したなど、少しだけ撮像装置１１が回転したときには境界線の表示補正は行われず、回転角θ_ｒが４５度以上変化したなど撮像装置１１がある程度大きく回転したときに境界線の表示補正が行われることになる。その他、例えば回転角θ_ｒが９０度以上変化したとき、すなわち、例えば撮像装置１１が横向きから縦向きに変化したときや、縦向きから横向きに変化したときに境界線の表示補正が行われるようにしてもよい。

　ステップＳ４３において、境界線の表示補正を行わないと判定された場合、ステップＳ４４およびステップＳ４５の処理は行われず、その後、処理はステップＳ４６へと進む。

　これに対して、ステップＳ４３において境界線の表示補正を行うと判定された場合、処理はステップＳ４４へと進む。

　ステップＳ４４において、補正量計算部４１は、焦点距離情報、検出角度情報、および現在の各分割領域の境界線の表示位置と傾きθに基づいて、分割領域の境界線の補正後の表示位置および傾きを求める。具体的には、補正量計算部４１は、適宜、図６乃至図１２を参照して説明した処理を行って、補正後の境界線の表示位置と傾きθを補正情報として求める。

　すなわち、例えば回転角θ_ｒが変化したときには、補正量計算部４１は図６を参照して説明したように、式（１）の計算等を行って傾きθ’と点B11’の位置を求めることで、分割領域の境界線の補正後の表示位置および傾きを補正情報として求める。

　また、例えば焦点距離情報が変化した場合、補正量計算部４１は図７乃至図９を参照して説明したように、式（７）の計算等を行って点B21’の位置を求めることで、分割領域の境界線の補正後の表示位置および傾きを補正情報として求める。

　さらに、例えば傾き角θ_ｐが変化した場合、補正量計算部４１は図１０乃至図１２を参照して説明したように、式（１２）や式（８）等の計算を行って点B31’の位置を求めることで、分割領域の境界線の補正後の表示位置および傾きを補正情報として求める。

　ステップＳ４５において、表示制御部４２は、ステップＳ４４で求められた補正後の分割領域の境界線の表示位置および傾き、つまり補正情報に基づいて表示部２６を制御し、分割領域の境界線の表示補正を行う。

　具体的には、表示制御部４２は、表示部２６の表示画面上においてステップＳ４５で求められた表示位置に、ステップＳ４５で求められた傾きで分割領域の境界線が表示されるように重畳表示情報としての分割領域の境界線の表示を更新する。これにより、スルー画像上の被写体と、重畳表示情報としての分割領域の境界線との相対的な位置関係が維持されるように分割領域の境界線の表示位置および傾きが補正されたことになる。

　ステップＳ４４およびステップＳ４５では、分割領域の境界線の他、ブレンド領域の境界線等の他の重畳表示情報も表示されているときには、その重畳表示情報の補正情報も求められ、得られた補正情報に基づいて重畳表示情報の表示補正が行われる。

　また、例えば分割領域の境界線とは異なる他の重畳表示情報の表示補正も行う場合に、補正情報により示される補正後の他の重畳表示情報の表示位置が表示部２６の表示画面外の位置、つまりスルー画像外の位置となってしまうこともある。

　そのような場合、表示制御部４２は表示画面（スルー画像）内の位置であって、補正情報により示される他の重畳表示情報の表示位置に最も近い位置に、他の重畳表示情報が表示されるように表示部２６における他の重畳表示情報の表示を制御する。すなわち、表示部２６の表示画面（スルー画像）内における、補正情報により示される位置近傍の位置に他の重畳表示情報が表示される。

　分割領域の境界線の表示補正が行われると、その後、処理はステップＳ４６へと進む。

　ステップＳ４５の処理が行われたか、またはステップＳ４３において境界線の表示補正を行わないと判定された場合、ステップＳ４６において、制御部２５は、操作部２７としてのシャッタボタンが押されたか否かを判定する。

　ステップＳ４６においてシャッタボタンが押されていないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返し行われる。

　これに対してステップＳ４６においてシャッタボタンが押されたと判定された場合、ステップＳ４７において、制御部２５は複数の分割領域に対して定められた複数の撮影条件のなかから、１つの撮影条件を選択する。

　すなわち、図１３のステップＳ１６の処理により、複数の分割領域のそれぞれに対して、それらの分割領域ごとに撮影条件が定められており、制御部２５は、それらの撮影条件を順番に処理対象の撮影条件として選択していく。

　ステップＳ４８において、制御部２５は撮像部２２や撮影レンズ２１を制御し、ステップＳ４７で選択した撮影条件で合成用画像とする撮影画像を撮影させる。

　すなわち、制御部２５は、選択した撮影条件の絞り値となるように撮影レンズ２１の絞りを動作させるとともに、撮像部２２を制御して、選択した撮影条件の明るさやシャッタスピード、ISO感度などで撮影画像を撮影させる。そして、制御部２５は、撮像部２２から供給された撮影画像に対して、選択した撮影条件のWBの種類や色温度でのホワイトバランス調整を行い、合成用画像を生成する。

　ステップＳ４９において、制御部２５は、全ての撮影条件で撮影を行ったか否かを判定する。

　ステップＳ４９において、まだ全ての撮影条件で撮影を行っていないと判定された場合、処理はステップＳ４７に戻り、上述した処理が繰り返し行われる。すなわち、まだ処理対象として選択されていない撮影条件で合成用画像の撮影が行われる。

　これに対して、ステップＳ４９において全ての撮影条件で撮影を行ったと判定された場合、分割領域ごとに設定した撮影条件の合成用画像が得られたので、処理はステップＳ５０へと進む。

　ステップＳ５０において、制御部２５は、各撮影条件で撮影された合成用画像に基づいて記録画像を生成する。

　すなわち、制御部２５は、各合成用画像における、それらの合成用画像を撮影した撮影条件に対応する分割領域の部分を切り出して切出画像とし、それらの切出画像を並べて１つの記録画像とする。このとき、制御部２５は切出画像同士の境界部分については、図１３のステップＳ１２の処理で定められたブレンド領域に関する設定に従って、上述したブレンド処理を行い、切出画像を繋ぎ合わせる。

　なお、ここでは合成用画像の撮影前に分割領域やブレンド領域の設定が行われる例について説明したが、合成用画像の撮影後に、分割領域やブレンド領域の設定、つまり分割領域の境界線の位置や傾き、ブレンド領域の幅や混合比が定められるようにしてもよい。そのような場合においても各撮影条件で撮影された合成用画像があるので、分割領域やブレンド領域の設定に応じた記録画像を得ることが可能である。

　ステップＳ５１において、表示制御部４２は、得られた記録画像を表示部２６に供給して表示させ、撮影処理は終了する。また、制御部２５は、記録画像を画像記録部２８に供給し、記録させる。

　以上のようにして撮像装置１１は、焦点距離情報や検出角度情報に応じて分割領域の境界線等の表示補正を行い、撮影された合成用画像に基づいて記録画像を生成する。

　このように焦点距離情報や検出角度情報に応じて分割領域の境界線等の表示補正を行うことで、ユーザは撮像装置１１を回転させたり、焦点距離を変えたりするたびに境界線に関する設定を行う必要がなくなり、撮像装置１１の使い勝手を向上させることができる。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する表示制御部を備える
　画像処理装置。
（２）
　前記表示制御部は、前記ユーザの操作に応じて前記境界線の表示位置を移動させるか、または前記境界線を傾ける
　（１）に記載の画像処理装置。
（３）
　前記表示制御部は、複数の前記境界線を同時に同じだけ変更する
　（１）または（２）に記載の画像処理装置。
（４）
　前記複数の前記境界線のそれぞれを独立に変更するか、または前記複数の前記境界線を同時に同じだけ変更するかを設定する制御部をさらに備える
　（１）乃至（３）の何れか一項に記載の画像処理装置。
（５）
　前記画像処理装置は撮像装置であり、
　前記表示制御部は、前記撮像装置の撮影レンズを介して撮影された画像に重畳させて前記境界線を表示させる
　（１）乃至（４）の何れか一項に記載の画像処理装置。
（６）
　前記表示制御部は、前記撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて前記境界線を変更する
　（５）に記載の画像処理装置。
（７）
　前記表示制御部は、前記画像上の被写体と、前記境界線との相対的な位置関係が維持されるように前記境界線の表示位置および傾きを変更する
　（６）に記載の画像処理装置。
（８）
　前記表示制御部は、前記回転角度が所定値以上変化した場合、前記境界線を変更する
　（６）または（７）に記載の画像処理装置。
（９）
　前記画像はスルー画像である
　（５）乃至（８）の何れか一項に記載の画像処理装置。
（１０）
　前記制御部は、前記ブレンド処理の対象となる複数のブレンド領域に関する設定を連動させて変更する
　（４）に記載の画像処理装置。
（１１）
　撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する
　ステップを含む画像処理方法。
（１２）
　撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する
　ステップを含む処理をコンピュータに実行させるプログラム。
（１３）
　撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する表示制御部を備える
　撮像装置。
（１４）
　前記表示制御部は、前記画像上の被写体と、前記重畳表示情報との相対的な位置関係が維持されるように前記重畳表示情報の表示位置および傾きを変更する
　（１３）に記載の撮像装置。
（１５）
　前記画像はスルー画像である
　（１３）または（１４）に記載の撮像装置。
（１６）
　前記重畳表示情報は、前記画像を複数の分割領域に分割する境界線を含む情報である
　（１３）乃至（１５）の何れか一項に記載の撮像装置。
（１７）
　前記表示制御部は、ユーザの操作に応じて、前記重畳表示情報の表示位置を移動させるか、または前記重畳表示情報を傾ける
　（１６）に記載の撮像装置。
（１８）
　前記表示制御部は、前記ユーザの操作に応じて、複数の前記重畳表示情報を同時に同じだけ移動させるか、または複数の前記重畳表示情報を同時に同じだけ傾ける
　（１７）に記載の撮像装置。
（１９）
　前記複数の前記分割領域ごとに撮影条件を設定する制御部をさらに備える
　（１６）乃至（１８）の何れか一項に記載の撮像装置。
（２０）
　前記制御部は、ユーザにより指定された２以上の前記分割領域について、前記２以上の前記分割領域のそれぞれに対応する前記撮影条件のそれぞれの所定の項目の設定値を連動させて変更する
　（１９）に記載の撮像装置。
（２１）
　前記表示制御部は、前記所定の項目が連動する前記２以上の前記分割領域を表すアイコンをさらに表示させる
　（２０）に記載の撮像装置。
（２２）
　前記表示制御部は、前記画像としてスルー画像を表示させる場合に、所定の前記分割領域に対応する前記撮影条件で撮影された画像を前記スルー画像の前記所定の前記分割領域の画像として表示させ、前記所定の前記分割領域とは異なる他の前記分割領域に対応する前記撮影条件で撮影された画像を前記スルー画像の前記他の前記分割領域の画像として表示させる
　（１９）乃至（２１）の何れか一項に記載の撮像装置。
（２３）
　前記制御部は、複数の前記撮影条件ごとに合成用画像を撮影させ、前記合成用画像を撮影したときの前記撮影条件に対応する前記合成用画像の前記分割領域を切出画像として、複数の前記切出画像を合成して記録画像を生成する
　（１９）乃至（２２）の何れか一項に記載の撮像装置。
（２４）
　前記重畳表示情報は、前記切出画像を合成するときにブレンド処理が行われるブレンド領域を示すブレンド領域境界線を含む情報である
　（２３）に記載の撮像装置。
（２５）
　前記制御部は、複数の前記ブレンド領域に関する設定を連動させて変更する
　（２４）に記載の撮像装置。
（２６）
　前記表示制御部は、前記回転角度が所定値以上変化した場合、前記重畳表示情報を変更する
　（１３）乃至（２５）の何れか一項に記載の撮像装置。
（２７）
　前記表示制御部は、変更後の前記重畳表示情報の表示位置が前記画像外の位置となる場合、前記画像内における前記表示位置近傍の位置に前記重畳表示情報を表示させる
　（１３）乃至（２６）の何れか一項に記載の撮像装置。
（２８）
　撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する
　ステップを含む画像処理方法。
（２９）
　撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する
　ステップを含む処理をコンピュータに実行させるプログラム。

　１１　撮像装置，　２１　撮影レンズ，　２２　撮像部，　２３　レンズ情報交信部，　２４　角度検出部，　２５　制御部，　２６　表示部，　２７　操作部，　４１　補正量計算部，　４２　表示制御部

Claims

　撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する表示制御部を備える
　画像処理装置。
　前記表示制御部は、前記ユーザの操作に応じて前記境界線の表示位置を移動させるか、または前記境界線を傾ける
　請求項１に記載の画像処理装置。
　前記表示制御部は、複数の前記境界線を同時に同じだけ変更する
　請求項１に記載の画像処理装置。
　前記複数の前記境界線のそれぞれを独立に変更するか、または前記複数の前記境界線を同時に同じだけ変更するかを設定する制御部をさらに備える
　請求項１に記載の画像処理装置。
　前記画像処理装置は撮像装置であり、
　前記表示制御部は、前記撮像装置の撮影レンズを介して撮影された画像に重畳させて前記境界線を表示させる
　請求項１に記載の画像処理装置。
　前記表示制御部は、前記撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて前記境界線を変更する
　請求項５に記載の画像処理装置。
　前記表示制御部は、前記画像上の被写体と、前記境界線との相対的な位置関係が維持されるように前記境界線の表示位置および傾きを変更する
　請求項６に記載の画像処理装置。
　前記表示制御部は、前記回転角度が所定値以上変化した場合、前記境界線を変更する
　請求項６に記載の画像処理装置。
　前記画像はスルー画像である
　請求項５に記載の画像処理装置。
　前記制御部は、前記ブレンド処理の対象となる複数のブレンド領域に関する設定を連動させて変更する
　請求項４に記載の画像処理装置。
　撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する
　ステップを含む画像処理方法。
　撮影条件が異なる複数の合成用画像における互いに異なる領域を切出画像として、複数の前記切出画像を合成して記録画像を生成するときに行われるブレンド処理に関する境界線を表示させるとともに、ユーザの操作に応じて複数の前記境界線のうちの少なくとも１つの前記境界線の表示を変更する
　ステップを含む処理をコンピュータに実行させるプログラム。
　撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する表示制御部を備える
　撮像装置。
　前記表示制御部は、前記画像上の被写体と、前記重畳表示情報との相対的な位置関係が維持されるように前記重畳表示情報の表示位置および傾きを変更する
　請求項１３に記載の撮像装置。
　前記画像はスルー画像である
　請求項１３に記載の撮像装置。
　前記重畳表示情報は、前記画像を複数の分割領域に分割する境界線を含む情報である
　請求項１３に記載の撮像装置。
　前記表示制御部は、ユーザの操作に応じて、前記重畳表示情報の表示位置を移動させるか、または前記重畳表示情報を傾ける
　請求項１６に記載の撮像装置。
　前記表示制御部は、前記ユーザの操作に応じて、複数の前記重畳表示情報を同時に同じだけ移動させるか、または複数の前記重畳表示情報を同時に同じだけ傾ける
　請求項１７に記載の撮像装置。
　前記複数の前記分割領域ごとに撮影条件を設定する制御部をさらに備える
　請求項１６に記載の撮像装置。
　前記制御部は、ユーザにより指定された２以上の前記分割領域について、前記２以上の前記分割領域のそれぞれに対応する前記撮影条件のそれぞれの所定の項目の設定値を連動させて変更する
　請求項１９に記載の撮像装置。
　前記表示制御部は、前記所定の項目が連動する前記２以上の前記分割領域を表すアイコンをさらに表示させる
　請求項２０に記載の撮像装置。
　前記表示制御部は、前記画像としてスルー画像を表示させる場合に、所定の前記分割領域に対応する前記撮影条件で撮影された画像を前記スルー画像の前記所定の前記分割領域の画像として表示させ、前記所定の前記分割領域とは異なる他の前記分割領域に対応する前記撮影条件で撮影された画像を前記スルー画像の前記他の前記分割領域の画像として表示させる
　請求項１９に記載の撮像装置。
　前記制御部は、複数の前記撮影条件ごとに合成用画像を撮影させ、前記合成用画像を撮影したときの前記撮影条件に対応する前記合成用画像の前記分割領域を切出画像として、複数の前記切出画像を合成して記録画像を生成する
　請求項１９に記載の撮像装置。
　前記重畳表示情報は、前記切出画像を合成するときにブレンド処理が行われるブレンド領域を示すブレンド領域境界線を含む情報である
　請求項２３に記載の撮像装置。
　前記制御部は、複数の前記ブレンド領域に関する設定を連動させて変更する
　請求項２４に記載の撮像装置。
　前記表示制御部は、前記回転角度が所定値以上変化した場合、前記重畳表示情報を変更する
　請求項１３に記載の撮像装置。
　前記表示制御部は、変更後の前記重畳表示情報の表示位置が前記画像外の位置となる場合、前記画像内における前記表示位置近傍の位置に前記重畳表示情報を表示させる
　請求項１３に記載の撮像装置。
　撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する
　ステップを含む画像処理方法。
　撮像装置の撮影レンズの焦点距離を示す焦点距離情報、または前記撮像装置の回転角度を示す検出角度情報の少なくとも何れか一方に基づいて、前記撮影レンズを介して撮影された画像に重畳して表示させる重畳表示情報を変更する
　ステップを含む処理をコンピュータに実行させるプログラム。