WO2014192640A1

WO2014192640A1 - 撮像装置及び撮像方法

Info

Publication number: WO2014192640A1
Application number: PCT/JP2014/063624
Authority: WO
Inventors: 裕紀見塩; 知孝澤田; 達郎一寸木; 望塩谷; 充昭柏俣; 貴大寺門; 直哉村上
Original assignee: オリンパスイメージング株式会社; オリンパス株式会社
Priority date: 2013-05-28
Filing date: 2014-05-22
Publication date: 2014-12-04
Also published as: CN105379244A; US9843727B2; CN105379244B; US20160065863A1

Abstract

　撮像装置(100)は、光学系(102a,102b)と、撮像部(104a,104b)と、姿勢検出部(116)と、制御部(122)とを含む。光学系(102a,102b)は、被写体からの光束を結像させる。撮像部(104a,104b)は、前記光学系(102a,102b)によって結像された光束に応じた画像データを得る。姿勢検出部(116)は、撮像装置(100)の姿勢を検出する。制御部(122)は、前記光学系(102a,102b)の光軸を天頂に向けた状態で撮影するモードであるか前記光学系(102a,102b)の光軸を撮影者側に向けた状態で撮影するモードであるかを前記姿勢から判定し、該判定した結果に応じて前記撮像部(102a,102b)を用いた撮影動作の際の制御を変更する。

Description

撮像装置及び撮像方法

　本発明は、撮像装置及び撮像方法に関する。

　日本国特開２０１２－０２２１０８号公報において提案されているような魚眼光学系を有する撮像装置が知られている。日本国特開２０１２－０２２１０８号公報の魚眼光学系は、最前面に大型の凹レンズを有するように構成されている。このような魚眼光学系は、画像の周辺部における歪みが大きくなるものの、略１８０度の画角からの光束を撮像素子に結像させることが可能である。

　魚眼光学系等の特殊な広視野光学系を用いることにより、ユーザは、通常の光学系では撮影できないような撮影を行うことができる。例えば、ユーザが広視野光学系の光軸を天頂に向けさせるように撮像装置を構えた場合、ユーザ自身を含む広視野光学系の光軸周りの方位方向の画像を一度に撮影することが可能である。また、ユーザが広視野光学系を自分自身に向けた場合には、自分の顔だけでなく、自分の全身も撮影するような特殊な自分撮りをすることが可能である。広い範囲を撮影できるので、自分撮りの他、ファインダを見ないで撮影するブラインド操作撮影、ノールック・ファインダ撮影等も可能となる。

　魚眼光学系等の特殊な広視野光学系では、撮像装置の姿勢によって異なる種類の自分撮りを含む、ブラインド操作撮影、ノールック撮影等が行われ得る。したがって、撮像装置の姿勢によって最適なブラインド操作撮影、ノールック撮影の制御が行われることが望ましい。

　本発明は、前記の事情に鑑みてなされたもので、撮像装置の姿勢によって異なる複数種類のノールック撮影が可能な撮像装置において、それぞれのノールック撮影に応じた撮影制御が行われる撮像装置及び撮像方法を提供することを目的とする。

　第１の態様の撮像装置は、被写体からの光束を結像させる光学系と、前記光学系によって結像された光束に応じた画像データを得る撮像部と、撮像装置の姿勢を検出する姿勢検出部と、前記光学系の光軸を天頂に向けた状態で撮影するモードであるか前記光学系の光軸を撮影者側に向けた状態で撮影するモードであるかを前記姿勢から判定し、該判定した結果に応じて前記撮像部を用いた撮影動作の際の制御を変更する制御部とを具備する。

　第２の態様の撮像方法は、光学系によって結像された光束に応じた画像データを得ることと、撮像装置の姿勢を検出することと、前記光学系の光軸を天頂に向けた状態で撮影するモードであるか前記光学系の光軸を撮影者側に向けた状態で撮影するモードであるかを前記姿勢から判定することと、前記判定した結果に応じて撮影動作の際の制御を変更することとを具備する。

図１は、本発明の第１の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図２は、全方位光学系の一例の構成を示す図である。図３Ａは、フラッシュの配置について説明するための第１の図である。図３Ｂは、フラッシュの配置について説明するための第２の図である。図４は、第１の撮影としての通常撮影の例を示す図である。図５Ａは、通常撮影で得られる画像の例を示す第１の図である。図５Ｂは、通常撮影で得られる画像の例を示す第２の図である。図６は、通常撮影で得られた画像を合成した後の画像について示す図である。図７は、第２の撮影としての全身自分撮りの例を示す図である。図８Ａは、全身自分撮りで得られる画像の例を示す第１の図である。図８Ｂは、全身自分撮りで得られる画像の例を示す第２の図である。図９は、全身自分撮りで得られた画像を合成した後の画像について示す図である。図１０は、第３の撮影としての全方位撮影の例である。図１１は、図１０の撮影時の被写体の関係を示した図である。図１２は、全方位撮影で得られる画像の例を示す図である。図１３は、画像変換処理をした後の画像について示す図である。図１４Ａは、撮像装置の動作を示すフローチャートの第１図である。図１４Ｂは、撮像装置の動作を示すフローチャートの第２図である。図１５は、画像変換処理の手法の例について示した図である。図１６は、不安定な状況下での撮影の例を示した図である。図１７は、図１６のような撮像装置の持ち方がされているときのタッチパネルの状態を示した図である。図１８は、電源オン制御について示したフローチャートである。図１９は、電源オフ制御について示したフローチャートである。図２０は、本発明の第２の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図２１は、画像の切り出し範囲の切り替えについて示した図である。図２２は、第２の実施形態における全方位撮影の例を示す図である。図２３Ａは、第２の実施形態における円環状の画像の切り出し範囲の切り替えの例を示した第１の図である。図２３Ｂは、第２の実施形態における円環状の画像の切り出し範囲の切り替えの例を示した第２の図である。図２４Ａは、第２の実施形態における画像変換処理について示した第１の図である。図２４Ｂは、第２の実施形態における画像変換処理について示した第２の図である。図２４Ｃは、第２の実施形態における画像変換処理について示した第３の図である。図２５は、本発明の第３の実施形態に係る操作装置を備えた撮像装置の構成を示すブロック図である。図２６は、撮像装置の詳細を説明する正面図である。図２７Ａは、撮像装置の使用例を示す第１の図である。図２７Ｂは、撮像装置の使用例を示す第２の図である。図２７Ｃは、撮像装置の使用例を示す第３の図である。図２８Ａは、全方位撮影を説明する第１の図である。図２８Ｂは、全方位撮影を説明する第２の図である。図２８Ｃは、全方位撮影を説明する第３の図である。図２９Ａは、撮像装置の動作を説明するフローチャートである。図２９Ｂは、撮像装置の動作を説明するフローチャートである。図３０Ａは、撮像装置を左手で把持する状況の例を示す第１の図である。図３０Ｂは、撮像装置を左手で把持する状況の例を示す第２の図である。図３１は、左手把持の判定の詳細を説明するフローチャートである。図３２Ａは、左手把持の判定の詳細を説明する第１の図である。図３２Ｂは、左手把持の判定の詳細を説明する第２の図である。図３３Ａは、ガイド光の効果を説明する第１の図である。図３３Ｂは、ガイド光の効果を説明する第２の図である。図３３Ｃは、ガイド光の効果を説明する第３の図である。図３３Ｄは、ガイド光の効果を説明する第４の図である。図３４は、左手操作の判定の動作を説明するフローチャートである。図３５Ａは、左手操作の判定を説明する第１の図である。図３５Ｂは、左手操作の判定を説明する第２の図である。図３５Ｃは、左手操作の判定を説明する第３の図である。図３６Ａは、画像データの合成の例を示す第１の図である。図３６Ｂは、画像データの合成の例を示す第２の図である。図３６Ｃは、画像データの合成の例を示す第３の図である。図３６Ｄは、画像データの合成の例を示す第４の図である。図３６Ｅは、画像データの合成の例を示す第５の図である。図３６Ｆは、画像データの合成の例を示す第６の図である。図３６Ｇは、画像データの合成の例を示す第７の図である。図３６Ｈは、画像データの合成の例を示す第８の図である。図３６Ｉは、画像データの合成の例を示す第９の図である。図３６Ｊは、画像データの合成の例を示す第１０の図である。図３６Ｋは、画像データの合成の例を示す第１１の図である。図３６Ｌは、画像データの合成の例を示す第１２の図である。図３７は、画像データの合成の詳細を説明するフローチャートである。

　以下、図面を参照して本発明の実施形態を説明する。　
　［第１の実施形態］
　まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、撮影機能付き携帯電話機、撮影機能付き携帯端末である。図１に示す撮像装置１００は、光学系１０２ａと、全方位光学系１０２ｂと、撮像部１０４ａと、撮像部１０４ｂと、画像処理部１０６と、表示部１０８と、タッチパネル１１０と、記録部１１２と、操作部１１４と、姿勢検出部１１６と、顔検出部１１８と、フラッシュ１２０ａと、フラッシュ１２０ｂと、制御部１２２とを有している。

　光学系１０２ａは、被写体からの光束を撮像部１０４ａに入射させるための光学系である。光学系１０２ａは、例えば可変焦点距離の光学系である。光学系１０２ａは、固定焦点距離の光学系であっても良い。全方位光学系１０２ｂは、その光軸が光学系１０２ａの光軸と平行になるように撮像装置１００に配置され、光学系１０２ａよりも広視野（広画角）の光学系である。全方位光学系１０２ｂは、例えば図２に示す光学系である。図２に示す例の全方位光学系１０２ｂは、自由曲面レンズ１０２１ｂと、結像レンズ群１０２２ｂとを有しており、光軸Ｌに対して軸対称な構造を有している。自由曲面レンズ１０２１ｂは、光軸Ｌを天頂とする全天方向からの光束Ｆを内面で反射させて結像レンズ群１０２２ｂに入射させるように構成された自由曲面レンズである。結像レンズ群１０２２ｂは、自由曲面レンズ１０２１ｂを介して入射した光束Ｆを撮像部１０４ｂに入射させるように構成されている。

　撮像部１０４ａは、光学系１０２ａから入射された光束に基づいて画像データを生成する。撮像部１０４ａは、撮像素子と、Ａ／Ｄ変換回路とを有している。撮像素子は、光学系１０２ａを介して結像された光束をアナログの電気信号に変換する。Ａ／Ｄ変換回路は、撮像素子で得られた電気信号をデジタル信号である画像データに変換する。撮像部１０４ｂは、全方位光学系１０２ｂから入射された光束に基づいて画像データを生成する。撮像部１０４ｂは、撮像部１０４ａと同様の構成を有していて良いし、異なる構成を有していても良い。例えば、撮像部１０４ｂは、撮像素子の画素数及び撮像面の面積が撮像部１０４ａよりも大きくて良い。

　画像処理部１０６は、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データに対して画像処理を施す。画像処理部１０６は、例えばホワイトバランス補正やガンマ補正といった画像の表示や記録のために必要な基本的な画像処理を行う。また、画像処理部１０６は、画像変換処理を行う画像変換処理部及び画像合成処理を行う画像合成処理部としての機能を有する。画像変換処理は、撮像部１０４ｂを介して得られた円環状の画像データを帯状の画像データに変換する処理である。画像合成処理は、撮像部１０４ａを介して得られた画像データと撮像部１０４ｂを介して得られた画像データとを合成する処理である。画像変換処理及び画像合成処理については後で詳しく説明する。

　表示部１０８は、例えば撮像装置１００の本体背面に設けられた液晶ディスプレイである。表示部１０８は、制御部１２２から入力される画像データに基づいて画像を表示する。タッチパネル１１０は、例えば表示部１０８の表示画面の上に設けられている。タッチパネル１１０は、ユーザの指等の接触を検出し、接触位置の情報を制御部１２２に入力する。なお、表示部１０８は、１ヶ所である必要はなく、撮像装置１００の本体側面や光学系の側に設けられても良い。小型の携帯機器において携帯性を良くするために、携帯機器は、小型化の傾向にある。小型の携帯機器では、ユーザが撮影時に表示部１０８をいちいち見て確認できない状況が多くある。このような状況からもノールック撮影の必要性が高まっている。

　記録部１１２は、例えば撮像装置１００に対して着脱自在に構成されたメモリカードである。記録部１１２は、制御部１２２によって生成された画像ファイル等の各種の情報を記録する。近年は、無線で外部の記録部に飛ばして記録する場合もあるが、このような場合であっても本実施形態の技術は有効である。

　操作部１１４は、撮像装置１００の本体に設けられたタッチパネル１１０以外の機械的な操作部材である。操作部１１４は、例えばレリーズボタン、電源スイッチを含む。レリーズボタンは、ユーザが撮影実行を指示するための操作部材である。電源スイッチは、ユーザが撮像装置１００の電源のオン又はオフを指示するための操作部材である。

　姿勢検出部１１６は、例えば撮像装置１００の水平方向（Ｘ軸）、垂直方向（Ｙ軸）、奥行き方向（Ｚ軸）のそれぞれに対して平行に配置された３軸加速度センサであり、撮像装置１００の姿勢を検出する。図３Ａ及び図３Ｂに、撮像装置１００に設定される３軸の例が示されている。水平方向（Ｘ軸）は、例えば撮像装置１００が横位置で構えられたときに地表に対して平行でありかつ光学系１０２ａ及び全方位光学系１０２ｂの光軸に対して垂直な撮像装置１００の方向である。垂直方向（Ｙ軸）は、例えば撮像装置１００が横位置で構えられたときに地表に対して垂直な撮像装置１００の方向である。奥行方向（Ｚ軸）は、例えば撮像装置１００が横位置で構えられたときに地表に対して平行でありかつ光学系１０２ａ及び全方位光学系１０２ｂの光軸に対して平行な撮像装置１００の方向である。

　顔検出部１１８は、例えばパターンマッチングを用いて画像データにおける人物の顔部を検出し、検出した顔部の位置情報を制御部１２２に入力する。

　フラッシュ１２０ａ及びフラッシュ１２０ｂは、発光することによって被写体を照明する。フラッシュ１２０ａとフラッシュ１２０ｂとは、発光方向が直交するように撮像装置１００の本体に設けられている。第１のフラッシュとしてのフラッシュ１２０ａは、図３Ｂで示すように、光学系１０２ａ及び全方位光学系１０２ｂの光軸が被写体の方向を向いたときに被写体と相対するように、すなわち発光方向が光学系１０２ａ及び全方位光学系１０２ｂの光軸と平行になるように、例えば撮像装置１００の上面に設けられている。このとき、フラッシュ１２０ａは、図３Ｂで示すように、光学系１０２ａ及び全方位光学系１０２ｂが設けられている撮像装置１００の正面に対して所定の間隔ｄを有するように撮像装置１００の上面に設けられることが好ましい。このようにしてフラッシュ１２０ａが設けられることにより、全方位光学系１０２ｂとフラッシュ１２０ａとの間には段差が形成される。この段差により、フラッシュ１２０ａからの照明光が直接的に全方位光学系１０２ｂに入射することが防止される。第２のフラッシュとしてのフラッシュ１２０ｂは、図３Ａで示すように、光学系１０２ａ及び全方位光学系１０２ｂの光軸が天頂方向を向いたときに被写体の方向を向くように、すなわち発光方向が光学系１０２ａ及び全方位光学系１０２ｂの光軸と垂直になるように、撮像装置１００の側面に設けられている。

　制御部１２２は、例えばＣＰＵを有し、撮像装置１００の全体的な動作を制御する。制御部１２２は、撮影制御部としての機能を有する。撮影制御部としての機能は、撮像制御部としての機能と、タッチパネル制御部としての機能と、フラッシュ制御部としての機能と、画像処理制御部としての機能と、電源制御部としての機能とを含む。撮像制御部としての機能は、撮像部１０４ａ及び１０４ｂによる露出動作を制御する機能である。タッチパネル制御部としての機能は、撮影時における撮像装置１００の姿勢に応じてタッチパネル１１０の設定を制御する機能である。フラッシュ制御機能は、フラッシュの発光が必要なとき、撮影時における撮像装置１００の姿勢に応じてフラッシュ１２０ａとフラッシュ１２０ｂの何れかを発光させる機能である。画像処理設定機能は、撮影時における撮像装置１００の姿勢に応じて画像処理部１０６の画像処理の内容を制御する機能である。電源制御部としての機能は、撮像装置１００の各ブロックの電源のオン又はオフに関する制御を行う機能である。表示部が複数ある場合、制御部１２２が、撮像装置１００の姿勢に応じて表示を切り替えても良い。このとき、制御部１２２は、表示部位や縦横等を考慮して表示を切り替える。

　次に、本実施形態に係る撮像装置１００の動作を説明する。本実施形態においては、ユーザによって撮像装置１００の構え方が変更されることにより、異なる３種類の撮影が行われる。

　図４は、第１の撮影としての通常撮影の例を示す図である。第１の撮影として、ユーザＵは、撮像装置１００の光学系１０２ａ及び全方位光学系１０２ｂの光軸を被写体Ｓ１、Ｓ２に向けるように構える。光学系のない背面（光学系の配置面の反対の面）に表示部１０８を設けると比較的大きな面積にでき、ユーザＵは、表示部１０８でタイミングや構図を確認しながらの撮影を行えば良い。

　図４に示す状態でユーザＵによって撮影が行われると、撮像部１０４ａでは、図５Ａで示すような光学系１０２ａの光軸を中心とする所定の矩形範囲の画像が得られる。例えば、光学系１０２ａが被写体Ｓ１、Ｓ２の方を向いている場合には、撮像部１０４ａにおいて被写体Ｓ１、Ｓ２の周辺の画像が得られる。また、撮像部１０４ｂでは、図５Ｂで示すような全方位光学系１０２ｂの光軸周りの３６０度方位の範囲の円環状の画像が得られる。例えば、全方位光学系１０２ｂが被写体Ｓ１、Ｓ２の方を向いている場合には、被写体Ｓ１、Ｓ２の周囲の背景Ｂの画像が得られる。このような第１の撮影では、従来の撮像装置と同様にして被写体を撮影することができる。

　ここで、撮像部１０４ａで得られた図５Ａに示す画像データと図５Ｂに示す画像データとは、図６に示すようにして合成されても良い。合成により、光学系１０２ａのみを用いて撮影した場合よりも広角の画像を得ることが可能である。合成の手法は、例えば後で説明する手法によって図５Ｂの画像データを帯状画像データに変換した後、帯状画像データ内の被写体Ｓ１、Ｓ２の位置に図５Ａに示す画像データを合成する手法を用いることができる。この合成画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様であっても良い。

　図７は、第２の撮影としての全身自分撮りの例を示す図である。第２の撮影として、ユーザＵは、撮像装置１００の光学系１０２ａ及び全方位光学系１０２ｂの光軸を自分に向けるように構える。図７に示す状態でユーザＵによって撮影が行われると、撮像部１０４ａでは、図８Ａで示すような光学系１０２ａの光軸を中心とする所定の矩形範囲の画像が得られる。例えば、光学系１０２ａがユーザＵの顔部の方を向いている場合には、ユーザＵの顔部の周辺の画像が得られる。また、撮像部１０４ｂでは、図８Ｂで示すような全方位光学系１０２ｂの光軸周りの３６０度方位の範囲の円環状の画像が得られる。例えば、全方位光学系１０２ｂがユーザＵの顔部の方を向いている場合には、ユーザＵの胴体等の周辺の画像が得られる。このような第２の撮影では、自分撮りの際に、ユーザＵの顔付近のみならず、ユーザの全身を含めた周囲の画像をも得ることができる。光学系のある面に表示部１０８を設けるとしても、大きな面積にはできず、タイミングや構図を確認しながらの撮影は困難になる。特に、不安定な状況では、確認しながらの撮影をしていると注意が散漫になり、安全が脅かされる可能性がある。

　ここで、撮像部１０４ａで得られた図８Ａに示す画像データと図８Ｂに示す画像データとは、図９に示すようにして合成されても良い。合成の手法は、例えば後で説明する手法によって図８Ｂの画像データを帯状画像データに変換した後、帯状画像データ内のユーザＵの位置に図８Ａに示す画像データを合成する手法を用いることができる。この合成画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様であっても良い。

　図１０は、第３の撮影としての全方位撮影の例である。第３の撮影として、ユーザＵは、撮像装置１００の光学系１０２ａ及び全方位光学系１０２ｂの光軸を天頂に向けるように構える。被写体Ｓ１、Ｓ２とユーザＵとの３次元上での位置関係が例えば図１１で示すものであるとする。このとき、ユーザＵによって撮影が行われると、撮像部１０４ｂでは、図１２に示すような全方位光学系１０２ｂの光軸を中心とする３６０度方位の画像が得られる。このような第３の撮影では、撮影者であるユーザＵを含む撮像装置１００の周囲の画像を一度に撮影することができる。ここでも光学系のある面や撮像装置１００の側面に表示部１０８を設けるとしても、大きな面積にはできず、タイミングや構図を確認しながらの撮影は困難になる。もちろん、頭上に掲げて撮影すれば、撮影者を含まない撮影も可能である。

　全方位光学系１０２ｂを介して撮像部１０４ｂに入射する像に基づいて得られる画像は、図１２で示すような円環状の画像となる。この円環状の画像は、図１３で示すようにして帯状の画像に変換されても良い。この画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様であっても良い。

　以下、撮像装置１００の動作についてさらに説明する。図１４Ａ及び図１４Ｂは、撮像装置１００の動作を示すフローチャートである。図１４Ａ及び図１４Ｂにおいて、制御部１２２は、電源オン制御を行う（ステップＳ１０１）。電源オン制御は、撮像装置１００の電源を種々の条件に従ってオンする制御である。電源オン制御の詳細については後で説明することとし、ここでは、電源オン制御の結果、撮像装置１００の電源がオンされたものとして説明を続ける。

　撮像装置１００の電源がオンされた後、制御部１２２は、撮像装置１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。撮像装置１００は、撮影モードと再生モードとを動作モードとして有している。撮影モードは、記録用の画像を撮影するための動作モードである。再生モードは、記録された画像を再生するための動作モードである。撮影モードと再生モードとの切り替えは、ユーザのタッチパネル１１０の操作又は操作部１１４の操作によって行われる。

　ステップＳ１０２において動作モードが撮影モードでないと判定した場合に、制御部１２２は、再生モードの処理を行う（ステップＳ１０３）。再生モードの処理については、従来と同様の技術を適用できる。ここでは、再生モードの処理について簡単に説明する。再生モードにおいては、記録部１１２に記録されている画像ファイルの一覧が表示部１０８に表示される。ユーザは、一覧表示された画像ファイルのうちの所望の画像ファイルを選択する。このユーザによって選択された画像ファイルが記録部１１２から読み出されて表示部１０８に再生される。再生モードの処理の後、処理がステップＳ１１３に移行する。

　ステップＳ１０２において動作モードが撮影モードであると判定した場合に、制御部１２２は、姿勢検出部１１６によって撮像装置１００の姿勢を検出する（ステップＳ１０４）。その後、制御部１２２は、姿勢検出部１１６の検出結果から、光学系１０２ａ及び全方位光学系１０２ｂの光軸が天頂方向を向いているか否か、すなわち図１０で示したような全方位撮影が行われようとしているか否かを判定する（ステップＳ１０５）。光軸が天頂方向を向いていることは、Ｙ軸の加速度が重力加速度を示していることから検出できる。

　ステップＳ１０５において光軸が天頂方向を向いていると判定した場合に、制御部１２２は、フラッシュ１２０ｂの発光方向への加速度が発生しているか否か、すなわちユーザによってフラッシュ１２０ｂの発光方向に向けて撮像装置１００を動かす動作がなされたか否かを判定する（ステップＳ１０６）。フラッシュ１２０ｂの発光方向への加速度が発生していることは、Ｘ方向の加速度から検出できる。ステップＳ１０６において、フラッシュ１２０ｂの発光方向への加速度が発生していないと判定した場合に、制御部１２２は、処理をステップＳ１１３に移行させる。

　ステップＳ１０６において、フラッシュ１２０ｂの発光方向への加速度が発生していると判定した場合に、制御部１２２は、撮像部１０４ｂを介して得られる画像データにおける被写体（例えば顔）の輝度が所定輝度よりも低輝度であるか否かを判定する（ステップＳ１０７）。ステップＳ１０７において被写体の輝度が所定輝度よりも低輝度でないと判定した場合に、制御部１２２は、撮像部１０４ｂを用いた全方位撮影を実行する（ステップＳ１０８）。このとき、制御部１２２は、被写体の輝度が適正になるように撮像部１０４ｂの露出を制御することにより、撮影を実行する。ステップＳ１０７において被写体の輝度が所定輝度よりも低輝度であると判定した場合に、制御部１２２は、フラッシュの発光が必要であるとしてフラッシュ１２０ｂを発光させつつ、撮像部１０４ｂを用いた全方位撮影を実行する（ステップＳ１０９）。ここで、図１４Ａ及び図１４Ｂの例では、低輝度か否かを判定することによってフラッシュの発光の必要性が判定される。この他、例えばユーザによってフラッシュを発光させるように設定された場合にフラッシュを発光させるようにしても良い。

　このように、本実施形態では、光軸が天頂方向を向いている場合には、ユーザによって撮像装置１００が動かされることをトリガとして撮影が実行される。全方位撮影では、図１０で示したように、ユーザ及び被写体が撮像装置１００の周囲を囲むように存在している可能性がある。この状態で光学系１０２ａ及び全方位光学系１０２ｂの光軸と発光方向が同じであるフラッシュ１２０ａを発光させてしまうと、ユーザ及び被写体が眩しさを感じるおそれがある。したがって、全方位撮影においてフラッシュの発光の必要性が生じた場合には、フラッシュ１２０ａではなくフラッシュ１２０ｂを発光させる。撮像装置１００による撮影実行のトリガは必ずしも撮像装置１００を動かすことである必要はない。例えば、レリーズボタンの操作が撮影実行のトリガであって良い。

　ステップＳ１０８又はステップＳ１０９の全方位撮影の後、制御部１２２は、画像変換処理をするか、すなわち図１３で示したような帯状の画像データを記録するか否かを判定する（ステップＳ１１０）。帯状の画像データを記録するか否かは、例えばユーザによって選択される。

　ステップＳ１１０において画像変換処理をしないと判定した場合に、制御部１２２は、図１５で示すように、撮像部１０４ｂの全有効範囲の画像データＩ１を画像処理部１０６において処理した画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１１１）。ここで、全方位光学系１０２ｂによって撮像素子に結像される範囲は円環状である。これに対し、一般に撮像素子の像面は矩形である。したがって、全方位撮影であっても、画像ファイルとして記録する画像データは、矩形の画像データである。なお、以下においては、円環状の像が結像された矩形の画像データを全周画像データと言う。

　ステップＳ１１０において画像変換処理をすると判定した場合に、制御部１２２は、画像処理部１０６において画像変換処理を行って帯状画像データＩ２を生成する。制御部１２２は、作成した帯状画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１１２）。帯状画像データを作成するための手法としては、例えば図１５の実線矢印及び破線矢印で示すような、全周画像データの各座標と帯状画像データの各座標との対応関係を表す変換関数ｆを用いた座標変換によって作成する手法が考えられる。勿論、帯状画像データの作成手法は、ここで示した手法に限るものではない。

　続いて、制御部１２２は、電源オフ制御を行う（ステップＳ１１３）。電源オフ制御は、撮像装置１００の電源を種々の条件に従ってオフする制御である。電源オフ制御の詳細については後で説明する。

　ステップＳ１０５において光軸が天頂を向いていないと判定した場合に、制御部１２２は、光軸が地表方向を向いていないか否かを判定する（ステップＳ１１４）。光軸が地表方向を向いていることは、Ｙ軸の加速度から検出できる。ステップＳ１１４において光軸が地表方向を向いていると判定した場合に、制御部１２２は、処理をステップＳ１１３に移行させる。この場合、撮影が行われない。ステップＳ１１４において光軸が地表方向を向いていないと判定した場合に、すなわち図４で示したような通常撮影又は図７で示したような全身自分撮りが行われようとしている場合に、制御部１２２は、画像処理部１０６により、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データとを図６や図９で示すようにして合成する（ステップＳ１１５）。

　続いて、制御部１２２は、タッチパネル１１０の出力からタッチパネル１１０のタッチ位置を検出する（ステップＳ１１６）。撮影は、不安定な状況下で行われる可能性がある。例えば、図１６は、ユーザＵが崖に掴まりながら自分撮りを行おうとしている状況を示す図である。このとき、ユーザは、一方の手で崖に掴まりつつ、もう一方の手で撮像装置１００を自身に向けて撮影を行う。ここで、図１６のように撮像装置１００を構えた場合、ユーザＵがレリーズボタン１１４ａを押すことは困難である。ユーザが無理にレリーズボタン１１４ａを押そうとすると、撮像装置１００を落としてしまう可能性もある。したがって、図１６のような状況では、レリーズボタン１１４ａを使わずに撮影を行えることが望ましい。本実施形態では、撮影時の状況が図１６のような状況であると推定されるときには、タッチパネル１１０を用いた撮影操作によって撮影を行えるようにする。図１６のような状況は、例えばユーザＵによる撮像装置１００の持ち方から判定される。図１７は、図１６のような撮像装置１００の持ち方がされているときのタッチパネル１１０の状態を示した図である。図１６のような状況では、ユーザＵは、撮像装置１００を落とさないよう、撮像装置１００を片手でしっかりと持とうとする。このとき、ユーザの複数の指Ｆが図１７に示すようにしてタッチパネル１１０に触れることが予想される。すなわち、撮像装置１００を支えられるよう、ユーザは、ある程度に指Ｆを開いて持つことが予想される。本実施形態では、図１７に示すように複数の指Ｆの間隔が略等間隔であるときに図１６のような状況であると判定する。すなわち、タッチ検出の後、制御部１２２は、近接する３点のタッチ位置の間隔ＴＨ１及びＴＨ２が略等しいか否かを判定する（ステップＳ１１７）。

　ステップＳ１１７において間隔ＴＨ１及びＴＨ２が略等しくないと判定した場合に、制御部１２２は、ステップＳ１１４で生成した合成画像を表示部１０８にスルー画像として表示させる（ステップＳ１１８）。その後、制御部１２２は、ユーザによって撮影操作がなされたか否かを判定する（ステップＳ１１９）。図１６のような状況ではないので、撮影操作がなされたか否かの判定は、従来と同様で良い。例えば、レリーズボタンが押されたか否かを判定すれば良い。ステップＳ１１９において撮影操作がなされていないと判定した場合に、制御部１２２は、処理をステップＳ１１３に移行させる。ステップＳ１１９において撮影操作がなされたと判定した場合に、制御部１２２は、処理をステップＳ１２１に移行させる。この場合には、撮影が行われる。

　ステップＳ１１７において間隔ＴＨ１及びＴＨ２が略等しいと判定した場合に、制御部１２２は、近接する３点のタッチ位置のうちの中央のタッチ位置のタッチ状態が変化したか否かを判定する（ステップＳ１２０）。図１６のような状況では、ユーザは表示部１０８を見ることができない。したがって、スルー画表示は不要である。ステップＳ１２０において中央のタッチ位置のタッチ状態が変化していないと判定した場合に、制御部１２２は処理をステップＳ１１３に移行させる。ステップＳ１２０において例えばユーザの指が離れる等して中央のタッチ位置のタッチ状態が変化したと判定した場合に、制御部１２２は処理をステップＳ１２１に移行させる。この場合には、撮影が行われる。特に、全方位撮影ができる撮像装置の場合では、光学系の部分が突出している。このため、ユーザは、光学系の部分を触らないように撮影しなければならない。さらに、光学系の側に指等が突き出していると指が入った画像になる。このように全方位撮影ができる撮像装置の場合には、持ち方に制限が発生する。指が入らないような機器のつかみ型では、多くの指が背面に行くので、こうした撮影方法は多くの指を利用する方が誤動作を減らすことができる。さらに、タッチ面の特定箇所でなく、指のタッチの相対的な位置だけで操作可能なので、迅速に間違いのない撮影が可能となる。また、逆に、普通の撮影の時には、このような撮影方法は不自然なので、誤動作を防ぐことができる。したがって機器の姿勢によって、このような仕様とすることは失敗写真防止や省エネルギー上、プライバシー保護等に有効である。

　撮影を行うと判定した場合、制御部１２２は、撮像部１０４ｂを介して得られる画像データにおける被写体（例えば顔）の輝度が所定輝度よりも低輝度であるか否かを判定する（ステップＳ１２１）。ステップＳ１２１において被写体の輝度が所定輝度よりも低輝度でないと判定した場合に、制御部１２２は、撮像部１０４ａと撮像部１０４ｂの両方を用いた撮影を実行する（ステップＳ１２２）。このとき、制御部１２２は、被写体の輝度が適正になるように撮像部１０４ａ及び撮像部１０４ｂの露出を制御することにより、撮影（通常撮影又は全身自分撮り）を実行する。ステップＳ１２１において被写体の輝度が所定輝度よりも低輝度であると判定した場合に、制御部１２２は、フラッシュの発光が必要であるとしてフラッシュ１２０ａを発光させつつ、撮像部１０４ａと撮像部１０４ｂの両方を用いた撮影を実行する（ステップＳ１２３）。フラッシュ１２０ａを発光させることによって被写体を適切に照明することが可能である。余計な発光があると、反射光によって生じるフレア等が画質に影響したり、省エネルギー上も好ましくないことは言うまでもない。まぶしくて迷惑をかけることもなくなる。

　撮影後、制御部１２２は、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データの両方に人物のパーツが分断されているか否かを判定する（ステップＳ１２４）。例えば、撮像部１０４ａで得られた画像データ中に顔のみが存在し、撮像部１０４ｂで得られた画像データ中に胴体のみが存在するような場合には、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データの両方に人物のパーツが分断されていると判定される。人物の胴体の検出は、肌色検出やパターンマッチング等の周知手法を用いて行われる。ステップＳ１２４において２つの画像データに人物のパーツが分断されていると判定した場合に、制御部１２２は、撮影によって撮像部１０４ａと撮像部１０４ｂとでそれぞれ得られた画像データとを図６や図９に示すようにして画像処理部１０６によって合成した画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１２５）。ステップＳ１２４において２つの画像データに人物のパーツが分断されていないと判定した場合に、制御部１２２は、撮影によって撮像部１０４ａで得られた画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１２６）。ステップＳ１２５又はステップＳ１２６で画像ファイルを記録した後、制御部１２２は、処理をステップＳ１１３に移行させる。

　図１８は、電源オン制御について示したフローチャートである。電源オン制御においては、ユーザによる電源スイッチの操作がなくとも、ユーザの例えばポケットから撮像装置１００が取りだされる動作が検出されたときに、撮像装置１００の電源が自動的にオンされるような制御がなされる。電源オン制御の開始時において、制御部１２２は、電源制御のモードがモーションモードであるか否かを判定する（ステップＳ２０１）。モーションモードは、自動的に撮像装置１００の電源がオン又はオフされるように制御がなされるモードである。電源制御のモードをモーションモードとするか否かの切り替えは、ユーザのタッチパネル１１０の操作又は操作部１１４の操作によって行われる。

　ステップＳ２０１において電源制御のモードがモーションモードでないと判定した場合に、制御部１２２は、ユーザによる電源スイッチのオン操作がなされたか否かを判定する（ステップＳ２０２）。ステップＳ２０２において電源スイッチのオン操作がなされていないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。この場合、電源のオフ状態が継続される。ステップＳ２０２において電源スイッチのオン操作がなされたと判定した場合に、制御部１２２は、図１で示した撮像装置１００の各ブロックの電源をオンさせる（ステップＳ２０３）。その後、制御部１２２は、処理をステップＳ１０２に移行させる。

　ステップＳ２０１において電源制御のモードがモーションモードであると判定した場合に、制御部１２２は、姿勢検出部１１６の電源をオンさせ、その他のブロックの電源をオフさせる（ステップＳ２０４）。続いて、制御部１２２は、姿勢検出部１１６の出力から、重力と逆方向の加速度が撮像装置１００に発生したか否かを判定する（ステップＳ２０５）。図１６の状況でユーザＵがポケットから撮像装置１００を取り出すとすると、撮像装置１００には矢印Ａで示すような加速度が発生する。ステップＳ２０５の判定は、矢印Ａで示すうちの重力と逆向き、すなわち上向きの加速度が発生しているかを判定する処理である。ステップＳ２０５において重力と逆向きの加速度が撮像装置１００に発生していないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。

　ステップＳ２０５において重力と逆向きの加速度が撮像装置１００に発生していると判定した場合に、制御部１２２は、姿勢検出部１１６の出力から、重力と直交する向きの加速度が撮像装置１００に発生したか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定は、矢印Ａで示すうちの重力と直交する向き、すなわち地表と平行な平面方向（図１６の例ではユーザＵの背後に向かう向き）の加速度が発生しているかを判定する処理である。ステップＳ２０６において重力と直交する向きの加速度が撮像装置１００に発生していないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。

　ステップＳ２０６において重力と直交する向きの加速度が撮像装置１００に発生していると判定した場合に、制御部１２２は、姿勢検出部１１６の出力から、撮像装置１００の姿勢が固定されたか否かを判定する（ステップＳ２０７）。姿勢が固定されたことは、例えば姿勢検出部１１６で検出される加速度が所定時間（例えば５秒程度）変化しないことから判定される。ステップＳ２０７において姿勢が固定されていないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。

　ステップＳ２０７において姿勢が固定されたと判定した場合に、制御部１２２は、タッチパネル１１０の電源をオンさせる（ステップＳ２０８）。その後、制御部１２２は、処理をステップＳ１１７に移行させる。ステップＳ２０５からステップＳ２０７の判定により、ユーザが撮像装置１００をポケットから取り出すような動作をしていると推定される。このとき、図１６のような撮影が行われる可能性を想定して本実施形態では、ステップＳ２０５からステップＳ２０７の何れの判定でもＹｅｓであるとの判定がされた場合には、タッチパネル１１０の電源をオンさせた後、直ちにステップＳ１１７の判定が行われる。これにより、ユーザは、図１６のような状況において電源スイッチ及びレリーズボタンといった操作部を操作することなく撮影を行うことが可能である。

　図１９は、電源オフ制御について示したフローチャートである。電源オフ制御においては、ユーザによる電源スイッチの操作がなくとも、所定時間の経過によって撮像装置１００の電源が自動的にオフされるような制御がなされる。電源オフ制御の開始時において、制御部１２２は、ユーザによる電源スイッチのオフ操作がなされたか否かを判定する（ステップＳ３０１）。ステップＳ３０１において電源スイッチのオフ操作がなされたと判定した場合に、制御部１２２は、図１で示した撮像装置１００の各ブロックの電源をオフさせる（ステップＳ３０２）。撮像装置１００の各ブロックの電源をオフさせた後、制御部１２２は、電源オフ制御を終了させる。ここで、電源をオフさせた後でも電源オン制御が行われるように、制御部１２２の必要な部分の電源はオン状態となっている。

　ステップＳ３０１においてユーザによる電源スイッチのオフ操作がなされていないと判定した場合に、制御部１２２は、電源制御のモードがモーションモードであるか否かを判定する（ステップＳ３０３）。ステップＳ３０３において電源制御のモードがモーションモードであると判定した場合に、制御部１２２は、姿勢検出部１１６の出力から、撮像装置１００の姿勢の固定が解除されてから所定時間（例えば５秒）が経過したか否かを判定する（ステップＳ３０４）。ステップＳ３０４において撮像装置１００の姿勢の固定が解除されてから所定時間が経過していないと判定した場合に、制御部１２２は、処理をステップＳ１１７に移行させる。この場合には、ユーザがまだ撮影の意図があるとして撮像装置１００の電源をオン状態のままにしておく。ステップＳ３０４において撮像装置１００の姿勢の固定が解除されてから所定時間が経過したと判定した場合に、制御部１２２は、処理をステップＳ２０４に移行させる。この場合には、モーションモードである場合の電源オン制御がなされる。

　ステップＳ３０３において電源のモードがモーションモードでないと判定した場合に、制御部１２２は、無操作状態で所定時間（例えば１分）が経過したか否かを判定する（ステップＳ３０５）。ステップＳ３０５において無操作状態で所定時間が経過していないと判定した場合に、制御部１２２は、処理をステップＳ１０２に戻す。この場合には、撮像装置１００の電源はオン状態のままである。ステップＳ３０５において無操作状態で所定時間が経過したと判定した場合に、制御部１２２は、処理をステップＳ３０２に移行させる。この場合には、撮像装置１００の各ブロックの電源がオフされる。

　以上説明したように本実施形態では、通常の光学系１０２ａと全方位光学系１０２ｂの２種類の光学系が撮像装置１００に設けられている。このため、本実施形態では、通常撮影に加えて、撮像装置１００の姿勢に応じた異なる２種類の自分撮りを行うことが可能である。すなわち、全身自分撮りでは、ユーザの顔部だけでなく、全身を撮影することが可能である。また、全方位撮影では、撮像装置１００の周囲の３６０度方位の画像を得ることができる。したがって、撮像装置１００の周囲を囲む複数の被写体を同時に撮影することが可能である。さらに、本実施形態では、全方位撮影の際に得られた円環状の画像データを帯状の画像データに変換して記録することもできる。もちろん、この実施形態に限らず、「自分撮り」と書いた部分は、必ずしもそれにとどまらず、自分の方向を撮影した背面撮影、ノールック撮影であっても、同様の効果を奏することは言うまでもない。

　また、全身自分撮りの際等に、ユーザが操作部１１４を操作できなくなるような状況が生じ得る。本実施形態では、ユーザが操作部１１４を操作できないような図１６の状況を撮像装置１００の姿勢の変化から判定し、図１６の状況であると推定される場合にはタッチパネル１１０による撮影操作を可能としている。さらに、図１６のような状況では電源スイッチの操作も困難であることから、本実施形態では、図１６のような状況であると推定される場合には撮像装置１００の電源が自動でオン又はオフされるようにしている。これにより、ユーザは、図１６のような操作部１１４の操作が困難な状況でも撮影操作を行うことが可能である。なお、図１６のような自分撮りの際には、撮像部１０４ａ又は撮像部１０４ｂで得られる画像データに、撮像装置１００を持っているユーザＵの手が写ることが想定される。このため、ステップＳ１１７の判定に代えて画像データ中で手が検出された場合には、図１６のような状況であると判定するようにしても良い。また、単純にユーザＵの顔が検出された場合には、図１６のような状況であると判定するようにしても良い。

　本実施形態では、通常撮影や全身自分撮りの際に光学系１０２ａを介して得られた画像データと全方位光学系１０２ｂを介して得られた画像データとが合成され得る。これにより、光学系１０２ａのみでは得られないような広視野の画像を得ることが可能である。

　また、本実施形態では、発光方向の異なる２つのフラッシュが撮像装置１００に設けられている。これにより、撮像装置１００の姿勢に応じた適切なフラッシュを選択して被写体を照明することが可能である。

　［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。図２０は、本発明の第２の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図２０においては、図１と同一の部分については図１と同一の参照符号を付すことによって説明を省略する。第２の実施形態に係る撮像装置１００は、光学系１０２ａ及び全方位光学系１０２ｂの代わりに魚眼光学系１０２ｃを有している。魚眼光学系１０２ｃは、前面に大型の凹レンズを有し、この凹レンズによって光軸を天頂とする全天からの光束を撮像部１０４に入射させるように構成されている。魚眼光学系１０２ｃは、全方位光学系１０２ｂとは異なり、図２１の左部で示すような円状の像を撮像部１０４の撮像素子上に結像させる。言い換えれば、第２の実施形態においては、撮像素子の中央部にも光束が結像される。したがって、第２の実施形態では２つの光学系は不要である。このため、撮像部も１つで良い。

　次に、本実施形態に係る撮像装置１００の動作を説明する。第２の実施形態における撮像装置１００の基本的な動作は、第１の実施形態で説明したもの同様である。すなわち、第２の実施形態においても、ユーザが撮像装置１００の構え方を変更することにより、通常撮影と、全身自分撮り（或いは、背面撮影）と、全方位撮影の３種類の撮影を行うことが可能である。第１の実施形態と異なる点は、魚眼光学系１０２ｃが用いられることにより、第１の実施形態のような画像合成処理を行わなくとも広視野の画像を得ることができる点である。ただし、画像の端には大きな歪みが残る。したがって、例えば、通常撮影の場合には、比較的に歪みが小さくなる領域である、イメージサークル（魚眼光学系１０２ｃによって有効と見なせる輝度の像が結像される範囲）Ｉに内接する矩形領域Ａ１の画像データ（対角画像データ）を切り出してから記録することが望ましい。これに対し、全身自分撮りや全方位撮影の場合には切り出しを行わずに全領域Ａ２の画像データ（全周画像データ）を記録することが望ましい。勿論、対角画像データを記録するか全周画像データを記録するかがユーザによって選択されても良い。

　また、第２の実施形態において図２２に示すような全方位撮影が行われた際には、撮影により得られた円状画像データを帯状画像データに変換する画像変換処理が行われ得る。ここで、第２の実施形態では、帯状画像データを生成する際の画像データの切り出し範囲が変更されて良い。例えば、図２３Ａは、外周がイメージサークルＩと一致しており、内周が所定の長さＢ１であるように円環状の切り出し範囲が設定された例を示す図である。また、図２３Ｂは、外周がイメージサークルＩの周と一致しており、内周がＢ１よりも短い周Ｂ２であるように円環状の切り出し範囲が設定された例を示す図である。例えば、全方位撮影が行われた場合、全周画像データの中央部は空等が写っている可能性が高い。したがって、中央部は必ずしもなくとも良い。一方、円環状の切り出し範囲内には少なくとも被写体の顔が存在していることが望ましい。このため、コントラストの有無や顔の有無に応じて円環状の切り出し範囲が設定されることが望ましい。

　さらに、円環状の切り出し範囲の内周の長さは、帯状画像を生成する際の内周の拡大率に応じても設定されることが望ましい。図２４Ａに示すように、円環状の画像データの内周側の径をＲ１とし、外周側の径をＲ０としたとき、内周の長さｌ１は２π×Ｒ１であり、外周の長さｌ０は２π×Ｒ０になる。ここで、ｌ１＜ｌ０である。このような円環状の画像データを帯状の画像データに変換するためには、図２４Ｂに示すように内周側をｋ（＝Ｒ０/Ｒ１）倍の拡大率で拡大する必要がある。拡大は、線形補間等の周知の手法が用いられる。一般に拡大率が大きくなると画質が劣化する。このため、内周側だけ大きな拡大率で拡大が行われると帯状画像データの上側と下側とで画質の差が大きくなり、ユーザに対して違和感を与える可能性がある。したがって、ｋに上限を設けておき、ｋが上限を超えない範囲内で被写体が大きく写るように内周の長さを設定する。例えば、図２４Ｃに示すような仰角４５度のときのｋであるｋ＝２を上限にする。

　以上説明したように本実施形態では、魚眼光学系を用いることにより、複数の光学系を用いることなく、第１の実施形態と同様の効果を得ることが可能である。なお、第１の実施形態及び第２の実施形態で説明した技術は、例えば、民生用、業務用カメラ（撮影装置）にとどまらず、安全確認装置や、モバイル監視装置、検査装置等の表示を重視した表示装置への応用ができることは言うまでもない。

　［第３の実施形態］
　次に本発明の第３の実施形態について説明する。図２５は、本発明の第３の実施形態に係る操作装置を備えた撮像装置の構成を示すブロック図である。撮像装置２００は、本体２０２を有している。この本体２０２には、撮影部２０４と、通信部２０６と、補助光発光部２０８と、制御部２１０と、表示部２１２と、記録部２１４と、タッチパネル２１６と、操作部２１８と、フラッシュ２２０と、姿勢判定部２２２と、外部通信部２２４とを有している。

　撮影部２０４は、撮影光学系２０４１と、撮像部２０４２とを有する。撮影光学系２０４１は、魚眼レンズとしての機能を持つ複数枚のレンズを有し、光軸の周りの全周にわたる視野領域の光を捉える。撮像部２０４２は、撮影光学系２０４１が捉えた光から画像データを生成する。通信部２０６は、撮像部２０４２で得られた画像データを、有線通信又は無線通信により画像データを制御部２１０へ送る。

　補助光発光部２０８は、ガイド光を照射する。被写体が画角内に含まれているとき、ガイド光は、画角内の所定の位置に照射される。ユーザは、画角内に照射されたガイド光を見ることで、被写体が画角内に含まれていることを視認できる。例えば、ガイド光を画角内の際周辺部の被写体に投射することで、ユーザは表示部２１２を見ずとも画角を視認できる。ガイド光は、例えばレーザ光である。

　制御部２１０は、顔検出部２１０１と、画像処理部２１０２と、表示制御部２１０３と、画像合成部２１０４と、補助光制御部２１０５とを有する。顔検出部２１０１は、画像データから人の顔の部分を検出する。画像処理部２１０２は、画像データに対してホワイトバランス補正やガンマ補正などの画像処理を施す。表示制御部２１０３は、画像処理部２１０２によって画像処理された画像データに基づく画像を表示部２１２に表示させる。画像合成部２１０４は、画像データに対して傾き補正及びトリミングを行う。更に、画像合成部２１０４は、画像データを他の画像データと合成する。補助光制御部２１０５は、補助光発光部２０８の発光を制御する。

　表示部２１２は、表示制御部２１０３の制御に従って画像データに基づく画像を表示する素子である。表示部２１２は、例えばライブビュー表示を行う。ライブビュー表示では、撮像部２０４２が捉えた画像データがリアルタイムで表示される。また、表示部２１２は、液晶ディスプレイ又は有機ＥＬディスプレイを含む。

　記録部２１４は、制御部２１０によって画像処理された画像データを記録する。この記録部２１４は、メモリカードなどを含む。タッチパネル２１６は、指などのタッチがされたとき、タッチされた位置情報を検出し、検出した位置情報を制御部２１０に入力する。操作部２１８は、レリーズボタンなどの操作部材を有し、ユーザによる操作部材の操作状態を示す情報を制御部２１０に入力する。フラッシュ２２０は、被写体が低輝度のときなどに発光する。姿勢判定部２２２は、撮像装置２００の姿勢又は姿勢の変化を検出する。外部通信部２２４は、画像データを撮像装置２００の外部の装置へ送信する。送信は、ＵＳＢなどによる有線通信若しくはＷｉ－ｆｉなどによる無線通信を介して行われる。

　図２６を用いて、撮像装置２００の構成を詳細に説明する。図２６は、本発明の一実施形態に係る撮像装置２００の正面図である。なお、図２６において、図２５と同一の構成については図２５と同一の参照符号を付すことで説明を省略する。

　撮影光学系２０４１は、詳細には、魚眼レンズ２０４１ａと、ローパスフィルタ２０４１ｂとを有する。魚眼レンズ２０４１ａは、広視野にわたる光を捉えるための光学系である。ローパスフィルタ２０４１ｂは、魚眼レンズ２０４１ａから入射した光から高周波ノイズを取り除くように構成されたフィルタである。

　撮像部２０４２は、詳細には、撮像素子２０４２ａと、ＡＤ変換回路２０４２ｂとを有する。撮像素子２０４２ａは、魚眼レンズ２０４１ａ及びローパスフィルタ２０４１ｂを介して入射した光をアナログの電気信号（画像信号）に変換する。ＡＤ変換回路２０４２ｂは、撮像素子２０４２ａで得られたアナログ信号をデジタル信号（画像データ）に変換する。撮像素子２０４２ａは、基板２０４２ｃに実装されている。この基板２０４２ｃには、コネクタ２０６ａが設けられている。さらに、基板２０４２ｃを囲むように、支持部２０４２ｄが形成されている。そして、魚眼レンズ２０４１ａと、基板２０４２ｃと、支持部２０４２ｄとにより、撮像素子２０４２ａが封止されている。

　コネクタ２０６ａには、フレキシブルプリント基板２０６ｂが接続されている。フレキシブルプリント基板２０６ｂは、ＡＤ変換回路２０４２ｂから画像データを伝送するための配線がプリントされている可撓性の基板である。このフレキシブルプリント基板２０６ｂは、コネクタ２０６ｃに接続されている。コネクタ２０６ｃは、基板２１０ａに形成されている。コネクタ２０６ａにより、基板２０４２ｃとフレキシブルプリント基板２０６ｂとの相互の接続がされる。また、コネクタ２０６ｃにより、フレキシブルプリント基板２０６ｂと基板２１０ａとの相互の接続がされる。このようにして、コネクタ２０６ａ、フレキシブルプリント基板２０６ｂ、コネクタ２０６ｃは、通信部２０６の一例として機能する。

　基板２１０ａは、電子部品を組み込むためのプリント基板である。基板２１０ａには、電子部品として例えば画像処理ＩＣ２１０２ａと、表示制御ＩＣ２１０３ａと、表示部２１２と、タッチパネル２１６と、電源回路２２６とが実装されている。画像処理ＩＣ２１０２ａは、画像処理部２１０２と対応しており、画像データに対してホワイトバランス補正やガンマ補正などの画像処理を施す。表示制御ＩＣ２１０３ａは、表示制御部２１０３と対応しており、画像データに基づく画像を表示部２１２に表示させる。電源回路２２６は、電池２２８から得た電圧を制御し、撮像装置２００を動作させるための電力を供給する。

　また、本体２０２内には、メインコンデンサ２２０ａが設けられている。メインコンデンサ２２０ａは、電源回路２２６から供給される電圧に基づいてフラッシュ２２０を発光させるための充電を行う。また、本体２０２の外部には、グリップ部２０２ａが形成されている。グリップ部２０２ａは、ユーザが撮像装置２００を安定して構えられるように本体２０２の外部に形成された補助部材である。

　図２７Ａ、図２７Ｂ、図２７Ｃは、撮像装置２００の使用例を示す。図２７Ａは、ユーザが表示部２１２を見ながら右手でレリーズ操作を行う使用例を示している。すなわち、図２７Ａは、通常の撮影のときの例を示している。図２７Ｂは、広角の自分撮りのときの例を示している。広角の自分撮りは、ユーザが表示部２１２を見ずに左手で撮像装置２００を構えながら自らを撮影することである。図２７Ｃは、ユーザが魚眼レンズの光軸を天頂へ向けることで、全方位撮影が行われる使用例である。

　図２７Ｃに示す全方位撮影について図２８Ａ、図２８Ｂ、図２８Ｃを使用してさらに説明する。図２８Ａは、ユーザＨ１が、自分自身とユーザＨ１以外の２人の被写体Ｈ２の合計３人を全方位撮影によって撮影するときの様子を示した図である。魚眼レンズによる撮影では、３人の被写体はすべて画角内に収まる。図２８Ｂは、図２８Ａでの撮影結果である。撮影光学系２０４１のイメージサークルが撮像素子の撮像範囲よりも小さく設定されているとき、図２８Ｂに示すような円形の撮影結果が得られる。図２８Ｂの円形の撮影結果は、画像処理によって図２８Ｃに示すパノラマ画像に加工することも可能である。図２８Ｂに示すような３人の被写体を画角内に収めるためには、撮影光学系２０４１の光軸は天頂を向くことが望ましい。

　撮像装置２００の動作について、図２９Ａ及び図２９Ｂのフローチャートを使用して説明する。撮像装置２００の電源がＯＮになったとき、制御部２１０は、ユーザによって撮影モードが選択されたか否かを判定する（ステップＳ４００）。撮影モードが選択されたと判定するとき、制御部２１０は、ユーザが撮像装置２００を左手で握っているか否かを判定する（ステップＳ４０１）。

　撮像装置が左手で把持される状況の例を、図３０Ａ及び図３０Ｂに示すロッククライミング中の撮影例を使用して説明する。図３０Ａでは、ユーザは、左手で岩肌に掴まり、右手で撮像装置２００を構えている。このとき、ユーザは、レリーズボタンなどを使用して撮影を容易に行うことができる。一方、図３０Ｂでは、ユーザは、右手で岩肌に掴まっているため、左手で撮像装置２００を構えている。撮像装置２００のレリーズボタンは、左手で操作し難い位置に配置されていることが多いため、撮影は困難である。

　さらに、撮像装置２００が左手把持されているか否かの判定について、その詳細な処理を説明する。図３１は、左手把持の判定を詳細に説明するためのフローチャートである。まず、制御部２１０は、撮像装置２００の傾きが水平なままか否かを判定する（ステップＳ５０１）。すなわち、傾きが水平であると判定するとき、制御部２１０は、ユーザが撮影しようとしていると判定する。一方、傾きが水平でなかったと判定する時、制御部２１０は、ユーザが撮影しようとしていないと判定する。ステップＳ５０１において撮像装置２００の傾きが水平なままであると判定するとき、制御部２１０は、タッチパネル２１６のタッチ位置を検出し始める（ステップＳ５０２）。タッチパネル２１６のタッチ位置の検出後、制御部２１０は、ユーザが撮像装置２００を左手で握ったときにユーザの左手が接触する部分であると考えられる図３２Ａに示すタッチパネル２１６の三角形状のタッチ部Ｔ５へのタッチが検出されるか否かを判定する（ステップＳ５０３）。このステップＳ５０３ではタッチが検出されるか否かを判定している。しかしながら、ステップＳ５０３の判定においては、厳密にタッチが検出されていなくともタッチと判定されるようにしてもよい。例えば、静電容量型又は光学式のタッチパネル２１６であれば、対象物（ここでは手の一部や指）が接触していなくとも、対象物との距離が一定距離内であればタッチがなされていることが検出される。また、三角形状のタッチ部Ｔ５へのタッチを判定しているのは、ユーザが表示部２１２の表示を見ようという意思を持ちつつ、撮像装置２００を把持する場合、図３２Ａのように、撮像装置２００の端を把持し易いためである。近年、表示部の画面は大型化の傾向にある。このような大型の画面の表示部を有する撮像装置２００をユーザが把持しようとした場合、ユーザは表示部の周辺を把持することになる。このとき、表示部２１２の表示を見ることを考えた場合、ユーザが表示部の端を把持することは容易に予想される。また、表示部２１２の表示を見ることを考えていなくとも、表示部の中央部に指紋や手垢が付くことを嫌うユーザは、表示部を鷲掴みせずに表示部の端を把持すると考えられる。したがって、三角形状のタッチ部Ｔ５へのタッチを判定することで、ユーザの把持の判定をし易い。

　ステップＳ５０３において三角形状のタッチ部Ｔ５へのタッチが検出されたと判定したとき、制御部２１０は、撮像装置２００は左手で把持されていると判定する。ステップＳ５０３において三角形状のタッチ部Ｔ５へのタッチがなかったと判定したとき、制御部２１０は、ユーザが別の態様で撮像装置２００を左手で握った時にユーザの指と接触する部分であると考えられる図３２Ｂに示すタッチパネル２１６上の二箇所のタッチ部Ｔ１への同時のタッチが検出されたか否かを判定する（ステップＳ５０４）。ステップＳ５０４では、二箇所のタッチ部Ｔ１へのタッチが検出されたか否かを判定している。二箇所のタッチ部Ｔ１へのタッチを判定するようにしている理由について説明する。例えば、親指と小指で把持がされている（この場合、人差し指、中指、薬指が画面上に来るのでこれらの指がタッチ操作に用いられ得る）とすると、小指には力を込めることが難しいので、ユーザは、撮像装置２００を安定して把持することが難しい。また、親指と中指での把持の場合、ユーザは撮像装置２００を安定して把持することができる。ただし、この場合、ユーザは、人差し指しか動かせない。人差し指しか動かすことができないと表示部２１２の画面が見づらい。これらに対し、親指と薬指での把持（この場合、人差し指、中指が表示部２１２の画面上に来るのでこれらの指がタッチ操作に用いられ得る）の場合、ユーザは撮像装置２００を安定して把持することができる。さらに、人差し指と中指の二箇所タッチでは、この二本の指を曲げたり開いたりすれば、表示部２１２の画面を視認し易い。二箇所のタッチ部Ｔ１は、このような親指と薬指での把持を検出するためのものである。三角形状のタッチ部Ｔ５は、中指と親指での把持を検出するものであり、この場合、人差し指を用いた一箇所タッチになる。ただし、ユーザは撮像装置２００を浅く握っているために、表示部２１２の画面を確認できる。

　ステップＳ５０４においてタッチパネル２１６上の二箇所のタッチ部Ｔ１への同時のタッチが検出されたと判定するとき、制御部２１０は、撮像装置２００は左手把持されていると判定する。

　ステップＳ５０１において撮像装置２００の傾きが水平のままではない、すなわち傾いていると判定したとき、制御部２１０は、撮像装置２００は左手で把持されていないと判定する。また、ステップＳ５０４においてタッチパネル２１６上の二箇所のタッチ部Ｔ１への同時のタッチが検出されなかったと判定するとき、制御部２１０は、撮像装置２００は左手で把持されていないと判定する。

　本実施形態では、左手把持での操作を例として説明している。本実施形態の技術は右手把持の場合にも適用され得る。例えば、レリーズボタンを押すことが難しいような右手把持は、タッチ部の設定によって検出できる。このような右手把持のタッチ部の位置は、例えば左手把持のタッチ部の位置と左右方向で逆位置である。さらには、例えば、障害者の手又は足による把持に対応したタッチ部の設定がされてもよい。つまり、ユーザが好む特定の把持の仕方に応じたタッチ部を設定しておき、タッチ位置の分布からこのような特定の把持を検出してもよい。

　ここで、図２９Ａ及び図２９Ｂの説明に戻る。ステップＳ４０１において、撮像装置２００が右手で把持されていると判定するとき、制御部２１０は、左手把持フラグを０にクリアする（ステップＳ４０２）。左手把持フラグを０にクリアした後、制御部２１０は、光軸の水平状態の継続時間が所定時間より短いか否かを判定する（ステップＳ４０３）。ステップＳ４０３において水平状態の継続時間が所定時間より短くなかったと判定したとき、制御部２１０は、表示部２１２にライブビューを表示させる。また、制御部２１０は、顔検出を行う（ステップＳ４０４）。

　制御部２１０は、レリーズボタン又はタッチパネル２１６が操作されたか、すなわちレリーズ操作があったか否かを判定する（ステップＳ４０５）。ステップＳ４０５においてレリーズボタン又はタッチパネル２１６が操作されていないと判定するとき、制御部２１０は、処理をステップＳ４０７に移行させる。ステップＳ４０５においてレリーズボタン又はタッチパネル２１６が操作されたと判定するとき、制御部２１０は、タッチパネル２１６上でのタッチ位置や顔検出の結果として検出された顔部に対してピントや露出を合わせて撮影させた後、その撮影で得られた画像データを記録部２１４に記録させる。（ステップＳ４０６）。

　ステップＳ４０５又はステップＳ４０６の後、制御部２１０は、ユーザにより電源がオフされたか否かを判定する（ステップＳ４０７）。ステップＳ４０７において電源がオフされたと判定したとき、制御部２１０は、処理を終了させる。ステップＳ４０７において電源がオフされていないと判定したとき、制御部２１０は、処理をステップＳ４００に戻す。

　ステップＳ４０１において撮像装置２００が左手で把持されていると判定するとき、制御部２１０は、左手把持フラグを１にセットする（ステップＳ４０８）。その後、制御部２１０は、処理をステップＳ４０９に移行させる。ステップＳ４０８において左手把持フラグが１にセットされた後又はステップＳ４０３において水平状態の継続時間が所定時間より短かったと判定したとき、制御部２１０は、表示部２１２にライブビューを表示させる。さらに、制御部２１０は、顔検出を行う（ステップＳ４０９）。その後、制御部２１０は、画像データから顔が検出されたか否かを判定する（ステップＳ４１０）。画像データから顔が検出されたと判定するとき、制御部２１０は、補助光発光部２０８から被写体の体の一部へ向けてガイド光を照射させる（ステップＳ４１１）。

　ここで、ガイド光の効果について、図３３Ａ、図３３Ｂ、図３３Ｃ、図３３Ｄを使用して説明する。ユーザは、ガイド光を見ることによって表示部２１２を見なくとも、被写体が画角内に収まっていることを容易に視認できる。ガイド光として用いられる光は、指向性を有する光である。ガイド光には、例えばレーザ光が用いられる。ガイド光の照射位置を画角内の顔以外の被写体に限定することで、ガイド光は、被写体の目に直接入射されない。図３３Ａでは、ユーザは、表示部２１２に表示されたライブビューを見ることができる。したがって、ユーザは、図３３Ｂに示す撮影結果のように被写体を画角内に容易に収めることができる。一方、図３３Ｃは、ユーザがライブビューを見て被写体が画角内に収まっているか否かを確認し難い状況を示している。この状況では、被写体が画角内に収まっていることをユーザに知らせるため、図３３ＤのＢ１で示すようにして被写体の一部にガイド光が照射される。

　なお、被写体が画角内に収まっていることの通知を目的としたガイド光の照射位置は、被写体の体の一部に限らず、画角の端部に相当する位置であってもよい。画角の両端部に照射されたガイド光を確認することで、ユーザは、表示部２１２を見なくとも、画角や、画角内におけるユーザの位置などを確認することができる。被写体の上又は左右に壁やビルなどのガイド光の照射を受ける別の被写体が存在するとき、制御部２１０は、光の照射を受ける物体にガイド光を照射させる。

　ここで図２９Ａ及び図２９Ｂの説明に戻る。ステップＳ４１０において画像データから顔が検出されなかったと判定するとき、制御部２１０は、撮像装置２００と被写体との距離が所定距離よりも近いか否かを判定する（ステップＳ４１２）。所定距離は、例えば３ｍである。ステップＳ４１２において撮像装置２００と被写体との距離が所定距離よりも近いと判定されるとき、制御部２１０は、被写体が画角内に収まってないことをユーザに知らせることを目的として、点滅するガイド光を被写体に照射させる（ステップＳ４１３）。

　続いて、制御部２１０は、撮像装置２００の重力方向と、ライブビューのために得られた画像データの重力方向とが一致しているか否か判定する（ステップＳ４１４）。ステップＳ４１４において撮像装置２００の重力方向がライブビュー用として得られた画像データの重力方向と一致するとき、制御部２１０は、画像データを図示しない記憶部に仮記憶させる（ステップＳ４１５）。後述するが、仮記憶された画像データは画像の合成に用いられる。この仮記憶された画像データは水平画像データと対応している。ステップＳ４１４において重力方向が一致していないとき、制御部２１０は、仮記憶をしない。ここで、仮記録された画像データは、撮影の直前に取得されるものであるとしている。しかしながら、仮記録に使用する画像データは、ユーザによる撮影の直近に取得されればよく、すなわち、撮影の直後に取得された画像データであってもかまわない。たとえば、撮影の１フレーム後に仮記録された画像データであってもよい。

　続いて、制御部２１０は、左手把持フラグが１にセットされているか否かを判定する（ステップＳ４１６）。ステップＳ４１６において左手把持フラグが１にセットされていると判定したとき、すなわち撮像装置２００が左手で把持されていると判定するとき、制御部２１０は、タッチ検出の位置に応じた左手操作の処理を行う（ステップＳ４１７）。

　左手操作の処理について説明する。図３４は、左手操作の処理を示すフローチャートである。図３４において、制御部２１０は、タッチパネル２１６上の二箇所への同時のタッチが検出されたか否かを判定する（ステップＳ６０１）。ステップＳ６０１においてタッチパネル２１６の二箇所への同時タッチが検出されたと判定するとき、制御部２１０は、図３５Ａに示すように、二箇所同時タッチを検出することでレリーズ操作を行うためのレリーズ用タッチ部Ｔ７を、タッチ部Ｔ１とは異なる位置に設ける（ステップＳ６０２）。例えば、レリーズ用タッチ部Ｔ７は、タッチ部Ｔ１よりタッチパネル２１６の端部に近い位置に設けられる。本実施形態では、左手把持における操作のためのタッチ部は、左手把持の判定によって判定されたタッチ部をタッチしていると考えられる指が届く範囲に設けられる。すなわち、その指が届かない範囲にタッチ部は設けられないため、タッチ部以外の領域がユーザの意思に反して押圧された際の誤動作は少ない。

　ステップＳ６０１においてタッチパネル２１６上の二箇所への同時にタッチが検出されなかったと判定するとき、すなわち一箇所へのタッチが検出されたと判定するとき、制御部２１０は、図３５Ｂに示すように、レリーズ用タッチ部Ｔ２、拡大ライブビュー用タッチ部Ｔ３、露出補正用タッチ部Ｔ４、三角形状タッチ部Ｔ６を、タッチパネル２１６におけるユーザの左手の指が接触可能な範囲内に設ける（ステップＳ６０３）。レリーズ用タッチ部Ｔ２は、ユーザが左手の指でタッチすることでレリーズ操作を行うための一か所のタッチ部である。拡大ライブビュー用タッチ部Ｔ３は、ユーザが指をスライドさせることで拡大ライブビュー操作を行うためのタッチ部である。拡大ライブビュー操作は、ライブビュー表示された画像データの一部を拡大した領域を、さらにライブビュー表示する動作を指す。この操作は、対象物を拡大して見ることが必要な撮影機器以外の装置においても有効である。露出補正用タッチ部Ｔ４は、ユーザが指をスライドさせることで露出補正操作を行うためのタッチ部である。三角形状タッチ部Ｔ６は、タッチ部Ｔ５とは異なる位置に設けられ、ユーザがタッチすることで所定操作を行うためのタッチ部である。

　タッチ部Ｔ２、Ｔ３、Ｔ４、Ｔ６又はＴ７をタッチパネル２１６に設けるときには、各タッチ部をユーザが視認しやすいように各タッチ部に対応した画像を表示部２１２に表示させても良い。例えば、図３５Ａ又は図３５Ｂに示すような楕円や、図３５Ｂに示す矢印のような画像を表示部２１２に表示させる。

　また、露出補正のように、被写体の視認に関わる一般的な動作、例えばピント補正などの操作がタッチによって行われてもよい。左手の指でタッチパネル２１６の三角形状タッチ部Ｔ６がタッチされていても、ユーザは表示部２１２の中央に表示された画像を確認することができる。つまり本発明の一実施形態による操作装置は、タッチパネル２１６の手で把持された領域以外の領域も表示位置として有効利用した、すなわち、直感的なユーザーインターフェース（ＵＩ）である。

　また、タッチ部の位置は、表示部２１２に表示されている画像に対して指が重ならないようすることと、指によってタッチ部を自然にタッチできることとが考慮されて決定されている。例えば、タッチのための指が表示部２１２の画像と重なることがあっても、操作用タッチ部の領域は、ユーザがその指を曲げたり広げたりすることによって画像を確認できるようなものであってもよい。すなわち、操作用タッチ部へのタッチにどの指が使用されるかによって、さらに、手の構造や手の可動範囲を考慮することによって、ユーザの指が自然にタッチ可能な操作用タッチ部の領域の位置は変わる。把持した手の一部の指は把持のために使用され、他の指は操作のために使用される。制御部２１０は、撮像装置２００が特定の把持がされたと判定するとき、タッチパネル２１６のタッチ位置の分布を判定することで、どの指で把持がされているかを判定する。なお、本発明の一実施形態では、撮像装置を左手で把持したときのタッチ部について説明している。しかし、本実施形態におけるタッチ部は、左手によるタッチに限らず、他の身体部位によるタッチに対応しても良い。例えば、機器を鷲づかみで把持した際、制御部２１０が、操作のための指がないと判定するとき、ユーザの鼻又は別の四肢でタッチさせることを考慮したタッチ部を改めて設けても良い。

　ここで、図２９Ａ及び図２９Ｂの説明に戻る。ステップＳ４１７の後、制御部２１０は、タッチパネル２１６がタッチ操作されたか否かを判定する（ステップＳ４１８）。ステップＳ４１８においてタッチ操作がなかったと判定するとき、制御部２１０は、処理をステップＳ４０７に移行させる。

　ステップＳ４１８においてタッチ部へのタッチが検出されたとき、すなわち、タッチパネル２１６が指で押圧された又は図３５Ｃに示すようなスライド操作がなされたと判定するとき、制御部２１０は、その操作がレリーズ操作であるか否かを判定する（ステップＳ４１９）。ステップＳ４１９において操作がレリーズ操作であると判定したとき、制御部２１０は、ユーザによる左手でのレリーズ操作がなされたと判定する。一方、ステップＳ４１９において操作がレリーズ操作ではないと判定したとき、制御部２１０は、拡大ライブビューや露出補正といった制御を押圧されたタッチ部に応じて行う（ステップＳ４２０）。

　ステップＳ４１６において左手把持フラグが１ではなかったとき、すなわちユーザが右手で撮像装置２００を握っているとき、制御部２１０は、レリーズボタンを使用したレリーズ操作がなされたか否かを判定する（ステップＳ４２１）。

　ステップＳ４１９又はステップＳ４２１においてレリーズ操作がなされたとき、制御部２１０は、被写体に向けて照射しているガイド光を消灯させる。その後、制御部２１０は、撮影を行う（ステップＳ４２２）。

　撮影の後、制御部２１０は、仮記憶により得られた画像データと撮影により得られた画像データとの合成が必要かつ合成が可能か否かを判定する（ステップＳ４２３）。合成が必要な状況とは、撮影時の重力方向と画像データの重力方向とが一致しなかったときである。合成が可能な状況とは、例えば、仮記憶された画像データ群の中に合成に使用可能と判定される画像データが含まれている状況である。合成に使用可能と判定される画像データは、合成が必要な画像データに類似の画像データであり、例えば、合成に必要な画像データの直前又は直後に撮影された画像データである。ステップＳ４２３において仮記憶されている画像データと撮影により得られた画像データとの合成が必要かつ可能であると判定したとき、制御部２１０は、両画像データを合成する（ステップＳ４２４）。

　画像データの合成の詳細について説明する。図３６Ａ－図３６Ｌは、画像データの合成が必要な状況の例として、ユーザがカヌーに乗り自分を撮影する状況を示す。図３６Ａの例では、ユーザは、右手でオールを持って、左手で撮像装置の操作を行う。図３６Ａの状況下での理想的な撮影結果は、図３６Ｂに示すように、撮影時の重力方向と画像データの重力方向とが一致した撮影結果である。しかしながら、前述の通り不安定な状況下のため、撮影結果は、図３６Ｃに示すような、撮影時の重力方向と画像データの重力方向とが一致していない撮影結果となることが多い。そこで、撮像装置２００は、撮影時に得られた撮影時の重力方向と画像データの重力方向とが一致していない画像データを、撮影時の重力方向と画像データの重力方向とが一致している画像データとして取得できるように合成を行う。

　図３７は、画像データの合成について示すフローチャートである。図３７において、制御部２１０は、撮影時に得られた画像データの重力方向（図３６ＣのＧ）を撮影時の重力方向（例えば下方向）と一致させる（ステップＳ７０１）。このために、制御部２１０は、例えば、図３６Ｄに示す画像データの重力方向が撮像時の重力方向と異なる画像データを、図３６Ｅに示すようにして傾ける。続いて、制御部２１０は、図３６Ｆに示すように、傾けた後の撮影画像データＩ１と仮記録させている水平画像データＩ２との間の一致度が最も高くなるように両画像データを重ね合わせて、図３６Ｈに示す合成画像データＩ３を得る（ステップＳ７０２）。例えば、画像データＩ１と画像データＩ２とで人物部Ｓの位置が合うように重ね合わせが行われる。画像データの重ね合わせを行った後、制御部２１０は、図３６Ｉに示すように水平画像データと撮影画像データとが重なっている部分にある水平画像データ部分を削除する（ステップＳ７０３）。例えば図３６Ｊに示すように、人物部Ｓにおける水平画像データが削除されることにより、人物部Ｓについては撮影画像データのみが残る。そして、制御部２１０は、図３６Ｋに示すように、合成画像データを四角形状に切り出す。（ステップＳ７０４）その後、図３７の処理が終了される。例えば、図３６Ｌでは、破線で示される部分が削除されて最終的な合成画像データが得られる。

　ここで、図２９Ａ及び図２９Ｂの説明に戻る。ステップＳ４２４の後、制御部２１０は、合成により得られた画像データを記録部２１４に記録する（ステップＳ４２５）。その後、制御部２１０は、処理をステップＳ４０７に移行させる。

　ステップＳ４２３において、合成が不要若しくは不可能であったと判定したとき、制御部２１０は、撮影により得られた画像データを記録部２１４にそのまま記録する（ステップＳ４２６）。その後、制御部２１０は、処理をステップＳ４０７に移行させる。

　以上説明したように、第３の実施形態の撮像装置２００は、まず、撮像装置２００が左手で把持されているか否かの判定を行う。左手で操作されたと判定するとき、制御部２１０は、タッチパネル２１６に左手での握り方に対応したタッチ部を設けさせる。握り方に対応したタッチ部を操作することによって、ユーザは、左手での操作を容易に行うことができる。

　本発明の一実施形態は、タッチパネルを使用して操作を可能とする操作装置であれば、撮像装置に限定されない。例えば、リモコンのような、ユーザに把持されたまま離されないように操作をしたい各種の操作装置へ応用される可能性がある。又は、産業用機器若しくは医療用機器の分野で使用されるコントロールボックスや据え置き機器の操作部材の握りの部分を有する操作装置へ応用される可能性がある。又は、車載機器のような、ブラインド操作を要する操作装置へ応用される可能性もある。さらに、本発明の一実施形態中では、操作装置の姿勢や撮像による顔検出結果について述べた。その操作装置の姿勢としては、レバーの傾きやリモコンの向けた方向などをこの範疇に含めても良い。さらに、撮像して検出されるものは、顔に限らず、リモコンやコントロールボックスを向けた方向のモニタ画面に映された対象物や機器そのものであっても良い。このような表示部確認と表示部上タッチを行う操作を前提とした機器で、本発明は効力を発揮する可能性がある。そこで、本発明は操作装置に属する。

　また、第３の実施形態の撮像装置２００は、撮影された非水平な画像データに対し、水平な画像データとなるような画像処理を行う。すなわち撮像装置２００は、非水平な画像データの水平方向を補正するために画像を傾ける。更に、撮像装置２００は、傾けられた画像データと、他の水平な画像データとを合成する。これにより、傾きが修正され、なおかつ、補正によって生じた不足が補われた画像データが提供される。

　画像データは、重力方向さえ定まっていれば、撮影されたものでなくても構わない。そこで、本発明は画像処理装置に属する。なお、本発明は、画像が水平に表示されることが重要な機器に対して、特に、産業用機器や医療用機器の分野において利用できる可能性がある。例えば、画像を表示するハンディタイプの測定器など、すなわち、人が手に持って使う機器では、画像の水平を補正する画像処理が求められる可能性がある。その画像処理によって、ユーザはハンディタイプの測定器に表示された画像を常に水平に見ることができる。若しくは、車外を撮影した画像を取得するような車載機器では、その画像は道路の傾きに応じて傾くことが考えられる。そこで、車載機器が撮影した道路の傾きを水平に補正されるように画像処理されることが考えられる。車載機器で画像処理された画像の用途は、例えば、運転手に車外の状況を即座に判断させるためのものである。一方、機器そのものが水平である据え置きの機器は、その機器の対象物が水平ではなかった画像が取得されたとしても、その対象物が水平になるように画像処理するように応用される可能性がある。

　また、第３の実施形態の撮像装置２００は、画角内に被写体が収まったと判定したときに、画角内の被写体の顔部を含まない位置にガイド光を照射する。ユーザは、ガイド光を視認することによって、たとえ、表示部２１２を見ることが困難である状況であっても、被写体が画角内に収まっていることを視認できる。このガイド光は、撮像装置だけでなく、機器のリモコンなど特定の機器の操作部材にも応用できる。例えば、リモコンが本体機器の方向へ向いていないことを示す警告としてのガイド光を投射する撮像装置として応用される可能性がある。この警告としてのガイド光は本体機器へ向かって投射されるため、人の眼に直接飛び込まない。又は、ガイド光は、産業用、医療用装置の操作部材など、表示部を見ながら操作するコントロールボックスや据え置き機器の操作部位にもリモコンと同様に応用される可能性がある。若しくは、機器操作のガイドや警告を文字として投射面に投射する撮像装置として応用されれば、遠視又は老眼のユーザは大きく照射された文字の光を見ることで警告やガイドを判別可能となる。若しくは、ガイド光がブラインド操作を必要とする車載機器に応用されれば、ユーザは車載機器の操作をガイド光の表示を見ることによって即座に判断できる。

　機器の姿勢や撮像による顔検出結果について述べたが、撮像装置の姿勢としては、レバーの傾きやリモコンの向けた方向などを、この範疇に含めても良い。さらに、撮像して利用されるものは、顔に限らず、リモコンやコントロールボックスを向けた方向のモニタ画面に映された対象物や機器そのものを検出するようにしても良い。また、操作機器の上にガイド表示をバーチャルで出すような用途にも応用できる可能性がある。本発明は、このような表示部の確認に従った操作を前提とした機器への応用が考えられる。

Claims

　被写体からの光束を結像させる光学系と、
　前記光学系によって結像された光束に応じた画像データを得る撮像部と、
　撮像装置の姿勢を検出する姿勢検出部と、
　前記光学系の光軸を天頂に向けた状態で撮影するモードであるか前記光学系の光軸を撮影者側に向けた状態で撮影するモードであるかを前記姿勢から判定し、該判定した結果に応じて前記撮像部を用いた撮影動作の際の制御を変更する制御部と、
　を具備する撮像装置。
　前記制御部は、前記光学系の光軸を天頂に向けた状態で撮影するモードであると判定した場合に、前記撮像部で得られた円環状の画像データ又は円状の画像データを記録部に記録するように制御し、前記光学系の光軸を撮影者側に向けた状態で撮影するモードであると判定した場合に、前記撮像部で得られた矩形の画像データを前記記録部に記録するように制御する請求項１に記載の撮像装置。
　前記円環状の画像データ又は前記円状の画像データを帯状の画像データに変換する画像変換処理部をさらに具備する請求項２に記載の撮像装置。
　前記光学系の光軸と平行な方向の発光方向を有する第１のフラッシュと、
　前記光学系の光軸と垂直な方向の発光方向を有する第２のフラッシュと、
　を具備し、
　前記制御部は、前記光学系の光軸を天頂に向けた状態で撮影するモードでありかつフラッシュの発光が必要であると判定した場合に、前記第２のフラッシュを発光させるように制御し、前記光学系の光軸を撮影者側に向けた状態で撮影するモードでありかつフラッシュの発光が必要であると判定した場合に、前記第１のフラッシュを発光させるように制御する請求項１に記載の撮像装置。
　タッチパネルをさらに具備し、
　前記制御部は、前記光学系の光軸を撮影者側に向けた状態で撮影するモードである場合でありかつ前記タッチパネルで検出されるタッチ位置が所定の位置である場合に、前記タッチパネルの操作に応じて前記撮影を実行させるように前記タッチパネルの設定を変更する請求項１に記載の撮像装置。
　前記姿勢検出部で検出される前記撮像装置の姿勢の変化に応じて前記撮像装置の電源をオンさせる又はオフさせる電源制御部をさらに具備する請求項５に記載の撮像装置。
　前記光学系は、第１の光学系と、前記第１の光学系よりも広視野の第２の光学系とを有し、
　前記撮像部は、前記第１の光学系に対応した第１の撮像部と、前記第２の光学系に対応した第２の撮像部とを有する請求項１に記載の撮像装置。
　前記第１の撮像部で得られた第１の画像データと前記第２の撮像部で得られた第２の画像データとを合成する画像合成処理部をさらに具備する請求項７に記載の撮像装置。
　前記制御部は、前記第１の画像データと前記第２の画像データとに人物のパーツが分割して存在している場合に、前記画像合成処理部による合成を実行させる請求項８に記載の撮像装置。
　光学系によって結像された光束に応じた画像データを得ることと、
　撮像装置の姿勢を検出することと、
　前記光学系の光軸を天頂に向けた状態で撮影するモードであるか前記光学系の光軸を撮影者側に向けた状態で撮影するモードであるかを前記姿勢から判定することと、
　前記判定した結果に応じて撮影動作の際の制御を変更することと、
　を具備する撮像方法。
　タッチパネルと、
　手によって前記タッチパネルの把持がなされたとき、前記手の把持が感知された前記タッチパネルの領域である把持領域を除く前記タッチパネルの領域における前記把持に対応した特定領域に、前記把持に対応した所定操作を行うための操作用タッチ部の領域を設けるように制御する制御部と、
　を具備する操作装置。
　前記制御部は、前記特定領域として手のひらが触れる位置から決定される位置に前記操作用タッチ部の領域を設けるように制御する請求項１１に記載の操作装置。
　前記制御部は、前記把持領域によって定まる可動な指に対応して前記操作用タッチ部の領域の位置を決定する請求項１１に記載の操作装置。
　画像を表示する表示部と、
　前記表示部を制御する表示制御部と、
　をさらに具備し、
　前記表示制御部は、前記操作用タッチ部を示す画像を前記表示部に表示させるように制御する請求項１１に記載の操作装置。
　前記制御部は、前記タッチパネルの少なくとも二箇所に同時に指が近接又は接触したときに前記手で前記タッチパネルが把持されたと判定する請求項１１に記載の操作装置。
　画像を表示する表示部をさらに具備し、
　前記制御部は、前記操作用タッチ部がスライド操作を感知したとき、前記スライド操作に応じて前記表示部に表示された前記画像の拡大率を変化させ、前記拡大率を変化させた前記画像を前記表示部に表示させるように制御する請求項１１に記載の操作装置。
　画像を表示する表示部をさらに具備し、
　前記画像の露出補正を行う画像処理部と、
　をさらに具備し、
　前記制御部は、前記操作用タッチ部におけるスライド操作が検出されたとき、前記スライド操作に応じて前記画像処理部によって前記画像の露出度を変化させ、前記露出度を変化させられた前記画像を前記表示部に表示させるように制御する請求項１１に記載の操作装置。
　被写体を撮像して画像を取得する撮像部をさらに具備し、
　前記制御部は、前記操作用タッチ部によって前記手の把持が感知されたとき、前記撮像部による撮像を行わせるように制御する請求項１１に記載の操作装置。
　手での把持がなされ、手の把持を感知するタッチパネルを具備する操作装置の制御方法であって、
　前記手で前記タッチパネルの把持がされたことを検出することと、
　タッチされた前記タッチパネルの領域である把持領域において、タッチ部タッチ位置の情報に応じて、前記把持に対応した所定操作を行うための操作用タッチ部の領域を前記手の把持が感知された位置を除く前記タッチパネル上に設けることと、
　を具備する操作装置の制御方法。
　画像データの重力方向と前記画像データの撮影時の重力方向とが一致するときに前記画像データが水平な水平画像データであると判定し、一致しないときに前記画像データは非水平な非水平画像データであると判定する姿勢判定部と、
　非水平画像データの被写体と水平画像データの被写体とが類似しているか否かを判定する制御部と、
　前記非水平画像データの被写体と前記水平画像データの被写体とが類似していると判定されたとき、前記非水平画像データの重力方向及び少なくとも１つの前記水平画像データの重力方向を一致させ、さらに、前記非水平画像データの前記被写体及び少なくとも１つの前記水平画像データの前記被写体を揃えるように合成して合成画像データを生成し、前記合成画像データにおいて前記非水平画像データと重なっている前記水平画像データの部分を削除する画像合成部と、
　を具備する画像処理装置。
　前記水平画像データは、前記非水平画像データが取得される直前又は前記非水平画像データが取得された直後の画像データである請求項２０に記載の画像処理装置。
　請求項２０の画像処理装置において、前記画像合成部は、前記合成画像データにおいて前記水平画像データと重なっていない非水平画像データの部分を削除する請求項２０に記載の画像処理装置。
　対象物を撮影し、前記対象物を含む画像データを取得する撮像部と、
　前記画像データから顔部を検出する顔検出部と、
　ガイド光を照射する補助光発光部と、
　前記撮像部の撮影領域内であって前記顔部を含まない位置へ前記ガイド光を照射するように前記補助光発光部を制御する補助光制御部と、
　を具備する撮像装置。
　前記補助光制御部は、前記撮影領域の端部の対象物へ前記補助光発光部からガイド光を照射するように制御する請求項２３に記載の撮像装置。
　前記補助光制御部は、前記対象物と前記撮像装置との距離が近距離であって、前記顔検出部が前記顔部を検出していないとき、前記ガイド光を点滅させるように前記補助光発光部を制御する請求項２３に記載の撮像装置。
　前記補助光発光部は、指向性を有する前記ガイド光を照射する請求項２３に記載の撮像装置。
　前記補助光発光部は、前記ガイド光の照射によって画像を形成する請求項２３に記載の撮像装置。