以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図1に示す撮像装置100は、例えばデジタルカメラ、撮影機能付き携帯電話機、撮影機能付き携帯端末である。図1に示す撮像装置100は、光学系102aと、全方位光学系102bと、撮像部104aと、撮像部104bと、画像処理部106と、表示部108と、タッチパネル110と、記録部112と、操作部114と、姿勢検出部116と、顔検出部118と、フラッシュ120aと、フラッシュ120bと、制御部122とを有している。
光学系102aは、被写体からの光束を撮像部104aに入射させるための光学系である。光学系102aは、例えば可変焦点距離の光学系である。光学系102aは、固定焦点距離の光学系であっても良い。全方位光学系102bは、その光軸が光学系102aの光軸と平行になるように撮像装置100に配置され、光学系102aよりも広視野(広画角)の光学系である。全方位光学系102bは、例えば図2に示す光学系である。図2に示す例の全方位光学系102bは、自由曲面レンズ1021bと、結像レンズ群1022bとを有しており、光軸Lに対して軸対称な構造を有している。自由曲面レンズ1021bは、光軸Lを天頂とする全天方向からの光束Fを内面で反射させて結像レンズ群1022bに入射させるように構成された自由曲面レンズである。結像レンズ群1022bは、自由曲面レンズ1021bを介して入射した光束Fを撮像部104bに入射させるように構成されている。
撮像部104aは、光学系102aから入射された光束に基づいて画像データを生成する。撮像部104aは、撮像素子と、A/D変換回路とを有している。撮像素子は、光学系102aを介して結像された光束をアナログの電気信号に変換する。A/D変換回路は、撮像素子で得られた電気信号をデジタル信号である画像データに変換する。撮像部104bは、全方位光学系102bから入射された光束に基づいて画像データを生成する。撮像部104bは、撮像部104aと同様の構成を有していて良いし、異なる構成を有していても良い。例えば、撮像部104bは、撮像素子の画素数及び撮像面の面積が撮像部104aよりも大きくて良い。
画像処理部106は、撮像部104aで得られた画像データと撮像部104bで得られた画像データに対して画像処理を施す。画像処理部106は、例えばホワイトバランス補正やガンマ補正といった画像の表示や記録のために必要な基本的な画像処理を行う。また、画像処理部106は、画像変換処理を行う画像変換処理部及び画像合成処理を行う画像合成処理部としての機能を有する。画像変換処理は、撮像部104bを介して得られた円環状の画像データを帯状の画像データに変換する処理である。画像合成処理は、撮像部104aを介して得られた画像データと撮像部104bを介して得られた画像データとを合成する処理である。画像変換処理及び画像合成処理については後で詳しく説明する。
表示部108は、例えば撮像装置100の本体背面に設けられた液晶ディスプレイである。表示部108は、制御部122から入力される画像データに基づいて画像を表示する。タッチパネル110は、例えば表示部108の表示画面の上に設けられている。タッチパネル110は、ユーザの指等の接触を検出し、接触位置の情報を制御部122に入力する。なお、表示部108は、1ヶ所である必要はなく、撮像装置100の本体側面や光学系の側に設けられても良い。しかし、これは、小型の携帯機器で携帯性を良くする場合に小型化する傾向にあって、撮影時にいちいち見て確認できない状況も多かった。このような状況からもノールック撮影の必要性が高まる傾向にあった。
記録部112は、例えば撮像装置100に対して着脱自在に構成されたメモリカードである。記録部112は、制御部122によって生成された画像ファイル等の各種の情報を記録する。近年は、無線で外部の記録部に飛ばして記録する場合もあるが、このような場合であっても本実施形態の技術は有効である。
操作部114は、撮像装置100の本体に設けられたタッチパネル110以外の機械的な操作部材である。操作部114は、例えばレリーズボタン、電源スイッチを含む。レリーズボタンは、ユーザが撮影実行を指示するための操作部材である。電源スイッチは、ユーザが撮像装置100の電源のオン又はオフを指示するための操作部材である。
姿勢検出部116は、例えば撮像装置100の水平方向(X軸)、垂直方向(Y軸)、奥行き方向(Z軸)のそれぞれに対して平行に配置された3軸加速度センサであり、撮像装置100の姿勢を検出する。図3(a)及び図3(b)に、撮像装置100に設定される3軸の例が示されている。水平方向(X軸)は、例えば撮像装置100が横位置で構えられたときに地表に対して平行でありかつ光学系102a及び全方位光学系102bの光軸に対して垂直な撮像装置100の方向である。垂直方向(Y軸)は、例えば撮像装置100が横位置で構えられたときに地表に対して垂直な撮像装置100の方向である。奥行方向(Z軸)は、例えば撮像装置100が横位置で構えられたときに地表に対して平行でありかつ光学系102a及び全方位光学系102bの光軸に対して平行な撮像装置100の方向である。
顔検出部118は、例えばパターンマッチングを用いて画像データにおける人物の顔部を検出し、検出した顔部の位置情報を制御部122に入力する。
フラッシュ120a及びフラッシュ120bは、発光することによって被写体を照明する。ここで、フラッシュ120aとフラッシュ120bとは、発光方向が直交するように撮像装置100の本体に設けられている。第1のフラッシュとしてのフラッシュ120aは、図3(a)で示すように、光学系102a及び全方位光学系102bの光軸が被写体の方向を向いたときに被写体と相対するように、すなわち発光方向が光学系102a及び全方位光学系102bの光軸と平行になるように、例えば撮像装置100の上面に設けられている。このとき、フラッシュ120aは、図3(a)で示すように、光学系102a及び全方位光学系102bが設けられている撮像装置100の正面に対して所定の間隔dを有するように撮像装置100の上面に設けられることが好ましい。このようにしてフラッシュ120aが設けられることにより、全方位光学系102bとフラッシュ120aとの間には段差が形成される。この段差により、フラッシュ120aからの照明光が直接的に全方位光学系102bに入射することが防止される。第2のフラッシュとしてのフラッシュ120bは、図3(b)で示すように、光学系102a及び全方位光学系102bの光軸が天頂方向を向いたときに被写体の方向を向くように、すなわち発光方向が光学系102a及び全方位光学系102bの光軸と垂直になるように、撮像装置100の側面に設けられている。
制御部122は、例えばCPUを有し、撮像装置100の全体的な動作を制御する。制御部122は、撮影制御部としての機能を有する。撮影制御部としての機能は、撮像制御部としての機能と、タッチパネル制御部としての機能と、フラッシュ制御部としての機能と、画像処理制御部としての機能と、電源制御部としての機能とを含む。撮像制御部としての機能は、撮像部104a及び104bによる露出動作を制御する機能である。タッチパネル制御部としての機能は、撮影時における撮像装置100の姿勢に応じてタッチパネル110の設定を制御する機能である。フラッシュ制御機能は、フラッシュの発光が必要なとき、撮影時における撮像装置100の姿勢に応じてフラッシュ120aとフラッシュ120bの何れかを発光させる機能である。画像処理設定機能は、撮影時における撮像装置100の姿勢に応じて画像処理部106の画像処理の内容を制御する機能である。電源制御部としての機能は、撮像装置100の各ブロックの電源のオン又はオフに関する制御を行う機能である。表示部が複数ある場合、制御部122が、撮像装置100の姿勢に応じて表示を切り替えても良い。このとき、制御部122は、表示部位や縦横等を考慮して表示を切り替える。
次に、本実施形態に係る撮像装置100の動作を説明する。本実施形態においては、ユーザによって撮像装置100の構え方が変更されることにより、異なる3種類の撮影が行われる。
図4は、第1の撮影としての通常撮影の例を示す図である。第1の撮影として、ユーザUは、撮像装置100の光学系102a及び全方位光学系102bの光軸を被写体S1、S2に向けるように構える。光学系のない背面(光学系の配置面の反対の面)に表示部108を設けると比較的大きな面積にでき、ユーザUは、表示部108でタイミングや構図を確認しながらの撮影を行えば良い。
図4に示す状態でユーザUによって撮影が行われると、撮像部104aでは、図5(a)で示すような光学系102aの光軸を中心とする所定の矩形範囲の画像が得られる。例えば、光学系102aが被写体S1、S2の方を向いている場合には、撮像部104aにおいて被写体S1、S2の周辺の画像が得られる。また、撮像部104bでは、図5(b)で示すような全方位光学系102bの光軸周りの360度方位の範囲の円環状の画像が得られる。例えば、全方位光学系102bが被写体S1、S2の方を向いている場合には、被写体S1、S2の周囲の背景Bの画像が得られる。このような第1の撮影では、従来の撮像装置と同様にして被写体を撮影することができる。
ここで、撮像部104aで得られた図5(a)に示す画像データと図5(b)に示す画像データとは、図6に示すようにして合成されても良い。合成により、光学系102aのみを用いて撮影した場合よりも広角の画像を得ることが可能である。合成の手法は、例えば後で説明する手法によって図5(b)の画像データを帯状画像データに変換した後、帯状画像データ内の被写体S1、S2の位置に図5(a)に示す画像データを合成する手法を用いることができる。この合成画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様で合っても良い。
図7は、第2の撮影としての全身自分撮りの例を示す図である。第2の撮影として、ユーザUは、撮像装置100の光学系102a及び全方位光学系102bの光軸を自分に向けるように構える。図7に示す状態でユーザUによって撮影が行われると、撮像部104aでは、図8(a)で示すような光学系102aの光軸を中心とする所定の矩形範囲の画像が得られる。例えば、光学系102aがユーザUの顔部の方を向いている場合には、ユーザUの顔部の周辺の画像が得られる。また、撮像部104bでは、図8(b)で示すような全方位光学系102bの光軸周りの360度方位の範囲の円環状の画像が得られる。例えば、全方位光学系102bがユーザUの顔部の方を向いている場合には、ユーザUの胴体等の周辺の画像が得られる。このような第2の撮影では、自分撮りの際に、ユーザUの顔付近のみならず、ユーザの全身を含めた周囲の画像をも得ることができる。光学系のある面に表示部108を設けるとしても、大きな面積にはできず、タイミングや構図を確認しながらの撮影は困難になる。特に、不安定な状況では、確認しながらの撮影をしていると注意が散漫になり、安全が脅かされる可能性があった。
ここで、撮像部104aで得られた図8(a)に示す画像データと図8(b)に示す画像データとは、図9に示すようにして合成されても良い。合成の手法は、例えば後で説明する手法によって図8(b)の画像データを帯状画像データに変換した後、帯状画像データ内のユーザUの位置に図8(a)に示す画像データを合成する手法を用いることができる。この合成画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様で合っても良い。
図10は、第3の撮影としての全方位撮影の例である。第3の撮影として、ユーザUは、撮像装置100の光学系102a及び全方位光学系102bの光軸を天頂に向けるように構える。被写体S1、S2とユーザUとの3次元上での位置関係が例えば図11で示すものであるとする。このとき、ユーザUによって撮影が行われると、撮像部104bでは、図12に示すような全方位光学系102bの光軸を中心とする360度方位の画像が得られる。このような第3の撮影では、撮影者であるユーザUを含む撮像装置100の周囲の画像を一度に撮影することができる。ここでも光学系のある面や撮像装置100の側面に表示部108を設けるとしても、大きな面積にはできず、タイミングや構図を確認しながらの撮影は困難になる。もちろん、頭上に掲げて撮影すれば、撮影者を含まない撮影も可能である。
ここで、全方位光学系102bを介して撮像部104bに入射する像に基づいて得られる画像は、図12で示すような円環状の画像となる。この円環状の画像は、図13で示すようにして帯状の画像に変換されても良い。この画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様で合っても良い。
以下、撮像装置100の動作についてさらに説明する。図14は、撮像装置100の動作を示すフローチャートである。図14において、制御部122は、電源オン制御を行う(ステップS101)。電源オン制御は、撮像装置100の電源を種々の条件に従ってオンする制御である。電源オン制御の詳細については後で説明することとし、ここでは、電源オン制御の結果、撮像装置100の電源がオンされたものとして説明を続ける。
撮像装置100の電源がオンされた後、制御部122は、撮像装置100の動作モードが撮影モードであるか否かを判定する(ステップS102)。撮像装置100は、撮影モードと再生モードとを動作モードとして有している。撮影モードは、記録用の画像を撮影するための動作モードである。再生モードは、記録された画像を再生するための動作モードである。撮影モードと再生モードとの切り替えは、ユーザのタッチパネル110の操作又は操作部114の操作によって行われる。
ステップS102において動作モードが撮影モードでないと判定した場合に、制御部122は、再生モードの処理を行う(ステップS103)。再生モードの処理については、従来と同様の技術を適用できる。ここでは、再生モードの処理について簡単に説明する。再生モードにおいては、記録部112に記録されている画像ファイルの一覧が表示部108に表示される。ユーザは、一覧表示された画像ファイルのうちの所望の画像ファイルを選択する。このユーザによって選択された画像ファイルが記録部112から読み出されて表示部108に再生される。再生モードの処理の後、処理がステップS113に移行する。
ステップS102において動作モードが撮影モードであると判定した場合に、制御部122は、姿勢検出部116によって撮像装置100の姿勢を検出する(ステップS104)。その後、制御部122は、姿勢検出部116の検出結果から、光学系102a及び全方位光学系102bの光軸が天頂方向を向いているか否か、すなわち図10で示したような全方位撮影が行われようとしているか否かを判定する(ステップS105)。光軸が天頂方向を向いていることは、Y軸の加速度が重力加速度を示していることから検出できる。
ステップS105において光軸が天頂方向を向いていると判定した場合に、制御部122は、フラッシュ120bの発光方向への加速度が発生しているか否か、すなわちユーザによってフラッシュ120bの発光方向に向けて撮像装置100を動かす動作がなされたか否かを判定する(ステップS106)。フラッシュ120bの発光方向への加速度が発生していることは、X方向の加速度から検出できる。ステップS106において、フラッシュ120bの発光方向への加速度が発生していないと判定した場合に、制御部122は、処理をステップS113に移行させる。
ステップS106において、フラッシュ120bの発光方向への加速度が発生していると判定した場合に、制御部122は、撮像部104bを介して得られる画像データにおける被写体(例えば顔)の輝度が所定輝度よりも低輝度であるか否かを判定する(ステップS107)。ステップS107において被写体の輝度が所定輝度よりも低輝度でないと判定した場合に、制御部122は、撮像部104bを用いた全方位撮影を実行する(ステップS108)。このとき、制御部122は、被写体の輝度が適正になるように撮像部104bの露出を制御することにより、撮影を実行する。ステップS107において被写体の輝度が所定輝度よりも低輝度であると判定した場合に、制御部122は、フラッシュの発光が必要であるとしてフラッシュ120bを発光させつつ、撮像部104bを用いた全方位撮影を実行する(ステップS109)。ここで、図14の例では、低輝度か否かを判定することによってフラッシュの発光の必要性が判定される。この他、例えばユーザによってフラッシュを発光させるように設定された場合にフラッシュを発光させるようにしても良い。
このように、本実施形態では、光軸が天頂方向を向いている場合には、ユーザによって撮像装置100が動かされることをトリガとして撮影が実行される。ここで、全方位撮影では、図10で示したように、ユーザ及び被写体が撮像装置100の周囲を囲むように存在している可能性がある。この状態で光学系102a及び全方位光学系102bの光軸と発光方向が同じであるフラッシュ120aを発光させてしまうと、ユーザ及び被写体が眩しさを感じるおそれがある。したがって、全方位撮影においてフラッシュの発光の必要性が生じた場合には、フラッシュ120aではなくフラッシュ120bを発光させる。ここで、撮像装置100による撮影実行のトリガは必ずしも撮像装置100を動かすことである必要はない。例えば、レリーズボタンの操作が撮影実行のトリガであって良い。
ステップS108又はステップS109の全方位撮影の後、制御部122は、画像変換処理をするか、すなわち図13で示したような帯状の画像データを記録するか否かを判定する(ステップS110)。帯状の画像データを記録するか否かは、例えばユーザによって選択される。
ステップS110において画像変換処理をしないと判定した場合に、制御部122は、図15で示すように、撮像部104bの全有効範囲の画像データI1を画像処理部106において処理した画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部112に記録する(ステップS111)。ここで、全方位光学系102bによって撮像素子に結像される範囲は円環状である。これに対し、一般に撮像素子の像面は矩形である。したがって、全方位撮影であっても、画像ファイルとして記録する画像データは、矩形の画像データである。なお、以下においては、円環状の像が結像された矩形の画像データを全周画像データと言う。
ステップS110において画像変換処理をすると判定した場合に、制御部122は、画像処理部106において画像変換処理を行って帯状画像データI2を生成する。そして、制御部122は、作成した帯状画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部112に記録する(ステップS112)。帯状画像データを作成するための手法としては、例えば図15の実線矢印及び破線矢印で示すような、全周画像データの各座標と帯状画像データの各座標との対応関係を表す変換関数fを用いた座標変換によって作成する手法が考えられる。勿論、帯状画像データの作成手法は、ここで示した手法に限るものではない。
続いて、制御部122は、電源オフ制御を行う(ステップS113)。電源オフ制御は、撮像装置100の電源を種々の条件に従ってオフする制御である。電源オフ制御の詳細については後で説明する。
ステップS105において光軸が天頂を向いていないと判定した場合に、制御部122は、光軸が地表方向を向いていないか否かを判定する(ステップS114)。光軸が地表方向を向いていることは、Y軸の加速度から検出できる。ステップS114において光軸が地表方向を向いていると判定した場合に、制御部122は、処理をステップS113に移行させる。この場合、撮影が行われない。ステップS114において光軸が地表方向を向いていないと判定した場合に、すなわち図4で示したような通常撮影又は図7で示したような全身自分撮りが行われようとしている場合に、制御部122は、画像処理部106により、撮像部104aで得られた画像データと撮像部104bで得られた画像データとを図6や図9で示すようにして合成する(ステップS115)。
続いて、制御部122は、タッチパネル110の出力からタッチパネル110のタッチ位置を検出する(ステップS116)。撮影は、不安定な状況下で行われる可能性がある。例えば、図16は、ユーザUが崖に掴まりながら自分撮りを行おうとしている状況を示す図である。このとき、ユーザは、一方の手で崖に掴まりつつ、もう一方の手で撮像装置100を自身に向けて撮影を行う。ここで、図16のように撮像装置100を構えた場合、ユーザUがレリーズボタン114aを押すことは困難である。ユーザが無理にレリーズボタン114aを押そうとすると、撮像装置100を落としてしまう可能性もある。したがって、図16のような状況では、レリーズボタン114aを使わずに撮影を行えることが望ましい。本実施形態では、撮影時の状況が図16のような状況であると推定されるときには、タッチパネル110を用いた撮影操作によって撮影を行えるようにする。図16のような状況は、例えばユーザUによる撮像装置100の持ち方から判定される。図17は、図16のような撮像装置100の持ち方がされているときのタッチパネル110の状態を示した図である。図16のような状況では、ユーザUは、撮像装置100を落とさないよう、撮像装置100を片手でしっかりと持とうとする。このとき、ユーザの複数の指Fが図17に示すようにしてタッチパネル110に触れることが予想される。すなわち、撮像装置100を支えられるよう、ユーザは、ある程度に指Fを開いて持つことが予想される。本実施形態では、図17に示すように複数の指Fの間隔が略等間隔であるときに図16のような状況であると判定する。すなわち、タッチ検出の後、制御部122は、近接する3点のタッチ位置の間隔TH1及びTH2が略等しいか否かを判定する(ステップS117)。
ステップS117において間隔TH1及びTH2が略等しくないと判定した場合に、制御部122は、ステップS114で生成した合成画像を表示部108にスルー画像として表示させる(ステップS118)。その後、制御部122は、ユーザによって撮影操作がなされたか否かを判定する(ステップS119)。図16のような状況ではないので、撮影操作がなされたか否かの判定は、従来と同様で良い。例えば、レリーズボタンが押されたか否かを判定すれば良い。ステップS119において撮影操作がなされていないと判定した場合に、制御部122は、処理をステップS113に移行させる。ステップS119において撮影操作がなされたと判定した場合に、制御部122は、処理をステップS121に移行させる。この場合には、撮影が行われる。
ステップS117において間隔TH1及びTH2が略等しいと判定した場合に、制御部122は、近接する3点のタッチ位置のうちの中央のタッチ位置のタッチ状態が変化したか否かを判定する(ステップS120)。図16のような状況では、ユーザは表示部108を見ることができない。したがって、スルー画表示は不要である。ステップS120において中央のタッチ位置のタッチ状態が変化していないと判定した場合に、制御部122は処理をステップS113に移行させる。ステップS120において例えばユーザの指が離れる等して中央のタッチ位置のタッチ状態が変化していないと判定した場合に、制御部122は処理をステップS121に移行させる。この場合には、撮影が行われる。特に、全方位撮影ができる撮像装置の場合では、光学系の部分が突出しており、その部分を触らないように撮影しなければならないのみならず、光学系の側に指等が突き出していると指が入った画像になるなど、持ち方に制限が発生する。指が入らないような機器のつかみ型では、多くの指が背面に行くので、こうした撮影方法は多くの指を利用する方が誤動作を減らすことができる。さらに、タッチ面の特定箇所でなく、指のタッチの相対的な位置だけで操作可能なので、迅速に間違いのない撮影が可能となる。また、逆に、普通の撮影の時には、このような撮影方法は不自然なので、誤動作を防ぐことができる。したがって機器の姿勢によって、このような仕様とすることは失敗写真防止や省エネルギー上、プライバシー保護等に有効である。
撮影を行うと判定した場合、制御部122は、制御部122は、撮像部104bを介して得られる画像データにおける被写体(例えば顔)の輝度が所定輝度よりも低輝度であるか否かを判定する(ステップS121)。ステップS121において被写体の輝度が所定輝度よりも低輝度でないと判定した場合に、制御部122は、撮像部104aと撮像部104bの両方を用いた撮影を実行する(ステップS122)。このとき、制御部122は、被写体の輝度が適正になるように撮像部104a及び撮像部104bの露出を制御することにより、撮影(通常撮影又は全身自分撮り)を実行する。ステップS121において被写体の輝度が所定輝度よりも低輝度であると判定した場合に、制御部122は、フラッシュの発光が必要であるとしてフラッシュ120aを発光させつつ、撮像部104aと撮像部104bの両方を用いた撮影を実行する(ステップS123)。フラッシュ120aを発光させることによって被写体を適切に照明することが可能である。余計な発光があると、反射光によって生じるフレア等が画質に影響したり、省エネルギー上も好ましくないことは言うまでもない。まぶしくて迷惑をかけることもなくなる。
撮影後、制御部122は、撮像部104aで得られた画像データと撮像部104bで得られた画像データの両方に人物のパーツが分断されているか否かを判定する(ステップS124)。例えば、撮像部104aで得られた画像データ中に顔のみが存在し、撮像部104bで得られた画像データ中に胴体のみが存在するような場合には、撮像部104aで得られた画像データと撮像部104bで得られた画像データの両方に人物のパーツが分断されていると判定される。人物の胴体の検出は、肌色検出やパターンマッチング等の周知手法を用いて行われる。ステップS124において2つの画像データに人物のパーツが分断されていると判定した場合に、制御部122は、撮影によって撮像部104aと撮像部104bとでそれぞれ得られた画像データとを図6や図9に示すようにして画像処理部106によって合成した画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部112に記録する(ステップS125)。ステップS124において2つの画像データに人物のパーツが分断されていないと判定した場合に、制御部122は、撮影によって撮像部104aで得られた画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部112に記録する(ステップS126)。ステップS125又はステップS126で画像ファイルを記録した後、制御部122は、処理をステップS113に移行させる。
図18は、電源オン制御について示したフローチャートである。電源オン制御においては、ユーザによる電源スイッチの操作がなくとも、ユーザの例えばポケットから撮像装置100が取りだされる動作が検出されたときに、撮像装置100の電源が自動的にオンされるような制御がなされる。電源オン制御の開始時において、制御部122は、電源制御のモードがモーションモードであるか否かを判定する(ステップS201)。モーションモードは、自動的に撮像装置100の電源がオン又はオフされるように制御がなされるモードである。電源制御のモードをモーションモードとするか否かの切り替えは、ユーザのタッチパネル110の操作又は操作部114の操作によって行われる。
ステップS201において電源制御のモードがモーションモードでないと判定した場合に、制御部122は、ユーザによる電源スイッチのオン操作がなされたか否かを判定する(ステップS202)。ステップS202において電源スイッチのオン操作がなされていないと判定した場合に、制御部122は、処理をステップS201に戻す。この場合、電源のオフ状態が継続される。ステップS202において電源スイッチのオン操作がなされたと判定した場合に、制御部122は、図1で示した撮像装置100の各ブロックの電源をオンさせる(ステップS203)。その後、制御部122は、処理をステップS102に移行させる。
ステップS201において電源制御のモードがモーションモードであると判定した場合に、制御部122は、姿勢検出部116の電源をオンさせ、その他のブロックの電源をオフさせる(ステップS204)。続いて、制御部122は、姿勢検出部116の出力から、重力と逆方向の加速度が撮像装置100に発生したか否かを判定する(ステップS205)。図16の状況でユーザUがポケットから撮像装置100を取り出すとすると、撮像装置100には矢印Aで示すような加速度が発生する。ステップS205の判定は、矢印Aで示すうちの重力と逆向き、すなわち上向きの加速度が発生しているかを判定する処理である。ステップS205において重力と逆向きの加速度が撮像装置100に発生していないと判定した場合に、制御部122は、処理をステップS201に戻す。
ステップS205において重力と逆向きの加速度が撮像装置100に発生していると判定した場合に、制御部122は、姿勢検出部116の出力から、重力と直交する向きの加速度が撮像装置100に発生したか否かを判定する(ステップS206)。ステップS206の判定は、矢印Aで示すうちの重力と直交する向き、すなわち地表と平行な平面方向(図16の例ではユーザUの背後に向かう向き)の加速度が発生しているかを判定する処理である。ステップS206において重力と直交する向きの加速度が撮像装置100に発生していないと判定した場合に、制御部122は、処理をステップS201に戻す。
ステップS206において重力と直交する向きの加速度が撮像装置100に発生していると判定した場合に、制御部122は、姿勢検出部116の出力から、撮像装置100の姿勢が固定されたか否かを判定する(ステップS207)。姿勢が固定されたことは、例えば姿勢検出部116で検出される加速度が所定時間(例えば5秒程度)変化しないことから判定する。ステップS207において姿勢が固定されていないと判定した場合に、制御部122は、処理をステップS201に戻す。
ステップS207において姿勢が固定されたと判定した場合に、制御部122は、タッチパネル110の電源をオンさせる(ステップS208)。その後、制御部122は、処理をステップS117に移行させる。ステップS205からステップS207の判定により、ユーザが撮像装置100をポケットから取り出すような動作をしていると推定される。このとき、図16のような撮影が行われる可能性を想定して本実施形態では、ステップS205からステップS207の何れの判定でもYesであるとの判定がされた場合には、タッチパネル110の電源をオンさせた後、直ちにステップS117の判定が行われる。これにより、ユーザは、図16のような状況において電源スイッチ及びレリーズボタンといった操作部を操作することなく撮影を行うことが可能である。
図19は、電源オフ制御について示したフローチャートである。電源オフ制御においては、ユーザによる電源スイッチの操作がなくとも、所定時間の経過によって撮像装置100の電源が自動的にオフされるような制御がなされる。電源オフ制御の開始時において、制御部122は、ユーザによる電源スイッチのオフ操作がなされたか否かを判定する(ステップS301)。ステップS301において電源スイッチのオフ操作がなされたと判定した場合に、制御部122は、図1で示した撮像装置100の各ブロックの電源をオフさせる(ステップS302)。撮像装置100の各ブロックの電源をオフさせた後、制御部122は、電源オフ制御を終了させる。ここで、電源をオフさせた後でも電源オン制御が行われるように、制御部122の必要な部分の電源はオン状態となっている。
ステップS301においてユーザによる電源スイッチのオフ操作がなされていないと判定した場合に、制御部122は、電源制御のモードがモーションモードであるか否かを判定する(ステップS303)。ステップS303において電源制御のモードがモーションモードであると判定した場合に、制御部122は、姿勢検出部116の出力から、撮像装置100の姿勢の固定が解除されてから所定時間(例えば5秒)が経過したか否かを判定する(ステップS304)。ステップS304において撮像装置100の姿勢の固定が解除されてから所定時間が経過していないと判定した場合に、制御部122は、処理をステップS117に移行させる。この場合には、ユーザがまだ撮影の意図があるとして撮像装置100の電源をオン状態のままにしておく。ステップS304において撮像装置100の姿勢の固定が解除されてから所定時間が経過したと判定した場合に、制御部122は、処理をステップS204に移行させる。この場合には、モーションモードである場合の電源オン制御がなされる。
ステップS303において電源のモードがモーションモードでないと判定した場合に、制御部122は、無操作状態で所定時間(例えば1分)が経過したか否かを判定する(ステップS305)。ステップS305において無操作状態で所定時間が経過していないと判定した場合に、制御部122は、処理をステップS102に戻す。この場合には、撮像装置100の電源はオン状態のままである。ステップS305において無操作状態で所定時間が経過したと判定した場合に、制御部122は、処理をステップS302に移行させる。この場合には、撮像装置100の各ブロックの電源がオフされる。
以上説明したように本実施形態では、通常の光学系102aと全方位光学系102bの2種類の光学系が撮像装置100に設けられている。このため、本実施形態では、通常撮影に加えて、撮像装置100の姿勢に応じた異なる2種類の自分撮りを行うことが可能である。すなわち、全身自分撮りでは、ユーザの顔部だけでなく、全身を撮影することが可能である。また、全方位撮影では、撮像装置100の周囲の360度方位の画像を得ることができる。したがって、撮像装置100の周囲を囲む複数の被写体を同時に撮影することが可能である。さらに、本実施形態では、全方位撮影の際に得られた円環状の画像データを帯状の画像データに変換して記録することもできる。もちろん、この実施形態に限らず、「自分撮り」と書いた部分は、必ずしもそれにとどまらず、自分の方向を撮影した背面撮影、ノールック撮影であっても、同様の効果を奏することは言うまでもない。
また、全身自分撮りの際等に、ユーザが操作部114を操作できなくなるような状況が生じ得る。本実施形態では、ユーザが操作部114を操作できないような図16の状況を撮像装置100の姿勢の変化から判定し、図16の状況であると推定される場合にはタッチパネル110による撮影操作を可能としている。さらに、図16のような状況では電源スイッチの操作も困難であることから、本実施形態では、図16のような状況であると推定される場合には撮像装置100の電源が自動でオン又はオフされるようにしている。これにより、ユーザは、図16のような操作部114の操作が困難な状況でも撮影操作を行うことが可能である。なお、図16のような自分撮りの際には、撮像部104a又は撮像部104bで得られる画像データに、撮像装置100を持っているユーザUの手が写ることが想定される。このため、ステップS117の判定に代えて画像データ中で手が検出された場合には、図16のような状況であると判定するようにしても良い。また、単純にユーザUの顔が検出された場合には、図16のような状況であると判定するようにしても良い。
また、本実施形態では、通常撮影や全身自分撮りの際に光学系102aを介して得られた画像データと全方位光学系102bを介して得られた画像データとが合成され得る。これにより、光学系102aのみでは得られないような広視野の画像を得ることが可能である。
また、本実施形態では、発光方向の異なる2つのフラッシュが撮像装置100に設けられている。これにより、撮像装置100の姿勢に応じた適切なフラッシュを選択して被写体を照明することが可能である。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。図20は、本発明の第2の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図20においては、図1と同一の部分については図1と同一の参照符号を付すことによって説明を省略する。第2の実施形態に係る撮像装置100は、光学系102a及び全方位光学系102bの代わりに魚眼光学系102cを有している。魚眼光学系102cは、前面に大型の凹レンズを有し、この凹レンズによって光軸を天頂とする全天からの光束を撮像部104に入射させるように構成されている。魚眼光学系102cは、全方位光学系102bとは異なり、図21の左部で示すような円状の像を撮像部104の撮像素子上に結像させる。言い換えれば、第2の実施形態においては、撮像素子の中央部にも光束が結像される。したがって、第2の実施形態では2つの光学系は不要である。このため、撮像部も1つで良い。
次に、本実施形態に係る撮像装置100の動作を説明する。第2の実施形態における撮像装置100の基本的な動作は、第1の実施形態で説明したもの同様である。すなわち、第2の実施形態においても、ユーザが撮像装置100の構え方を変更することにより、通常撮影と、全身自分撮り(或いは、背面撮影)と、全方位撮影の3種類の撮影を行うことが可能である。第1の実施形態と異なる点は、魚眼光学系102cが用いられることにより、第1の実施形態のような画像合成処理を行わなくとも広視野の画像を得ることができる点である。ただし、画像の端には大きな歪みが残る。したがって、例えば、通常撮影の場合には、比較的に歪みが小さくなる領域である、イメージサークル(魚眼光学系102cによって有効と見なせる輝度の像が結像される範囲)Iに内接する矩形領域A1の画像データ(対角画像データ)を切り出してから記録することが望ましい。これに対し、全身自分撮りや全方位撮影の場合には切り出しを行わずに全領域A2の画像データ(全周画像データ)を記録することが望ましい。勿論、対角画像データを記録するか全周画像データを記録するかがユーザによって選択されても良い。
また、第2の実施形態において図22に示すような全方位撮影が行われた際には、撮影により得られた円状画像データを帯状画像データに変換する画像変換処理が行われ得る。ここで、第2の実施形態では、帯状画像データを生成する際の画像データの切り出し範囲が変更されて良い。例えば、図23(a)は、外周がイメージサークルIと一致しており、内周が所定の長さB1であるように円環状の切り出し範囲が設定された例を示す図である。また、図23(b)は、外周がイメージサークルIの周と一致しており、内周がB1よりも短い周B2であるように円環状の切り出し範囲が設定された例を示す図である。例えば、全方位撮影が行われた場合、全周画像データの中央部は空等が写っている可能性が高い。したがって、中央部は必ずしもなくとも良い。一方、円環状の切り出し範囲内には少なくとも被写体の顔が存在していることが望ましい。このため、コントラストの有無や顔の有無に応じて円環状の切り出し範囲が設定されることが望ましい。
さらに、円環状の切り出し範囲の内周の長さは、帯状画像を生成する際の内周の拡大率に応じても設定されることが望ましい。図24(a)に示すように、円環状の画像データの内周側の径をR1とし、外周側の径をR0としたとき、内周の長さl1は2π×R1であり、外周の長さl0は2π×R0になる。ここで、l1<l0である。このような円環状の画像データを帯状の画像データに変換するためには、図24(b)に示すように内周側をk(=R0/R1)倍の拡大率で拡大する必要がある。拡大は、線形補間等の周知の手法が用いられる。一般に拡大率が大きくなると画質が劣化する。このため、内周側だけ大きな拡大率で拡大が行われると帯状画像データの上側と下側とで画質の差が大きくなり、ユーザに対して違和感を与える可能性がある。したがって、kに上限を設けておき、kが上限を超えない範囲内で被写体が大きく写るように内周の長さを設定する。例えば、図24(c)に示すような仰角45度のときのkであるk=2を上限にする。
以上説明したように本実施形態では、魚眼光学系を用いることにより、複数の光学系を用いることなく、第1の実施形態と同様の効果を得ることが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、民生用、業務用カメラ(撮影装置)にとどまらず、安全確認装置や、モバイル監視装置、検査装置等の表示を重視した表示装置への応用ができることは言うまでもない。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部122に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部122は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。