JP5646582B2

JP5646582B2 - 撮像装置

Info

Publication number: JP5646582B2
Application number: JP2012266349A
Authority: JP
Inventors: 達之上村; 野中　修; 修野中
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2012-12-05
Filing date: 2012-12-05
Publication date: 2014-12-24
Anticipated expiration: 2032-12-05
Also published as: US20140168476A1; US9137448B2; JP2014112785A

Description

本発明は、撮像装置に関する。

撮像装置による撮像において、被写体の全体の雰囲気を表す広い範囲を捉えた画像と、その画像の中の特定の被写体を表す拡大画像とを同時に記録したいという要求がある。そこで、画角が異なる複数の画像を同時に取得する撮像装置に係る技術が知られている。また、例えば特許文献１には、広い範囲を捉えた画像に拡大画像を合成して、２つの画像を１枚の合成画像として記録することに係る技術が開示されている。

特開２０１０−２６８０１９号公報

広い範囲を捉えた画像と拡大画像とを同時に撮影している場合において、撮影者が広い範囲を捉えた画像の画角を変化させることを希望することがある。しかしながら、広い範囲を捉えた画像の画角が変化すると、拡大画像の撮影範囲が変化することがある。一人の撮影者が、２つの画像の撮影範囲を同時に考慮しながらカメラの操作を行うことは困難である。

そこで本発明は、ユーザが指定したサブ画像（拡大画像）の撮影範囲を尊重しつつ、自由にズーム撮影を行うことができる撮像装置を提供することを目的とする。

前記目的を果たすため、本発明の一態様によれば、撮像装置は、ズーム機構を有する光学系と、前記光学系が形成する被写体像を撮像し、所定の撮像画像領域を有する画像データを生成する撮像部と、前記画像データに基づいて、前記撮像画像領域に含まれる第１の画像領域を有する第１の画像のデータを生成する第１の画像生成部と、前記光学系の状態及び前記第１の画像領域の大きさに関わらず前記被写体像に対する大きさが変化せず、かつ、前記第１の画像領域よりも面積が狭い、前記撮像画像領域に含まれる第２の画像領域を有する第２の画像のデータを、前記画像データに基づいて生成する第２の画像生成部と、前記第２の画像領域が前記第１の画像領域に含まれるときは、前記第１の画像領域と前記撮像画像領域とが一致するように前記ズーム機構を制御し、前記第２の画像領域が前記第１の画像領域に含まれないときは、前記第２の画像領域が前記撮像画像領域に含まれるように、前記ズーム機構を制御する光学系制御部と、前記第１の画像のデータと前記第２の画像のデータとを記録媒体に記録させる記録制御部とを具備し、前記第１の画像生成部は、前記第２の画像領域が前記第１の画像領域に含まれるときは、前記撮像画像領域を有する前記画像データを前記第１の画像のデータとし、前記第２の画像領域が前記第１の画像領域に含まれないときは、前記撮像画像領域から前記第１の画像領域に相当する前記画像データを抽出して前記第１の画像のデータを生成する。

本発明によれば、ユーザが指定したサブ画像（拡大画像）の撮影範囲を尊重しつつ、自由にズーム撮影を行うことができる撮像装置を提供できる。

本発明の一実施形態に係るデジタルカメラの構成例を示すブロック図。一実施形態に係るデジタルカメラが用いられる場面を説明するための図。一実施形態に係るデジタルカメラの動作の概略を説明するための図。一実施形態に係るデジタルカメラの動作の概略を説明するための図。一実施形態に係るデジタルカメラの撮影制御処理の一例を示すフローチャート。一実施形態に係るデジタルカメラのズーム制御処理の一例を示すフローチャート。一実施形態に係るデジタルカメラのＭＲズームアップ処理の一例を示すフローチャート。一実施形態に係るデジタルカメラの動作を説明するための図。一実施形態に係るデジタルカメラの動作を説明するための図。一実施形態に係るデジタルカメラによって取得される画像データを説明するための図。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。本実施形態に係るデジタルカメラ１０の構成例の概略を図１に示す。デジタルカメラ１０は、広い領域の画像を含む主画像と主画像よりも狭い領域の画像を含むサブ画像との２種類の画像を同時に取得するマルチレコーディングを行える。デジタルカメラ１０は、信号処理制御部１と、光学系２と、撮像部３と、記録部４と、仮記録部５と、操作部６と、表示部８と、タッチパネル８ｂとを有する。信号処理制御部１は、後に詳述するように、デジタルカメラ１０の各部を制御し、また、各種信号処理を行う。

光学系２は、レンズや絞り等を含み、被写体像を撮像部３の撮像素子３ａに導く。本実施形態では、光学系２は、ズーム機構を有している。撮像部３は、撮像素子３ａと前処理部３ｂとを含む。撮像素子３ａは、光学系２を介して導かれた被写体像を受光し、光電変換を行い被写体像に応じた電気信号を出力する。前処理部３ｂは、例えばＡＳＩＣを含む。前処理部３ｂは、撮像素子３ａから出力された電気信号を取得し、相関二重サンプリング、ＡＧＣ、Ａ／Ｄ変換等の処理を行い、画像信号を出力する。

記録部４は、信号処理制御部１によって画像処理され圧縮された画像データを記録する。記録部４に記録される画像データには、静止画と動画とがある。記録部４は、例えばデジタルカメラ１０と着脱可能な一般的な記録メディアを含む。仮記録部５は、撮像部３で取得された画像信号を信号処理制御部１の制御下で、仮記録する。仮記録部５は、主画像に係る第１の動画と、サブ画像に係る第２の動画と、主画像及び／又はサブ画像に係る静止画とを記録することができる。すなわち、仮記録部５は、画像データの分配器としても機能する。

操作部６は、撮影者による各種操作を受け付ける。操作部６は、動画撮影の開始及び終了を入力するための動画撮影ボタン６ａと、静止画撮影の指示を入力するためのレリーズボタン６ｂと、ズームアップ及びズームダウンの指示を入力するためのズーム操作ボタン６ｃとを含む。操作部６は、入力された各種操作に係る情報を信号処理制御部１に出力する。

表示部８は、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイを含む。表示部８は、信号処理制御部１の制御下で、各種画像を表示する。表示部８には、例えば主画像とサブ画像とのスルー画や、撮影された静止画などが表示される。タッチパネル８ｂは、表示部８のディスプレイ上に設けられており、撮影者のタッチ入力を検出して、検出結果を信号処理制御部１に出力する。

信号処理制御部１は、領域制御部１ａと、光学系制御部１ｂと、画像読取部１ｃと、第１の画像処理部１ｄと、第２の画像処理部１ｅと、特徴検出部１ｆと、追尾部１ｇと、画像合成・選択部１ｈと、表示制御部１ｉと、静止画圧縮部１ｊと、第１の動画圧縮部１ｋと、第２の動画圧縮部１ｌと、記録制御部１ｍとを含む。

領域制御部１ａは、撮像部が生成した画像のうちから主画像の領域とサブ画像の領域とを決定する。主画像の領域とサブ画像の領域とを決定するに当たっては、ズーム操作ボタン６ｃやタッチパネル８ｂから入力された情報や、後述の追尾部１ｇから入力された情報を利用する。光学系制御部１ｂは、領域制御部１ａが決定した主画像の領域及びサブ画像の領域に係る情報に基づいて、光学系２のズーム機構の制御を行う。画像読取部１ｃは、撮像部３から出力された画像を読み取り、その画像を仮記録部５に仮記録する。

第１の画像処理部１ｄは、仮記録部５から第１の動画及び／又は静止画を取得し、領域制御部１ａが決定した主画像の領域に係る情報に基づいて、主画像に係る動画及び／又は静止画を作成する画像処理を行う。この画像処理には、コントラストや色の補正が含まれる。第１の画像処理部１ｄは、処理後の画像データを画像合成・選択部１ｈに出力する。第２の画像処理部１ｅは、仮記録部５から第２の動画及び／又は静止画を取得し、領域制御部１ａが決定したサブ画像の領域に係る情報に基づいて、サブ画像に係る動画及び／又は静止画を作成する画像処理を行う。この画像処理には、コントラストや色の補正が含まれる。第１の画像処理部１ｄは、処理後の画像データを画像合成・選択部１ｈに出力する。

特徴検出部１ｆは、領域制御部１ａからサブ画像として指定された領域に係る情報を取得し、第１の動画の中からサブ画像に含まれる画像の特徴を検出する。特徴検出部１ｆは、人の顔を検出する。追尾部１ｇは、特徴検出部１ｆによって検出された特徴を追尾する。追尾部１ｇは、追尾結果を領域制御部１ａに出力する。

画像合成・選択部１ｈは、表示部８に表示する画像や、記録部４に記録する画像を決定し、画像合成や画像の選択を行う。画像合成・選択部１ｈは、操作部６やタッチパネル８ｂからの入力に基づいて、第１の画像処理部１ｄによって画像処理された主画像に係る動画及び静止画と、第２の画像処理部１ｅによって画像処理されたサブ画像に係る動画及び静止画とを用いる。表示部８に表示される画像及び記録部４に記録される画像は、第１の動画、第２の動画及び静止画の中から適宜選択され合成された画像としてもよい。

表示制御部１ｉは、画像合成・選択部１ｈによって決定された表示画像を表示部８に表示させる。静止画圧縮部１ｊは、画像合成・選択部１ｈの決定に基づいて、静止画の圧縮を行う。第１の動画圧縮部１ｋは、画像合成・選択部１ｈの決定に基づいて、主画像に係る動画の圧縮を行う。第２の動画圧縮部１ｌは、画像合成・選択部１ｈの決定に基づいて、サブ画像に係る動画の圧縮を行う。記録制御部１ｍは、静止画圧縮部１ｊ、第１の動画圧縮部１ｋ及び第２の動画圧縮部１ｌによって圧縮された画像データを記録部４に記録させる。ここでは、静止画データが圧縮されて記録部４に記録される例を示したが、ＲＡＷデータとして記録されてもよい。

このデジタルカメラ１０は、例えば図２に示すようなシーンで効果を奏する。すなわち、例えば図２に示されるように、複数の人が存在し、これらの人の全体の様子を撮影しつつ、同時にそのうちの一部の関心がある部分についても拡大した画像を取得したい場合である。被写体が人である場合に限らず、広い範囲の画像を得つつ、その中の一部の拡大画像も得たい場合に、本実施形態に係るデジタルカメラ１０は適用され、複数の画角を有する画像が同時に取得される。このように、複数の画像を同時に取得するモードをマルチレコーディングモードと称することにする。

マルチレコーディングモードにおける撮影では、例えば図３に示されるように、撮影者は、表示部８に表示されたマルチレコーディングを表す「ＭＲ」ボタン１０２をタッチする。タッチパネル８ｂは、「ＭＲ」ボタン１０２がタッチされたことを検出する。続いて、図４に示されるように、撮影者は、注目する例えば人物Ｂの部分をタッチする。その結果、デジタルカメラ１０は、図４において表示部８の左上に示さるように人物Ｂの部分と全体の画像との２つの画像を同時に取得する。

マルチレコーディングにおいて、全体を含む画像を主画像と称し、人物Ｂ部分のように選択された画像をサブ画像と称することにする。また、サブ画像が指定されている状態を部分指定されていると称することにする。なお、マルチレコーディング中には、図４に示されるように、表示部８の左下に停止ボタン１１０が表示される。停止ボタン１１０がタッチされたとき、サブ画像の取得は終了する。マルチレコーディングにおいては、主画像とサブ画像との２つの画像が取得される。

なお、図３及び図４に示されるように、本実施形態に係るデジタルカメラ１０には、動画の開始及び終了の指示を入力するための動画撮影ボタン６ａと、静止画撮影の指示を入力するためのレリーズボタン６ｂと、ワイド側又はテレ側にズーム駆動させるためのズーム操作ボタン６ｃとが設けられている。

本実施形態に係るデジタルカメラ１０の撮影動作について、図５に示すフローチャートを参照して説明する。本実施形態では、主に主画像として利用される第１の動画と、主にサブ画像として利用される第２の動画とが取り扱われる。本実施形態では、制御の容易さのため、第１の動画と第２の動画とは、共に常に取得されている。

ステップＳ１０１において、信号処理制御部１は、撮像部３から画像信号を取得し、スルー画を表示部８に表示させる。また、信号処理制御部１は、このスルー画に係る第１の動画を仮記録部５に仮記録をさせることを開始する。この仮記録では、所定の期間だけ動画が仮記録され、要求に応じてこの仮記録された動画の情報が出力される。仮記録された画像は、所定の期間が経過したら順次消去される。ここで、第１の動画は、主画像となる動画である。

ステップＳ１０２において、信号処理制御部１は、ズーム制御処理を行う。ズーム制御処理について、図６に示すフローチャートを参照して説明する。ステップＳ２０１において、信号処理制御部１は、ズーム操作がなされているか否かを判定する。ズーム操作は、例えば図３に示すようなデジタルカメラ１０において、ズーム操作ボタン６ｃが押圧されることで行われる。また、ズーム操作は、タッチパネル８ｂ上でタッチされた２点の距離を変化させる、いわゆるピンチインやピンチアウトによって行われてもよい。ズーム操作がなされていないとき、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。ズーム操作がなされていると判定されたとき、処理はステップＳ２０２に進む。

ステップＳ２０２において、信号処理制御部１は、マルチレコーディングに係る部分指定があるか否か、すなわち、サブ画像が指定されているか否かを判定する。部分指定があると判定されたとき、処理はステップＳ２０３に進む。ステップＳ２０３において、信号処理制御部１は、ズームの方向が拡大方向であるか否か、すなわちズームアップであるか否かを判定する。拡大方向であるとき、処理はステップＳ２０４に進む。ステップＳ２０４において、信号処理制御部１は、ＭＲズームアップ処理を行う。

ＭＲズームアップ処理について、図７に示すフローチャートを参照して説明する。ステップＳ３０１において、信号処理制御部１は、光学系２のズーム機構がテレ端にあるか否かを判定する。テレ端にあると判定されたとき、処理はステップＳ３１１に進む。一方、テレ端にないと判定されたとき、処理はステップＳ３０２に進む。

ステップＳ３０２において、信号処理制御部１は、次に光学ズームによってズームアップしたとしてもサブ画像の画角を確保可能であるか否かを判定する。ここで、サブ画像の画角を確保可能か否かについて図８を参照して説明する。サブ画像の領域は、例えば、図４に示されるように被写体がタッチされたときにその被写体が含まれる適当な領域が領域制御部１ａ及び特徴検出部１ｆの連携によって選択されることで、又は図８（ａ）に示されるように２本の指によっていわゆるピンチされて指定されることで決定される。このようにして決定されたサブ画像で求められる領域をサブ画像領域５０２と称することにする。これに対して、主画像の領域を主画像領域５０４と称することにする。

図８（ａ）に示されるように、サブ画像領域５０２の中心が、主画像領域５０４の中心と異なる場合を考える。このような状態で主画像についてズームアップすると、主画像領域５０４が図８（ｂ）のようになるまでは、サブ画像領域５０２が主画像領域５０４に含まれるので、主画像から一部を切り出すことでサブ画像を生成できる。しかしながら、主画像について図８（ｂ）よりもさらにズームアップされると、図８（ｃ）に示されるように、サブ画像領域５０２は主画像領域５０４に含まれないことになる。ステップＳ３０２の判定においては、図８（ｃ）に示されるように、サブ画像領域５０２が主画像領域５０４に含まれないとき、サブ画像の画角が確保されないと判定される。

サブ画像の画角が確保されないとき、次のように主画像とサブ画像とを作成する。すなわち、図８（ｂ）に示されるように、サブ画像領域５０２が主画像領域５０４に含まれるまでは、光学ズームを用いてズームアップが行われる。一方、サブ画像が確保されないと判定されたときは、光学ズームは行われない。すなわち、撮像部３によって、図８（ｂ）と同様の画角の画像が取得される。図８（ｄ）に示されるように、撮像部３によって取得される領域を撮像画像領域５０６と称することにする。サブ画像の画角が確保されないと判定されたとき、主画像は、撮像画像領域５０６から電子ズームによって、すなわち、撮像画像領域５０６から主画像領域５０４が切出されることによって、ズームアップした画像が取得される。また、サブ画像も、撮像画像領域５０６から切り出される。すなわち、撮像画像領域５０６からサブ画像領域５０２が切り出されることによって、取得される。このように光学ズームが制限されることによって、図８（ｃ）に示されるように、サブ画像の画角が確保されない状態を回避することができる。

図７に戻ってＭＲズームアップ処理の説明を続ける。ステップＳ３０２において、サブ画像の画角が確保可能でないと判定されたとき、処理はステップＳ３１１に進む。一方、確保可能であると判定されたとき、処理はステップＳ３０３に進む。ステップＳ３０３において、信号処理制御部１は、光学系２をズームアップ動作させて、光学ズームにより主画像を拡大させる。ステップＳ３０４において、信号処理制御部１は、光学ズームによる拡大に従って、主画像におけるサブ画像用に切り取る領域を拡大する。なお、例えばサブ画像が顔の画像を含むとき、その顔の中心位置がサブ画像の中心位置に合わされてもよい。すなわち、光学ズームが行われても、サブ画像の画像領域が変化しないように調整される。

ステップＳ３０４において行われる処理について、図９を参照して説明する。ズームアップ前において、図９（ａ）のような画像が得られていたとする。ここで、主画像の画像領域が枠５１２であり、サブ画像の画像領域が枠５１４であるとする。このとき、サブ画像は、図９（ｃ）に示されるようになる。

図９（ａ）と同一の被写体についてズームアップすると、主画像の画像領域は枠５２２のようになる。このとき、主画像の画像領域に対するサブ画像の画像領域の割合を変化させないと、サブ画像の画像領域は枠５２６のようになる。その結果、サブ画像は、図９（ｄ）に示されるようになる。主画像に係るズームアップに応じて、サブ画像が図９（ｃ）から図９（ｄ）のように変化するのは好ましくない。

そこで、本実施形態では、主画像に係るズームアップによっても、サブ画像が例えば図９（ｃ）から変化しないように、主画像からサブ画像が切り出される領域を調整する。すなわち、図９（ｂ）に示されるように、主画像の画像領域が枠５２２であるのに対して、サブ画像の画像領域が枠５２４となるように、主画像に対するサブ画像の割合をおおきくする。この割合は、ズームアップ前の画像領域が枠５２８でありズームアップ後の画像領域が枠５２２であるとき、ズームアップ前の枠５１２に対する枠５１４の割合が、ズームアップ後の枠５２８に対する枠５２４の割合と等しくなるように調整される。

このように調整されることで、光学ズームが行われても、サブ画像の画像領域が変化しない。その結果、撮影者は、表示部８に表示される主画像の注目し、主画像に係るズームアップの調整に専念すればよく、サブ画像について考慮しなくてもよくなる。

ステップＳ３０５において、信号処理制御部１は、主画像から切り取ったサブ画像用の画像をリサイズし、サブ画像に適したサイズとする。その後、ＭＲズームアップ処理は終了し、処理は図６を参照して説明しているズーム制御処理に戻る。

ステップＳ３１１において、信号処理制御部１は、電子ズームによる拡大が可能であるか否かを判定する。電子ズームが可能でないと判定されたとき、処理はステップＳ３１２に進む。ステップＳ３１２において、信号処理制御部１は、例えばズームアップできない旨の警告を表示部８に表示させる。警告は表示に限らず、警告音によるものでもよい。その後、ＭＲズームアップ処理は終了し、処理は図６を参照して説明しているズーム制御処理に戻る。

ステップＳ３１１において、電子ズームによる拡大が可能であると判定されたとき、処理はステップＳ３１３に進む。ステップＳ３１３において、信号処理制御部１は、電子ズームにより主画像を拡大させる。ステップＳ３１４において、信号処理制御部１は、サブ画像用に切り取る領域を調整する。なお、例えばサブ画像が顔の画像を含むとき、その顔の中心位置がサブ画像の中心位置に合わされてもよい。すなわち、電子ズームが行われても、サブ画像の画像領域が変化しないように調整される。その後、処理はステップＳ３０５に進む。

図６に戻って、ズーム制御処理の説明を続ける。ステップＳ２０４のＭＲズームアップ処理の後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２０３において、拡大方向でないと判定されたとき、処理はステップＳ２１１に進む。ステップＳ２１１において、信号処理制御部１は、電子ズーム中であるか否かを判定する。すなわち、サブ画像の画角が確保可能でない状態では、電子ズームが利用されているので、ステップＳ２１１の判定において電子ズーム中であると判定される。一方、サブ画像の画角が確保可能な状態では、電子ズームは利用されていないので、ステップＳ２１１の判定において電子ズーム中でないと判定される。電子ズーム中であると判定されたとき、処理はステップＳ２１２に進む。ステップＳ２１２において、信号処理制御部１は、電子ズームにより主画像の画角を広角化させる。ステップＳ２１３において、信号処理制御部１は、サブ画像用に切り取る領域を調整する。なお、例えばサブ画像が顔の画像を含むとき、その顔の中心位置がサブ画像の中心位置に合わされてもよい。すなわち、電子ズームが行われても、サブ画像の画角が変化しないように調整される。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２１１において、電子ズームでないと判定されたとき、処理はステップＳ２１４に進む。ステップＳ２１４において、信号処理制御部１は、光学系２のズーム機構はワイド端にあるか否かを判定する。ワイド端にあると判定されたとき、処理はステップＳ２１５に進む。ステップＳ２１５において、信号処理制御部１は、これ以上ズームダウンして画角を広げることができない旨の警告を例えば表示部８に表示させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２１４において、ズーム機構はワイド端にないと判定されたとき、処理はステップＳ２１６に進む。ステップＳ２１６において、信号処理制御部１は、光学系２をズームダウン動作させて、光学ズームにより主画像の画角を広角化させる。ステップＳ２１７において、信号処理制御部１は、光学ズームの広角化に従って、主画像におけるサブ画像用に切り取る領域を縮小する。なお、例えばサブ画像が顔の画像を含むとき、その顔の中心位置がサブ画像の中心位置に合わされてもよい。すなわち、光学ズームが行われても、サブ画像の画像領域が変化しないように調整される。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２０２において、部分指定がないと判定されたとき、処理はステップＳ２２１に進む。ステップＳ２２１において、信号処理制御部１は、ズームの方向が拡大方向であるか否か、すなわちズームアップであるか否かを判定する。拡大方向であるとき、処理はステップＳ２２２に進む。ステップＳ２２２において、信号処理制御部１は、光学系２のズーム機構はテレ端にあるか否かを判定する。テレ端にないと判定されたとき、処理はステップＳ２２３に進む。ステップＳ２２３において、信号処理制御部１は、光学系２をズームアップ動作させて、光学ズームにより画像を拡大させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２２２において、テレ端にあると判定されたとき、処理はステップＳ２２４に進む。ステップＳ２２４において、信号処理制御部１は、電子ズームによるさらなるズームアップが可能であるか否かを判定する。電子ズームが不可能であると判定されたとき、処理はステップＳ２２５に進む。ステップＳ２２５において、信号処理制御部１は、これ以上ズームアップして画像を拡大することができない旨の警告を例えば表示部８に表示させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２２４において、電子ズームが可能であると判定されたとき、処理はステップＳ２２６に進む。ステップＳ２２６において、信号処理制御部１は、電子ズームにより画像を拡大させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２２１において、拡大方向でないと判定されたとき、処理はステップＳ２３１に進む。ステップＳ２３１において、信号処理制御部１は、電子ズーム中であるか否かを判定する。電子ズーム中であると判定されたとき、処理はステップＳ２３２に進む。
ステップＳ２３２において、信号処理制御部１は、電子ズームにより画角を広角化させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２３１において電子ズーム中でないと判定されたとき、処理はステップＳ２３３に進む。ステップＳ２３３において、信号処理制御部１は、光学系２のズーム機構はワイド端であるか否かを判定する。ワイド端であると判定されたとき、処理はステップＳ２３４に進む。ステップＳ２３４において、信号処理制御部１は、これ以上ズームダウンして画角を広げることができない旨の警告を例えば表示部８に表示させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

ステップＳ２３３において光学ズームがワイド端でないと判定されたとき、処理はステップＳ２３５に進む。ステップＳ２３５において、信号処理制御部１は、光学系２をズームダウン動作させて、光学ズームにより画角を広角化させる。その後、ズーム制御処理は終了し、処理は図５を参照して説明している撮影制御処理に戻る。

図５に戻って撮影制御処理の説明を続ける。ズーム制御処理の後、処理はステップＳ１０３に進む。ステップＳ１０３において、信号処理制御部１は、部分指定がされているか否かを判定する。部分指定がされていないと判定されたとき、処理はステップＳ１０５に進む。一方、表示部８に表示された「ＭＲ」ボタンがタッチされたとタッチパネル８ｂが検出する等、部分指定がされていると判定されたとき、処理はステップＳ１０４に進む。

ステップＳ１０４において、信号処理制御部１は、表示部８に表示された枠内に、サブ画像を表示させる。サブ画像は、例えば、図４に示されるように、表示部８の左上に設けた枠内に表示される。また、信号処理制御部１は、サブ画像に用いられる第２の動画を仮記録部５に仮記録させる。この際、信号処理制御部１は、第２の動画においてサブ画像の注目被写体を追尾する。

ステップＳ１０５において、信号処理制御部１は、部分指定が解除されたか否かを判定する。部分指定が解除されていないと判定されたとき、処理はステップＳ１０７に進む。一方、例えば、表示部８に表示された停止ボタンがタッチされたとタッチパネル８ｂが検出する等、部分指定が解除されたと判定されたとき、処理はステップＳ１０６に進む。

ステップＳ１０６において、信号処理制御部１は、サブ画像の画像領域を主画像の画像領域と等しくする。本実施形態では、主画像とサブ画像とが常に取り扱われるので、サブ画像に係る部分指定が解除されたときは、便利のため、サブ画像の画像領域は主画像の画像領域にそろえられる。また、信号処理制御部１は、第２の動画の仮記録と、第２の動画に係る注目被写体の追尾を終了する。

ステップＳ１０７において、信号処理制御部１は、静止画撮影の指示が入力されたか否かを判定する。例えばレリーズボタン６ｂが押圧された等、静止画撮影の指示が入力されたとき、処理はステップＳ１０８に進む。ステップＳ１０８において、信号処理制御部１は、静止画撮影を行う。信号処理制御部１は、静止画の画像データを記録部４に記録する。ステップＳ１０９において、信号処理制御部１は、仮記録部５に記録された第１の動画又は第２の動画に基づいて、静止画の前後の動画を、静止画と関連付けて記録部４に記録する。

ステップＳ１０９で記録されるデータの模式図を図１０（ａ）に示す。この図に示されるように、静止画には、この静止画の前後に係る動画が関連付けて記録されている。ここで、部分指定がされているとき、静止画は、主画像とサブ画像とどちらの画像でもよい。また、静止画に主画像とサブ画像との何れが用いられるかに関わらず、動画には、主画像に係る第１の動画が用いられても、サブ画像に係る第２の動画が用いられてもよい。なお、図１０（ａ）において、静止画が大きく表現されているのは、静止画の方が画像サイズが大きいことを表す。このような、静止画の前後に動画が設けられている画像データを回想フォトと称することにする。

図５に戻って、撮影制御処理の説明を続ける。ステップＳ１０７において、静止画撮影の指示が入力されていないとき、処理はステップＳ１１１に進む。ステップＳ１１１において、信号処理制御部１は、動画撮影の指示が入力されたか否かを判定する。例えば、動画撮影ボタン６ａが押圧された等、動画撮影の指示が入力されたとき、処理はステップＳ１１２に進む。ステップＳ１１２において、信号処理制御部１は、主画像の動画の撮影を開始する。すなわち、主画像の動画の記録部４への記録が開始される。ステップＳ１１３において、信号処理制御部１は、サブ画像の動画の撮影を開始する。すなわち、サブ画像の動画の記録部４への記録が開始される。

ステップＳ１１４において、信号処理制御部１は、図６を参照して説明したズーム制御処理を行う。ステップＳ１１５において、信号処理制御部１は、動画中の静止画撮影の指示が入力されたか否かを判定する。動画中の静止画撮影の指示が入力されていないとき、処理はステップＳ１１７に進む。一方、レリーズボタン６ｂが押圧された等、動画中の静止画撮影の指示が入力されたとき、処理はステップＳ１１６に進む。ステップＳ１１６において、信号処理制御部１は、静止画撮影を行う。信号処理制御部１は、静止画撮影によって取得した静止画のデータを記録部４に記録する。ステップＳ１１７において、信号処理制御部１は、動画撮影の終了の指示が入力されたか否かを判定する。動画撮影の終了の指示が入力されていないと判定されたとき、処理はステップＳ１２１に進む。

ステップＳ１２１において、信号処理制御部１は、部分指定がされているか否かを判定する。部分指定がされていないと判定されたとき、処理はステップＳ１２３に進む。一方、部分指定がされていると判定されたとき、処理はステップＳ１２２に進む。ステップＳ１２２において、信号処理制御部１は、サブ画像を表示部８の枠内に表示させる。信号処理制御部１は、サブ画像に係る動画を引き続き記録させる。ステップＳ１２３において、信号処理制御部１は、部分指定の解除がなされたか否かを判定する。部分指定の解除がなされていないとき、処理はステップＳ１１２に戻る。一方、部分指定の解除がなされたとき、処理はステップＳ１２４に進む。ステップＳ１２４において、信号処理制御部１は、サブ画像の動画の画角を、主画像の動画の画角と等しくする。本実施形態では、主画像の動画とサブ画像の動画とが常に取り扱われるので、サブ画像に係る部分指定が解除されたときは、便利のため、サブ画像の動画の画角は主画像の動画の画角にそろえられる。その後、処理はステップＳ１１２に戻る。

ステップＳ１１７において、例えば動画撮影ボタン６ａが押圧された等、動画撮影終了の指示が入力されたと判定されたとき、処理はステップＳ１３１に進む。ステップＳ１３１において、信号処理制御部１は、第１の動画及び／又は第２の動画をファイル化し、記録部４に記録する。ここで、第１の動画と第２の動画とが存在するとき、これら２つの動画は、関連付けてファイル化される。また、信号処理制御部１は、ステップＳ１１６において静止画撮影が行われたとき、第１の動画及び／又は第２の動画とステップＳ１１６で取得された主画像及び／又はサブ画像に係る静止画とを関連付けて、記録部４に記録する。

ステップＳ１３１で記録されるデータの模式図を図１０（ｂ）及び（ｃ）に示す。図１０（ｂ）に示されるように、ステップＳ１１６において静止画の撮影が行われたとき、ステップＳ１３１で記録される画像データには、動画撮影開始の指示が入力されてから動画撮影終了の指示が入力されるまでの動画が含まれると共に、静止画撮影の指示が入力された際の静止画が含まれる。動画は、主画像に係る動画でもよいし、サブ画像に係る動画でもよいし、それらの両方でもよい。また、静止画は、主画像に係る静止画でもよいし、サブ画像に係る静止画でもよいし、それらの両方でもよい。このような、動画と静止画とが含まれる画像データをフォトインムービーと称することにする。

また、図１０（ｃ）に示されるように、主画像に係る動画とサブ画像に係る動画とが異なる画角であるとき、記録部４には、主画像に係る動画とサブ画像に係る動画との２つの動画が関連付けて記録される。ここで、図１０（ｃ）において、サブ画像に係る動画が小さく表されているのは、サブ画像に係る動画は、主画像に係る動画よりも狭い画像領域に係る動画であることを示している。このような、同時に取得された異なる画角を有する２つの動画を含む画像データをマルチフレームと称することにする。

図５に戻って、撮影制御処理の説明を続ける。ステップＳ１１１において、動画撮影の指示が入力されていないと判定されたとき、処理はステップＳ１４１に進む。ステップＳ１４１において、信号処理制御部１は、撮影モード終了の指示が入力されたか否かを判定する。撮影モード終了の指示が入力されていないとき、処理はステップＳ１０１に戻る。一方、撮影モード終了の指示が入力されたとき、撮影制御処理は終了する。

本実施形態によれば、ＭＲズームアップ処理において、サブ画像の画角が変化しないように調整される。すなわち、サブ画像の画角が確保されるように光学ズームが用いられるか電子ズームが用いられるかが選択される。また、光学ズームが行われても、サブ画像の画角が変化しないように、サブ画像として切り出される領域が調整される。本実施形態によれば、マルチレコーディング中における主画像のズームアップ及びズームダウンにおいて、撮影者は、サブ画像のことを考慮することなく、主画像の調整に専念することができる。本実施形態によれば、撮影者は、自身が意図した見やすいマルチレコーディング撮影による画像を容易に撮影することができる。

なお、本実施形態では、追尾部１ｇによって注目被写体を追尾しているので、信号処理制御部１は、注目被写体が移動したときに、注目被写体の移動に応じてズーム機構を制御してもよい。すなわち、注目被写体が主画像の画像領域から外れる方向に移動しているとき、信号処理制御部１は、この移動に応じて光学系２のズーム機構を広角化させるように動作させてもよい。このようにすれば、注目被写体が移動しても、サブ画像において注目被写体を捉え続けることができる。

なお、フローチャートで示された処理順序は一例であり、趣旨から逸脱しない範囲で処理順序は適宜交換可能である。また、上述の実施形態では、デジタルカメラを例に挙げて説明を行ったが、ここに示した技術は、カメラ機能付きのスマートフォン等、種々の撮像装置に適用され得る。

１…信号処理制御部、１ａ…領域制御部、１ｂ…光学系制御部、１ｃ…画像読取部、１ｄ…第１の画像処理部、１ｅ…第２の画像処理部、１ｆ…特徴検出部、１ｇ…追尾部、１ｈ…画像合成・選択部、１ｉ…表示制御部、１ｊ…静止画圧縮部、１ｋ…第１の動画圧縮部、１ｌ…第２の動画圧縮部、１ｍ…記録制御部、２…光学系、３…撮像部、３ａ…撮像素子、３ｂ…前処理部、４…記録部、５…仮記録部、６…操作部、６ａ…動画撮影ボタン、６ｂ…レリーズボタン、６ｃ…ズーム操作ボタン、８…表示部、８ｂ…タッチパネル、１０…デジタルカメラ。

Claims

ズーム機構を有する光学系と、
前記光学系が形成する被写体像を撮像し、所定の撮像画像領域を有する画像データを生成する撮像部と、
前記画像データに基づいて、前記撮像画像領域に含まれる第１の画像領域を有する第１の画像のデータを生成する第１の画像生成部と、
前記光学系の状態及び前記第１の画像領域の大きさに関わらず前記被写体像に対する大きさが変化せず、かつ、前記第１の画像領域よりも面積が狭い、前記撮像画像領域に含まれる第２の画像領域を有する第２の画像のデータを、前記画像データに基づいて生成する第２の画像生成部と、
前記第２の画像領域が前記第１の画像領域に含まれるときは、前記第１の画像領域と前記撮像画像領域とが一致するように前記ズーム機構を制御し、前記第２の画像領域が前記第１の画像領域に含まれないときは、前記第２の画像領域が前記撮像画像領域に含まれるように、前記ズーム機構を制御する光学系制御部と、
前記第１の画像のデータと前記第２の画像のデータとを記録媒体に記録させる記録制御部と
を具備し、
前記第１の画像生成部は、前記第２の画像領域が前記第１の画像領域に含まれるときは、前記撮像画像領域を有する前記画像データを前記第１の画像のデータとし、前記第２の画像領域が前記第１の画像領域に含まれないときは、前記撮像画像領域から前記第１の画像領域に相当する前記画像データを抽出して前記第１の画像のデータを生成する、
撮像装置。
前記第１の画像領域の大きさを入力する領域入力部と、
前記領域入力部によって指定された前記第１の画像領域を有する前記第１の画像を順次表示する表示部と、
前記第２の画像領域に含まれる注目被写体を追尾して、前記第２の画像領域を決定するために用いられる追尾情報を生成する追尾部と
をさらに具備し、
前記光学系制御部は、前記領域入力部による入力に基づいて前記ズーム機構を制御し、
前記第１の画像生成部は、前記領域入力部による入力に基づいて前記第１の画像のデータを生成し、
前記第２の画像生成部は、前記領域入力部による入力に関わらず前記追尾情報を用いて第２の画像のデータを生成する、
請求項１に記載の撮像装置。