JP6450879B2 - 記録装置、記録方法及び記録プログラム - Google Patents

Description

本発明は、記録装置、記録方法及び記録プログラムに関する。

一般的な電子カメラでは、撮影され取得された画像データは電子カメラ内のメモリカードなどの記録部に記録される。ユーザは、その画像データを任意に再生することで画像を鑑賞することができる。ユーザは、表示された画像を鑑賞するとき、画像に写されている人物などに興味が沸いても、その人物の詳しい情報すなわち、画像に対応する関連情報を鑑賞中に知ることは難しかった。

特許文献１の電子カメラは、被写体を撮影して一枚の画像データを取得する。そして、この電子カメラは、該画像データと、該画像データから読み取り可能であり該画像データ上の被写体に関連付けられた関連情報とを、それぞれ関連付けて記憶しておく。これにより、この電子カメラは、該画像データが表示された後、表示画面をタッチされると、画面内の被写体に応じた関連情報を表示することができる。

特開２００８−２５２９３０号公報

しかしながら、画像に単に文字情報が重ねられて表示されるすなわち、別の事象が突然に現れると、ユーザは不自然に感じることがある。

本発明では、関連情報である画像データを違和感なく再生可能な記録装置、記録方法、記録プログラムを提供する。

本発明の一態様の記録装置は、取得された第１の画像データの領域ごとの特徴に応じて、前記第１の画像データの取得の前後で異なる態様で取得された第２の画像データと、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す領域情報と、前記第２の画像データがどのような用途で使用されるかを表す候補用途情報と、を関連付けて記録する制御部を具備する。

本発明の記録装置、記録方法、記録プログラムでは、ユーザは、ユーザが記録したい主画像データを見ているとき、主画像データ内の領域についての関連情報を見たくなった場合に、その領域を指定することで、該領域が関連情報の副画像データに違和感なく置き換えられた画像データを見ることができる。

図１は、本発明の一実施形態に係る画像再生装置を備える撮像装置の撮像機能を概念的に示す図である。 図２は、本発明の一実施形態にかかる画像再生装置を備える撮像装置の構成例を示すブロック図である。 図３は、撮影例を示す図である。 図４は、主画像の関連情報の例を示す図である。 図５は、本発明の一実施形態の撮影動作例を示すフローチャートである。 図６は、関連情報の取得を決定するためのフローチャートである。 図７は、動画データである副画像データの再生例を示す図である。 図８は、動画データの再生タイミングの例を示す図である。 図９は、露出補正のための副画像データの再生例を示す図である。 図１０は、露出補正のための副画像データの再生タイミングの例を示す図である。 図１１は、ピント補正のための副画像データの再生例を示す図である。 図１２は、ピント補正のための副画像データの再生タイミングの例を示す図である。 図１３は、本発明の一実施形態の主画像ファイルと、副画像ファイルとの構成例を示す図である。 図１４は、本発明の一実施形態に係る撮像装置の再生機能を概念的に示す図である。 図１５は、本発明の一実施形態に係る撮像装置の再生モードに関わる動作例を示す図である。 図１６は、本発明の一実施形態の変形例の撮影動作例を示す図である。 図１７は、本発明の一実施形態の変形例の再生動作例を示す図である。 図１８は、本発明の一実施形態の変形例の主画像ファイルと、副画像ファイルとの構成例を示す図である。

以下、本発明の一実施形態に係る撮像装置について、撮影し画像データを取得する撮影モードと、画像データを再生する再生モードとに分けて説明する。図１は、本発明の一実施形態に係る撮像装置の撮像機能を概念的に示す図である。撮像装置１００は、撮像部１１１と、連続撮影部１１０とを有する。撮像部１１１は、被写体を撮影して被写体に係る画像データを取得する。連続撮影部１１０は、画像領域分類部１１２と、領域別撮影条件変更部１１３と、領域別再取得部１１４と、撮像結果関連付け記録部１１５とを有する。画像領域分類部１１２は、撮像部１１１により取得された画像データを複数のブロックに分割し、分割したブロック毎に再撮影を行うべきか否かを判定する。領域別撮影条件変更部１１３は、画像領域分類部１１２により分割された各ブロックの再撮影の条件を設定する。領域別再取得部１１４は、領域別撮影条件変更部１１３の設定を基に再撮影を行って画像データを再取得する。撮像結果関連付け記録部１１５は、再取得された画像データと、最初に取得された画像データとを関連付けて記録する。記録部１１５は、画像データを例えばＪＰＥＧ形式などに圧縮する静止画用圧縮部若しくは、動画を例えばＭＰＥＧ形式に圧縮する動画用の圧縮部を内蔵しても良い。

本発明の一実施形態に係る撮像装置の具体的な構成例を図２のブロック図に示す。図２の撮像装置１００は、ネットワーク２１を介してサーバ２３に通信自在に接続されている。また、ネットワーク２１には、スマートフォン（スマホ）２２も通信自在に接続されている。スマホ２２は、ネットワーク２１を介して受信した画像データや音データなどを再生可能な携帯端末の一例である。

本発明の一実施形態において、再取得された画像データは、撮影時に取得される。しかしながら、撮影時に再取得された画像データに加えて、サーバ２３やスマホ２２を使用して外部から画像データ若しくはテキストデータなどの関連情報をさらに取得しても良い。また、後述する方位センサ７ｂ若しくは場所検出部１０などから取得された位置情報をさらに関連付けても良い。

撮像装置１００は、撮像部１１１と、制御部１と、表示部８と、タッチパネル８ｂと、記録部４と、操作判定部５と、通信部６と、アイセンサ３ｂと、接眼表示部３と、姿勢センサ７ａと、方位センサ７ｂと、場所検出部１０と、時計９とを有する。制御部１は、連続撮影部１１０と対応する機能を有し、撮影及び再生を制御する。表示部８は、画像データに基づく画像を表示する。タッチパネル８ｂは、タッチを検出して信号を出力する。記録部４は、画像データなどの各種データを記録する。操作判定部５は、撮像装置１００を動作させるための操作を判定する。この操作は、例えば、表示部８に表示する画像の切り替え、モードの変更若しくは画像データの送受信などの操作に対応している。通信部６は、撮像装置１００とサーバ２３との間のデータの送受信を介する。アイセンサ３ｂは、接眼表示部３へのユーザの接眼状態を検出する。接眼表示部３は、接眼式のファインダ用の表示部である。姿勢センサ７ａは例えば、撮像装置１００の加速度を検出して撮像装置１００の姿勢を検出する。方位センサ７ｂは、地磁気の方向に対する傾きから撮像装置１００の方位を検出する。場所検出部１０は、例えばＧＰＳであり、撮影時の位置を検出する。時計９は時刻情報を算出する。

撮像部１１１は、被写体から発せられる光を入射させ像を結ばせるレンズ２６と、レンズ２６から入射した光を受光面で受けて、光を電気信号（アナログ信号）に変換する撮像素子２とを有する。

レンズ２６は、図示しない被写体からの撮影光束を、撮像素子１０１ｂの受光面上に導くための光学系である。このレンズ２６は、フォーカスレンズ等の複数のレンズを有している。撮像素子２は、多数の画素が配列されて構成される受光面を有し、レンズ２６を介して受光した被写体からの像を電気的な信号に変換する。

表示部８は、例えば液晶ディスプレイ（ＬＣＤ）又は有機ＥＬディスプレイである。この表示部８は、撮像装置１００の背面に設置され、画像データに基づいてライブビュー用の画像及び記録部４に記録された画像及び各種の情報を表示する。表示部８に表示される画像データは複数のブロックに分割される。本実施形態においては、ユーザは複数のブロックから注目するブロックを選別する。このとき、ブロックが可視化させていれば、ユーザは再撮影された画像データの表示の選択が容易になる。そのため例えば、ブロックの分割区画に対応する線を画像に重ねて表示させても良い。

タッチパネル８ｂは、表示部８の表示画面上に重なるように形成されており、表示画面上へのユーザの指等によるタッチを検出し、その検出結果を制御部１へ入力する。また、タッチパネルの各タッチ位置は表示部上の各表示位置に対応している。本実施形態においては例えば、タッチパネル８ｂがタッチされたとき、タッチ位置を含むブロックに対応した表示部８上の表示位置に再撮影された画像データなどを表示する。また、タッチパネル８ｂは、画像を分割したブロックを指定するための方法の一つであって、ブロックの指定は、タッチによって指定するタッチパネル８ｂ以外の部材によってなされても良い。ブロックを指定するためのタッチパネル８ｂなどの部材を、指定部と呼ぶことにする。

制御部１は、ピントの位置を調節するか否かを判定するピント判定部１ｃと、被写体が特定の被写体であるか否かを判定する被写体判定部１ｈと、画像の陰影を判定する陰影判定部１ｂと、画像データを表示部８に表示させるための画像処理を制御する表示制御部１ｅと、画像領域分類部１１２と領域別撮影条件変更部１１３とに対応し、画像を複数のブロックに分割し、各ブロックへの関連情報の付与を制御する部位情報部１ｄと、被写体が動いたか否かを判定する動き判定部１ｆと、通信部６と外部とのデータの送受信を制御する通信制御部１ｇとを有する。

記録部４は、撮影で取得された画像データが保存された画像ファイルを記録する。また、記録部４は、サーバ２３を含む外部から取得された画像データが記録されている接続先ＤＢ４ｂと、画像に表示される被写体の種類を特定するために参照される画像データが記録されている対象物ＤＢ４ｃとを有する。

サーバ２３は、サーバ２３が有する画像データを端末に送信したとき、画像データの送信先での表示を制御する表示制御部２３ｂと、撮像装置１００及びスマホ２２などからアクセスされたことを判定するアクセス判定部２３ｃと、撮像装置１００から求められる画像データに関連する画像を選択する関連づけ部２３ｄと、サーバ２３内の画像を記録するサーバ記録部２３ｅとを有する。

撮影例を図３に示す。ユーザが図３に示されたシーンにおいて人物を撮影するとき、他の被写体も同時に画像に写りこむことがある。図３の例における他の被写体とは例えば、飛んでいる鳥Ａと、留まっている鳥Ｂである。また、図３に示す暗い空間のように、画像上では被写体の状態が分からないような場合もある。撮影の結果、これらの被写体が写りこんだ図４に示すような画像が取得される。通常、人物に適したピントや露出で撮影が行われると、撮影後に得られる画像において他の被写体のピントや露出は適切なものではなくなる。例えば、鳥Ｂにはピントが合っていない。図４では、鳥Ｂのピントが合っていないことは点線で示されている。また、暗い空間内の露出は、その内部の花瓶が可視され難い程度になってしまう。ユーザは、ピントが合っていない被写体や露出が合っていない被写体が撮影後に気になったとしても、後から気になった被写体にピント及び露出を合わせて撮影するのは困難である。なお、図４の「だんだん露出」は、人物と室内の露出の変化を示す。しかしながら、撮像装置１００は、人物の露出を変化させずに、室内の露出のみを変化させても良い。

本発明の一実施形態では、ユーザが最初に気になった被写体を写した主画像と、その主画像内でユーザが気になると考えられる被写体の画像を関連情報として写した副画像とが取得される。本発明の一実施形態に係る撮像装置１００は、被写体の動画の副画像、ピント補正された被写体の副画像及び適正な露出の被写体を示す副画像を取得することができる。

また、露出用の副画像データ若しくはピント変更用の副画像データを取得する際、撮像装置１００は、露出を変化させていく過程若しくはピント位置を変更させていく過程で、複数枚の副画像データを主画像データの撮影後に取得しても良い。そして、主画像データのブロック（領域）内に副画像データを再生するとき、前記複数枚の副画像データを連続して再生しても良い。ユーザは、露出用若しくはピント変更用の複数枚の副画像データが連続して再生されていく過程を見ると、ユーザは、領域が少しずつ変化していく過程を見て次の変化に期待感を持つことができる。

撮像装置１００の動作例を図５のフローチャートで説明する。制御部１は、撮影モードが選択されたか否かを判定する（ステップＳ２０１）。撮影モードが選択されなかったと判定するとき（ステップＳ２０１でＮＯのとき）、制御部１は、再生モードを選択する。一方、撮影モードが選択されたと判定するとき（ステップＳ２０１でＹＥＳのとき）、制御部１は、撮像部１１１に撮影を開始させまた、被写体の判定を開始する（ステップＳ２０２）。この被写体の判定は、後述する後で気になる部位判定に用いる。その後、制御部１は、後で気になる部位判定を図６に示すように行う（ステップＳ２０４）。

後で気になる部位判定は、副画像データを取得すべきブロックの位置情報と、各ブロックで取得する副画像データの種類とを決定する処理である。後で気になる部位判定を図６を使用して説明する。図６（ａ）は動作例を示すフローチャートであり、図６（ｂ）は副画像データを取得すべきブロックを示す。まず、部位情報部１ｄは、取得された画像データを複数のブロックに分割する（ステップＳ１０１）。本発明の一実施形態では、画像データを矩形の１５個のブロックに図６（ｂ）に示すように分割する。その後、部位情報部１ｄは、該画像データに対する副画像データを取得するか否かを判定するための情報を各ブロックから取得する（ステップＳ１０２）。該情報は例えば、ブロックの画像が、所定の画像データであるか否かの情報などである。次に、部位情報部１ｄは、所定露出よりもアンダー露出であるブロック若しくは所定露出よりもオーバー露出であるブロックがあるか否かを判定する（ステップＳ１０３）。少なくとも一つのブロックが、オーバーの露出であると判定するとき若しくは、アンダー露出であると判定するとき（ステップＳ１０３でＹＥＳのとき）、部位情報部１ｄは、オーバー露出若しくはアンダー露出であると判定されるブロックの位置情報と、このブロックについて後で取得される副画像が露出用として使用される旨を示す情報とを記録部４に記録する（ステップＳ１０６）。この情報は、後述する主画像データと副画像データとを関連付けるための情報である。ブロックの位置情報では例えば、図６（ｂ）に示すように２行目のＢ列目のブロックをＢ２と呼称する。一方、Ａ１からＥ３までのすべてのブロックが、オーバー露出若しくはアンダー露出ではなかったと判定するとき（ステップＳ１０３でＮＯのとき）又はステップＳ１０６の処理の後、部位情報部１ｄは、少なくとも一つのブロックが、被写体のピントがボケているブロックであるか否かを判定する（ステップＳ１０４）。被写体のピントがボケているブロックがあったと判定するとき（ステップＳ１０４でＹＥＳのとき）、部位情報部１ｄは、被写体のピントがボケているブロックの位置情報と、このブロックについて後で取得される副画像データがピント用として使用される旨を示す情報とを記録部４に記録する（ステップＳ１０７）。ステップＳ１０７の後若しくは、Ａ１からＥ３までのすべてのブロックが、被写体のピントがボケていなかったと判定するとき（ステップＳ１０４でＮＯのとき）、部位情報部１ｄは、被写体が動いているブロックがあるか否かを判定する（ステップＳ１０５）。被写体が動いているか否かの判定は例えば、主画像の被写体と、その前後に撮影された画像の該被写体の形状の比較によってなされる。被写体が動いているブロックがあると判定するとき（ステップＳ１０５でＹＥＳのとき）、部位情報部１ｄは、被写体が動いているブロックの位置情報と、このブロックについて後で取得される副画像データが動画用として使用される旨を示す用途情報とを記録部４に記録する（ステップＳ１０８）。ステップ１０８の後若しくは、被写体が動いているブロックがなかったと判定するとき（ステップＳ１０５でＮＯのとき）、部位情報部１ｄは、後で気になる部位判定の処理を終了する。

前述の通り、撮像装置１００は、時系列順に撮影された複数枚の副画像データを取得する。時系列順で撮影された複数枚の副画像データを再生することで、ユーザは、被写体のピントや露出がだんだん合う様子を見ることができる。撮像装置１００は、時系列順に撮影された複数枚の副画像データを順次再生して、被写体がじわじわ遷移していく様子をユーザに示すことで、ユーザに期待感を伴わせることができる。一方、撮像装置１００は、動画用の複数枚の副画像データを再生して、対象物の動きを表示する。さらに、撮像装置１００は、動画用の副画像データを取得したブロックを目立たせるため情報を、副画像ファイルに記録しても良い。なお、撮像装置１００は、副画像データを主画像データを取得する前に取得してもよい。この副画像データは、第２の画像データに対応している。撮像装置１００は、後で気になる部位判定の結果に応じて、ピント変更用副画像データ、露出用副画像データ若しくは動画用の副画像データを取得する。また、１ブロックで取得した複数枚の副画像データを圧縮するか否かの判定をさらに行っても良い。

ところで、図５において、制御部１は、動画用ブロックが、後で気になる部位判定で取得した各情報を参照した結果あるか否かを判定する（ステップＳ２０５）。動画用ブロックがなかったと判定するとき（ステップＳ２０５でＮＯのとき）、制御部１は、主画像データを撮影するか否かを判定する（ステップＳ２１１）。主画像データは、副画像データが関連付けられる画像データであって、ユーザが意図して取得しようとしている画像データである。主画像データを撮影しないと判定するとき（ステップＳ２１１でＮＯのとき）、例えばレリーズ操作が所定時間なされなかったとき、制御部１は、処理をステップＳ２０１に戻す。一方、主画像データを撮影すると判定するとき（ステップＳ２１１でＹＥＳのとき）、制御部１は、主画像データを撮影する（ステップＳ２１２）。その後、制御部１は、で気になる部位判定で取得した各情報を参照し、副画像データを取得するブロックがあるか否かを判定する（ステップＳ２１３）。すなわち、副画像データを取得するブロックは、動画用、露出用及びピント用である。副画像データを取得するブロックがなかったと判定するとき（ステップＳ２１３でＮＯのとき）、制御部１は、主画像データを主画像ファイルとして記録部４に記録する。その後、制御部１は、処理をステップＳ２０１に戻す（ステップＳ２１４）。

ところで、動画用ブロックがあると判定するとき（ステップＳ２０５でＹＥＳのとき）、制御部１は、該ブロックにおいて、主画像データの取得前に取得された画像データを動画用副画像データとして記録する（ステップＳ２０６）。その後、制御部１は、処理をステップＳ２１１に移行させる。

ところで、副画像データを取得するブロックがあると判定するとき（ステップＳ２１３でＹＥＳのとき）、制御部１は、まず、動画用ブロックがあるか否かを判定する（ステップＳ２２１）。ステップ２２１において、動画用ブロックとして判定された場合、主画像データの取得後の画像データが、動画用副画像データとして取得される。動画用ブロックがあったと判定するとき（ステップＳ２２１でＹＥＳのとき）、制御部１は、該ブロックの画像データを動画用副画像データとして所定時間取得する（ステップＳ２２２）。

動画用副画像データの取得について図７及び図８を使用してさらに説明する。図７（ａ）は、主画像データ内の動画用ブロックを示す。すなわち、飛んでいる鳥Ａが含まれているブロックＡ１及びＢ１が、動画用副画像データを取得するブロックである。各ブロックにおける動画用副画像データの取得のタイミングチャート例を図８に示す。横軸方向は時間経過であって、Ｔ１、Ｔ２、Ｔ３・・・というタイミングで、副画像データの像１、像２、像３・・・が取得される。まず、図７（ｂ）のブロックＢ１に鳥Ａが含まれているので、主画像データのブロックＢ１を動画用の副画像データに置き換えるための副画像データを取得する。時間が進むと、図７（ｂ）に示すように、ブロックＢ１及びＡ１に鳥Ａが含まれる。したがって、図８（ａ）に示すようにブロックＢ１及びブロックＡ１の動画用の副画像データを同時のタイミングで取得する。その後、ブロックＡ１のみに鳥Ａが含まれているので、ブロックＡ１の動画用の副画像データのみが取得される。ここで、図８（ａ）は、鳥Ａが含まれている動画用の副画像データだけが取得される例を示している。これに対し、図８（ｂ）のように鳥Ａが含まれているブロックの周辺のブロックも動画用の動画像データとして取得しても良い。

ところで、動画用ブロックがなかったと判定するとき（ステップＳ２２１でＮＯのとき）、制御部１は、動画用の副画像データを取得しない。そして、動画用の副画像データを取得した後若しくは、動画用の副画像データを取得するブロックがなかったと判定するとき（ステップＳ２２１でＮＯのとき）、制御部１は、後で気になる部位判定で取得した各情報を参照し、露出用のブロックがあるか否かを判定する（ステップＳ２２３）。露出用のブロックがあると判定するとき（ステップＳ２２３でＹＥＳのとき）、制御部１は、露出用の副画像データを取得する（ステップＳ２２４）。

ここで、露出用の副画像データ、まず、アンダー露出用の副画像データの取得例について、図９及び図１０を使用して説明する。図９（ａ）は、主画像データ内のアンダー露出用のブロックを示す。すなわち、暗い空間が表示されているブロックＤ１、Ｄ２及びＤ３が、アンダー露出用画像データを取得するブロックである。アンダー露出を補正したブロックは例えば、同一ブロックについて撮影された複数の副画像データを重ねて輝度を上げることで取得される。各ブロックにおけるアンダー露出用の副画像データの取得のタイミングチャート例を図１０に示す。図１０の上部では、横軸は、露出用の副画像データ取得のタイミングを示しており、縦軸は、重ね合わせ前の副画像データの輝度を表す。一方、図１０の下部は、重ね合わせ後の副画像データの輝度を表す。すなわち、重ね合わせる副画像データの数が多くなるほど、副画像データの輝度が上がる。例えば、副画像データの図９（ｂ）の像１及び図９（ｃ）の像２が重ねられることで、図９（ｄ）の像１＋像２のような露出が補正された副画像データが取得される。なお、副画像データの重ね合わせの場合、露出はオーバーに補正される。これに対し、露出がオーバーなブロックの輝度を下げる場合例えば、図１に示すブロック図にアンプをさらに追加して、そのアンプによって輝度を下げるようにしても良い。

ところで、露出用の副画像データを取得した後又は、露出用ブロックがなかったと判定されるとき、制御部１は、後で気になる部位判定によって記録された各情報を参照して、ピント変更用のブロックがあるか否かを判定する（ステップＳ２２５）。ピント変更用のブロックがあると判定するとき（ステップＳ２２６でＹＥＳのとき）、制御部１は、ブロック内のピント位置を変えながら撮影を行い、その撮影で取得したピント変更用の副画像データを記録する（ステップＳ２２６）。

ここで、ピント変更用の副画像データの取得例について図１１及び図１２を使用してさらに説明する。図１１（ａ）は、主画像データ内のピント変更用のブロックを示す。すなわち、鳥Ｂが表示されているブロックＢ２及びＢ３が、ピント変更用副画像データを取得するブロックである。図１１（ｂ）、（ｃ）及び（ｄ）は、ピントを変更して取得した各ブロックの画像データを示す。各ブロックにおけるピント変更用の副画像データの取得のタイミングチャート例を図１２に示す。

ところで、ピント変更用副画像データの取得が行われた後（ステップＳ２２６）若しくは、ピント変更用ブロックがなかったと判定するとき（ステップＳ２２５でＮＯのとき）、制御部１は、主画像データを主画像ファイル化する。主画像ファイルの構成例を図１３（ａ）に示す。主画像ファイルには、主画像データと、部位別タグ情報と、部位情報とが格納されている。部位別タグ情報は、各ブロックと、各ブロックに再生する副画像データの種類とを対応付ける情報である。例えば、主画像データのブロックＡ１は、動画用の副画像データと対応付けられている。対応付ける副画像データの種類は複数であっても良い。部位情報は、後で気になる部位判定で分割された主画像データの各ブロックが、どのような大きさのブロックであるかを示す情報である。例えば、ブロックＡ１は、主画像データを横方向に５分割し、縦方向に３分割したときの一ブロックである。それぞれのブロックの大きさは、被写体の大きさなどに応じて非画一であっても良い。撮像装置１００は、副画像は、ブロックのみを記録しても良いし、複数のブロック例えばすべてのブロックを含む一画面を記録してもよい。撮像装置１００は、一ブロックに一画面の副画像データを再生するとき、一画面の副画像データから任意のブロックを切り取って、切り取られたブロックを再生しても良い。

主画像データを主画像ファイル化した後（ステップＳ２２７）、制御部１は、副画像データを副画像ファイルとして記録部４に記録する（ステップＳ２２８）。副画像ファイルには、副画像データと、タグ情報とが保存されている。タグ情報は、主画像データのブロックと副画像データとを関連付けるための情報である。図１３（ｂ）は、副画像ファイルの構成例である。図１３（ｂ）に示す副画像ファイルｋ及び副画像ファイルｌは、副画像データと、タグ情報とを格納している。副画像ファイルｋのタグ情報は、副画像データｋが対応する主画像データの名称及びその主画像データのブロックと、副画像データを再生するタイミングと、副画像データの用途とに関する情報を有する。例えば、副画像データｋは、タグ情報に示されるように図１３（ａ）の主画像データｉｍｇ１のブロックＢ１に対応している。主画像データｉｍｇ１のブロックＢ１の副画像データｋを再生するとき、副画像データｋは、図８（ａ）に示すタイミングＴ１すなわち、動画再生の最初に再生される。一方、副画像ファイルｌの副画像データｌにおいて、用途情報は、副画像データが露出用であることを示す。また、タイミング情報は、主画像データｉｍｇ１のブロックＤ２にＴ１のタイミングで再生されることを示す。なお、副画像ファイルには、複数対の副画像データ及びタグ情報を格納しても良い。例えば、複数の動画の副画像及びタグ情報が、副画像ファイルとしてまとめられて扱われることで、ユーザは、動画の副画像ファイルを管理しやすくなる。

以上、本発明の一実施形態における撮像装置１００の撮影モードでは、ユーザが求める主画像データと、主画像データの撮影時の関連情報を示す副画像データとを取得し、それぞれの画像データを関連付けて記録する。副画像データは、動画用途、露出用途若しくはピント変更用途として、主画像データの撮影前後に取得される。ユーザは、主画像データの撮影操作のみによって、主画像データの取得時の関連情報を容易に取得することができる。

また、副画像データの取得の判定は、一枚の主画像データからなされても良いし、時系列順に取得された複数の画像データの比較によってなされても良い。また、撮像装置１００は、隣り合うブロックの画像データを比較して判定しても良い。

また、撮像装置１００は、主画像データの露出量やコントラスト量などの要素を判定して、露出用副画像データやピント変更用副画像データの取得を判定する。上述の判定も、一枚の主画像データ若しくは時系列順に取得された複数の画像データの比較のいずれで成されても良い。判定の要素は、露出量やコントラスト量に限らず、各部位の距離情報の差異や被写界深度の情報でも良い。

撮像装置１００は、ピント変更用の画像データを取得すると判定するとき、ブロックの画像データのコントラスト量に応じたＡＦ（オートフォーカス）、例えば山登りＡＦ（オートフォーカス）を行って、ピント変更用の副画像データを取得する。

また、本発明の一実施形態に係る主画像データは、１５分割された単純な四辺形のブロックを結合して構成されている。しかしながら、主画像データは、より細かなブロックに分割され、それらのブロックが結合されたものであっても良い。若しくは、主画像データは、１ブロックであっても良い。また、主画像データは、四辺形のブロックを結合した円形若しくは楕円形であっても良い。また、主画像データを構成するブロックの形状は、四辺形に限らず例えば、別の多角形若しくは被写体の形状のような主画像データ内の特定の領域であってもよい。例えば、ブロックの形状は、人物や鳥の輪郭の形状であっても良い。そして、人物や鳥の輪郭の形状の露出用途若しくはピント変更用途などの副画像データが取得されても良い。ただし、輪郭の検出することは困難であるため、例えば、ブロックの形状は、人物や鳥の輪郭に近似した楕円形であればよい。すなわち、ブロックは四辺形に限らない形状を有して良いので、ブロックを特定の領域と呼称する。

また、副画像データは、特定の領域のみを取得して記録しても良いし、画像データを特定の領域だけを選ばずに副画像データとして記録しても良い。また、副画像データは、副画像データと主画像データを関連付けるタグ情報と共に、副画像ファイルに格納される。本発明の一実施形態に係る撮像装置１００は、タグ情報を読み込むことで、ピント変更用、露出用、動画用のいずれかの副画像データを特定の領域に再生する。再生の例として、ピント用副画像データが再生されると、ユーザはピントの変化を副画像データの取得時の時系列順に動的に見ることができる。若しくは、露出用副画像データが再生されると、ユーザは露出の変化を副画像データの取得時の時系列順に動的に見ることができる。なお、複数枚から成る副画像データは、時系列順に再生されなくとも良い。撮像装置１００は、時系列順ではない再生を行うための情報をタグ情報に記録しても良い。また、撮像装置１００は、複数枚の副画像データをスロー再生させるための情報をタグ情報に記録しても良い。また、撮像装置１００は、動画用副画像データ、露出用副画像データ、ピント変更用副画像データだけでなく、他のパラメータに対応する副画像データを取得しても良い。当然ながら、撮像装置１００は、主画像データの再生時に、特定の領域を指定されたとき、該特定の領域に応じた副画像データを取得しても良い。撮像装置１００は、該副画像データの取得後、該主画像データの再生中に特定の領域に副画像データを再生しても良い。

次に、本発明の一実施形態に係る撮像装置１００の再生機能ついて図１４及び図１５を使用して説明する。再生モードでは、主画像のブロックの位置のタッチ操作によって、ユーザは、そのブロックに再生される副画像データを見ることができる。

図１４は、本発明の一実施形態に係る撮像装置の再生機能を概念的に示す図である。本発明の第１の実施形態に係る再生装置を備える撮像装置１００は、撮像部１１１と、連写結果記録部１１６と、指定部１２０と、再生制御部１３０と、再生部１２１とを有する。撮像部１１１は、被写体を撮影し画像データを取得する。連写結果記録部１１６は、複数の画像データ及び複数の画像データを関連付けるための情報を記録する。指定部１２０は、主画像データを分割して形成された複数のブロックから所定のブロックを指定する。再生制御部１３０は、制御部１に対応しており、画像領域分類部１１２と、領域特定部１１７と、再生方法変更部１１８と、取捨選択部１１９とを有する。画像領域分類部１１２は、部位情報部１ｄに対応し、連写結果記録部１１６から主画像データを読み出して複数のブロックに分割し、各ブロックに関連付けられている副画像データがあるか否かを判定する。領域特定部１１７は、表示制御部１ｅと対応しており、指定部１２０に指定されたブロックの位置を切り出す。再生方法変更部１１８は、部位情報部１ｄに対応しており、切り出されたブロックの位置に再生する撮影条件（用途）の副画像データを選択する。取捨選択部１１９は、表示制御部１ｅに対応しており、再生方法変更部１１８に選択された撮影条件の副画像データを連写結果記録部１１６から読み出して、第２の画像データを再生部１２１に出力する。再生部１２１は、表示部８に対応しており、画像データを再生し、画像を表示する。

次に、本発明の一実施形態に係る撮像装置の再生モードの動作例を図１５で説明する。まず、制御部１は、記録部４に記録されている複数の図１３（ａ）に示す主画像ファイルを読み込んで、複数の主画像データを表示部８に一覧させるように再生する（ステップＳ３０１）。その後、制御部１は、タッチパネル８ｂへのタッチの検出によって再生する主画像データを判定し、タッチ位置に応じた主画像データを再生する（ステップＳ３０２）。その後、制御部１は、再生されている主画像データへのタッチが検出されたか否かを判定する（ステップＳ３０３）。再生されている主画像データへのタッチが検出されなかったと判定するとき（ステップＳ３０３でＮＯのとき）、制御部１は、操作判定部５への操作を検出したときに、表示部８に表示する画像の切り替え操作、モードの変更操作若しくは画像データの送受信操作などを行う（ステップＳ３１５）。一方、再生されている主画像データへのタッチが検出されたと判定するとき（ステップＳ３０３でＹＥＳのとき）、制御部１は、主画像ファイルの部位別タグ情報に基づいて、主画像データを複数のブロックに分割する。制御部１は、部位別タグ情報から、ステップＳ３０３でタッチが検出された主画像データの位置が、動画用の副画像データと関連付けられているか否かを判定する（ステップＳ３０４）。ステップＳ３０３でタッチが検出された主画像データの位置例えばブロックＢ１が、動画用の副画像データと関連付けられていると判定するとき（ステップＳ３０４でＹＥＳのとき）、制御部１は、図１３（ｂ）の副画像ファイルｋを読み込んだ後、タッチが検出された位置のブロックＢ１を切り取って、切り取られたブロックＢ１に副画像データｋを再生する（ステップＳ３１１）。この副画像データｋの再生のタイミングは、副画像ファイルｋのタイミング情報Ｔ１である。なお、制御部１は、主画像データを切り取らずに、主画像データのレイヤに副画像データのレイヤを重ねて再生しても良い。なお、撮像装置１００は、主画像データのブロックに表示されている被写体が人や動物であることを検出して、ブロックに人や動物の動画用副画像データを再生しても良い。

また、本発明の一実施形態では、撮像装置１００は、撮影時に「あとで気になる部位判定」を行ったが、撮影時に「あとで気になる部位判定」を行わなくても良い。例えば、撮像装置１００は、撮影時に、ブロック毎に様々なパラメータの副画像データを、ブロック毎に「あとで気になる部位判定」を行うことなく取得する。そして、副画像データを再生するときに、ユーザの意向に沿った（暗い画像が明るくなる、ピンぼけしているブロックにピントが合う）副画像データを判定して、該副画像データを再生しても良い。ユーザの意向に沿った副画像データであるか否かの判定は例えば、タッチされたブロックの画像の特徴の判定である。また、複数枚の画像データを有する副画像データを動画圧縮すれば、副画像ファイルを記録する記録部４の容量を減らすことができる。

一方、ステップＳ３０３でタッチが検出された主画像データの位置が、動画用の副画像データと関連付けられていないと判定するとき（ステップＳ３０４でＮＯのとき）、制御部１は、タッチが検出された主画像データの位置が、露出用の副画像データと関連付けられているか否かを判定する（ステップＳ３０５）。タッチが検出された主画像データの位置例えばブロックＤ２が、露出用の副画像データと関連付けられていると判定するとき（ステップＳ３０５でＹＥＳのとき）、制御部１は、図１３（ｂ）の副画像ファイルｌを読み込んだ後、ブロックＤ２を切り取って、切り取られたブロックＤ２に副画像データｌを再生する（ステップＳ３１２）。副画像データｌの再生のタイミングは、副画像データｌのタイミング情報Ｔ１である。

本発明の一実施形態では、「後で気になる部位判定」を撮影時に行った。しかしながら、撮影時に「後で気になる部位判定」を行わなくても良い。すなわち、撮像装置１００は、撮影時に、各パラメータに応じた副画像データをすべてのブロックに対して取得する。そして、再生時に、ブロックに再生する副画像データを判定して、その判定に応じた副画像データをブロックに再生しても良い。その判定では、撮像装置１００は、ブロックへのタッチを検出して、タッチされたブロックの明るさを判定して、タッチされたブロックの画像が暗いと判定するときに露出用の副画像データをそのブロックに再生する。なお、撮像装置１００は、露出用の副画像データを、例えば図９に示すように複数画像を加算して取得する。また、撮像装置１００は、副画像データを圧縮して記録しても良いし、圧縮しなくとも良い。

ところで、副画像データｌが再生された後若しくは、タッチが検出された主画像データの位置が、露出用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０５でＮＯのとき）、制御部１は、タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられているか否かを判定する（ステップＳ３０６）。タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられていると判定するとき（ステップＳ３０６でＹＥＳのとき）、制御部１は、図示しないピント変更用の副画像データを読み込んだ後、タッチが検出された主画像データのブロックを切り取って、切り取られたブロックにピント変更用の副画像データを再生する（ステップＳ３１３）。本発明の一実施形態に係る撮像装置１００は、「後で気になる部位判定」を撮影時に行ったが、撮影時に「後で気になる部位判定」を行わなくても良い。すなわち、撮像装置１００は、撮影時に、各パラメータに応じた副画像データをすべてのブロックに対して取得する。そして、再生時に、ブロックに再生する副画像データの判定を行い、その判定に応じた副画像データをブロックに再生しても良い。その判定では例えば、撮像装置１００は、タッチされたブロックのピントを判定して、タッチされたブロックのピントがぼけていると判定するときに、ピント変更用の副画像データをそのブロックに再生する。また、撮像装置１００は、副画像データを圧縮して記録しても良いし、圧縮しなくとも良い。一方、ピント変更用の副画像データが再生された後若しくは、タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０６でＮＯのとき）、再生制御部１３０は、該位置に主画像データを再生する（ステップＳ３１４）。

以上、本発明の一実施形態にかかる撮像装置１００の再生モードでは、主画像データと、前記主画像データと関連付けられている副画像データとを再生する。ユーザは、再生される主画像データへのタッチによって主画像データの位置を指定すると、主画像データの取得時の関連情報を容易に見ることができる。

本発明の一実施形態に係る撮像装置１００において、指定部１２１による指定（タッチ操作に限らず、カーソルでの指定などでも良い）が再生部１２１に対してなされたことを検出したとき、再生制御部１３０は、再生部１２１内の指定された特定の領域に対応する副画像データを選択して、該副画像データから適切な画像データ（コマ）を読み出して、再生部１２１の指定された領域近傍の位置に順次再生させる。ユーザは、ユーザが記録したい主画像データを見ているとき、主画像データ内の領域についての関連情報を見たくなった場合に、その領域を指定することで、該領域が関連情報の副画像データ（ピント変更用、露出用、動画用）に違和感なく置き換えられた画像データを見ることができる。

撮像装置１００は、複数枚の副画像データをスロー再生させても良い。再生される主画像データの特定の領域において、ピントや露出がゆっくりと変化していく様子を見て、ユーザは、次の変化に期待感を有する。また、スロー再生によって、撮像装置１００は、趣意に富んだ表現が可能となる。例えば、撮像装置１００は、ピント変更用副画像データと露出用副画像データとを入り混じりながら再生して、最後に最適な露出用副画像データを再生するといった趣向を凝らした表現を行っても良い。

次に、本発明の位置実施形態に係る撮像装置１００の撮影モード及び再生モードの変形例を図１６、図１７及び図１８を使用して説明する。変形例における副画像データの大きさは、主画像データと同じ大きさである。なお、撮影モード及び再生モードの構成は、図１、図２及び図１４に示す構成例と同一である。

変形例の撮影モードの動作例を図１６で説明する。撮影モードが選択され（ステップＳ２０１）、撮像部１１１による撮影が開始された後（ステップＳ２０２）、制御部１は、動画用の副画像データを仮記録する（ステップＳ４０６）。ここで、変形例における副画像データは、一実施形態とは異なり、画角内の位置及び大きさを限定せずに撮影される。その後、制御部１は、撮影するか否かを判定する（ステップＳ２１１）。撮影すると判定するとき（ステップＳ２１１でＹＥＳのとき）、制御部１は、撮影し主画像データを取得する（ステップＳ２１２）。その後、制御部１は、動画用の副画像データを取得する（ステップＳ４２２）。その後、制御部１は、露出用の副画像データを取得する（ステップＳ４２４）。その後、制御部１は、ピント変更用の複数の副画像データを取得する（ステップＳ４２６）。その後、主画像データを主画像ファイルとして記録する（ステップＳ２２７）。その後、制御部１は、副画像データを副画像ファイルとして記録する（ステップＳ２２８）。

以上、図１６に示した変形例における撮影の動作例では、全画角の副画像データを記録するので、画像データの取得時において後で気になる部位判定が行われない。すなわち、主画像データに対応する副画像データの位置及び大きさは、撮影モードで決定されない。

主画像データに対応する副画像データの位置及び大きさは、再生モードで決定される。そこで、変形例の再生モードの動作例を図１７で説明する。

記録部４に記録されている主画像ファイルが読み込まれて、主画像データが表示部８に再生され（ステップＳ３０１）、制御部１、選択された主画像データを再生する（ステップＳ３０２）。その後、制御部１は、後で気になる部位判定を行う（ステップＳ２０４）。変形例では、再生モードにおいて、後で気になる部位判定により、主画像データの位置と、副画像データとが対応付けられる。変形例では、副画像データが再生される位置、大きさ、形状などを、１５個のブロックに分割した場合として説明する。当然ながら、副画像データの形状は、被写体を型取った形状であっても良い。したがって、主画像ファイルと副画像ファイルに格納される各情報は、変形例では、後で気になる部位判定の判定に基づいて主画像ファイルの部位別タグ情報と副画像ファイルの部位情報及び候補用途情報を更新される。

変形例における主画像ファイル及び副画像ファイルの図１８に示す構成例は、図１３に示す構成例と同一である。例えば、図１３では、副画像ファイルｍのタグ情報は、副画像データｍが対応する主画像データの情報と、副画像データｍのＴ１のタイミングでの再生を示すタイミング情報と、副画像データｍが動画用かつ露出用の候補用途であることを示す情報とを有する。

副画像ファイルｎのタグ情報は、副画像データｎが対応する主画像データの情報と、副画像データｎがＴ８のタイミングで再生されるタイミング情報と、副画像データｎがピント変更用である候補用途の情報とを有する。

ところで、後で気になる部位判定が行われた後（ステップＳ２０４）、再生制御部１３０は、主画像へタッチが検出されたか否かを判定する（ステップＳ３０３）。主画像へのタッチが検出されたと判定するとき（ステップＳ３０３でＹＥＳのとき）、再生制御部１３０は、画像領域分類部１１２によって、タッチが検出された主画像データの位置が、動画用の副画像データと関連付けられているか否かを判定する（ステップＳ３０４）。タッチされた主画像データの位置が、動画用の副画像データと関連付けられていると判定するとき（ステップＳ３０４でＹＥＳのとき）、再生制御部１３０は、動画用の副画像データを、タッチされた位置のブロックの大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねてタイミング順に再生する（ステップＳ５１１）。

一方、動画用の副画像データが再生されたあと若しくは、タッチが検出された主画像データの位置が、動画用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０４でＮＯのとき）、再生制御部１３０は、タッチが検出されたブロックの位置が、露出用の副画像データと関連付けられているか否かを判定する（ステップＳ３０５）。タッチが検出された主画像データの位置が、露出補正された副画像データに関連付けられていると判定するとき（ステップＳ３０５でＹＥＳのとき）、再生制御部１３０は、露出用の副画像データを、タッチされた主画像の大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねてタイミング順に再生する（ステップＳ５１２）。一方、露出用の副画像データが再生された後若しくは、タッチされた主画像データのブロックの位置が露出用の副画像データと関連付けられていなかったと判定するとき（ステップＳ３０５でＮＯのとき）、再生制御部１３０は、タッチされた主画像データの位置がピント用の副画像データと関連付けられているか否かを判定する（ステップＳ３０６）。タッチされた主画像データの位置が、ピント用の副画像データと関連付けられていると判定するとき（ステップＳ３０６でＹＥＳのとき）、再生制御部１３０は、ピント用の副画像データを、タッチされた主画像のブロックの大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねて再生する（ステップＳ５１３）。

以上、図１７に示した変形例における再生の動作例では、主画像データの位置と、その位置に対応する副画像データの判定が行われる。再生部１２１へのタッチにより、副画像データが対応している主画像データの位置が選択されたとき、副画像データは、主画像ファイルと副画像ファイルとに格納されている各情報に基づいて、選択された位置に所定の大きさに切り取られて再生される。

以上、本発明の一実施形態の変形例では、撮影モードにおいて、主画像データと、主画像データと同じ大きさの副画像データとが取得される。そして、再生モードにおいて、主画像データの位置と、副画像データとを関連付ける情報が取得される。その情報は、主画像ファイル及び副画像ファイルに格納される。

なお、副画像の表示は、主画像に重ねて表示しても良いし、主画像のブロックを切り取って、副画像と置き換えても良い。また、本発明の一実施形態では、副画像データとして動画、露出若しくはピントを補正した画像データを例とした。しかしながら、ユーザが後から見たい副画像データはこれらに限らず例えば、ブロックを光学ズームした副画像データであっても良い。ブロック内を光学ズームで拡大した副画像データを取得しておく。ブロックがタッチされたとき、そのブロックにその副画像データを再生することで、より高解像度の拡大画像をユーザに示すことができる。

加えて、上述した一実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部１に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１…制御部、 １ｂ…陰影判定部、 １ｃ…ピント判定部、 １ｄ…部位情報部、 １ｅ…表示制御部、 １ｆ…動き判定部、 １ｇ…通信制御部、 １ｈ…被写体判定部、 ２…撮像素子、 ３…接眼表示部、 ３ｂ…アイセンサ、 ４…記録部、 ４ｂ…接続先ＤＢ、 ４ｃ…対象物ＤＢ、 ５…操作判定部、 ６…通信部、 ７ａ…姿勢センサ、 ７ｂ…方位センサ、 ８…表示部、 ８ｂ…タッチパネル、 ９…時計、 １０…場所検出部、 ２１…ネットワーク、 ２２…スマホ、 ２３…サーバ、 ２３ｂ…表示制御部、 ２３ｃ…アクセス判定部、 ２３ｄ…関連付け部、 ２３ｅ…サーバ記録部、 ２６…レンズ、 １００…撮像装置、 １１０…連続撮影部、 １１１…撮像部、 １１２…画像領域分類部、 １１３…領域別撮影条件変更部、 １１４…領域別再取得部、 １１５…撮像結果関連付け記録部、 １１６…連射結果記録部、 １１７…領域切り出し部、 １１８…再生方法変更部、 １１９…再生方法変更部、 １２０…指定部、 １２１…再生部、 １３０…再生制御部

Claims (9)

1. 取得された第１の画像データの領域ごとの特徴に応じて、前記第１の画像データの取得の前後で異なる態様で取得された第２の画像データと、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す領域情報と、前記第２の画像データがどのような用途で使用されるかを表す候補用途情報と、を関連付けて記録する連続撮影部を具備する記録装置。
2. 前記連続撮影部は、前記第１の画像データを前記領域ごとに分割し、分割した前記領域ごとに再撮影を行うべきか否かを判定する画像領域分類部を含む請求項１に記載の記録装置。
3. 前記連続撮影部は、前記領域ごとの前記再撮影の条件を設定する領域別撮影条件変更部を含む請求項２に記載の記録装置。
4. 前記第２の画像データは、前記第１の画像データにおいて指定された前記領域と対応する位置に重ねて再生される請求項１に記載の記録装置。
5. 前記第２の画像データは、動画用途で取得した画像データ、露出用途で取得した画像データ又はピント変更用途で取得した画像データを含む請求項１に記載の記録装置。
6. 前記第２の画像データは、前記第１の画像データの前記領域を光学ズームで拡大することで取得した画像データを含む請求項１に記載の記録装置。
7. 前記連続撮影部は、前記第２の画像データの再生される順番の情報又は前記第２の画像データのスロー再生ための情報をさらに関連付けて記録する請求項１に記載の記録装置。
8. 取得された第１の画像データの領域ごとの特徴に応じて、前記第１の画像データの取得の前後で異なる態様で第２の画像データを取得することと、
   前記取得された第２の画像データと、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す領域情報と、前記第２の画像データがどのような用途で使用されるかを表す候補用途情報と、を関連付けて記録することと、
   を具備する記録方法。
9. 取得された第１の画像データの領域ごとの特徴に応じて、前記第１の画像データの取得の前後で異なる態様で第２の画像データを取得することと、
   前記取得された第２の画像データと、前記第２の画像データが前記第１の画像データのどの領域に対応するかを表す領域情報と、前記第２の画像データがどのような用途で使用されるかを表す候補用途情報と、を関連付けて記録することと、
   をコンピュータに実行させるための記録プログラム。