JP6979799B2 - カメラおよび動画の撮影方法 - Google Patents

Description

本発明は、カメラに関する。

ビデオカメラやスチルカメラで、特定の被写体を撮影する際には、ファインダーを見ながら、フレーム内に被写体を収め続ける必要がある。しかしながら動き続ける被写体を撮影する際には、被写体がフレームの外にはみ出てしまう場合がある。あるいは被写体が静止している状況であっても、望遠レンズ撮影する場合にはわずかな手ブレによって、被写体がフレーム外にはみ出てしまう場合もある。

子供の運動会や発表会など、撮り直しの利かない状況では、被写体がフレームから外れると、取り返しがつかないことになる。

本発明はかかる課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、注目する被写体をフレームに収めることが可能なカメラの提供にある。

本発明のある態様はカメラに関する。カメラは、撮像素子と、追従モードにおいて、撮像素子の有効撮像領域に対応する画角より狭い範囲の像を表示するファインダーと、追従モードにおいて、有効撮像領域に対応する生画像のうち、目標被写体を含むクロップ領域を抽出して保存すべきクロップ画像を生成する画像処理部と、を備える。

本明細書においてファインダーは、撮影中にユーザが撮影する画像を確認するためのデバイスをいい、電子ファインダー、光学ファインダーのほか、液晶パネルも含む。この態様によると、ファインダーから目標被写体が外れた場合であっても、有効撮像領域に収まっている限り、カメラの内部で自動で目標被写体に追従して記録することができ、撮影の失敗を防止できる。ファインダーには、撮像素子全体ではなく、画角の狭いファインダー領域の像が表示されているため、ユーザは、目標被写体を画角の狭められたファインダーに収めようと注意を払うため、目標被写体が撮像素子内に収まる可能性を高めることができる。

ファインダー領域の画角とクロップ領域の画角は実質的に等しくてもよい。この場合、ファインダー領域に目標被写体が含まれる場合、通常のカメラと同様に、ファインダーに見えている像を録画することができる。

画像処理部は、撮影開始直前または撮影開始後に、ユーザが指定した被写体を目標被写体にセットしてもよい。

画像処理部は、撮影開始直前または撮影開始後の所定期間に、所定の部分に含まれている被写体を、目標被写体と自動判定してもよい。

カメラは、追従モードに加えて通常モードが選択可能であってもよい。通常モードにおいて、ファインダーに表示される像が記録されてもよい。

ファインダーは電子ファインダーであってもよい。通常モードにおいて、ファインダーは、有効撮像領域の画像を表示し、画像処理部は、有効撮像領域の画像を保存してもよい。

通常モードにおいて、ファインダーは、追従モードにおいてファインダーが表示するファインダー領域の画像を表示し、画像処理部は、ファインダー領域の画像を保存してもよい。

有効撮像領域の画像は破棄してもよい。これにより、データを保存する記録媒体の容量が小さくて済む。あるいは所定の容量の記録媒体に記録できる録画時間あるいは記録枚数を増やすことができる。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。さらに、この項目（課題を解決するための手段）の記載は、本発明の欠くべからざるすべての特徴を説明するものではなく、したがって、記載されるこれらの特徴のサブコンビネーションも、本発明たり得る。

本発明のある態様によれば、被写体をフレームに収めることが可能なカメラが提供できる。

実施の形態に係るカメラを示す図である。 図１のカメラの動作を説明する図である。 目標被写体の設定の一例を説明する図である。 目標被写体の設定の別の例を説明する図である。 目標被写体の設定のさらに別の例を説明する図である。 一実施例に係る画像処理部を示す図である。 一実施例に係る画像処理部を示す図である。 図７の画像処理部の画像処理のフローチャートである。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

本明細書において参照する波形図やタイムチャートの縦軸および横軸は、理解を容易とするために適宜拡大、縮小したものであり、また示される各波形も、理解の容易のために簡略化され、あるいは誇張もしくは強調されている。

図１は、実施の形態に係るカメラを示す図である。本実施の形態では、カメラは動画を撮影するビデオカメラである。カメラ１００は、撮像素子１１０、ファインダー１２０、画像処理部１３０、記録媒体１４０を備える。

撮像素子１１０は、たとえば４Ｋ、すなわち横４０００×縦２０００ピクセル前後（具体的には４０９６×２１６０あるいは３８４０×２１６０等）の解像度の有効撮像領域を有する。このカメラ１００は、通常のビデオカメラとは異なる撮影モード（追従モードという）をサポートする。

ファインダー１２０は追従モードにおいて、撮像素子１１０有効撮像領域に対応する画角より狭い範囲の像を表示する。ファインダー１２０は、液晶パネルあるいは電子ビューファインダーであり、撮像素子１１０の実質的に中央に位置するファインダー領域２０２に対応する画像を表示してもよい。

画像処理部１３０は、追従モードにおいて、撮像素子１１０から出力される４Ｋ解像度の生画像（Ｒａｗ画像）のうち、目標被写体を含むクロップ領域を抽出し、クロップされた画像（以下、クロップ画像）を圧縮して得られる動画を、記録媒体１４０に記録する。記録媒体１４０はカメラ１００に内蔵されてもよいし、ＳＤカードのように取り外し可能であってもよい。

以上がカメラ１００の構成である。続いて動作を説明する。図２は、図１のカメラ１００の動作を説明する図である。図２の左上には、撮像素子１１０から出力されるクロップ前の有効撮像領域の生画像２００が示される。生画像２００の中央にはファインダー領域２０２が固定的に設定される。図２の左下に示すように、ファインダー１２０には、ファインダー領域２０２の画像２１０が表示される。画像処理部１３０は、目標被写体２０４をトラッキングしながら、目標被写体２０４を含むようにクロップ領域２０６を移動させる。そしてクロップ領域２０６のクロップ画像２２０が動画圧縮され、記録媒体１４０に記録される。

以上がカメラ１００の動作である。このカメラ１００によれば、ファインダー１２０から目標被写体が外れた場合であっても、撮像素子１１０の有効撮像領域に収まっている限り、カメラ１００の内部で自動で目標被写体に追従して記録することができ、撮影の失敗を防止できる。

またファインダー１２０には、撮像素子１１０全体ではなく、それよりも画角の狭いファインダー領域の像が表示されているため、ユーザは、目標被写体を画角の狭められたファインダー１２０に収めようと注意を払うため、目標被写体が撮像素子１１０内に収まる可能性を高めることができる。

比較技術として、ファインダー１２０に、撮像素子１１０全体に相当する画角の像を表示しつつ、同じ処理を行ったとする。この比較技術では、ユーザは、目標被写体をファインダー１２０すなわち撮像素子１１０に収めるように注意を払うことになる。しかしながら目標被写体がファインダー１２０からはみ出ると、撮像素子１１０からはみ出るため、目標被写体を救済することができなくなる。この点において実施の形態に係るカメラ１００は、比較技術に比べて、被写体をフレームに収めやすくなっている。

なお有効撮像領域の画像は破棄することが好ましい。これにより、データを保存する記録媒体の容量が小さくて済む。あるいは所定の容量の記録媒体に記録できる録画時間あるいは記録枚数を増やすことができる。記録媒体の容量が十分に大きく、ハードウェアの処理速度に余裕がある場合には、有効撮像領域に対応する生画像にもとづいて動画を生成し、クロップ画像にもとづく動画と併せて記録してもよい。生画像にもとづく動画を記録するか否かは、ユーザが設定可能としてもよい。

ファインダー領域２０２の画角と、クロップ領域２０６の画角は実質的に等しいことが好ましい。本実施の形態では、ファインダー領域２０２のサイズと、クロップ領域２０６のサイズは実質的に等しいことが好ましく、たとえば２Ｋ、すなわち横１９２０×縦１０８０ピクセルの解像度（Ｆｕｌｌ−ＨＤ）であってもよい。これにより、ファインダー領域２０２とクロップ領域２０６が一致しているときには、ファインダー領域２０２に表示されている画像と記録される画像（画角）を一致させることができる。

実施の形態では、ファインダー領域２０２とクロップ領域２０６のサイズが一致する場合を説明したが、一方が他方よりもわずかに大きくてもよい。

ここでは特にオートフォーカスについては説明しないが、基本的には目標被写体２０４にピントを合わせ続ければよい。

図３は、目標被写体の設定の一例を説明する図である。図３のファインダー１２０はタッチパネルである。撮影開始前、あるいは撮影開始後において、目標被写体の設定を意図して、ファインダー１２０の一点をタッチすると、タッチした点に移っている被写体が、目標被写体に設定される。

たとえば図示しないメニュー画面から、「目標被写体の設定」を選択すると、タッチにより目標被写体を設定可能な状態に変化する。このときファインダー１２０上には、タッチを促すメッセージ１２２を表示してもよい。

あるいは、目標被写体の設定を意図したタッチ入力を用意してもよい。たとえば、ファインダー１２０の一点を２回連続してタッチしたことを、目標設定を意図したタッチ入力としてもよい。あるいはファインダー１２０の一点を長押しタッチしたことを、目標設定を意図したタッチ入力としてもよい。

図４は、目標被写体の設定の別の例を説明する図である。画像処理部１３０は、ファインダー１２０に表示されている人物や物体の形状を認識し、目標被写体の候補を示すマーカ１２４を少なくともひとつ表示する。複数のマーカ１２４が表示される場合、そのうちのひとつがハイライトされており、ユーザは、ハードウェアキー１５０を操作してハイライトされるマーカ１２４を移動し、目標被写体を選択する。

図５は、目標被写体の設定のさらに別の例を説明する図である。画像処理部１３０は、撮影開始直前または撮影開始後の所定期間に、ファインダー１２０の所定の部分（好ましくは中央部分）に含まれている被写体を、目標被写体と自動判定してもよい。

このカメラ１００は、追従モードに加えて通常モードが選択可能である。通常モードにおいて、ファインダー１２０は、撮像素子１１０から出力される４Ｋ画像全体を表示し、画像処理部１３０は、撮像素子１１０から出力される４Ｋ画像全体を動画圧縮して、記録媒体１４０に格納する。なお動画圧縮の際には、解像度を２Ｋに低下させて保存してもよい。

図６は、一実施例に係る画像処理部１３０Ａを示す図である。この画像処理部１３０Ａは、撮像素子１１０の解像度（４Ｋ）をサポートしたハードウェアである。画像処理部１３０Ａは、撮像素子１１０のフレームレート（たとえば６０Ｈｚ）で生成される生画像２００のデータＳ_１を受け、メモリ（フレームバッファ）１３２に格納する。ファインダー表示部１３４は、生画像のデータＳ_１からファインダー領域２０２のファインダー画像２１０を抽出してファインダー１２０に表示する。トラッキング処理部１３６は、データＳ_１の中から目標被写体２０４を抽出し、それが含まれるようにクロップ領域２０６を設定し、クロップ領域２０６のクロップ画像２２０を毎フレーム、生成する。エンコーダ１３８は、クロップ画像２２０のシーケンスを動画圧縮して動画データＳ_２を生成し、記録媒体１４０に書き込む。動画圧縮の方式は特に限定されず、また圧縮後の動画のフレームレートは、撮像素子１１０のフレームレートと異なっていてもよい。

図７は、一実施例に係る画像処理部１３０Ｂを示す図である。この画像処理部１３０Ｂは、撮像素子１１０の解像度（４Ｋ）をサポートしておらず、それより小さい解像度（２Ｋ）をサポートするアーキテクチャをベースに構成される。画像処理部１３０Ｂは、撮像素子１１０のフレームレート（たとえば６０Ｈｚ）で生成される生画像２００のデータＳ_１を受け、メモリ１３２に格納する。メモリ１３２は、４Ｋの解像度をサポートする。

この実施例においてファインダー表示部１３４、トラッキング処理部１３６、エンコーダ１３８は、４Ｋの生画像２００を、２Ｋ相当のサブフレーム２０１に分割して処理を行う。したがってファインダー表示部１３４、トラッキング処理部１３６、エンコーダ１３８は、フレームレートの４倍の速度で動作することが望ましい。

ファインダー表示部１３４は、４個のサブフレーム２０１＿１〜２０１＿４を順に参照し、４個のサブフレーム２０１＿１〜２０１＿４それぞれの中から、ファインダー領域２０２とオーバーラップする画像を抽出し、それらを結合してファインダー画像２１０を生成する。

トラッキング処理部１３６は、４個のサブフレーム２０１＿１〜２０１＿４を順に参照し、目標被写体２０４を抽出する。そして目標被写体２０４が含まれるサブフレームをクロップ領域２０６に設定し、クロップ領域２０６のクロップ画像２２０を示す画像データＳ_２を毎フレーム生成する。

なお、目標被写体２０４が複数のサブフレームにまたがって存在する場合には、クロップ領域２０６も複数のサブフレームにまたがることとなる。この場合には、４個のサブフレーム２０１＿１〜２０１＿４それぞれの中から、クロップ領域２０６とオーバーラップする画像を抽出し、それらを結合してクロップ画像２２０を生成すればよい。エンコーダ１３８は、フレーム毎に生成されるクロップ画像２２０のシーケンスを動画圧縮して動画データＳ_２を生成し、記録媒体１４０に書き込む。動画圧縮の方式は特に限定されない。

図８は、図７の画像処理部１３０Ｂの画像処理のフローチャートである。なおこのフローチャートは処理の順序を限定するものではなく、処理に支障がない限りにおいて、各処理を入れ替えることができる。

撮影が開始されると、撮像素子１１０から生画像２００が出力され、メモリ１３２に書き込まれる（Ｓ１００）。変数ｉが初期化され（Ｓ１０２）、ｉ番目のサブフレームに関して、目標被写体の検出、クロップ領域の検出、ファインダー領域の抽出が行われる（Ｓ１０４）。変数ｉがサブフレームの総数Ｎに達していなければ（Ｓ１０６のＮ）、変数ｉをインクリメントし（Ｓ１０８）、処理Ｓ１０４に戻る。処理Ｓ１０８がすべてのサブフレームに関して終了すると（Ｓ１０６のＹ）、ファインダー画像が生成され（Ｓ１１０）、クロップ画像が生成される（Ｓ１１２）。そしてクロップ画像がエンコードされる。１フレームの処理が完了すると、処理Ｓ１００に戻り、次のフレームの処理が開始する。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
実施の形態では、主として動画を撮影するビデオカメラについて説明した。このビデオカメラは静止画の撮影機能を備えてもよく、静止画を撮影する際にも、追従モードをサポートしてもよい。

（変形例２）
本発明の適用範囲はビデオカメラに限定されず、主として静止画を撮影するスチルカメラであってもよい。あるいは、撮影機能を備えるスマートホンやタブレット端末であってもよい。

（変形例３）
図７の画像処理部１３０Ｂにおいて、生画像２００は必ずしもメモリに書き込まれる必要はなく、撮像素子１１０を、４倍のフレームレートでサブフレーム毎に出力するように構成してもよい。

（変形例４）
実施の形態では、生画像を４Ｋ、クロップ画像を２Ｋとして説明したが、解像度の組み合わせはそれに限定されない。たとえば生画像を４Ｋ、クロップ画像を２５６０×１４４０などの中間的な解像度としてもよい。また生画像が８Ｋ、クロップ画像が４Ｋあるいは２５６０×１４４０であってもよいし、生画像が２Ｋ、クロップ画像がハーフＨＤあるいはそれより低い解像度であってもよい。

（変形例５）
実施の形態では、通常モードにおいて、ファインダー１２０に、ファインダー領域に対応する像を表示し、画像処理部１３０は、ファインダー領域に対応する画像を、保存すべき画像としてもよい。

（変形例６）
実施の形態では電子的なファインダーを備えるカメラを説明したがその限りでなく、光学ファインダーであってもよい。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

１００…カメラ、１１０…撮像素子、１２０…ファインダー、１３０…画像処理部、１３２…メモリ、１３４…ファインダー表示部、１３６…トラッキング処理部、１３８…エンコーダ、１４０…記録媒体、１５０…ハードウェアキー、２００…生画像、２０２…ファインダー領域、２０４…目標被写体、２０６…クロップ領域。

Claims (12)

1. 撮像素子と、
   追従モードにおいて、前記撮像素子の有効撮像領域に対応する画角より狭い範囲の像を表示するファインダーと、
   前記追従モードにおいて、前記撮像素子の前記有効撮像領域に対応する生画像を、サイズが等しい複数のサブフレームに分割し、前記複数のサブフレームのうち、目標被写体を含むひとつに対応するクロップ領域を、クロップ画像として保存する画像処理部と、
   を備えることを特徴とするカメラ。
2. 前記画像処理部は、前記目標被写体が前記複数のサブフレームのうちのいくつかにまたがって存在する場合、前記いくつかのサブフレームそれぞれから前記目標被写体を含む領域を抽出し、抽出した複数の領域を結合してなるクロップ領域を、前記クロップ画像として保存することを特徴とする請求項１に記載のカメラ。
3. 前記ファインダーの画角と前記クロップ画像の画角は実質的に等しいことを特徴とする請求項１または２に記載のカメラ。
4. 前記画像処理部は、撮影開始直前または撮影開始後に、ユーザが指定した被写体を前記目標被写体にセットすることを特徴とする請求項１から３のいずれかに記載のカメラ。
5. 前記画像処理部は、撮影開始直前または撮影開始後の所定期間に、所定の部分に含まれている被写体を、前記目標被写体と自動判定することを特徴とする請求項１から３のいずれかに記載のカメラ。
6. 前記追従モードに加えて通常モードが選択可能であり、通常モードにおいて、前記ファインダーに表示される像が記録されることを特徴とする請求項１から５のいずれかに記載のカメラ。
7. 前記ファインダーは電子ファインダーであり、前記通常モードにおいて、前記ファインダーは、前記有効撮像領域の画像を表示し、前記画像処理部は、前記有効撮像領域の画像を保存することを特徴とする請求項６に記載のカメラ。
8. 前記ファインダーは電子ファインダーであり、前記通常モードにおいて、前記ファインダーは、前記追従モードにおいて前記ファインダーが表示するファインダー領域の画像を表示し、前記画像処理部は、前記ファインダー領域の画像を保存することを特徴とする請求項６に記載のカメラ。
9. 前記生画像は破棄されることを特徴とする請求項１から７のいずれかに記載のカメラ。
10. 動画を撮影することを特徴とする請求項１から８のいずれかに記載のカメラ。
11. 動画の撮影方法であって、
    撮像素子により撮影するステップと、
    撮影中にファインダーに前記撮像素子の所定の部分に対応する範囲を表示するステップと、
    前記撮像素子から出力される仮画像をサイズが等しい複数のサブフレームに分割し、前記複数のサブフレームのうち、目標被写体を含むひとつを抽出するステップと、
    前記目標被写体を含むサブフレームに対応するクロップ画像を保存するステップと、
    を備えることを特徴とする撮影方法。
12. 前記目標被写体が前記複数のサブフレームのうちのいくつかにまたがって存在する場合、前記いくつかのサブフレームそれぞれから前記目標被写体を含む領域を抽出し、抽出した複数の領域を結合してなるクロップ領域を、前記クロップ画像として保存することを特徴とする請求項１１に記載の撮影方法。

Images