JP2024023712A - 撮像装置、撮像方法、撮像プログラム、及び記録媒体 - Google Patents

Abstract

【課題】良好な画質のスロー動画を容易に取得できる撮像装置、撮像方法、撮像プログラム、及び記録媒体を提供する。【解決手段】本発明の一態様は、光学系と、撮像素子と、プロセッサと、を備える撮像装置により実行される撮像方法であって、プロセッサが行う処理は、撮像素子から出力される画像信号に基づいて被写体の動きを検出する検出工程と、検出した動きに基づいて、撮像素子から出力される動画のフレームレートを連続的に上げるフレームレート制御工程と、フレームレートを上げるのに応じて、動画の１フレーム当たりの露光時間の割合を一定にする露光制御工程と、露光時間の制御に応じて、光学系の減光度合いを変化させる減光制御工程と、を含み、割合は半分以上である。【選択図】 図６

Description

本発明は、動画を撮像する撮像装置、撮像方法、撮像プログラム、及び記録媒体に関する。

動画を撮像するための技術に関し、例えば特許文献１には、撮像のフレームレートの変化に応じてフィルタの透過率を制御する撮像装置が記載されている。

国際公開第２０１５／１５１８１３号

本開示の技術に係る一つの実施形態は、動きのある被写体について、良好な画質のスロー動画を容易に取得できる撮像装置、撮像方法、撮像プログラム、及び記録媒体を提供する。

本発明の第１の態様に係る撮像装置は、光学系と、撮像素子と、プロセッサと、を備える撮像装置であって、プロセッサは、撮像素子から出力される画像信号に基づいて被写体の動きを検出する検出処理と、検出した動きに基づいて、撮像素子から出力される動画のフレームレートを上げるフレームレート制御と、フレームレートを上げるのに応じて、動画の１フレーム当たりの露光時間の割合を一定に保つ露光制御処理と、露光制御処理に応じて、光学系の減光度合いを変化させる減光制御処理と、を行う。

第２の態様に係る撮像装置は第１の態様において、プロセッサは、動きに基づいて、フレームレート及び露光時間を変化させ始める第１タイミングと、フレームレート及び露光時間を目標値にする第２タイミングと、を算出し、第１タイミングから第２タイミングまでフレームレートを上げ、第１タイミングから第２タイミングまで露光時間を短くする。

第３の態様に係る撮像装置は第２の態様において、プロセッサは、フレームレート制御において、検出した動きに基づいて、複数の被写体の距離がしきい値以下となるタイミングを第２タイミングとして算出する。

第４の態様に係る撮像装置は第３の態様において、プロセッサは、複数の被写体の相対速度に応じてフレームレート及び露光時間の変化率を設定する。

第５の態様に係る撮像装置は第２から第４の態様のいずれか１つにおいて、プロセッサは、フレームレート及び露光時間について、目標値を設定する。

第６の態様に係る撮像装置は第２から第５の態様のいずれか１つにおいて、プロセッサは、第２タイミングが経過した後に、フレームレート、露光時間、及び減光度合いを、フレームレート制御、露光制御処理、及び減光制御処理を開始する前の値に戻す。

第７の態様に係る撮像装置は第１から第６の態様のいずれか１つにおいて、プロセッサは、フレームレートが高いほどビットレートを高くして第１タイミング以降の上げたフレームレートの動画である第１動画を撮像する。

第８の態様に係る撮像装置は第７の態様において、プロセッサは、第１動画について、１フレーム当たりの露光時間をフレーム間隔の半分以上に設定する。

第９の態様に係る撮像装置は第７または第８の態様において、プロセッサは、第１動画を、フレームレート制御を開始する前と同じ初期フレームレートで表示装置に表示させる。

第１０の態様に係る撮像装置は第９の態様において、プロセッサは、第１動画のフレームを間引いて初期フレームレートを有する第２動画を生成し、第１動画及び第２動画を、初期フレームレートで表示装置に表示させる。

第１１の態様に係る撮像装置は第１から第１０の態様のいずれか１つにおいて、プロセッサは、フレームレートと、露光時間と、減光素子の減光度合いと、絞りと、感度と、ビットレートと、のうち少なくとも１つを設定するようユーザを促す情報を出力する。

第１２の態様に係る撮像装置は第１から第１１の態様のいずれか１つにおいて、光学系は絞り度合いが可変の絞り機構を備え、プロセッサは、露光時間を短くするのに合わせて絞り機構の絞り度合いを解放側に変化させる。

本発明の第１３の態様に係る撮像方法は、光学系と、撮像素子と、プロセッサと、を備える撮像装置による撮像方法であって、プロセッサが行う処理は、撮像素子から出力される画像信号に基づいて被写体の動きを検出する検出工程と、検出した動きに基づいて、撮像素子から出力される動画のフレームレートを連続的に上げるフレームレート制御工程と、フレームレートを上げるのに応じて、動画の１フレーム当たりの露光時間を連続的に短くする露光制御工程と、露光時間の制御に応じて、光学系の減光度合いを変化させる減光制御工程と、を含む。なお、第１３の態様に係る撮像方法に対し、第２から第１２と同様の構成をさらに含めてもよい。

本発明の第１４の態様に係る撮像プログラムは、第１３の態様に係る撮像方法をコンピュータに実行させる。斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。

図１は、第１の実施形態に係る撮像装置の概略構成を示す図である。 図２は、画像処理装置の機能構成を示す図である。 図３は、第１の実施形態に係る撮像方法の処理を示すフローチャートである。 図４は、第１の実施形態に係る撮像方法の処理を示すフローチャート（図３の続き）である。 図５は、被写体の動きに基づくイベントタイミングの算出の様子を示す図である。 図６は、フレームレート等の制御の様子を示す図である。 図７は、絞りの制御の様子を示す図である。 図８は、フレームレート等の制御の様子を示す他の図である。 図９は、被写体の相対速度に基づくフレームレートの制御の様子を示す図である。 図１０は、動く被写体と静止している被写体によるイベントの発生を示す図である。 図１１は、変形例６の処理を示すフローチャートである。 図１２は、第１動画と第２動画を同時表示する様子を示す図である。 図１３は、第２の実施形態に係るスマートフォンの外観図である。 図１４は、スマートフォンの概略構成を示す図である。

本発明に係る撮像装置、撮像方法、撮像プログラム、及び記録媒体の一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。

＜第１の実施形態＞
＜撮像装置の全体構成＞
図１は第１の実施形態に係るカメラ１００（撮像装置、光学系）の概略構成を示す図である。カメラ１００は交換レンズ２００（光学系）及び撮像装置本体３００（撮像装置本体）により構成され、後述するズームレンズ２２０，フォーカスレンズ２４０を含む撮影レンズにより、被写体像（光学像）を撮像素子３１０に結像させる。交換レンズ２００と撮像装置本体３００とは、図示せぬマウントを介して装着及び取り外しをすることができる。なお、第１の実施形態ではカメラ１００が交換レンズ２００を備える場合について説明しているが、本発明において、レンズ装置（光学系）がカメラ本体に固定されていてもよい。

＜交換レンズの構成＞
交換レンズ２００は、減光素子２１０と、ズームレンズ２２０と、絞り２３０と、フォーカスレンズ２４０と、レンズ駆動部２５０と、を備える。レンズ駆動部２５０は、画像処理装置３４０（図２のレンズ駆動制御部３６０；プロセッサ）からの指令に応じてズームレンズ２２０、フォーカスレンズ２４０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置３４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部２５０は、画像処理装置３４０（レンズ駆動制御部３６０）からの指令に応じて減光素子２１０（減光素子、減光フィルタ、光学系）の減光度合いを変化させる。さらに、レンズ駆動部２５０は、画像処理装置３４０からの指令に応じて絞り２３０（絞り機構）を制御し、露出を調整する。一方、ズームレンズ２２０及びフォーカスレンズ２４０の位置、絞り２３０の開放度等の情報が画像処理装置３４０に入力される。なお、交換レンズ２００は光軸Ｌを有する。

＜減光素子及び絞りの構成＞
減光素子２１０は、例えば可変ＮＤフィルタ（ＮＤ：Neutral Density）により構成され、減光度合いを変化させることができる。減光度合いは、例えば、回転方向に減光度合いが異なる複数のＮＤフィルタを重ねて相対的に回転させることにより変更することができる。あるいは、エレクトロクロミック素子を用いて減光素子を構成し、印加する電圧を変えることにより減光度合いを変化させてもよい。また、液晶表示素子を用いて減光素子を構成し、液晶の透過率を変更することにより減光度合いを変化させてもよい。絞り２３０（絞り機構）は、移動及び／または回転が可能な羽根状部材あるいは板状部材により構成され、絞り度合いを変化させることができる。液晶表示素子を用いて絞り度合いが可変の絞りを構成してもよい。なお、図１では減光素子２１０及び絞り２３０が交換レンズ２００に設けられる態様について説明しているが、減光素子及び／または絞りが撮像装置本体３００側に設けられていてもよい。

＜撮像装置本体の構成＞
撮像装置本体３００は、撮像素子３１０（撮像素子）、ＡＦＥ３２０（ＡＦＥ：Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、Ａ／Ｄ変換器３３０（Ａ／Ｄ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）、及び画像処理装置３４０（プロセッサ、条件設定部、検出処理部、フレームレート制御部、露光制御処理部、撮影部、減光制御処理部、絞り制御部、表示制御部、情報出力部、レンズ駆動制御部）を備える。また、撮像装置本体３００は、操作部３７０、記録装置３８０（記録装置）、モニタ３９０（表示装置）、及びスピーカ３９５を備える。撮像装置本体３００は、撮像素子３１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。なお、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、画像処理装置３４０によって撮像素子３１０の電荷蓄積期間を制御することで、露光時間（シャッタースピード）を調節することができる。

撮像素子３１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そして、減光素子２１０（減光素子、減光フィルタ、光学系）、ズームレンズ２２０（光学系）、絞り２３０（絞り機構、光学系）、及びフォーカスレンズ２４０（光学系）を透過した被写体光が撮像素子３１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子３１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子３１０としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の様々な光電変換素子を用いることができる。ＡＦＥ３２０は撮像素子３１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器３３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

なお、撮像素子３１０がＣＭＯＳである場合、ＡＦＥ３２０及びＡ／Ｄ変換器３３０は、撮像素子３１０に含まれることが多い。ＣＭＯＳを用いる例としては、撮像素子３１０から出力されるアナログ画像信号を撮像素子３１０に内蔵するＡ／Ｄ変換器３３０によってデジタル画像信号に変換する。その後、撮像素子３１０に内蔵するデジタル処理部（図示せず）によって、デジタル相関二重サンプリング、デジタルゲイン処理、補正処理等を行ってデジタル画像信号に変換する。

＜画像処理装置の構成＞
図２は、画像処理装置３４０（プロセッサ）の機能構成を示す図である。画像処理装置３４０は、条件設定部３４２、検出処理部３４４、フレームレート制御部３４６、露光制御処理部３４８、撮影部３５０、減光制御処理部３５２、絞り制御部３５４、表示制御部３５６、情報出力部３５８、及びレンズ駆動制御部３６０を備える。画像処理装置３４０は、Ａ／Ｄ変換器３３０から入力されたデジタル画像信号に基づいて、動画の撮像（撮影）及びファイル生成、静止画の撮像（撮影）及び静止画ファイル生成等の処理を行う。画像処理装置３４０を用いた処理の詳細は後述する。

画像処理装置３４０の機能は、各種のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

なお、画像処理装置３４０の各機能は１つのプロセッサで実現されていてもよいし、複数のプロセッサで実現されていてもよい。また、１つのプロセッサが複数の機能に対応していてもよい。さらに、画像処理装置３４０の各機能は回路によって実現されていてもよく、また各機能の一部を回路で実現し、残りがプロセッサによって実現されていてもよい。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的記録媒体に記憶しておく。そして、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮像方法を実行するための撮像プログラム（撮像装置を動作させるプログラム）を含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたデータを参照することもできる。

画像処理装置３４０は、上述の各部の他にＲＯＭ３６２（非一時的記録媒体、メモリ）を備える。ＲＯＭ３６２には、画像の撮像、記録、表示等に必要なプログラム（本発明に係る撮像方法を実行するためのプログラムを含む）の、コンピュータ（例えば、画像処理装置３４０を構成する各種のプロセッサ）で読み取り可能なコードが記録される。また、画像処理装置３４０は、一時的な記憶領域及び作業領域としてのＲＡＭ３６４（メモリ）を備える。

＜操作部＞
操作部３７０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Ｑｕｉｃｋボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、撮影条件の設定、動画撮影指示、静止画撮影指示等、各種の操作を行うことができる。また、画像処理装置３４０は、これらユーザの指示を受け付けることができる。なお、モニタ３９０（表示装置）をタッチパネル型のデバイスで構成し、操作部として使用してもよい。

＜記録装置＞
記録装置３８０（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画（第１動画、第２動画、通常動画等）、静止画等を保存する。記録媒体としては、撮像装置本体３００に対し着脱できるタイプを用いることができる。撮像した画像（動画、静止画）を、例えば有線及び／または無線通信により外部の（記録装置３８０以外の）記録媒体や記録装置に送信して保存してもよい。

＜モニタ及びスピーカ＞
モニタ３９０（表示装置）は例えばタッチパネル型の液晶表示パネルにより構成され、動画（通常動画、スロー動画）、静止画、ユーザへのメッセージ（例えば、フレームレートと、露光時間と、減光素子の減光度と、絞りと、感度と、ビットレートと、のうち少なくとも１つを設定するようユーザを促す情報）等を表示することができる。モニタ３９０は撮像装置本体３００の背面側、天面側等に配置することができる。このメッセージはスピーカ３９５から音声出力してもよい。なお、カメラ１００は光学式及び／または電子式のビューファインダを備えていてもよい。

＜スロー撮影における課題及び本願発明の手法＞
一般的に、動画の露光時間として、フレームレートの半分以上の露光時間が適正とされており（例：60fps（frame per second）の動画ならば1/120sec以上の露光時間）、それよりも露光時間が短いと、被写体の動きがぎくしゃくした間欠的なものになる現象（いわゆる「パラパラ感」）が発生し、動画として不適と言われている。適性露出を保ったまま露光時間を延ばすには、感度を下げることや、絞りを絞ることが考えられるが、感度は下げられる限界が存在するし、絞りを絞ると被写界深度が変わるため撮影者の意図とは異なる動画になってしまう可能性がある。このため、映画撮影用などの高価な撮像装置には、内蔵したＮＤフィルタ等で光量を下げることにより、感度及び絞りの条件を一定に保ったまま露光時間を延ばすことができる機能が備わっている。

また、撮影時に通常フレームレートより高いフレームレート（高フレームレート）で撮影しておき、再生時に通常フレームレートで再生する「スロー撮影」という機能が知られている（例：240fpsで撮影し、60fpsで再生することで4倍スローとなる）。以下、この機能で撮影された動画を「スロー動画」という。

スロー撮影では高フレームレートとなるため、先に記した一般的な撮影方法によると、高速シャッター（短い露光時間）で撮影する必要がある（240fpsならば1/480sec以上の露光時間）。通常フレームレートで適正な露出で撮影している状態からパラパラ感を感じさせないようにスロー撮影に切り替えようとすると、高フレームレートへの切り替えにあわせて露光時間を大きく変える必要がある。しかし、ＮＤフィルタの減光度は一瞬（短時間）で変えることができないため、一瞬（短時間）で変更することができる感度を切り替えて対応することとなるが、感度を切り替えることで「ザラザラ感」（画像における粒状のノイズの有無、程度、パターン等）が変わってしまう可能性がある。スポーツなどの撮影では、取り直しができないためこの点を承知の上で利用されているが、取り直しが可能な映画撮影などではザラザラ感が変わることの方が問題であるため、ＮＤフィルタで光量を調整して感度を揃え、通常フレームレート部と高フレームレート部を別々に撮影することが一般的である。

しかし、このような複数回の撮影は時間や手間を要するし、スポーツなどのように被写体に動きがある場合は対応できない。このように、従来の技術は、動きのある被写体について良好な画質のスロー動画を容易に取得できるものではなかった。

そこで、本願発明者らは、通常フレームレートからスロー撮影への切り替え時の効果的な機能として、徐々にスローになっていく（フレームレートを上げながら動画を撮影し、撮影した動画を一定のレートで表示する）手法を提案する。具体的には、詳細を以下に説明するように、被写体の動きに基づいて動画のフレームレートを徐々に（連続的にあるいは段階的に、以下同じ）上げ、フレームレートの変化に応じて露光時間を短くする。この際、フレームレート変化に伴う露光時間の変化にあわせて、適正露出を維持するために減光素子の減光度（ＮＤフィルタの濃度）を徐々に変化させる。これにより、被写体の動きに応じて、最も効果的なタイミング（例えば、イベント発生のタイミング）で効果が最大になるようにスロー撮影への切り替えを行うことができ、動きのある被写体について良好な画質のスロー動画を容易に取得することができる。

＜撮像方法の処理＞
図３，４は、第１の実施形態に係る撮像方法の処理を示すフローチャートである。

＜撮影条件の設定＞
条件設定部３４２（プロセッサ）は、動画の撮影条件を設定する（ステップＳ１００：設定処理、設定工程）。ステップＳ１００で設定する撮影条件としては、例えば動画のフレームレート、１フレーム当たりの露光時間、絞り、減光度合い等の初期値及び／または目標値、フレームレート、露光時間、減光度合いを変化させ始めてから目標値にするまでの時間（第１期間）を挙げることができる。条件設定部３４２は、操作部３７０やモニタ３９０を介したユーザの操作に応じて撮影条件を設定してもよいし、あらかじめ決められた撮影条件を設定してもよい。

＜通常動画の撮影＞
撮影指示があった場合（ステップＳ１１０でＹＥＳ）、撮影部３５０（プロセッサ）は、動画像（通常動画）の撮影及び記録を開始する（ステップＳ１２０）。この時点では、フレームレート及び露光時間は初期値のままである。

＜動きに基づくイベント発生タイミングの算出＞
検出処理部３４４（プロセッサ）は、例えばフレーム間の差分（動きベクトル）に基づいて、被写体の動きを検出する（ステップＳ１３０：検出処理、検出工程）。動きが検出された場合（ステップＳ１３０でＹＥＳ）、検出処理部３４４は動きに基づいてイベント発生のタイミングを算出する。

図５は被写体の動きに基づくイベントタイミングの算出の様子を示す図である。同図の（ａ）部分はカメラ１００の視野５００にボール５０２とバット５０４が写っている状態を示しており、同図の（ｂ）部分はボール５０２とバット５０４が動いている様子を示す。「イベント」は例えば、複数の被写体が衝突する、カメラ１００から見て重なる、距離がしきい値以下（あらかじめ決められた値以下）となる状態等とすることができ、図５の場合、検出処理部３４４は例えばボール５０２とバット５０４が衝突するのを「イベント」としてそのタイミングを算出する。なお、バッターが空振りする（ボール５０２とバット５０４が衝突しない）場合もあるので、距離がゼロ（衝突）の場合だけでなく、距離がゼロより大きいしきい値以下となることを「イベント」としてそのタイミングを算出してもよい。

＜制御計画の設定＞
画像処理装置３４０（フレームレート制御部３４６及び露光制御処理部３４８；プロセッサ）は、被写体の動きから算出したイベントの発生タイミングに基づいて、フレームレート及び露光の制御計画を設定する（ステップＳ１５０：フレームレート制御、露光制御処理、フレーム制御工程、露光制御工程）。具体的には、フレームレート制御部３４６及び露光制御処理部３４８は、フレームレート及び露光時間を変化させ始める第１タイミングと、フレームレート及び露光時間を目標値にする第２タイミングと、を含む制御計画を設定する（ステップＳ１５０：制御計画設定、制御計画設定工程）。フレームレート制御部３４６は、例えば図５の場合、ボール５０２とバット５０４が衝突する瞬間（イベントの発生タイミング）を第２タイミングとし、第２タイミングから第１期間だけ前のタイミングを第１タイミングとして算出することができる。例えば、フレームレート制御部３４６及び露光制御処理部３４８は、「３秒後（第２タイミング）にイベントの発生が予測されるから、第２タイミングから２秒（第１期間）だけ前である１秒後（第１タイミング）にフレームレート及び露光時間の制御を開始して、３秒後（第２タイミング）に目標値にする」のような制御計画を設定することができる。なお、イベントの発生が複数回予測される場合は、いずれのイベントを第２タイミングとしてもよい。

フレームレート制御部３４６は、ボール５０２とバット５０４が衝突する瞬間（イベントの発生）から決められた時間経過したタイミングを第２タイミングとして算出してもよい。なお、フレームレート制御部３４６は、第１タイミングの算出に際しユーザが（ステップＳ１００で）指定した「第１期間」の値を受け付けてもよいし、あらかじめ決められた値を用いてもよい。

＜フレームレート及び露光時間の制御＞
画像処理装置３４０（プロセッサ）は、第１タイミングになると（ステップＳ１６０でＹＥＳ）、フレームレート及び露光時間の制御を開始する。図６は、フレームレート等の制御の様子を示す図である。同図の（ａ）部分はフレームレートの制御の様子を示す図であり、同図の（ｂ）部分は露光時間の制御の様子を示す図である。

フレームレート制御部３４６（プロセッサ）は、時刻T1（第１タイミング）から時刻T2（第２タイミング）まで、撮像素子３１０から出力される動画のフレームレートを連続的に上げる（ステップＳ１７０：フレームレート制御、フレームレート制御工程）。図６の（ａ）部分に示す例では、フレームレート制御部３４６（プロセッサ）は動画のフレームレートを60fps（frame per second；初期フレームレート）から240fps（目標値）まで変化させる。なお、Δｔ（=T2-T1）が「第１期間」に相当する。

また、露光制御処理部３４８（プロセッサ）は、フレームレートを上げるのに応じて、時刻T1（第１タイミング）から時刻T2（第２タイミング）まで、動画の１フレーム当たりの露光時間を連続的に短くする（ステップＳ１８０：露光制御処理、露光制御工程）。時刻T1では露光時間が1/120sec（初期露光時間、Tv値（time value）は6.91）、時刻T2では露光時間が1/480sec（目標値、Tv値は8.91）である。なお、露光制御処理部３４８（プロセッサ）は、１フレーム当たりの露光時間をフレーム間隔の半分以上に設定することが好ましい。このような設定により、撮影した動画において被写体の動きがぎくしゃくした間欠的なものになる現象（いわゆる「パラパラ感」）を防止あるいは低減することができる。図６に示す例では露光時間はフレーム間隔の半分であり、フレーム間隔と１フレーム当たりの露光時間との割合（比率）は一定に保たれている。

＜減光度の制御＞
上述したフレームレート及び露光時間の制御により、再生時に徐々にスローになっていく動画（第１動画、スロー動画）が得られる。しかし、フレームレートに合わせて露光時間を変化させる（図６の（ａ）部分及び（ｂ）部分に示す制御）だけだと、露光時間が短くなっていくため得られた画像がどんどん暗くなって行ってしまう。あらかじめ1/480secで露出をあわせて撮影しておくことで露出の変化は防げるが、これでは60fps時に「パラパラ感」が発生してしまう。他にも、露光時間の変化に合わせて感度を変化させることが考えられるが、感度が変わることでS/Nが変化して「ザラザラ感」（画像における粒状のノイズの有無、程度、パターン等）が変化してしまう。そこで、図６の（ｃ）部分のように、減光制御処理部３５２（プロセッサ）及びレンズ駆動制御部３６０（プロセッサ）は、露光時間の変化に合わせて減光素子２１０の濃度（減光度）を連続的に変更することができる（ステップＳ１９０：減光度制御処理、減光度制御工程）。例えば、時刻T1に16であったＮＤ値（減光度合い）を時刻T2には4に下げる。このような減光度の制御により、明るさ及びザラザラ感を一定に保ちつつ徐々にスローになる動画を撮影することができる。なお、フレームレート、露光時間、及び減光度合いは、連続的ではなく段階的に変化させてもよい。

＜第１動画の記録及び表示＞
撮影部３５０（プロセッサ）は、上述の制御を行ったフレームレート、露光時間、及び減光度の下で動画（第１動画、スロー動画）を撮影し、記録装置３８０に記録する。「第１動画」とは、第１タイミング以降にフレームレートを上げ、露光時間を短くし、減光度合いを変化させて撮影した動画である。この際、撮影部３５０は、動画ファイルのヘッダ等に、「フレームレートが60fpsの動画である」ことを記録しておく。表示制御部３５６は、撮影した動画を、記録されたフレームレートでモニタ３９０に再生表示させることができ（ステップＳ２００：第１撮影、第１表示、第１撮影工程、第１表示工程）、これによりスロー動画の効果が得られる。なお、第１動画、第２動画（後述）、及び通常動画は同じ動画ファイルに記録することができる。

また、撮影部３５０及び表示制御部３５６は、このようにして取得した動画をリアルタイムにモニタ３９０に表示させてもよい（ステップＳ２００：第１撮影、第１表示、第１撮影工程、第１表示工程）。動画をリアルタイム表示する場合、撮影部３５０及び表示制御部３５６は、通常動画を取得している期間（フレームレート等の制御を行っていない期間）は通常動画をモニタ３９０に表示させる。また、第１動画を取得している期間（フレームレート等の制御を行っている期間）において、撮影部３５０及び表示制御部３５６は、第１動画のフレームを間引いて初期フレームレート（通常動画と同じフレームレート等）を有する第２動画を生成し、第２動画をモニタ３９０にリアルタイムで表示させてもよい（第２撮影、第２表示、第２撮影工程、第２表示工程）。このようなリアルタイム表示により、ユーザはモニタ３９０で被写体を捉えることができる。なお、第１動画と第２動画を同時に表示させる態様については、後述する変形例６で説明する。

画像処理装置３４０（プロセッサ；撮影部３５０等）は、制御終了タイミング（ステップＳ２１０；図６の例では、第２タイミングである時刻T2）まで第１動画の撮影及び記録を継続する。

＜初期フレームレート等への復帰＞
制御終了タイミング（第２タイミング）が経過した後に（ステップＳ２１０でＹＥＳ）、フレームレート制御部３４６及び露光制御処理部３４８は、フレームレート及び露光時間を、フレームレート制御及び露光制御処理を開始する前の値に戻す（ステップＳ２２０：フレームレート制御、フレームレート制御工程、露光制御処理、露光制御工程）。また、減光制御処理部３５２も、減光度を元の値に戻す。なお、元の値に戻すのは、時刻T2経過後すぐにでもよいし、時刻T2から決められた時間が経過した後でもよい。元に戻すタイミングを、ユーザの操作等に基づきステップＳ１００で設定してもよい。また、画像処理装置３４０（プロセッサ）は、制御の対象となった撮影条件が他にもある場合は、その条件を元に戻す。これにより、撮影される動画は通常動画となる。

画像処理装置３４０（プロセッサ）は、撮影終了の指示（例えば、図示せぬレリーズボタンの押し下げ等）があるまで（ステップＳ２３０でＹＥＳになるまで）、上述した処理を繰り返す。

＜スロー動画の表示＞
表示制御部３５６（プロセッサ）は、撮影した動画（通常動画、及びスロー動画である第１動画）を、初期フレームレート（フレームレート制御を開始する前と同じフレームレート）でモニタ３９０及び／または外部の表示装置に表示させることができる。これにより、ユーザは、動きのある被写体について、良好な画質のスロー動画（イベントの発生に向けて徐々にスローになっていく動画）を視聴することができる。

以上説明したように、第１の実施形態に係るカメラ１００では、被写体の動きに応じて、衝突等のイベントに向けてフレームレートを徐々にスローに変化させ、合わせて露光時間を変化させることで、そのイベントを効果的に演出することができる。また、露光時間の変化に合わせて減光素子の減光度合い（可変ＮＤフィルタの濃度等）を変えることで、フレームレート変更前のパラパラ感や、フレームレート変更に伴うザラザラ感の変化を犠牲にすること無く、フレームレート及び露光時間を変更することができる。このように、第１の実施形態に係るカメラ１００によれば、動きのある被写体について、良好な画質のスロー動画を容易に取得することができる。

＜変形例１：絞りを制御する態様＞
上述した第１の実施形態では、フレームレート及び露光時間の制御に加えて減光素子２１０の減光度（可変ＮＤフィルタ濃度）を制御しているが、減光度に代えて、または減光度に加えて絞りを制御してもよい。例えば露光時間を図６の（ｂ）部分に示すように制御する場合、絞り制御部３５４（プロセッサ）は、時刻T1（第１タイミング）から時刻T2（第２タイミング）まで、露光時間を短くするのに合わせて、図７（絞りの制御の様子を示す図）に示すように絞り２３０（絞り機構）の絞り度合いを解放側に（図７の例ではＦ値を16から4に）変化させることができる（絞り制御処理、絞り制御工程）。絞りを制御する場合、動画がスローになる（フレームレートが上がる）のに伴って被写界深度も徐々に浅くなるため、イベントの演出性をより高めることができる。なお、減光度と絞りのいずれについて制御を行うかは、ユーザの操作に応じて決定することができる（例えば、ステップＳ１００で設定する）。

＜変形例２：露光時間及び減光度を一定期間固定する態様＞
図８は、フレームレート等の制御の様子を示す他の図である。上述のように、通常の動画では「フレームレート分の1」（フレーム間隔）の半分もしくはそれ以上を露光時間とすることが一般的であるが、変形例２では、フレームレートを変更する際、露光時間が「それ以上露光時間を確保できなくなるフレームレート分の1」になるまで値を固定しておき、以降はフレームレートに合わせて「フレームレート分の1」の露光時間を設定する。これに伴い、減光素子の濃度変更タイミング及び変化量も、露光時間の変化に合わせて変える。

具体的には、フレームレートを図８の（ａ）部分に示すように制御する場合、露光時間が初期露光時間（1/120sec）のままだと、時刻T1A以降は「フレームレート分の１」の露光時間を確保できなくなる。そこで、露光制御処理部３４８は、同図の（ｂ）部分に示すように、時刻T1A（第１タイミング）以降は露光時間が「フレームレート分の１」となるように制御する（露光時間を短くしていく；露光制御処理、露光制御工程）。

また、減光制御処理部３５２は、図８の（ｃ）部分に示すように、露光時間の制御に合わせて時刻T1Aから時刻T2まで減光素子２１０の減光度合いを下げる（減光制御処理、減光制御工程）。同図に示す例では、減光度合いはＮＤ値で16から8まで下がっており、図６に示す制御態様と比べてＮＤ値の下げ幅を抑えている。これにより、減光素子２１０（可変ＮＤフィルタ）のばらつきの影響を抑えることができる。

＜変形例３：被写体の相対速度に応じた変化率を設定する態様＞
被写体の速度がわかっているシーンの撮影ならば事前に撮影者が設定しておくこともできるが、速度が不明なときや、速度がばらつく場合は、ちょうど良い設定を行うことは困難である。また、何度も撮影し直すことができるとも限らない。フレームレートの変化量を事前に設定しておいても、被写体の速度が速すぎると、被写体が画角に入った時にはすでにフレームレートを変更するタイミングを過ぎていることも考えられる。

そこで、変形例３では、被写体の速度に応じてフレームレートの時間あたりの変化量を調整することで、被写体がちょうど衝突する（あるいは、距離がしきい値以下になる）タイミングに合わせてスローになっていく効果を当てはめることができる。

図９は、被写体の相対速度に基づくフレームレートの制御の様子を示す図である。同図に示す態様において、フレームレート制御部３４６は、フレームレートの時間あたりの変化量を、検出処理部３４４が検出した被写体の相対速度から決める。具体的には、被写体の相対速度が速いほど、フレームレートの変化率（時間あたりの変化量）を大きくする。例えば、図６に示す制御態様（時刻T1から時刻T2にかけて60fpsから240fpsまで変化；図９中の点線で示す）よりも被写体の相対速度が大きい場合、フレームレート制御部３４６は、時刻T1から時刻T1B（時刻T2より前）まで図９中の実線に沿ってフレームレートを変化させる。この場合、フレームレートの変化率は図６の態様より大きい。なお、被写体の相対速度によっては、フレームレートの変化率を図６の態様より小さくしてもよい。このように、被写体の相対速度に基づいてフレームレートを制御する場合、露光時間や減光度、絞り等もフレームレートに合わせて制御することが好ましい。

＜変形例４：フレームレートに応じてビットレートを設定する態様＞
上述したスロー動画の撮影によりフレームレートが上がると、1秒あたりのコマ数が増える。この状況でビットレート設定（Mbps）をそのままにしていると、1コマに使えるデータ量が減ってしまい、せっかくスローで再生させるシーンなのに画質が悪くなってしまう。そこで、変形例４では、フレームレートにあわせて圧縮率を変える。具体的には、撮影部３５０は、再生時のビットレートが一定になるように、フレームレートが高いほどビットレートを高くして（圧縮率としては低くして）、動画（第１動画）を撮像する。これにより画質低下の問題を解決し、スローシーンの画質を維持して良好な画質のスロー動画を取得することができる。

＜変形例５：一部の被写体が静止している場合の制御＞
図５，６等では複数の被写体がいずれも動いている場合について説明したが、本発明によれば、一部の被写体が静止している場合にもスロー動画を撮影することができる。図１０は、動く被写体と静止している被写体によるイベントの発生を示す図である。図１０に示す例では、同図の（ａ）部分に示すように、アスリート５３０が、静止したゴール５４０に向かって走っている。そして、同図の（ｂ）部分に示すように、時間が経過するとアスリート５３０がゴール５４０に接近、もしくはゴール５４０を通過する（複数の被写体の距離がしきい値以下となる）。このゴール通過のタイミングを「イベント」としてフレームレート等の制御を行うことで、上述した態様と同様に、ユーザは動きのある被写体（アスリート５３０）について、良好な画質のスロー動画を容易に取得することができる。なお、図１０の例のように静止した被写体（ゴール５４０）を含めてスロー動画を撮影する場合は、操作部３７０やモニタ３９０等を介したユーザの操作に応じて、その静止した被写体をあらかじめ指定しておくことが好ましい。

＜変形例６：第１動画と第２動画を同時に表示する態様＞
スロー動画を撮影する際、上述のように動画をリアルタイムにモニタ３９０（表示装置）に表示することで、ユーザは被写体を捉えることができる。しかし、上述のようにフレームレート等を変化させてスローに変化していく動画（第１動画）を撮影しても、撮影完了後に再生させてみないと効果が検証できない。そこで、変形例６では、通常動画及び第２動画のリアルタイム表示の他に、第１動画（スロー効果が反映されて撮影された動画）を同時に表示する。

図１１は変形例６の処理を示すフローチャートである。同図のフローチャートにおいて、図３，４のフローチャートと同様の処理には同じステップ番号を付し、詳細な説明を省略する。

撮影部３５０（プロセッサ）は、第２動画を取得するタイミングであるか否かを判断する（ステップＳ２０２：第２撮影、第２撮影工程）。例えば、第１動画のフレームレートが初期フレームレートの２倍になっていれば２フレームのうち１フレームを間引いて第２動画のフレームとし、第１動画のフレームレートが初期フレームレートの３倍になっていれば３フレームのうち２フレームを間引いて第２動画のフレームとする。第１動画のフレームレートが上がるにつれて、間引きの率も上がって行く。撮影部３５０は第２動画を記録装置３８０に記録し、表示制御部３５６はモニタ３９０に第２動画を表示させる（ステップＳ２０４：第２撮影、第２撮影工程）。

図１２は第１動画と第２動画を同時表示する様子を示す図である。同図の（ａ）部分では、モニタ３９０の表示領域において、第２動画表示領域５１０の中に第１動画表示領域５２０が設けられている。同部分はフレームレートの制御を開始した状態（第１タイミングの状態）であり、第１動画と第２動画の差がない。これに対し図１２の（ｂ）部分及び（ｃ）部分はフレームレートが上がって行って第１動画と第２動画の差が広がっていった状態を示す。このような表示により、ユーザは第２動画で被写体を捉えつつ、第１動画（スロー動画）の様子を確認することができる。

なお、図１２の例では第２動画表示領域５１０の中に第１動画表示領域５２０を設けているが、これとは逆に第１動画表示領域５２０の中に第２動画表示領域５１０を設けてもよい。また、表示制御部３５６は第１動画と第２動画とを別の表示領域に、あるいは別の表示装置に表示させてもよい。

＜変形例７：ユーザに対するレコメンド＞
情報出力部３５８（プロセッサ）は、設定された撮影条件及び撮影しようとしているシーンの状況（明るさ、被写体の動き等）に応じて、フレームレートと、露光時間と、減光素子の減光度合いと、絞りと、感度と、ビットレートと、のうち少なくとも１つを設定するようユーザを促す情報をモニタ３９０、スピーカ３９５等に出力してもよい。

例えば、撮影シーンが明るく、フレームレートの切り替え前にユーザが設定した露出では減光素子２１０（可変ＮＤフィルタ）をこれ以上暗くすることができずに露出オーバーになってしまう状況において、情報出力部３５８は、ＮＤフィルタを外付けすることを促す情報を出力することができる。また、同様の状況で、情報出力部３５８は、絞り２３０を絞ることを促す情報や、露光時間を短くすることを促す情報を出力することができる。このような情報に応じた絞りや露光時間の設定により、ユーザは明るいシーンでも適性露出で撮影することができる。

逆に、撮影シーンが暗い場合、情報出力部３５８は、感度を上げることを促す情報や、絞りを開けることを促す情報、あるいは制御後のフレームレートの最速値（目標値）を低くする（すなわち、再生したときのスロー度合いが弱くなる）ことを促す情報を出力することができる。このような情報に応じた設定により、ユーザは暗いシーンでも適性露出で撮影することができる。

情報出力部３５８は、このような情報を、撮影条件を設定する際（ステップＳ１００）や撮影指示の際（ステップＳ１１０でＹＥＳ）等のタイミングで出力することができる。

なお、このような情報を出力する際に、情報出力部３５８は、「情報に応じた操作や設定により、撮影意図と異なる動画が撮影される可能性がある」旨の注意を併せてモニタ３９０、スピーカ３９５等に出力してもよい。例えば、絞りの変更により被写界深度が変わることや、露光時間の変更により「パラパラ感」が変わることや、感度の変更により「ザラザラ感」が変わることを示す情報を出力することができる。このような出力により、「適性露出での撮影を優先する」、「被写界深度等を意図通りにすることを優先する」等、ユーザの選択の幅を広げることができる。

＜第２の実施形態＞
第１の実施形態では、デジタルカメラであるカメラ１００について説明したが、撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯型ゲーム機、スマートウォッチが挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１３は第２の実施形態に係るスマートフォン１（撮像装置、撮像装置本体）の外観図である。同図の（ａ）部分は正面図、（ｂ）部分は背面図である。図１３に示すスマートフォン１は平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、筐体２は、スピーカ３１（スピーカ）と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１，４２（撮像装置）、ストロボ４３とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

図１４は、スマートフォン１の概略構成を示す図である。図１４に示すように、スマートフォン１は、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１，４２と、ストロボ４３と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、モーションセンサ部８０と、電源部９０と、を備える。また、スマートフォン１は、主制御部１０１（プロセッサ）を備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行う。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

表示パネル２１においては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などが表示デバイスとして用いられる。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等の導体によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指やペン等の導体によって操作すると、操作パネル２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

図１３に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆う配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１３に示すように、例えばスピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図１３に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０（記録装置）は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリ用のスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、公知の格納媒体を用いて実現される。

外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン１は、外部入出力部６０を介して他の外部機器に通信等により直接的または間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４、ネットワーク（例えば、インターネット、無線ＬＡＮ）を挙げることができる。この他、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）などを通信等の手段として挙げることができる。さらに、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）なども通信等の手段として挙げることができる。

スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポートを挙げることができる。また、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ(Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ)／ＵＩＭ(Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ)カードも外部機器として挙げることができる。また、オーディオ及びビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

モーションセンサ部８０は、例えば、３軸の加速度センサや傾斜センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度、姿勢が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給する。

主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御する。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

カメラ部４１，４２は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮影するデジタルカメラ（撮像装置）である。また、カメラ部４１，４２は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧなどの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１，４２は、主制御部１０１の制御により、スロー動画（第１動画，第２動画）の撮影を行うこともできる。図１３，１４に示すスマートフォン１において、カメラ部４１，４２の一方を用いて撮影することもできるし、カメラ部４１，４２を同時に使用して撮影することもできる。カメラ部４２を用いる場合は、ストロボ４３を使用することができる。なお、カメラ部４１，４２は、第１の実施形態に係るカメラ１００と同様に、減光度が可変の減光素子を備える（図１３，１４において不図示）。減光素子（ＮＤフィルタ等）は外付け型でもよい。絞り度合いが可変の絞り機構をさらに備えていてもよい。

また、カメラ部４１，４２はスマートフォン１の各種機能に利用することができる。例えば、スマートフォン１は、表示パネル２１にカメラ部４１，４２で取得した画像を表示できる。また、スマートフォン１は、操作パネル２２の操作入力のひとつとして、カメラ部４１，４２の画像を利用することができる。また、スマートフォン１は、ＧＰＳ受信部７０がＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて位置を検出する際に、カメラ部４１，４２からの画像を参照して位置を検出することもできる。さらには、スマートフォン１は、カメラ部４１，４２からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、スマートフォン１は、カメラ部４１，４２からの画像をアプリケーションソフトウェア内で利用することもできる。その他、スマートフォン１は、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することもできる。また、スマートフォン１は、これらの静止画または動画の画像データを外部入出力部６０や無線通信部１１を通じて出力することもできる。

上述した構成のスマートフォン１においても、第１の実施形態に係るカメラ１００と同様に、本発明に係る撮像方法の処理（被写体の動きの検出、第１動画及び第２動画の撮影、フレームレート及び露光時間の制御、減光度や絞り度合いの制御等）を実行することができる。具体的には、第１の実施形態において画像処理装置３４０（図２に示す各部）が実行する処理（図３，４，１１のフローチャートの処理を含む）を、スマートフォン１では主としてカメラ部４１，４２及び主制御部１０１が実行できる。その他、第１の実施形態における操作部３７０、記録装置３８０、モニタ３９０、スピーカ３９５の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２、スピーカ３１によりそれぞれ実現することができる。

これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラ１００と同様の効果（良好な画質のスロー動画を容易に取得することができる）を得ることができる。

以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１ スマートフォン
２ 筐体
１１ 無線通信部
２０ 表示入力部
２１ 表示パネル
２２ 操作パネル
３０ 通話部
３１ スピーカ
３２ マイクロフォン
４０ 操作部
４１ カメラ部
４２ カメラ部
４３ ストロボ
５０ 記憶部
５１ 内部記憶部
５２ 外部記憶部
６０ 外部入出力部
７０ ＧＰＳ受信部
８０ モーションセンサ部
９０ 電源部
１００ カメラ
１０１ 主制御部
２００ 交換レンズ
２１０ 減光素子
２２０ ズームレンズ
２３０ 絞り
２４０ フォーカスレンズ
２５０ レンズ駆動部
３００ 撮像装置本体
３１０ 撮像素子
３２０ ＡＦＥ
３３０ Ａ／Ｄ変換器
３４０ 画像処理装置
３４２ 条件設定部
３４４ 検出処理部
３４６ フレームレート制御部
３４８ 露光制御処理部
３５０ 撮影部
３５２ 減光制御処理部
３５４ 絞り制御部
３５６ 表示制御部
３５８ 情報出力部
３６０ レンズ駆動制御部
３６２ ＲＯＭ
３６４ ＲＡＭ
３７０ 操作部
３８０ 記録装置
３９０ モニタ
３９５ スピーカ
５００ 視野
５０２ ボール
５０４ バット
５１０ 第２動画表示領域
５２０ 第１動画表示領域
５３０ アスリート
５４０ ゴール
Ｌ 光軸
Ｓ１００～Ｓ２３０ 撮像方法の各ステップ
ＳＴ１ ＧＰＳ衛星
ＳＴ２ ＧＰＳ衛星

Claims (11)

1. 光学系と、撮像素子と、プロセッサと、を備える撮像装置であって、
   前記プロセッサは、
   前記撮像素子から出力される画像信号に基づいて被写体の動きを検出する検出処理と、
   前記検出した動きに基づいて、前記撮像素子から出力される動画のフレームレートを上げるフレームレート制御と、
   前記フレームレートを上げるのに応じて、前記動画の１フレーム当たりの露光時間の割合を一定に保つ露光制御処理と、
   前記露光制御処理に応じて、前記光学系の減光度合いを変化させる減光制御処理と、
   を行い、
   前記割合は半分以上である、
   撮像装置。
2. 前記プロセッサは、
   前記フレームレート及び前記露光時間を変化させ始める第１タイミングと、前記フレームレート及び前記露光時間を目標値にする第２タイミングと、を算出し、
   前記第１タイミングから前記第２タイミングまでの期間は前記割合を一定に保つ請求項１に記載の撮像装置。
3. 前記プロセッサは、
   前記フレームレートと、前記露光時間と、減光素子の減光度合いと、絞りと、感度と、ビットレートと、のうち少なくとも１つを設定するようユーザを促す情報を出力する請求項１または２に記載の撮像装置。
4. 前記プロセッサは、
   前記情報に応じて前記ユーザが行った設定により、前記ユーザの撮影意図と異なる動画が撮影される可能性があることを示す情報を出力する請求項３に記載の撮像装置。
5. 前記プロセッサは、
   撮影される動画における前記被写体の動きの間欠性が前記設定により変化することを示す情報を出力する請求項４に記載の撮像装置。
6. 前記プロセッサは、
   前記露光時間を短くするのに応じて、連続的または段階的に、前記減光度合いを下げる請求項１から５のいずれか１項に記載の撮像装置。
7. 前記プロセッサは、
   前記露光制御処理に応じて前記光学系の絞り度合いを変化させる請求項１から６のいずれか１項に記載の撮像装置。
8. 前記光学系は絞り度合いが可変の絞り機構を備え、
   前記プロセッサは、前記露光時間を短くするのに合わせて前記絞り機構の前記絞り度合いを解放側に変化させる請求項１から７のいずれか１項に記載の撮像装置。
9. 光学系と、撮像素子と、プロセッサと、を備える撮像装置により実行される撮像方法であって、
   前記プロセッサが行う処理は、
   前記撮像素子から出力される画像信号に基づいて被写体の動きを検出する検出工程と、
   前記検出した動きに基づいて、前記撮像素子から出力される動画のフレームレートを連続的に上げるフレームレート制御工程と、
   前記フレームレートを上げるのに応じて、前記動画の１フレーム当たりの露光時間を連続的に短くする露光制御工程と、
   前記露光時間の制御に応じて、前記光学系の減光度合いを変化させる減光制御工程と、
   を含み、
   前記割合は半分以上である、
   撮像方法。
10. 請求項９に記載の撮像方法をコンピュータに実行させる撮像プログラム。
11. 非一時的かつコンピュータ読取可能な記録媒体であって、請求項１０に記載のプログラムが記録された記録媒体。

Images