JP7042368B2 - 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム - Google Patents

Description

本発明は、表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムに関する。

表示装置において表示画像に含まれる動体を追従視する場合に発生する動画ぼけを低減する方法として、動画のフレーム間に黒画像を表示する黒挿入処理がある。例えば、バックライトを常に点灯させるのではなく、間欠的に点灯させることにより、動画のフレーム間に黒画像を表示する方法がある。黒挿入処理を行うことにより、液晶表示装置のようなホールド型ディスプレイの表示特性を、インパルス型ディスプレイの表示特性に近づけることができ、動画ぼけを低減できる。特許文献１、２は、黒挿入技術について開示している。

日本国特開２００２－０４０３９０号公報 日本国特開２０１２－０３７８５８号公報

動画ぼけの低減効果を高めるために、動画データのフレームレートよりも表示フレームレートを高くし、黒挿入時間を短くする方法がある。この方法では、動画データのフレームの読み出しが完了するまで画像を表示することができないため、動画の表示にタイムラグが発生する。特許文献１、２は、このタイムラグを効果的に減らす方法について開示していない。

本発明は、上記事情に鑑みてなされたものであり、動画ぼけを低減しながら、動画表示開始までのタイムラグを減らすことのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。

本発明の表示制御装は、Ｎを２以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御装置であって、上記動画データの各フレームを一方向にＮ個のグループに分割し、上記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて上記表示部に表示させる表示制御部を備え、Ｐを１以上Ｎ－１以下の数値とし、上記表示制御部は、上記各分割画像に対応する上記表示部の表示エリアに、上記Ｎ個の上記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては上記各分割画像を表示させ、上記Ｎ個の上記表示フレーム期間のうちのＰ個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させるものである。

本発明の撮像装置は、表示制御装置と、撮像素子と、上記表示部と、を備えるものである。

本発明の表示制御方法は、Ｎを２以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御方法であって、上記動画データの各フレームを一方向にＮ個のグループに分割し、上記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、Ｐを１以上Ｎ－１以下の数値とし、上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記Ｎ個の上記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては上記各分割画像を表示させ、上記Ｎ個の上記表示フレーム期間のうちのＰ個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させるものである。

本発明の表示制御プログラムは、Ｎを２以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御方法をコンピュータに実行させるための表示制御プログラムであって、上記表示制御方法は、上記動画データの各フレームを一方向にＮ個のグループに分割し、上記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、Ｐを１以上Ｎ－１以下の数値とし、上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記Ｎ個の上記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては上記各分割画像を表示させ、上記Ｎ個の上記表示フレーム期間のうちのＰ個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させるものである。

本発明によれば、動画ぼけを低減しながら、動画表示開始までのタイムラグを減らすことのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供することができる。

本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す表示部２３の概略構成を示す平面模式図である。 図１に示す撮像素子６の概略構成を示す平面模式図である。 動画の１フレームの分割例（Ｎ＝３）を説明するための模式図である。 動画の１フレームの分割例の別の例（Ｎ＝３）を説明するための模式図である。 動画の１フレームの分割例の更に別の例（Ｎ＝２）を説明するための模式図である。 システム制御部１１によるライブビュー表示制御時の動作を説明するためのタイミングチャートである。 システム制御部１１によるライブビュー表示制御時の動作の第一変形例を説明するためのタイミングチャートである。 システム制御部１１によるライブビュー表示制御時の動作の第二変形例を説明するためのタイミングチャートである。 システム制御部１１によるライブビュー表示制御時の動作の第三変形例を説明するためのタイミングチャートである。 本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１１に示すスマートフォン２００の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。

レンズ装置４０は、デジタルカメラ１００の本体に着脱可能なものであってもよいし、デジタルカメラ１００の本体と一体化されたものであってもよい。撮像レンズ１と絞り２は撮像光学系を構成し、撮像レンズ１は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。

フォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、光軸方向の主点の位置を電気的な制御により変更することで焦点調節が可能な液体レンズが用いられてもよい。

レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。

レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、絞り駆動部９を介して絞り２の開口量を制御したりする。

デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサにより構成された撮像素子６を備える。

撮像素子６は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子６の各画素から出力される画素信号の集合を以下では撮像画像信号という。

デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子６を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。

システム制御部１１は、デジタルカメラ１００が撮像モードに設定されると、撮像素子６により被写体の連続撮像を開始させ、この連続撮像によって撮像素子６から出力される複数の撮像画像信号からなる動画データに基づくライブビュー画像を表示部２３に表示させるライブビュー表示制御を行う。また、システム制御部１１は、記憶媒体２１に記憶された動画データを読み出してこの動画データに基づく動画を表示部２３に表示させる記録動画再生制御を行う。

システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、プログラムを実行して処理を行う各種のプロセッサである。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）から構成されるメインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子６から出力される撮像画像信号に対しデジタル信号処理を行ってＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示部２３と、表示部２３の表示を制御する表示コントローラ２２と、を備える。

記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。

図２は、図１に示す表示部２３の概略構成を示す平面模式図である。表示部２３は、行方向Ｘに並ぶ複数の表示画素２３Ａからなる表示画素行２３Ｂが、この行方向Ｘと直交する列方向Ｙに複数配列された表示面を有する。

表示コントローラ２２は、表示画素行２３Ｂに描画するライン画像を表示部２３の列方向Ｙの上端の表示画素行２３Ｂから下端の表示画素行２３Ｂに向かって順次更新する描画更新処理を行うことで、表示画素行２３Ｂと同数のライン画像からなる画像を表示部２３に表示させる。

図３は、図１に示す撮像素子６の概略構成を示す平面模式図である。撮像素子６は、行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。

以下では、図３において撮像面６０の列方向Ｙの上側の端部を上端といい、撮像面６０の列方向Ｙの下側の端部を下端という。

図３に示す信号処理回路６４は、画素行６２の各画素６１から信号線に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５（図１参照）に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。

撮像素子６の撮像面６０に形成されている画素行６２の総数Ｍは、１つの例においては、表示部２３に形成されている表示画素行２３Ｂの総数ｍよりも多い。

デジタルカメラ１００では、撮像面６０に形成されたＭ個の画素行６２のうち列方向Ｙに向かって一定間隔を空けて並ぶｍ個の画素行６２が表示対象画素行として設定されている。以下、表示対象画素行として設定された画素行６２を、表示対象画素行６２とも言う。

撮像面６０の上端から数えてｉ番目（ｉは１～ｍ）にある表示対象画素行６２には、表示部２３の表示面の上端から数えてｉ番目にある表示画素行２３Ｂが対応付けて管理されている。

なお、総数Ｍと総数ｍが同じ場合もあり、その場合には、撮像面６０の上端から数えてｊ番目（ｊは１～Ｍ）にある表示対象画素行６２には、表示部２３の表示面の上端から数えてｊ番目にある表示画素行２３Ｂが対応付けて管理される。

システム制御部１１は、上記のライブビュー表示制御時において、表示制御プログラムを含むプログラムを実行することで、撮像素子６から出力される動画データに基づく動画を、この動画データのフレームレートのＮ倍速にて表示部２３に表示させる表示制御を行う。本明細書におけるシステム制御部１１は、表示制御装置を構成する。

ライブビュー画像表示のための連続撮像が撮像素子６により行われている状態においては、撮像素子６の撮像面６０における全ての表示対象画素行６２に含まれる画素６１から画素信号が読み出され、この読み出された画素信号の集合（撮像画像信号）が動画データの１フレームを構成する。

システム制御部１１は、動画データの１フレームを撮像素子６から読み出す際に、この１フレームを列方向ＹにＮ個のグループに分割し、このグループ毎に順次読み出す制御を行う。列方向Ｙは、撮像素子６からの画素信号の読み出し方向に相当する。なお、Ｎは２以上の値であり、その上限値は、表示部２３に含まれる表示画素行２３Ｂの総数ｍと同じである。

図４は、動画の１フレームの分割例（Ｎ＝３）を説明するための模式図である。図４には、撮像素子６から出力される動画の１つのフレームＦＬが示されている。フレームＦＬは、図中の上端が撮像面６０の上端側に対応し、図中の下端が撮像面６０の下端側に対応している。つまり、フレームＦＬは、図中の上端側が撮像面６０の上端側から出力される部分を示し、図中の下端側が撮像面６０の下端側から出力される部分を示している。図４の例では、フレームＦＬは、列方向Ｙに３つに均等に分割されており、グループＧａと、グループＧｂと、グループＧｃとにより構成されている。

なお、上述したように、撮像素子６の各表示対象画素行６２には、表示部２３の表示画素行２３Ｂが対応づけて管理されている。したがって、グループＧａと、グループＧａの出力元の表示対象画素行６２に対応する表示画素行２３Ｂが配置される表示部２３上の表示エリア２３ａと、も同様に対応付けて管理される。

同様に、グループＧｂと、グループＧｂの出力元の表示対象画素行６２に対応する表示画素行２３Ｂが配置される表示部２３上の表示エリア２３ｂとが対応付けて管理される。

同様に、グループＧｃと、グループＧｃの出力元の表示対象画素行６２に対応する表示画素行２３Ｂが配置される表示部２３上の表示エリア２３ｃとが対応付けて管理される。

図５は、動画の１フレームの分割例の別の例（Ｎ＝３）を説明するための模式図である。図５に示す分割例は、図４に示したグループＧａとグループＧｂとの境界位置が上端側に移動した点を除いては、図４と同じである。図５に示すように、グループＧａとグループＧｂの境界位置が変化すれば、これらに対応する表示エリア２３ａと表示エリア２３ｂの境界位置も変化する。

図６は、動画の１フレームの分割例の更に別の例（Ｎ＝２）を説明するための模式図である。図６に示す例では、フレームＦＬは、列方向Ｙに２つに均等に分割されており、グループＧａと、グループＧｂとにより構成されている。

図６の例においても、グループＧａと、グループＧａの出力元の表示対象画素行６２に対応する表示画素行２３Ｂが配置される表示部２３上の表示エリア２３ａとが対応付けて管理される。また、グループＧｂと、グループＧｂの出力元の表示対象画素行６２に対応する表示画素行２３Ｂが配置される表示部２３上の表示エリア２３ｂとが対応付けて管理される。

システム制御部１１は、上記表示制御において、撮像素子６から読み出された各グループに基づくＮ個の分割画像を、それぞれＮ個の表示フレーム期間に分けて表示部２３に表示させる。表示フレーム期間とは、後述する表示部２３の垂直同期信号が立下がって次に立ち下がるまでの期間（表示部２３の表示画像の更新間隔）である。

任意のフレームを分割して得られるＮ個のグループのうちの隣接する２つのグループを第一のグループ及び第二のグループとすると、第一のグループに基づく分割画像の表示に利用するＮ個の表示フレーム期間と、第二のグループに基づく分割画像の表示に利用するＮ個の表示フレーム期間とは、互いに１つの表示フレーム期間分ずらして設定される。

図４又は図５に示す分割例であれば、システム制御部１１は、フレームＦＬのグループＧａに基づく分割画像については、これを表示部２３の表示エリア２３ａに表示させ、フレームＦＬのグループＧｂに基づく分割画像については、これを表示部２３の表示エリア２３ｂに表示させ、フレームＦＬのグループＧｃに基づく分割画像については、これを表示部２３の表示エリア２３ｃに表示させる制御を行う。

図６に示す分割例であれば、システム制御部１１は、フレームＦＬのグループＧａに基づく分割画像については、これを表示部２３の表示エリア２３ａに表示させ、フレームＦＬのグループＧｂに基づく分割画像については、これを表示部２３の表示エリア２３ｂに表示させる制御を行う。

そして、システム制御部１１は、上記表示制御において、Ｐを１以上（Ｎ－１）以下の数値とすると、１つのフレームＦＬを構成する各分割画像を表示させる各表示エリアに、Ｎ個の表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間において各分割画像を表示させ、Ｎ個の表示フレーム期間のうちのＰ個の表示フレーム期間において、フレームＦＬとは異なる動画ぼけ低減用の特定画像を表示させる制御を行う。

動画ぼけ低減用の特定画像とは、人が動体を追従視するときに発生する動画ぼけを低減させるための画像であり、具体的には黒画像である。特定画像としては、表示対象としているフレーム以外の画像であり且つこのフレームの残像を残さない程度の輝度の画像であればよく、黒画像以外に、例えば白画像、グレー画像、ランダムノイズ画像等を採用することも可能である。

図７は、システム制御部１１によるライブビュー表示制御時の動作を説明するためのタイミングチャートである。図７は、動画データのフレームの分割例として図４に示すものを採用したときの動作例を示している。

図７に示す“撮像ＶＤ”は、撮像素子６の垂直同期信号を示しており、これによって動画データのフレームレートが決定される。図７に示す“表示ＶＤ”は、表示部２３の垂直同期信号を示しており、これによって動画データの表示レートが決定される。図７は、表示レートが動画データのフレームレートの３倍に設定されている例（Ｎ＝３の例）である。図７において、表示ＶＤが立下がってから次に立下がるまでの期間が、表示フレーム期間を構成する。

図７に示す“撮像素子出力”は、撮像素子６から出力されるフレームを示す。図７の例では、１つ目のフレームは、グループＧａ（１）、グループＧｂ（１）、グループＧｃ（１）に分けて順次読み出される。また、２つ目のフレームは、グループＧａ（２）、グループＧｂ（２）、グループＧｃ（２）に分けて順次読み出される。また、３つ目のフレームは、グループＧａ（３）、グループＧｂ（３）、グループＧｃ（３）に分けて順次読み出される。

図７に示す“表示メモリ”は、表示コントローラ２２の表示メモリに記憶されるデータを示している。図７に示す“表示部”は、表示部２３の図４に示した表示エリア２３ａ、表示エリア２３ｂ、表示エリア２３ｃに表示される画像を示している。

図７において、表示メモリに記憶されるデータのうち、“Ｋａ”（Ｋは、１、２、３のいずれか）にて示されるデータは、グループＧａ（Ｋ）を処理して得られた表示用データである。また、“Ｋｂ”は、グループＧｂ（Ｋ）を処理して得られた表示用データである。また、“Ｋｃ”は、グループＧｃ（Ｋ）を処理して得られた表示用データである。また、“ｂｌ”は、特定画像の一例である黒画像を表示するための黒表示用データである。

図７において、表示部２３に表示される分割画像のうち、“ＫＡ” （Ｋは、１、２、３のいずれか）は、表示用データＫａに基づいて表示される分割画像である。また、“ＫＢ”は、表示用データＫｂに基づいて表示される分割画像である。また、“ＫＣ”は、表示用データＫｃに基づいて表示される分割画像である。また、“ＢＬ”は、黒表示用データｂｌに基づいて表示される黒画像である。

システム制御部１１が、撮像素子６からの１フレーム目のグループＧａ（１）の読み出しを完了すると、グループＧａ（１）が処理されて表示用データ１ａが生成される。その後、表示の更新タイミングｔ１になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ａに対応する領域にこの表示用データ１ａを記憶し、表示エリア２３ｂ及び表示エリア２３ｃに対応する領域に黒表示用データｂｌを記憶して、表示メモリ内のデータの表示を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ａに分割画像１Ａが表示され、表示エリア２３ｂと表示エリア２３ｃに黒画像ＢＬが表示される。

続いて、システム制御部１１が、撮像素子６からの１フレーム目のグループＧｂ（１）の読み出しを完了すると、グループＧｂ（１）が処理されて表示用データ１ｂが生成される。

その後、表示の更新タイミングｔ２になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ａと表示エリア２３ｃに対応する領域のデータはそのままとし、表示エリア２３ｂに対応する領域にこの表示用データ１ｂを上書きして、表示エリア２３ｂの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ｂの表示内容が黒画像ＢＬから分割画像１Ｂに更新される。

続いて、システム制御部１１が、撮像素子６からの１フレーム目のグループＧｃ（１）の読み出しを完了すると、グループＧｃ（１）が処理されて表示用データ１ｃが生成される。

その後、表示の更新タイミングｔ３になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ｂに対応する領域のデータはそのままとし、表示エリア２３ｃに対応する領域にこの表示用データ１ｃを上書きし、表示エリア２３ａに対応する領域に黒表示用データｂｌを上書きして、表示エリア２３ａ、２３ｃの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ａの表示内容が分割画像１Ａから黒画像ＢＬに更新され、表示エリア２３ｃの表示内容が黒画像ＢＬから分割画像１Ｃに更新される。

続いて、システム制御部１１が、撮像素子６から２フレーム目のグループＧａ（２）の読み出しを完了すると、グループＧａ（２）が処理されて表示用データ２ａが生成される。

その後、表示の更新タイミングｔ４になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ｃに対応する領域はそのままとし、表示エリア２３ａに対応する領域にこの表示用データ２ａを上書きし、表示エリア２３ｂに対応する領域に黒表示用データｂｌを上書きして、表示エリア２３ａと表示エリア２３ｂの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ａの表示内容が黒画像ＢＬから分割画像２Ａに更新され、表示エリア２３ｂの表示内容が分割画像１Ｂから黒画像ＢＬに更新される。

続いて、システム制御部１１が、撮像素子６からの２フレーム目のグループＧｂ（２）の読み出しを完了すると、グループＧｂ（２）が処理されて表示用データ２ｂが生成される。

その後、表示の更新タイミングｔ５になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ａに対応する領域はそのままとし、表示エリア２３ｂに対応する領域にこの表示用データ２ｂを上書きし、表示エリア２３ｃに対応する領域に黒表示用データｂｌを上書きして、表示エリア２３ｂと表示エリア２３ｃの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ｂの表示内容が黒画像ＢＬから分割画像２Ｂに更新され、表示エリア２３ｃの表示内容が分割画像１Ｃから黒画像ＢＬに更新される。

続いて、システム制御部１１が、撮像素子６からの２フレーム目のグループＧｃ（２）の読み出しを完了すると、グループＧｃ（２）が処理されて表示用データ２ｃが生成される。

その後、表示の更新タイミングｔ６になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ｂに対応する領域はそのままとし、表示エリア２３ｃに対応する領域にこの表示用データ２ｃを上書きし、表示エリア２３ａに対応する領域に黒表示用データｂｌを上書きして、表示エリア２３ａと表示エリア２３ｃの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ｃの表示内容が黒画像ＢＬから分割画像２Ｃに更新され、表示エリア２３ａの表示内容が分割画像２Ａから黒画像ＢＬに更新される。以降は、同様の処理が繰り返される。

システム制御部１１の制御によって、図７に示す表示部２３の画像を見て分かるように、各フレームに基づく画像を構成する分割画像ＫＡ、分割画像ＫＢ、及び分割画像ＫＣの各々は、３個の表示フレーム期間に分けて表示されると共に、この３個の表示フレームのうちの１つでは分割画像の代わりに黒画像が挿入されることになる。

分割画像ＫＡを例にして説明すると、表示エリア２３ａに表示される分割画像１Ａは、更新タイミングｔ１と更新タイミングｔ２の間の表示フレーム期間と、更新タイミングｔ２と更新タイミングｔ３の間の表示フレーム期間と、更新タイミングｔ３と更新タイミングｔ４の間の表示フレーム期間との３つの表示フレーム期間に分けて表示され、更新タイミングｔ３と更新タイミングｔ４の間の表示フレーム期間においては黒画像ＢＬが挿入される。

また、表示エリア２３ｂに表示される分割画像１Ｂは、更新タイミングｔ２と更新タイミングｔ３の間の表示フレーム期間と、更新タイミングｔ３と更新タイミングｔ４の間の表示フレーム期間と、更新タイミングｔ４と更新タイミングｔ５の間の表示フレーム期間との３つの表示フレーム期間に分けて表示され、更新タイミングｔ４と更新タイミングｔ５の間の表示フレーム期間においては黒画像ＢＬが挿入される。

また、表示エリア２３ｃに表示される分割画像１Ｃは、更新タイミングｔ３と更新タイミングｔ４の間の表示フレーム期間と、更新タイミングｔ４と更新タイミングｔ５の間の表示フレーム期間と、更新タイミングｔ５と更新タイミングｔ６の間の表示フレーム期間との３つの表示フレーム期間に分けて表示され、更新タイミングｔ５と更新タイミングｔ６の間の表示フレーム期間においては黒画像ＢＬが挿入される。

このため、時間積算して表示画像を見ると、３回の表示フレーム期間に１回の割合にて黒画像が挿入された状態となり、動画ぼけを低減することが可能となる。

また、図７に示すように、各フレームの読み出しが開始されたタイミングから、そのフレームに基づく分割画像の表示が開始されるまでの時間Ｔは、撮像ＶＤで規定される１フレームの生成に必要な時間よりも十分に短い時間とすることができる。このため、ライブビュー画像の表示を高速に開始することができ、シャッタチャンスを逃す可能性を減らすことができる。

なお、システム制御部１１は、動画データの各フレームに対する分割方法を１つに固定するのではなく、分割方法を可変制御してもよい。例えば、システム制御部１１は、１つの動画データに対して、図４に示すフレームの分割設定と、図５に示すフレームの分割設定とを切り替えて行うようにしてもよい。

図８は、システム制御部１１によるライブビュー表示制御時の動作の第一変形例を説明するためのタイミングチャートである。図８に示すタイミングチャートは、システム制御部１１が、２つのフレーム毎に分割設定を切り替える場合の動作を示している。

具体的には、システム制御部１１は、１つ目のフレームと２つ目のフレームに対しては、分割設定として図４に示したものを選択し、３つ目のフレームと４つ目のフレームに対しては、分割設定として図５に示したものを選択する。以降は、システム制御部１１は、図４の分割設定と図５の分割設定を交互に繰り返す。

図８においては、更新タイミングｔ６までに取得されるフレームについては、図４に示した分割設定が選択されている。そして、更新タイミングｔ６以降に取得されるフレームについては、図５に示した分割設定が選択される。

この場合、グループＧｃ（２）の読み出しが完了すると、システム制御部１１は、表示メモリをリセットする。そして、システム制御部１１は、リセット後の表示メモリにおいて、グループＧｃ（２）の処理後の表示用データ２ｃを、新たな分割設定におけるグループＧｃに対応する表示エリア２３ｃ用のメモリ領域に記憶し、既に生成されていた表示用データ２ｂを、新たな分割設定におけるグループＧｂに対応する表示エリア２３ｂ用のメモリ領域に記憶し、黒表示用データｂｌを、新たな分割設定におけるグループＧａに対応する表示エリア２３ａ用のメモリ領域に記憶して、表示画像の更新を指示する。

この指示を受けて、表示コントローラ２２は、表示部２３において、図５に示した表示エリア２３ａに黒画像ＢＬを表示させ、図５に示した表示エリア２３ｂに分割画像２Ｂを表示させ、図５に示した表示エリア２３ｃに分割画像２Ｃを表示させる。以降は、新たな分割設定にしたがって、各分割画像の表示が更新されていく。

この図８に示す動作例によれば、表示部２３に表示される３つの分割画像の境界位置が固定ではなくなることで、ティアリングの発生を防ぐことができ、表示画質を向上させることができる。

なお、図８に示す動作例において、システム制御部１１は、３個のグループの境界位置（グループＧａとグループＧｂの境界位置及びグループＧｂとグループＧｃの境界位置の各々）の時間的な平均位置を一定に制御することが好ましい。このようにすることで、表示画質を更に向上させることができる。

システム制御部１１は、各分割画像をＮ個の表示フレーム期間に分けて表示させる場合における黒画像の挿入頻度を可変制御してもよい。

図９は、システム制御部１１によるライブビュー表示制御時の動作の第二変形例を説明するためのタイミングチャートである。この第二変形例においては、システム制御部１１は、１つ目のフレームと２つ目のフレームに対しては、各分割画像の表示に用いる３回の表示フレーム期間のうち、２回の表示フレーム期間において分割画像を表示させ、１回の表示フレーム期間において黒画像を表示させる制御（上記のＰを１とする制御）を行い、３つ目以降のフレームに対しては、各分割画像の表示に用いる３回の表示フレーム期間のうち、１回の表示フレーム期間において分割画像を表示させ、２回の表示フレーム期間において黒画像を表示させる制御（上記のＰを２とする制御）を行っている。

より詳細に説明すると、更新タイミングｔ６の２回後の表示の更新タイミングｔ７までの動作は図７の動作と同じである。システム制御部１１が、撮像素子６からの３フレーム目のグループＧｂ（３）の読み出しを完了すると、グループＧｂ（３）が処理されて表示用データ３ｂが生成される。

その後、表示の更新タイミングｔ７になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ｂに対応する領域にこの表示用データ３ｂを上書きし、表示エリア２３ａと表示エリア２３ｃに対応する領域に黒表示用データｂｌを上書きして、表示エリア２３ａ、２３ｂ、２３ｃの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ａの表示内容が分割画像３Ａから黒画像ＢＬに更新され、表示エリア２３ｂの表示内容が黒画像ＢＬから分割画像３Ｂに更新され、表示エリア２３ｃの表示内容が分割画像２Ｃから黒画像ＢＬに更新される。

システム制御部１１が、撮像素子６からの３フレーム目のグループＧｃ（３）の読み出しを完了すると、グループＧｃ（３）が処理されて表示用データ３ｃが生成される。

その後、表示の更新タイミングｔ８になると、システム制御部１１は、表示メモリにおいて、表示エリア２３ａに対応する領域はそのままとし、表示エリア２３ｂに対応する領域に黒表示用データｂｌを上書きし、表示エリア２３ｃに対応する領域にこの表示用データ３ｃを上書きして、表示エリア２３ｂ、２３ｃの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、表示エリア２３ｂの表示内容が分割画像３Ｂから黒画像ＢＬに更新され、表示エリア２３ｃの表示内容が黒画像ＢＬから分割画像３Ｃに更新される。

その後、表示部２３の表示内容は、表示エリア２３ａに４つ目のフレームのグループＧａ（４）に基づく分割画像４Ａが表示され、表示エリア２３ｂと表示エリア２３ｃに黒画像ＢＬが表示された状態となる。

更にその後、表示部２３の表示内容は、表示エリア２３ａに黒画像ＢＬが表示され、表示エリア２３ｂに４つ目のフレームのグループＧｂ（４）に基づく分割画像４Ｂが表示され、表示エリア２３ｃに黒画像ＢＬが表示された状態となる。

図９の例では、表示エリア２３ａに表示される分割画像３Ａは、更新タイミングｔ６ａと更新タイミングｔ７の間の表示フレーム期間と、更新タイミングｔ７と更新タイミングｔ８の間の表示フレーム期間と、更新タイミングｔ８と更新タイミングｔ９の間の表示フレーム期間との３つの表示フレーム期間に分けて表示され、更新タイミングｔ７以降の２回の表示フレーム期間においては黒画像ＢＬが挿入される。

また、表示エリア２３ｂに表示される分割画像３Ｂは、更新タイミングｔ７と更新タイミングｔ８の間の表示フレーム期間と、更新タイミングｔ８と更新タイミングｔ９の間の表示フレーム期間と、更新タイミングｔ９と更新タイミングｔ１０の間の表示フレーム期間との３つの表示フレーム期間に分けて表示され、更新タイミングｔ８以降の２回の表示フレーム期間においては黒画像ＢＬが挿入される。

また、表示エリア２３ｃに表示される分割画像３Ｃは、更新タイミングｔ８と更新タイミングｔ９の間の表示フレーム期間と、更新タイミングｔ９と更新タイミングｔ１０の間の表示フレーム期間と、更新タイミングｔ１０とその次の更新タイミングの間の表示フレーム期間との３つの表示フレーム期間に分けて表示され、更新タイミングｔ９以降の２回の表示フレーム期間においては黒画像ＢＬが挿入される。

このように黒画像の挿入頻度が途中で変更された結果、図９の更新タイミングｔ７以降の表示フレーム期間において表示部２３に表示される画像の平均輝度は、更新タイミングｔ２から更新タイミングｔ７における各表示フレーム期間にて表示部２３に表示される画像の平均輝度よりも低下する。

そこで、システム制御部１１は、黒画像の挿入頻度の変更が表示画像に反映される更新タイミングｔ７以降の各表示フレーム期間に表示される画像の平均輝度を、更新タイミングｔ７より前の各表示フレーム期間に表示される画像の平均輝度と一致させる輝度調整を行う。

この輝度調整を行うことで、動画ぼけの低減を図るために、状況に応じてＰの数を動的に変更する場合であっても、表示画像の輝度のちらつきを防止して、表示品質を向上させることができる。

システム制御部１１は、１つの動画データに対して、図４に示すフレームの分割設定と、図６に示すフレームの分割設定とを切り替えて行うようにしてもよい。

図１０は、システム制御部１１によるライブビュー表示制御時の動作の第三変形例を説明するためのタイミングチャートである。この第三変形例においては、システム制御部１１は、１つ目のフレームと２つ目のフレームに対しては、フレームを３分割し、各分割画像を３回の表示フレーム期間に分けて表示させる制御（上記のＮを３とする制御）を行い、３つ目以降のフレームに対しては、フレームを２分割し、各分割画像を２回の表示フレーム期間に分けて表示させる制御（上記のＮを２とする制御）を行っている。

より詳細に説明すると、更新タイミングｔ６までの動作は図７の動作と同じである。図１０の例では、更新タイミングｔ６において、動画データのフレームの分割数が３から２に変更される。分割数が２に変更されると、表示ＶＤが変更される。そのため、更新タイミングｔ６にて表示部２３に表示された画像は、延長された次の更新タイミングｔ７まで表示が継続される。

システム制御部１１が、撮像素子６からの３フレーム目のグループＧａ（３）の読み出しを完了すると、グループＧａ（３）が処理されて表示用データ３ａが生成される。その後、表示の更新タイミングｔ７になると、システム制御部１１は、表示メモリをリセットし、リセット後の表示メモリにおいて、図６に示す表示エリア２３ａに対応する領域にこの表示用データ３ａを記憶し、図６に示す表示エリア２３ｂに対応する領域に黒表示用データｂｌを記憶して、表示エリア２３ａ、２３ｂの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、図６に示した表示エリア２３ａに分割画像３Ａが表示され、図６に示した表示エリア２３ｂに黒画像ＢＬが表示される。

その後、システム制御部１１が、撮像素子６からの３フレーム目のグループＧｂ（３）の読み出しを完了すると、グループＧｂ（３）が処理されて表示用データ３ｂが生成される。

その後、表示の更新タイミングｔ８になると、システム制御部１１は、表示メモリにおいて、図６に示す表示エリア２３ａに対応する領域に黒表示用データｂｌを上書きし、図６に示す表示エリア２３ｂに対応する領域にこの表示用データ３ｂを上書きして、表示エリア２３ａ、２３ｂの表示更新を表示コントローラ２２に指示する。これにより、表示部２３では、図６に示した表示エリア２３ａに黒画像ＢＬが表示され、図６に示した表示エリア２３ｂに分割画像３Ｂが表示される。

更新タイミングｔ８の次の更新タイミングｔ９にて開始される表示フレーム期間において、表示部２３では、図６に示した表示エリア２３ａに４つ目のフレームのグループＧａ（４）に基づく分割画像４Ａが表示され、図６に示した表示エリア２３ｂに黒画像ＢＬが表示される。

このように、フレームの分割数（Ｎの値）が途中で変更された結果、図１０の更新タイミングｔ７以降の表示フレーム期間において表示部２３に表示される画像の平均輝度は、更新タイミングｔ２から更新タイミングｔ７における各表示フレーム期間にて表示部２３に表示される画像の平均輝度よりも低下する。

そこで、システム制御部１１は、Ｎの値の変更が表示画像に反映されるタイミングｔ７以降の各表示フレーム期間に表示される画像の平均輝度を、タイミングｔ７より前の各表示フレーム期間に表示される画像の平均輝度と一致させる輝度調整を行う。

この輝度調整を行うことで、動画ぼけの低減を図るために、状況に応じてＮの数を動的に変更する場合であっても、表示画像の輝度のちらつきを防止して、表示品質を向上させることができる。

以上の説明では、黒画像ＢＬを表示部２３に表示させる方法として、表示メモリに黒表示用データを記録する方法を採用しているが、これに限らない。

例えば、表示コントローラ２２に対し、黒画像を表示させるべき表示部２３の表示エリアを指定し、その指定した表示エリアにある表示素子を非駆動状態にさせることで、黒画像をこの表示エリアに表示させる方法を採用してもよい。

例えば、表示部２３には、表示エリア毎に分割されたバックライトを搭載しておき、指定された表示エリアにあるバックライトを非駆動状態、すなわち消灯状態にすることで、黒画像を表示させてもよい。この方法によれば、表示メモリへの黒表示用データの書き込みが不要となるため、画像表示を高速化することができる。

また、以上の説明では、撮像素子６から出力される動画データを表示部２３にリアルタイムに表示させる場合を例にしたが、システム制御部１１が行う上述した図７以降の表示制御は、記録動画再生制御時にも同様に実行可能である。

また、以上の説明では、撮像素子６がＣＭＯＳ型のものとしたが、撮像素子６はＣＣＤ型（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のものであってもよい。

次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。

図１１は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図１１に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

図１２は、図１１に示すスマートフォン２００の構成を示すブロック図である。図１２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

また、図１１に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記憶媒体２１、表示部２３、及び操作部１４以外の構成を含む。

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

図１１に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８から出力される動画データを表示パネル２０２に表示する際や、記憶媒体に記録した動画データを表示パネル２０２に表示する際において、図７から図１０に示した表示制御を行うことで、表示タイムラグの短縮、動画ぼけの低減が可能となる。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１）
Ｎを２以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御装置であって、
上記動画データの各フレームを一方向にＮ個のグループに分割し、上記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて上記表示部に表示させる表示制御部を備え、
Ｐを１以上Ｎ－１以下の数値とし、
上記表示制御部は、上記各分割画像に対応する上記表示部の表示エリアに、上記Ｎ個の上記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては上記各分割画像を表示させ、上記Ｎ個の上記表示フレーム期間のうちのＰ個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させる表示制御装置。

（２）
（１）記載の表示制御装置であって、
上記Ｎ個のグループのうちの隣接する２つのグループを第一のグループ及び第二のグループとし、上記第一のグループに基づく分割画像が表示される上記Ｎ個の上記表示フレーム期間と、上記第二のグループに基づく分割画像が表示される上記Ｎ個の上記表示フレーム期間とは、１つの表示フレーム期間分ずれている表示制御装置。

（３）
（１）又は（２）記載の表示制御装置であって、
上記動画データは撮像素子から出力されるものであり、
上記一方向は、上記撮像素子からの信号の読み出し方向であり、
上記表示制御部は、上記撮像素子から上記グループの読み出しが行われる毎に、そのグループに基づく上記分割画像を上記Ｎ個の上記表示フレーム期間に分けて上記表示部に表示させる制御を行う表示制御装置。

（４）
（１）から（３）のいずれか１つに記載の表示制御装置であって、
上記表示制御部は、上記Ｎ個のグループの境界位置を可変制御する表示制御装置。

（５）
（４）記載の表示制御装置であって、
上記表示制御部は、上記Ｎ個のグループの境界位置の平均位置を一定に制御する表示制御装置。

（６）
（１）から（５）のいずれか１つに記載の表示制御装置であって、
上記表示制御部は、上記各フレームの分割数を可変制御し、上記分割数を変更した場合に、上記分割数の変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記分割数の変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。

（７）
（１）から（５）のいずれか１つに記載の表示制御装置であって、
上記表示制御部は、上記Ｐを可変制御し、上記Ｐを変更した場合に、上記Ｐの変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記Ｐの変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。

（８）
（１）から（７）のいずれか１つに記載の表示制御装置であって、
上記表示制御部は、上記表示部の表示素子を非駆動状態にさせることで上記特定画像を表示させる表示制御装置。

（９）
（１）から（８）のいずれか１つに記載の表示制御装置と、
撮像素子と、
上記表示部と、を備える撮像装置。

（１０）
Ｎを２以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御方法であって、
上記動画データの各フレームを一方向にＮ個のグループに分割し、上記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、
Ｐを１以上Ｎ－１以下の数値とし、
上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記Ｎ個の上記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては上記各分割画像を表示させ、上記Ｎ個の上記表示フレーム期間のうちのＰ個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させる表示制御方法。

（１１）
（１０）記載の表示制御方法であって、
上記Ｎ個のグループのうちの隣接する２つのグループを第一のグループ及び第二のグループとし、上記第一のグループに基づく分割画像が表示される上記Ｎ個の上記表示フレーム期間と、上記第二のグループに基づく分割画像が表示される上記Ｎ個の上記表示フレーム期間とは、１つの表示フレーム期間分ずれている表示制御方法。

（１２）
（１０）又は（１１）記載の表示制御方法であって、
上記動画データは撮像素子から出力されるものであり、
上記一方向は、上記撮像素子からの信号の読み出し方向であり、
上記表示制御ステップは、上記撮像素子から上記グループの読み出しが行われる毎に、そのグループに基づく上記分割画像を上記Ｎ個の上記表示フレーム期間に分けて上記表示部に表示させる制御を行う表示制御方法。

（１３）
（１０）から（１２）のいずれか１つに記載の表示制御方法であって、
上記表示制御ステップは、上記Ｎ個のグループの境界位置を可変制御する表示制御方法。

（１４）
（１３）記載の表示制御方法であって、
上記表示制御ステップは、上記Ｎ個のグループの境界位置の平均位置を一定に制御する表示制御方法。

（１５）
（１０）から（１４）のいずれか１つに記載の表示制御方法であって、
上記表示制御ステップは、上記各フレームの分割数を可変制御し、上記分割数を変更した場合に、上記分割数の変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記分割数の変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。

（１６）
（１０）から（１４）のいずれか１つに記載の表示制御方法であって、
上記表示制御ステップは、上記Ｐを可変制御し、上記Ｐを変更した場合に、上記Ｐの変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記Ｐの変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。

（１７）
（１０）から（１６）のいずれか１つに記載の表示制御方法であって、
上記表示制御ステップは、上記表示部の表示素子を非駆動状態にさせることで上記特定画像を表示させる表示制御方法。

（１８）
Ｎを２以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御方法をコンピュータに実行させるための表示制御プログラムであって、
上記表示制御方法は、上記動画データの各フレームを一方向にＮ個のグループに分割し、上記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、
Ｐを１以上Ｎ－１以下の数値とし、
上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記Ｎ個の上記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては上記各分割画像を表示させ、上記Ｎ個の上記表示フレーム期間のうちのＰ個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させる表示制御プログラム。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

なお、本出願は、２０１９年２月１４日出願の日本特許出願（特願２０１９－０２４７９３）に基づくものであり、その内容は本出願の中に参照として援用される。

本発明は、デジタルカメラ又はスマートフォン等の撮像機能と表示機能を持つ電子機器に好ましく適用することができる。

１００ デジタルカメラ
１ 撮像レンズ
２ 絞り
４ レンズ制御部
６ 撮像素子
６０ 撮像面
６１ 画素
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１４ 操作部
１５ メモリ制御部
１６ メインメモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示コントローラ
２３ 表示部
２３Ａ 表示画素
２３Ｂ 表示画素行
２３ａ 表示エリア
２３ｂ 表示エリア
２３ｃ 表示エリア
２４ 制御バス
２５ データバス
４０ レンズ装置
ＦＬ フレーム
Ｇａ グループ
Ｇｂ グループ
Ｇｃ グループ
Ｔ 時間
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１～ＳＴｎ ＧＰＳ衛星

Claims (18)

1. Ｎを２以上の自然数とし、動画データに基づく動画を前記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御装置であって、
   前記動画データの各フレームを一方向にＮ個のグループに分割し、前記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて前記表示部に表示させる表示制御部を備え、
   Ｐを１以上Ｎ－１以下の数値とし、
   前記表示制御部は、
   前記各分割画像に対応する前記表示部の表示エリアに、前記Ｎ個の前記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては前記各分割画像を表示させ、前記Ｎ個の前記表示フレーム期間のうちのＰ個の表示フレーム期間においては前記動画データとは異なる特定画像を表示させ、
   前記グループの読み出しが行われる毎に、当該グループに基づく前記分割画像を前記Ｎ個の前記表示フレーム期間に分けて前記表示部に表示させる表示制御装置。
2. 請求項１記載の表示制御装置であって、
   前記Ｎ個のグループのうちの隣接する２つのグループを第一のグループ及び第二のグループとし、前記第一のグループに基づく分割画像が表示される前記Ｎ個の前記表示フレーム期間と、前記第二のグループに基づく分割画像が表示される前記Ｎ個の前記表示フレーム期間とは、１つの表示フレーム期間分ずれている表示制御装置。
3. 請求項１又は２記載の表示制御装置であって、
   前記動画データは撮像素子から出力されるものであり、
   前記一方向は、前記撮像素子からの信号の読み出し方向である表示制御装置。
4. 請求項１から３のいずれか１項記載の表示制御装置であって、
   前記表示制御部は、前記Ｎ個のグループの境界位置を可変制御する表示制御装置。
5. 請求項４記載の表示制御装置であって、
   前記表示制御部は、前記Ｎ個のグループの境界位置の平均位置を一定に制御する表示制御装置。
6. 請求項１から５のいずれか１項記載の表示制御装置であって、
   前記表示制御部は、前記各フレームの分割数を可変制御し、前記分割数を変更した場合に、前記分割数の変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記分割数の変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。
7. 請求項１から５のいずれか１項記載の表示制御装置であって、
   前記表示制御部は、前記Ｐを可変制御し、前記Ｐを変更した場合に、前記Ｐの変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記Ｐの変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。
8. 請求項１から７のいずれか１項記載の表示制御装置であって、
   前記表示制御部は、前記表示部の表示素子を非駆動状態にさせることで前記特定画像を表示させる表示制御装置。
9. 請求項１から８のいずれか１項記載の表示制御装置と、
   撮像素子と、
   前記表示部と、を備える撮像装置。
10. Ｎを２以上の自然数とし、動画データに基づく動画を前記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御方法であって、
    前記動画データの各フレームを一方向にＮ個のグループに分割し、前記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて前記表示部に表示させる表示制御ステップを備え、
    Ｐを１以上Ｎ－１以下の数値とし、
    前記表示制御ステップは、
    前記各分割画像に対応する前記表示部の表示エリアに、前記Ｎ個の前記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては前記各分割画像を表示させ、前記Ｎ個の前記表示フレーム期間のうちのＰ個の表示フレーム期間においては前記動画データとは異なる特定画像を表示させ、
    前記グループの読み出しが行われる毎に、当該グループに基づく前記分割画像を前記Ｎ個の前記表示フレーム期間に分けて前記表示部に表示させる表示制御方法。
11. 請求項１０記載の表示制御方法であって、
    前記Ｎ個のグループのうちの隣接する２つのグループを第一のグループ及び第二のグループとし、前記第一のグループに基づく分割画像が表示される前記Ｎ個の前記表示フレーム期間と、前記第二のグループに基づく分割画像が表示される前記Ｎ個の前記表示フレーム期間とは、１つの表示フレーム期間分ずれている表示制御方法。
12. 請求項１０又は１１記載の表示制御方法であって、
    前記動画データは撮像素子から出力されるものであり、
    前記一方向は、前記撮像素子からの信号の読み出し方向である表示制御方法。
13. 請求項１０から１２のいずれか１項記載の表示制御方法であって、
    前記表示制御ステップは、前記Ｎ個のグループの境界位置を可変制御する表示制御方法。
14. 請求項１３記載の表示制御方法であって、
    前記表示制御ステップは、前記Ｎ個のグループの境界位置の平均位置を一定に制御する表示制御方法。
15. 請求項１０から１４のいずれか１項記載の表示制御方法であって、
    前記表示制御ステップは、前記各フレームの分割数を可変制御し、前記分割数を変更した場合に、前記分割数の変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記分割数の変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。
16. 請求項１０から１４のいずれか１項記載の表示制御方法であって、
    前記表示制御ステップは、前記Ｐを可変制御し、前記Ｐを変更した場合に、前記Ｐの変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記Ｐの変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。
17. 請求項１０から１６のいずれか１項記載の表示制御方法であって、
    前記表示制御ステップは、前記表示部の表示素子を非駆動状態にさせることで前記特定画像を表示させる表示制御方法。
18. Ｎを２以上の自然数とし、動画データに基づく動画を前記動画データのフレームレートのＮ倍速にて表示部に表示させる表示制御方法をコンピュータに実行させるための表示制御プログラムであって、
    前記表示制御方法は、前記動画データの各フレームを一方向にＮ個のグループに分割し、前記各グループに基づくＮ個の分割画像を、それぞれ、連続するＮ個の表示フレーム期間に分けて前記表示部に表示させる表示制御ステップを備え、
    Ｐを１以上Ｎ－１以下の数値とし、
    前記表示制御ステップは、
    前記各分割画像に対応する前記表示部の表示エリアに、前記Ｎ個の前記表示フレーム期間のうちのＮ－Ｐ個の表示フレーム期間においては前記各分割画像を表示させ、前記Ｎ個の前記表示フレーム期間のうちのＰ個の表示フレーム期間においては前記動画データとは異なる特定画像を表示させ、
    前記グループの読み出しが行われる毎に、当該グループに基づく前記分割画像を前記Ｎ個の前記表示フレーム期間に分けて前記表示部に表示させる表示制御プログラム。

Images