JPWO2017150238A1 - 表示制御装置、表示制御方法、及び、プログラム - Google Patents

Abstract

本技術は、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像が、表示装置の表示領域の同一位置に表示される。本技術は、例えば、複数のフレームレートの画像を撮像することができるディジタルカメラ等に適用することができる。

Description

本技術は、表示制御装置、表示制御方法、及び、プログラムに関し、特に、例えば、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。

例えば、（動）画像を、マルチウインドウに、異なるフレームレートで表示させるディジタルカメラが提案されている（例えば、特許文献１を参照）。

特開2007-336522号公報

デバイスの進化や処理性能の向上等により、イメージセンサは、マルチストリームの出力、すなわち、複数のフレームレートの画像のストリームの出力が可能になると予想される。さらに、かかるイメージセンサを搭載したディジタルカメラでは、イメージセンサが出力する複数のフレームレートの画像を同時に処理することや、画像のフレームレートを動的に切り替えて、画像を記録することが可能になると予想される。

かかるディジタルカメラにおいて、高速なフレームレートの画像（以下、高フレームレート画像ともいう）を撮像した場合、その高フレームレート画像は、動きが滑らかな画像として利用することができる他、スローモーション画像として利用することができる。

ところで、高フレームレート画像を撮像する場合には、動きが滑らかな画像等が得られる反面、例えば、露光時間が短時間になることにより、画像の画質が劣化するトレードオフが生じることがある。さらに、例えば、各種の処理の対象となるデータのデータ量が増加することにより、画像の画素数が小さくなることや、一部の処理が省略されること等のトレードオフが生じることがある。

ディジタルカメラでは、いわゆるスルー画（ライブビュー画像）が表示されるが、スルー画では、高フレームレート画像について、画質や、スローモーション画像として利用した場合の印象を、ユーザが確認することは困難である。

すなわち、高フレームレート画像の画質や、スローモーション画像として利用した場合の印象は、例えば、高フレームレート画像の撮像（記録）後、その高フレームレート画像を再生し、鑑賞してみて、初めて気がつくと予想される。

ユーザが、高フレームレート画像の鑑賞後に、画質や、スローモーション画像として利用した場合の印象が気に入らなければ、ユーザは、フレームレートを変更して、高フレームレート画像を撮像し直す必要がある。

したがって、ユーザは、最適なフレームレートを決定するために、フレームレートを変更して、高フレームレート画像を記録し直すことを繰り返さなければならないことがあり、面倒である。

以上から、ユーザが、撮像時（記録前）に、高フレームレート画像の画質や、スローモーション画像として利用した場合の印象を、直感的に認識し、最適なフレームレートを容易に決定することができる方法の提案が要請される。

本技術は、このような状況に鑑みてなされたものであり、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができるようにするものである。

本技術の表示制御装置、又は、プログラムは、フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部を備える表示制御装置、又は、そのような表示制御装置として、コンピュータを機能させるためのプログラムである。

本技術の表示制御方法は、フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行うステップを含む表示制御方法である。

本技術の表示制御装置、表示制御方法、及び、プログラムにおいては、フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像が、表示装置の表示領域の同一位置に表示される。

なお、表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 撮像装置１２が出力する第１及び第２の画像の例を示す図である。 ディジタルカメラの処理の例を説明するフローチャートである。 変更操作に従った、第２の画像のフレームレートの変更の例を説明する図である。 変更操作に従った、第２の画像のフレームレートの変更の他の例を説明する図である。 切り替え操作に従ったフリップ切り替えの例を説明する図である。 切り替え操作に従ったフリップ切り替えの他の例を説明する図である。 第１及び第２の画像のフリップ切り替えを模式的に示す図である。 第１及び第２の画像のフリップ切り替えを行う場合と、第１及び第２の画像を並べて表示する場合とを説明する図である。 基準レート表示制御処理の例を説明するフローチャートである。 基準レート表示制御処理を説明する図である。 基準レート表示制御処理での第１及び第２の画像の表示の表示例を説明する図である。 追っかけ表示の例を説明する図である。 第１及び第２の画像を模式的に示す図である。 補正変換処理の例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用したディジタルカメラの一実施の形態＞

図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。

図１において、ディジタルカメラは、光学系１１、撮像装置１２、ディジタル信号処理部１３、表示装置１４及び１５、メモリ１６、入力装置１７、制御部１８、センサ部１９、並びに、ドライバIC(Integrated Circuit)２０を有する。

光学系１１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、撮像装置１２に入射させる。

撮像装置１２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサで構成され、撮像を行う。すなわち、撮像装置１２は、光学系１１からの入射光を受光し、光電変換を行って、光学系１１からの入射光に対応する電気信号としての画像（信号）を得る。そして、撮像装置１２は、撮像により得られる画像を出力する。

ここで、撮像装置１２は、例えば、マルチストリームを出力すること、すなわち、複数のフレームレートの画像のストリームを同時に出力することが可能なイメージセンサで構成され、撮像により得られる１又は複数の画像のストリームを出力する。

例えば、撮像装置１２は、あらかじめ決められたデフォルトのフレームレート、及び、デフォルトのフレームレートよりも高速又は低速のフレームレート等の複数のフレームレートで撮像を行い、フレームレートが異なる複数の画像（のストリーム）を出力することができる。

また、撮像装置１２では、極めて高速なフレームレートをデフォルトのフレームレートとして、そのデフォルトのフレームレートで撮像を行い、その撮像により得られるデフォルトのフレームレートの画像のフレームを必要に応じて間引くことにより、デフォルトのフレームレート以下の、複数のフレームレートの画像を出力することができる。フレームを間引く方法としては、例えば、フレームを単純に間引く方法や、複数のフレームを加算することでフレームを間引く方法等を採用することができる。

さらに、撮像装置１２は、１個のイメージセンサで構成する他、複数のイメージセンサで構成し、複数のイメージセンサそれぞれにおいて、異なるフレームレートで撮像を行い、その撮像により得られる複数のフレームレートの画像を出力することができる。

また、撮像装置１２では、出力可能な複数のフレームレートの画像のうちの、１以上の画像について、外部からの指示等に応じて、フレームレートを、例えば、1[fps](frame per second)等の単位でシームレスに変更することができる。

以上のように、撮像装置１２は、複数のフレームレートの画像を出力することができ、かつ、その複数のフレームレートの画像のうちの１以上の画像について、フレームレートを変更する機能を有すれば、その構成は、特に限定されるものではない。

なお、以下では、説明を簡単にするため、撮像装置１２は、デフォルトのフレームレート、及び、デフォルトのフレームレートとは異なるフレームレートで撮像を行い、その撮像により得られるデフォルトのフレームレートの第１の画像、及び、デフォルトのフレームレートとは異なるフレームレートの第２の画像を出力することが可能であることとする。

さらに、撮像装置１２は、少なくとも、第２の画像のフレームレートの変更が可能であることとする。

撮像装置１２が出力する第１及び第２の画像は、ディジタル信号処理部１３に供給される。なお、ディジタル信号処理部１３には、撮像装置１２が出力する第１及び第２の画像の他、例えば、サーバからダウンロードされた、異なるフレームレートの複数の画像や、記録媒体から再生された、異なるフレームレートの複数の画像を供給することができる。

ディジタル信号処理部１３は、撮像装置１２からの第１及び第２の画像（のストリーム）に、必要な信号処理を施し、表示装置１４や１５、メモリ１６に供給する。

ディジタル信号処理部１３は、現像処理部３１及び３２、画像解析部３３、記録再生処理部３４、並びに、表示制御部３５を有する。

現像処理部３１には、撮像装置１２からの第１の画像が供給される。現像処理部３１は、撮像装置１２からの第１の画像に現像処理を施し、現像処理後の第１の画像を出力する。現像処理部３１が出力する現像処理後の第１の画像は、表示制御部３５に供給される。

ここで、現像処理には、いわゆるRAWデータの画像から、例えば、R(red)，G(green)、及び、B(blue)の各色成分のデータを有する画像を生成する処理の他、ノイズ除去等の高画質化の処理を含めることができる。

現像処理部３２には、撮像装置１２からの第２の画像が供給される。現像処理部３２は、撮像装置１２からの第２の画像に現像処理を施し、現像処理後の第２の画像を出力する。現像処理部３２が出力する現像処理後の第２の画像は、表示制御部３５に供給される。

画像解析部３３には、撮像装置１２が出力する第１及び第２の画像が供給されるとともに、現像処理部３１が出力する現像処理後の第１の画像、及び、現像処理部３２が出力する現像処理後の第２の画像が供給される。

画像解析部３３は、撮像装置１２からの第１及び第２の画像、又は、現像処理部３１からの現像処理後の第１の画像、及び、現像処理部３２からの現像処理後の第２の画像を解析する。さらに、画像解析部３３は、第１及び第２の画像の解析により得られる解析結果に基づいて、第１及び第２の画像について、イベントポイントを検出する。画像解析部３３は、イベントポイントを、第１及び第２の画像（撮像装置１２からの第１及び第２の画像のセット、並びに、現像処理後の第１及び第２の画像のセットのうちの一方、又は、両方）とともに、記録再生処理部３４に供給する。

ここで、イベントポイントとは、シーンチェンジのフレームや、ハイライトシーンの（開始、終了）フレーム、所定の被写体が動き出したフレーム、第１及び第２の画像に映る人等の動物の表情が変化したフレーム等の、所定のイベントが生じたフレームを表す。所定のイベントは、例えば、あらかじめ設定することができる。

記録再生処理部３４は、画像解析部３３からの第１及び第２の画像を対象として、記録（記憶）媒体に対する記録や再生を行う。すなわち、記録再生処理部３４は、画像解析部３３からの第１及び第２の画像を、必要に応じて符号化し、メモリ１６に記録する（記憶させる）。また、記録再生処理部３４は、メモリ１６から第１及び第２の画像を読み出し、必要に応じて復号することで、第１及び第２の画像を再生し、表示制御部３５や図示せぬ外部出力端子に供給する。

なお、記録再生処理部３４は、第１及び第２の画像を、メモリ１６に記録するときに、その第１及び第２の画像について検出されたイベントポイントも、メモリ１６に記録することができる。メモリ１６に記録されたイベントポイントは、例えば、メモリ１６に記録された第１及び第２の画像を再生するときに、イベントポイントが表すフレームからの頭出し等に使用することができる。

表示制御部３５は、現像処理部３１及び３２から供給される第１及び第２の画像それぞれを、表示装置１４や１５に表示させる表示制御を行う。さらに、表示制御部３５は、アイコン等の、第１及び第２の画像以外の画像を、表示装置１４や１５に表示させる表示制御を行う。

表示装置１４及び１５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)等で構成され、表示制御部３５の制御に従い、第１の画像や第２の画像、その他の画像を表示する。

なお、表示装置１４は、例えば、ディジタルカメラの背面に設けられた表示パネルを構成し、表示装置１５は、例えば、ディジタルカメラのEVF(Electric Viewfinder)を構成する。

メモリ１６は、記録再生制御部３４の制御に従い、第１及び第２の画像等のデータを記憶する。

入力装置１７は、ユーザが操作可能な操作手段である。入力装置１７は、シャッタ（録画）ボタンやダイヤル等の機械的に操作可能な物理的な操作手段や、表示装置１４に表示される、ボタン等としてのアイコン等の、仮想的な操作手段で構成することができる。入力装置１７は、ユーザの操作に応じた操作信号を、制御部１８に供給する。

制御部１８は、例えば、マイクロコンピュータで構成され、ディジタルカメラを構成する各ブロックを制御する。

すなわち、制御部１８は、撮像装置１２から得られる情報や、入力装置１７からの操作信号、ディジタル信号処理部１３から得られる情報、センサ部１９が出力するセンサ情報、ドライバIC２０から得られる情報等に応じて、撮像装置１２や、ディジタル信号処理部１３、入力装置１７、センサ部１９、ドライバIC２０等を制御する。

例えば、撮像装置１２は、制御部１８の制御に従い、第１の画像の撮像や、第２の画像の撮像、第２の画像のフレームレートの変更等を行う。

センサ部１９は、例えば、マイク等の音を検知するセンサや、加速度を検知するセンサ、時間を検知（計時）するセンサ、その他の任意の物理量を検知するセンサで構成することができる。センサ部１９は、所定の物理量を検知し、その物理量を表すセンサ情報を出力する。センサ部１９が出力するセンサ情報は、制御部１８に供給される。

ここで、制御部１８では、センサ部１９からのセンサ情報に基づき、第１及び第２の画像について、イベントポイントを検出することができる。

例えば、制御部１８では、センサ部１９からのセンサ情報としての音の検知結果に基づき、第１及び第２の画像について、大きな音が発生した（開始、終了）フレーム等を、イベントポイントとして検出することができる。また、例えば、制御部１８では、センサ部１９からのセンサ情報としての加速度の検知結果に基づき、第１及び第２の画像について、ディジタルカメラがパンされている（開始、終了）フレーム等を、イベントポイントとして検出することができる。

ドライバIC２０は、制御部１８の制御に従い、光学系１１の絞りや、フォーカス、ズームを制御（駆動）する。

以上のように構成されるディジタルカメラでは、撮像装置１２が、光学系１１からの入射光を受光し、その入射光に応じて、第１の画像や第２の画像を出力する。

撮像装置１２が出力する第１の画像や第２の画像は、ディジタル信号処理部１３に供給される。

ディジタル信号処理部１３では、現像処理部３１が、撮像装置１２からの第１の画像に現像処理を施し、表示制御部３５に供給する。また、現像処理部３２が、撮像装置１２からの第２の画像に現像処理を施し、表示制御部３５に供給する。

表示制御部３５は、現像処理部３１からの第１の画像や、現像処理部３２からの第２の画像を、表示装置１４及び１５に表示させ、これにより、表示装置１４及び１５には、第１の画像や第２の画像が、スルー画として表示される。

また、ディジタルカメラでは、ユーザが、入力装置１７を構成する録画ボタンを操作した場合、ディジタル信号処理部１３において、記録再生処理部３４は、例えば、録画ボタンが再度操作されるまで、撮像装置１２が出力する第１の画像や第２の画像を録画する（第１の画像や第２の画像をメモリ１６に記録する）。

なお、以下では、説明を簡単にするため、第１及び第２の画像が、表示装置１４及び１５のうちの、表示装置１４に表示される場合に注目して、説明を行う。

＜第１及び第２の画像の例＞

図２は、撮像装置１２が出力する第１及び第２の画像の例を示す図である。

撮像装置１２は、異なるフレームレートで、同一の被写体の撮像を行うことで、フレームレートが異なり、同一被写体が映る第１及び第２の画像（のストリーム）を同時に出力することができる。

第１の画像のフレームレートとしては、例えば、60[fps]等の、あらかじめ決められたデフォルトのフレームレートを採用することができる。

第２の画像のフレームレートは、ユーザの指定に従って、任意のフレームレートX[fps]に変更することができる。

なお、図２では、デフォルトのフレームレートとして、60[fps]を採用するが、デフォルトのフレームレートは、60[fps]に限定されるものではない。

また、第１の画像のフレームレートは、デフォルトのフレームレートに固定することもできるし、第２の画像フレームレートと同様に、ユーザの指定に従って変更可能なようにすることもできる。

図２では、第２の画像のフレームレートXの方が、デフォルトのフレームレート（第１の画像のフレームレート）よりも高速になっている。

この場合、フレームレートの相違に応じて、第１及び第２の画像の（撮像時の）露光時間に相違が生じることがある。第１及び第２の画像の露光時間に相違がない場合には、第１の画像と第２の画像は、同一時刻のフレームの画質が同一の画像になり得るが、第１及び第２の画像の露光時間に相違がある場合には、第１の画像と第２の画像は、露光時間の相違により、同一時刻のフレームの画質が異なる画像になる。

すなわち、第２の画像のフレームレートXの方が、デフォルトのフレームレートよりも高速であるために、第２の画像の露光時間が、第１の画像の露光時間よりも短いときには、第１の画像と第２の画像の、同一時刻のフレームの画質については、第１の画像のS/N(Signal to Noise Ratio)の方が、第２の画像のS/Nよりも良くなる。

また、第２の画像のフレームレートXの方が、デフォルトのフレームレート（第１の画像のフレームレート）よりも高速である場合には、第２の画像の処理の負荷が大となるために、撮像装置１２が、第２の画像として、第１の画像よりも画素数（解像度）が小さい画像を出力することや、ディジタル信号処理部１３において、第２の画像に対する一部の処理が省略されることがある。

この場合、同一時刻のフレームについては、第２の画像は、第１の画像よりも画質が劣化した画像になる。

以上のように、第１及び第２の画像は、同一時刻のフレームの画質が異なる画像になることがある。

ここで、撮像装置１２で、１秒あたりに撮像されるフレーム数を撮像レートともいい、表示装置１４で、１秒あたりに表示されるフレーム数を表示レートともいうこととする。

第１の画像や第２の画像のフレームレートとは、フレームの間引きや補間がされない限り、撮像レートを意味する。

また、画像を、その画像のフレームレート（撮像レート）と等しい表示レートで表示する場合には、画像は、リアルタイムで表示（リアルタイム再生）（１倍速再生）されるが、画像を、その画像のフレームレート未満の表示レートで表示する場合には、画像は、スローで表示（スロー再生）される。

さらに、画像を、その画像のフレームレートより大の表示レートで表示する場合には、画像は、早送りで表示（早送り再生）される。

＜ディジタルカメラの処理＞

図３は、図１のディジタルカメラの処理の例を説明するフローチャートである。

ステップＳ１１において、ユーザが、電源をオンにするように、入力装置１７を操作するのを待って、制御部１８は、ディジタルカメラの電源をオン状態にし、処理は、ステップＳ１２に進む。

ステップＳ１２では、ユーザが、ディジタルカメラの動作モードをマルチストリームモードにするように、入力装置１７を操作するのを待って、制御部１８は、動作モードを、マルチストリームモードに設定する。

ここで、マルチストリームモードとは、撮像装置１２がマルチストリームの出力、すなわち、ここでは、フレームレートが異なる第１及び第２の画像の出力を行い、ディジタル信号処理部１３が、その第１及び第２の画像の処理を行うことが可能なモードである。さらに、マルチストリームモードでは、後述する基準レート表示制御処理を行うことが可能になる。

また、動作モードがマルチストリームモードに設定されると、入力装置１７を構成する所定の操作部の操作に対して、マルチストリームモードに特有の機能が割り当てられる。この点については、後述する。

動作モードがマルチストリームモードに設定されると、制御部１８は、第１の画像のフレームレート（撮像レート）をデフォルトのフレームレートに設定し、そのデフォルトのフレームレートの第１の画像を出力するように、撮像装置１２を制御する。

撮像装置１２は、制御部１８の制御に従って、デフォルトのフレームレートの第１の画像の出力を開始し、ディジタル信号処理部１３は、その第１の画像の処理を開始する。

以上のように、第１の画像の処理が開始されると、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、ディジタル信号処理部１３において、表示制御部３５が、表示装置１４の表示領域（表示画面）の所定の位置としての、例えば、表示領域の中心を中心とする矩形の領域（例えば、表示領域の全体等）に表示する表示対象として、第１の画像を設定し、表示対象を、表示装置１４に表示させる表示制御を開始する。これにより、表示装置１４では、表示対象としての第１の画像を、表示領域の所定の位置に表示することが開始される。

その後、処理は、ステップＳ１３からステップＳ１４に進み、制御部１８は、ユーザが、入力装置１７の操作として、画像のフレームレート（撮像レート）を変更する変更操作を行ったかどうかを判定する。

ステップＳ１４において、変更操作が行われていないと判定された場合、処理は、ステップＳ１５及びＳ１６をスキップして、ステップＳ１７に進む。

また、ステップＳ１４において、変更操作が行われたと判定された場合、処理は、ステップＳ１５に進む。

ステップＳ１５では、制御部１８は、第２の画像のフレームレート（撮像レート）を、変更操作に従って設定し、その変更操作に従ったフレームレートの第２の画像を出力するように、撮像装置１２を制御する。

撮像装置１２は、制御部１８の制御に従って、変更操作に従ったフレームレートの第２の画像の出力を開始し、ディジタル信号処理部１３は、その第２の画像の処理を開始する。

以上のように、第２の画像の処理が開始されると、処理は、ステップＳ１５からステップＳ１６に進む。

ステップＳ１６では、ディジタル信号処理部１３において、表示制御部３５が、表示装置１４の表示領域の所定の位置に表示する表示対象として、第２の画像を設定し、表示対象を、いままで表示されていた画像に代えて、表示装置１４に表示させる表示制御を開始する。これにより、表示装置１４では、表示対象としての第２の画像を、表示領域の所定の位置に表示することが開始される。

その後、処理は、ステップＳ１６からステップＳ１７に進み、制御部１８は、ユーザが、入力装置１７の操作として、表示対象を切り替える切り替え操作を行ったかどうかを判定する。

ステップＳ１７において、切り替え操作が行われていないと判定された場合、処理は、ステップＳ１８をスキップして、ステップＳ１４に戻る。

また、ステップＳ１７において、切り替え操作が行われたと判定された場合、処理は、ステップＳ１８に進む。

ステップＳ１８では、表示制御部３５は、表示対象を、第１及び第２の画像のうちの、表示対象になっていなかった方に切り替え（設定し）、表示対象を、表示装置１４に表示させる表示制御を開始する。これにより、表示装置１４では、第１及び第２の画像のうちの、切り替え操作直前に、表示対象になっていなかった方の画像を、いままで表示されていた画像に代えて、表示領域の所定の位置に表示することが開始される。

そして、処理は、ステップＳ１８からステップＳ１４に戻り、以下、同様の処理が繰り返される。

以上のように、マルチストリームモードでは、ユーザが変更操作を行うと、その変更操作に従ったフレームレートの第２の画像が、表示装置１４の所定の位置に表示される。

したがって、ユーザは、変更操作を行うだけで、その変更操作に従ったフレームレートの第２の画像を確認することができる。

また、マルチストリームモードでは、ユーザが切り替え操作を行うと、表示対象が、第１及び第２の画像のうちの、表示対象になっていなかった方の画像に切り替えられ、その切り替え後の表示対象が、表示装置１４に表示される。

また、マルチストリームモードでは、表示対象が、第１及び第２の画像のうちのいずれに設定されても、表示装置１４の表示領域の所定の位置に表示される。

したがって、表示対象が、第１及び第２の画像のうちのいずれに設定されても、表示装置１４の表示領域の同一位置に表示される。

以上のように、表示装置１４の表示領域の同一位置に表示される表示対象は、切り替え操作によって、第１の画像と第２の画像とに交互に切り替えられる。

いま、ある画像が表示されていた位置と同一位置に、その画像に代えて、他の画像を表示することで、画像を切り替えることをフリップ切り替えということとすると、第１及び第２の画像を対象に、フリップ切り替えを行うことで、第１及び第２の画像それぞれに映る同一の被写体が同一の位置に映るので、第１及び第２の画像の、S/Nや解像度等の画質の相違、すなわち、例えば、デフォルトのフレームレートの第１の画像を基準とする、変更操作に従ったフレームレートの第２の画像の画質の程度を、容易に把握することができる。なお、フリップ切り替えでは、第１及び第２の画像の画角が異なる場合には、第１及び第２の画像のうちの一方又は両方の拡大や縮小を行い、画角を一致させることで、第１及び第２の画像それぞれに映る同一の被写体を同一の位置に表示させることができる。

以上のように、ユーザは、変更操作及び切り替え操作を行うことで、第１の画像を基準とする、第２の画像の画質を容易に確認しつつ、第２の画像のフレームレートを容易に変更することができる。

したがって、図１のディジタルカメラによれば、例えば、ユーザが許容することができる画質を維持することができる第２の画像のフレームレート等の、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。

なお、ユーザが、第１及び第２の画像の、S/Nや解像度等の画質の相違を把握することができる画像の表示方法としては、上述したように、フリップ切り替えを行って、第１及び第２の画像を、表示装置１４の表示領域の同一位置に表示する方法（以下、フリップ切り替え法ともいう）の他、第１及び第２の画像を、縦や横に並べて同時に表示する方法（以下、並列表示法ともいう）が考えられる。

しかしながら、並列表示法では、表示装置１４の他に、表示装置１４と同様の表示装置を新たに設け、例えば、表示装置１４に第１の画像を表示するとともに、新たに設けた表示装置に第２の画像を表示する必要がある。又は、並列表示法では、表示装置１４の表示領域を２つの小領域に分割し、一方の小領域に第１の画像を表示するとともに、他方の表示領域に第２の画像を表示する必要がある。

表示装置１４の他に、表示装置１４と同様の表示装置を新たに設けるのでは、ディジタルカメラが大型化する。表示装置１４の表示領域を２つの小領域に分割するのでは、第１及び第２の画像を表示するときのサイズが小になり、第１及び第２の画像の画質の相違を把握することが困難となる。

これに対して、フリップ切り替え法によれば、以上のようなディジタルカメラを大型化することなく、かつ、第１及び第２の画像を表示するときのサイズを小にすることなく、第１及び第２の画像の画質の相違を、直感的に（容易に）把握することができる。

なお、同一の被写体が映り、S/N又は解像度が異なる２枚の画像を、PC(Personal Computer)の表示画面としてのLCDに表示する場合には、２枚の画像を並べて表示したときよりも、フリップ切り替えを行って、２枚の画像を同一位置に表示した方が、同一位置の画質の相違が目に付き、僅かな画質の相違であっても、極めて容易に把握することを、実際に確認することができる。

ここで、図３では、フリップ切り替えを、ユーザの切り替え操作に応じて行うこととしたが、フリップ切り替えは、切り替え操作に応じて行う他、例えば、周期的に行うことや、イベントポイントで行うことが可能である。

また、マルチストリームモードでは、後述する基準レート表示制御処理以外では、第１及び第２の画像は、リアルタイムで表示される。

例えば、いま、説明を簡単にするため、表示装置１４の表示レートが、固定のレートであり、第１の画像のフレームレート（撮像レート）に等しいこととする。

第１の画像の、リアルタイムでの表示では、第１の画像は、そのまま、表示装置１４に表示レートで表示される。

第２の画像の、リアルタイムでの表示では、第２の画像は、フレームレートが表示レートに等しくなるように間引かれてから、表示装置１４に表示レートで表示される。例えば、第１の画像のフレームレートが60[fps]であり、第２の画像のフレームレートXが240[fps]であれば、第２の画像は、フレーム数を1/4=60/240に間引くことにより、フレームレートを、表示レートである60[fps]にしてから、表示装置１４に表示レートで表示される。

なお、第２の画像のフレームレートXが、第１の画像のフレームレートよりも大である場合には、上述のように、フレームの間引きを行うことによって、第２の画像がリアルタイムで表示されるが、第２の画像のフレームレートXが、第１の画像のフレームレートよりも小である場合には、フレームの補間を行うことによって、第２の画像をリアルタイムで表示することができる。

また、表示装置１４の表示レートが可変である場合には、第１の画像を、その第１の画像のフレームレートに等しい表示レートで表示し、第２の画像を、その第２の画像のフレームレートに等しい表示レートで表示することで、上述のようなフレームの間引きや補間を行うことなく、リアルタイムでの表示を行うことができる。以上のように、第２の画像を、その第２の画像のフレームレートに等しい表示レートで表示する場合、第２の画像のフレームレート（操作装置１２で第２の画像を撮像する撮像レート）を変更することにより、各フレームレートでの第２の画像の滑らかさを、視覚的に容易に確認することができる。

さらに、図３では、説明を簡単にするため、変更操作によって、第１及び第２の画像のうちの、第２の画像のフレームレートを変更することとしたが、変更操作に応じたフレームレートの変更は、第１及び第２の画像のうちの、変更操作がされたときに表示対象になっている方の画像を対象に行うことができる。

また、図３では（以下でも同様）、第１及び第２の画像の２ストリームの画像を対象に、フレームレートの変更や、フリップ切り替えを行うこととしたが、フレームレートの変更や、フリップ切り替えは、３ストリーム以上の画像を対象に行うことができる。

３ストリーム以上の画像を対象とするフレームレートの変更では、その３ストリーム以上の画像のうちの、例えば、表示対象になっている１つのストリームの画像を対象に、フレームレートを変更することができる。

また、３ストリーム以上の画像を対象とするフリップ切り替えでは、例えば、その３ストリーム以上の画像をループ状に順序づけ、切り替え操作が行われるごとに、３ストリーム以上の画像を、順序づけに従った順番で、表示対象に設定することができる。３ストリーム以上の画像の順序づける順番は、例えば、あらかじめディジタルカメラに設定しておくことや、ユーザによる入力装置１７の操作に従って設定することができる。

＜フレームレートの変更＞

図４は、変更操作に従った、第２の画像のフレームレートの変更の例を説明する図である。

図４では、ディジタルカメラの背面に、表示パネルとしての表示装置１４が設けられている。

さらに、ディジタルカメラでは、表示装置１４の右下側に、ダイヤル４１が設けられており、上面の右端に、シャッタ（録画）ボタン４２が設けられている。

マルチストリームモード以外の動作モードでは、例えば、ダイヤル４１の回転操作は、フレームレートの変更以外の機能に割り当てられる。マルチストリームモードでは、例えば、ダイヤル４１の回転操作は、フレームレートの変更に割り当てられる。

シャッタボタン４２は、動画の録画を開始するときや終了するとき、写真としての静止画を撮影（記録）するとき等に押圧操作される。

図４では、ディジタルカメラの動作モードがマルチストリームモードになっている。そして、第１及び第２の画像のうちの、第２の画像が表示対象に設定され、ディジタルカメラの背面に設けられた表示装置１４の表示領域の所定の位置に、表示対象としての第２の画像が表示されている。

ユーザが、ダイヤル４１を回転操作すると、その回転操作を変更操作として、表示装置１４に表示対象としてリアルタイムで表示されている第２の画像のフレームレート（撮像レート）が変更される。

すなわち、変更操作としてのダイヤル４１の回転操作の回転方向及び回転量に応じて、撮像装置１２で撮像されている第２の画像のフレームレートが、例えば、1[fps]単位等で連続的に増減される。図４では、第２の画像のフレームレートが、ダイヤル４１の回転操作に応じて、60[fps]から240[fps]に、連続的に変更されている。

したがって、ユーザは、変更操作としてのダイヤル４１の回転操作を行うことで、フレームレートを変更した場合の第２の画像の画質の変化、すなわち、例えば、フレームレートが大になるほど、輝度が低下して、S/Nが悪くなることを、視覚的に容易に確認することができる。

ここで、図４では、表示装置１４の表示レートが60[fps]になっており、そのため、表示制御部３５において、フレームレートが60[fps]の第２の画像は、フレームの補間や間引きを行わずに、リアルタイムで表示される。一方、変更操作後の第２の画像、すなわち、フレームレートが240[fps]の第２の画像は、フレーム数を1/4に間引くことで、リアルタイムで表示される。

図４では、表示制御部３５において、フレームレートが240[fps]の第２の画像のフレームを間引くことで、例えば、フレームレートが60[fps]の第２の画像のフレームと同一時刻のフレームだけが、表示装置１４に表示される。

なお、変更操作としては、ダイヤル４１の回転操作の他、任意の１回の操作を採用することができる。

ここで、「１回の操作」とは、所定の操作を、他の操作を経由することなく、いわば直接的に行うことができる場合の、その所定の操作を意味する。

例えば、所定の項目を選択する場合に、メニューを表示させる操作を行い、その操作によって表示されるメニューから所定の項目を選択する操作を行う必要があるときには、所定の項目を選択する操作は、「１回の操作」に該当しない。この場合、所定の項目を選択する操作を行うのに、メニューを表示させる操作を経由する必要があるからである。

本実施の形態では、ダイヤル４１の回転操作が、フレームレートの変更に割り当てられ、ダイヤル４１は、ディジタルカメラの背面に露出しているので、ダイヤル４１の回転操作は、１回の操作に該当する。

以上のように、１回の操作であるダイヤル４１の回転操作を、変更操作として採用することで、ユーザは、思い立ったときに、即座に、変更操作を行い、第２の画像のフレームレートを変更して、フレームレートの変更後の第２の画像の画質を確認することができる。

なお、図４では、変更操作に応じて、表示装置１４に表示対象として表示されている第２の画像のフレームレートを変更することとしたが、第１の画像が表示対象として表示装置１４に表示されている場合には、例えば、表示対象である第１の画像のフレームレートを変更すること、又は、表示対象を第１の画像から、第１の画像と同一のフレームレートの第２の画像に変更し、変更後の表示対象である第２の画像のフレームレートを変更することができる。

図５は、変更操作に従った、第２の画像のフレームレートの変更の他の例を説明する図である。

図４で説明したように、マルチストリームモードでは、変更操作としてのダイヤル４１の回転操作に応じて、撮像装置１２で撮像されている第２の画像のフレームレートが連続的に変更（増減）される。

以上のように、撮像装置１２において、第２の画像のフレームレートが変更される場合、特に、フレームレートが大に変更される場合、撮像装置１２での処理量が増加するため、その処理量の増加を抑制するために、高フレームレートの第２の画像になるほど、画素数が少なくされることがある。

すなわち、例えば、撮像装置１２では、第２の画像のフレームレートが高フレームレートであるほど、イメージセンサで撮像する画像の画角を小さくすることや、イメージセンサでの撮像に用いる画素（画像を構成する画素値を得る画素）を間引くことで、第２の画像の横及び縦の画素数を小にすることができる。

この場合、表示制御部３５では、第２の画像を、その第２の画像の画素数に応じたサイズで、表示装置１４に表示させることができる。

以上のように、第２の画像が、その画素数に応じたサイズで表示されることで、ユーザは、変更操作により、第２の画像のフレームレートを変更しながら、そのフレームレートの変更に伴う第２の画像の画素数の変化を、直感的に認識することができる。

ここで、図５では、図４の場合と同様に、第２の画像のフレームレートが、ダイヤル４１の回転操作に応じて、60[fps]から240[fps]に、連続的に変更されている。

例えば、撮像装置１２において、第２の画像のフレームレートが高フレームレートになるほど、その第２の画像の横及び縦の画素数が小にされる場合には、第２の画像のフレームレートが、ダイヤル４１の回転操作に応じて、60[fps]から240[fps]に、連続的に変更されると、表示装置１４に表示される第２の画像のサイズは、図５に示すように、第２の画像のフレームレートが60[fps]から240[fps]に連続的に変更されることに応じて、徐々に小になる。

＜フリップ切り替え＞

図６は、切り替え操作に従ったフリップ切り替えの例を説明する図である。

マルチストリームモードでは、例えば、ダイヤル４１の押圧操作が可能である場合には、ダイヤル４１の押圧操作が、フリップ切り替えに割り当てられる。又は、例えば、表示装置１４の表示領域の任意の位置のタップや、表示領域の周辺部のタップ等の１回の操作が、フリップ切り替えに割り当てられる。

図６では、ディジタルカメラの動作モードがマルチストリームモードになっている。そして、撮像装置１２において、フレームレートが60[fps]の第１の画像と、フレームレートが240[fpf]の第２の画像との撮像が行われ、その第１及び第２の画像が出力されている。

ディジタルカメラにおいて、第１及び第２の画像については、そのうちの一方の画像を、表示対象として、その表示対象が、表示装置１４の表示領域の所定の位置（図６では、表示領域の全体）に表示される。

ユーザが、切り替え操作としての、例えば、ダイヤル４１の押圧操作や、表示装置１４の表示領域のタップを行うと、その切り替え操作が行われるごとに、表示制御部３５において、表示対象が、第１及び第２の画像のうちの、いま表示装置１４に表示されている方の画像から、他方の画像に切り替えられ、その切り替え後の表示対象が、表示装置１４の表示領域の所定の位置に表示されるフリップ切り替えが行われる。

したがって、ユーザは、切り替え操作を行うことで、60[fps]の第１の画像と、240[fpf]の第２の画像との画質の差、すなわち、例えば、60[fps]の第１の画像に対して、240[fpf]の第２の画像のS/Nの悪さがどの程度であるかを、視覚的に容易に確認することができる。

ここで、図６では、表示装置１４の表示レートが60[fps]になっており、そのため、（フレームレートが）60[fps]の第１の画像は、フレームの補間や間引きを行わずに、リアルタイムで表示される。一方、240[fps]の第２の画像は、フレーム数を1/4に間引くことで、リアルタイムで表示される。

図６では、240[fps]の第２の画像のフレームを間引くことで、例えば、フレームレートが60[fps]の第２の画像のフレームと同一時刻のフレームだけが、表示装置１４に表示される。

なお、切り替え操作としては、ダイヤル４１の押圧操作や、表示装置１４の表示領域のタップの他、任意の１回の操作を採用することができる。

１回の操作であるダイヤル４１の押圧操作や、表示装置１４の表示領域のタップを、切り替え操作として採用することで、ユーザは、思い立ったときに、即座に、切り替え操作を行い、表示装置１４の表示を、第１及び第２の画像のうちの一方の画像から他方の画像に即座に切り替え、その第１及び第２の画像の画質の差を確認することができる。

図７は、切り替え操作に従ったフリップ切り替えの他の例を説明する図である。

マルチストリームモードでは、例えば、表示装置１４の表示領域の任意の位置のダブルタップ等が、表示装置１４に表示された画像を拡大する拡大操作として、表示装置１４に表示された画像の拡大に割り当てられる。

図７では、図６と同様に、ディジタルカメラの動作モードがマルチストリームモードになっている。そして、撮像装置１２において、フレームレートが60[fps]の第１の画像と、フレームレートが240[fpf]の第２の画像との撮像が行われ、その第１及び第２の画像が出力されている。

ディジタルカメラにおいて、第１及び第２の画像のうちの一方の画像を、表示対象として、その表示対象が、表示装置１４の表示領域に表示されている場合において、ユーザが、拡大操作としての、例えば、表示装置１４の表示領域のダブルタップを行うと、表示制御部３５において、表示装置１４に表示されている画像の一部が拡大される。すなわち、表示装置１４の表示領域のダブルタップが行われた位置を中心とする所定の範囲Rが、拡大画像に拡大されて、表示装置１４に表示される。

そして、表示装置１４に拡大画像が表示されている状態で、ユーザが、切り替え操作を行うと、画像の拡大を維持したまま、切り替え操作が行われるごとに、図６の場合と同様の、第１及び第２の画像のフリップ切り替えが行われる。

したがって、ユーザは、拡大操作後に切り替え操作を行うことで、第１及び第２の画像の細部の画質の差を、視覚的に容易に確認することができる。

なお、拡大操作としては、ダブルタップのタップの他、任意の１回の操作を採用することができる。

１回の操作であるダブルタップを、拡大操作として採用することで、ユーザは、思い立ったときに、即座に、拡大操作を行い、表示装置１４に表示された画像の所望の部分を拡大して、その所望の部分について、第１及び第２の画像の画質の差を確認することができる。

図８は、第１及び第２の画像のフリップ切り替えを模式的に示す図である。

フリップ切り替えでは、表示装置１４の所定の位置の表示が、第１及び第２の画像のうちの一方の画像から他方の画像に切り替えられる。

したがって、第１及び第２の画像が同一の位置に表示されるため、フリップ切り替えを繰り返すことにより、ユーザは、第１及び第２の画像どうしの差分を、極めて容易に確認することができる。

ここで、図８では（後述する図９でも同様）、第１及び第２の画像として、撮像時の画素数として、横×縦が1920×1080画素の画像が採用されている。第１及び第２の画像のフレームレートは、それぞれ、60[fps]及び480[fps]であり、フレームレートが低い第１の画像の方が、フレームレートが高い第２の画像よりも、高S/Nであることを僅かに確認することができる。

図９は、第１及び第２の画像のフリップ切り替えを行う場合と、第１及び第２の画像を並列表示法で表示する場合とを説明する図である。

図９のＡは、第１及び第２の画像のフリップ切り替えを説明する図である。

フリップ切り替えでは、第１及び第２の画像が交互に同一位置に表示される。図１９のＡの第１の画像と第２の画像とを上下に重ねて、上側の画像を捲ること、及び、戻すことを繰り返すことにより、フリップ切り替えを擬似的に体験することができる。

フリップ切り替えによれば、第１及び第２の画像に映る同一の被写体が同一位置に表示されることにより、第１及び第２の画像どうしの差、特に、S/Nや、解像度、色むら、明るさ等の画質の差が、極めて分かりやすい。

また、例えば、映画制作者等の映像のプロフェッショナルのユーザからは、画素単位や画素単位に近い微小単位での画質の違いを見分けやすいことが要請されることが多くなっている。フリップ切り替えによれば、かかるユーザの要請に応えることができる。

図９のＢは、第１及び第２の画像を、並列表示法で表示した様子を示している。

いま、画像を、所定のサイズの表示領域に表示することとすると、フリップ切り替えでは、第１及び第２の画像それぞれを、表示領域の全体に表示することができる。しかしながら、並列表示法において、第１及び第２の画像を横に並べて表示する場合には、第１及び第２の画像との横と縦の表示サイズは、最大でも、表示領域のサイズの1/2になる。

以上のように、並列表示法では、第１及び第２の画像が小になるため、フリップ切り替えに比較して、第１及び第２の画像どうしの差が分かりにくくなる。

さらに、並列表示法では、第１及び第２の画像に映る同一の被写体が異なる位置に表示されるため、フリップ切り替えに比較して、第１及び第２の画像どうしの差が分かりにくくなる。

＜基準レート表示制御処理＞

図１０は、基準レート表示制御処理の例を説明するフローチャートである。

マルチストリームモードでは、図４ないし図９で説明した、表示装置１４に表示される画像のフレームレートの変更やフリップ切り替えの他、基準レート表示制御処理が行われる。

基準レート表示制御処理では、第１の画像及び第２の画像のうちの一方の画像のフレームレートに等しい表示レートで、他方の画像が表示される。

いま、説明を簡単にするため、第１の画像のフレームレートを基準レートということとする。基準レート表示制御処理では、表示装置１４の表示レートが基準レートに固定され（又は、第１の画像のフレームレートが、表示装置１４の表示レートに固定され）、第１及び第２の画像は、基準レートで表示される。

この場合、第１の画像は、リアルタイムで表示（リアルタイム再生）される。

一方、第２の画像は、第１の画像よりもフレームレートが大である場合には、スローで表示（スロー再生）される。また、第２の画像は、第１の画像よりもフレームレートが小である場合には、早送りで表示（早送り再生）される。

基準レート表示制御処理では、ステップＳ３１において、表示制御部３５は、ディジタルカメラで、第１及び第２の画像の処理が行われているかどうか、すなわち、ディジタルカメラが、第１及び第２の画像を表示することが可能な状態にあるかどうかを判定する。

ステップＳ３１において、第１及び第２の画像の処理が行われていると判定された場合、処理は、ステップＳ３２に進み、表示制御部３５は、第１及び第２の画像の重畳表示を開始する操作である重畳開始操作が行われたかどうかを判定する。

ここで、重畳開始操作としては、例えば、シャッタボタン４２の半押し操作や、その他の１回の操作を採用することができる。重畳開始操作として、シャッタボタン４２の半押し操作を採用する場合には、マルチストリームモードの設定時において、シャッタボタン４２の半押し操作が、重畳開始操作に割り当てられる。

ステップＳ３２において、重畳開始操作が行われていないと判定された場合、処理は、ステップＳ３１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３２において、重畳開始操作が行われたと判定された場合、処理は、ステップＳ３３に進み、表示制御部３５は、表示対象を、第１及び第２の画像の両方に設定する。そして、表示制御部３５は、第１の画像のフレームレートを基準レートとして、表示対象である第１及び第２の画像の、基準レートでの重畳表示を開始させる。これにより、表示装置１４では、第１及び第２の画像が、基準レートで、表示領域の同一位置に重畳表示される。

ここで、第１及び第２の画像の重畳表示は、例えば、第１及び第２の画像を、アルファブレンディングにより合成し、その合成により得られる合成画像を表示することによって行うことができる。第１及び第２の画像をアルファブレンディングにより合成するときのブレンド率（いわゆるα）は、例えば、あらかじめ設定しておくことや、ユーザの操作に応じて設定することができる。

その後、処理は、ステップＳ３３からステップＳ３４に進み、表示制御部３５は、第１及び第２の画像の重畳表示の終了を指定する操作である重畳終了操作が行われたかどうかを判定する。

ここで、重畳終了操作としては、例えば、シャッタボタン４２の半押し操作の解除や、その他の１回の操作を採用することができる。重畳終了操作として、シャッタボタン４２の半押し操作の解除を採用する場合には、マルチストリームモードの設定時において、シャッタボタン４２の半押し操作の解除が、重畳終了操作に割り当てられる。

ステップＳ３４において、重畳終了操作が行われていないと判定された場合、処理は、ステップＳ３４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３４において、重畳終了操作が行われたと判定された場合、処理は、ステップＳ３５に進み、表示制御部３５は、第１及び第２の画像の重畳表示を終了する終了処理を行う。

終了処理では、例えば、表示対象が、第１及び第２の画像から、重畳開始操作が行われる直前に表示対象であった第１の画像に切り替えられ（設定され）、表示装置１４に表示される。

その後、処理は、ステップＳ３５からステップＳ３１に戻り、以下、同様の処理が繰り返される。

以上のように、基準レート表示制御処理では、第１及び第２の画像が、基準レートで表示されるので、第２の画像のスローや早送りでの表示が、どの程度のスローや早送りになるのかを、第１の画像のリアルタイムでの表示との対比で、視覚的に、容易に把握することができる。

なお、図１０では、重畳開始操作が行われた場合に、第１及び第２の画像の両方を表示対象として、基準レートで重畳表示することとしたが、基準レート表示制御処理において、基準レートでの第１及び第２の画像の表示としては、重畳表示ではなく、上述のフリップ切り替えでの表示を採用することができる。

また、基準レート表示制御処理については、同一時刻のフレームの画質に差がある第１及び第２の画像を対象とする場合は勿論、同一時刻のフレームの画質に差がない第１及び第２の画像を対象とする場合であっても、第２の画像のスローや早送りの程度を確認することができる。

さらに、重畳開始操作や重畳終了操作としては、１回の操作ではない操作を採用することができる。但し、重畳開始操作や重畳終了操作として、シャッタボタン４２の半押しやその半押しの解除等の１回の操作を採用することにより、ユーザは、思い立ったときに、即座に、重畳開始操作や重畳終了操作を行い、ストレスなく（待ち時間なく）、第２の画像のスローや早送りの程度を確認することができる。

図１１は、基準レート表示制御処理を説明する図である。

図１１では、撮像装置１２において、60[fps]の第１の画像と、240[fps]の第２の画像とが撮像されて出力されている。

以上のような、60[fps]の第１の画像と、240[fps]の第２の画像とを対象として、基準レート表示制御処理が行われる場合、第１の画像のフレームレートを基準レートとして、第１及び第２の画像が表示される。したがって、第１の画像は、リアルタイムで表示され、第２の画像は、スローで表示される。

なお、基準レート表示制御処理では、第１の画像のフレームレートではなく、第２の画像フレームレートを基準レートとして、第１及び第２の画像を表示することができる。この場合、上述のように、60[fps]の第１の画像と、240[fps]の第２の画像とを対象として、基準レート表示制御処理が行われるときには、第１の画像は、早送りで表示され、第２の画像は、リアルタイムで表示される。

ここで、第１の画像を早送りで表示する場合には、第１の画像のフレームを、早送りに必要な分だけバッファリングしてから、第１の画像を表示する必要がある。そのため、早送りでの表示を行う場合には、バッファリングを行う分の遅延が生じる。

図１２は、基準レート表示制御処理での第１及び第２の画像の表示の表示例を説明する図である。

図１２では、図１１の場合と同様に、撮像装置１２において、60[fps]の第１の画像と、240[fps]の第２の画像とが撮像されて出力されている。さらに、第１及び第２の画像のうちの、第１の画像が、表示対象に設定され、表示装置１４に表示されている。

第１及び第２の画像には、左から右に歩いて行く人が、被写体として映っている。

ここで、第１及び第２の画像のそれぞれに映る被写体は、同一の被写体であるが、第１の画像に映る被写体を、被写体obj1とも記載し、第２の画像に映る被写体を、被写体obj2とも記載する。

図１２のＡは、撮像装置１２において、60[fps]の第１の画像と、240[fps]の第２の画像とが撮像され、第１の画像が、表示対象に設定されて、表示装置１４に表示されている場合に、特に操作が行われなかったときの、表示装置１４の表示例を示している。

この場合、第１の画像は、表示対象とされたまま、第１の画像のフレームレートを表示レートとして表示される。したがって、表示装置１４には、第１の画像がリアルタムで表示されるので、その表示は、第１の画像に映る被写体obj1がリアルタイムで歩くシーンになる。

図１２のＢは、撮像装置１２において、60[fps]の第１の画像と、240[fps]の第２の画像とが撮像され、第１の画像が、表示対象に設定されて、表示装置１４に表示されている場合に、重畳開始操作が行われた場合の、表示装置１４の表示例を示している。

この場合、第１及び第２の画像が、表示対象とされ、第１の画像のフレームレートを表示レートとして重畳表示される。したがって、表示装置１４には、第１の画像がリアルタムで表示されるとともに、第２の画像がスローで表示されるので、その表示は、第１の画像に映る被写体obj1がリアルタイムで歩くシーンと、第２の画像に映る被写体obj2がスローで歩くシーンとが重畳された表示になる。

ユーザは、かかる表示を見ることにより、第１の画像に映る被写体obj1のリアルタイムの動きと、第２の画像に映る被写体obj2のスローの動きとを比較し、第２に画像に映る被写体obj2の動きのスローの程度を、直感的に把握することができる。

重畳開始操作が行われた後のN(>0)秒後に、重畳終了操作が行われると、図１０で説明したように、表示制御部３５による終了処理が行われる。終了処理では、重畳開始操作が行われる直前に表示対象であった第１の画像が、再び、表示対象に設定され、表示装置１４に表示される。

ここで、終了処理では、即座に、第１の画像を表示対象に設定して、表示装置１４に表示することができる。

この場合、重畳終了操作が行われた直後に、表示装置１４の表示は、第１の画像に映る被写体obj1がリアルタイムで歩くシーンと、第２の画像に映る被写体obj2がスローで歩くシーンとが重畳された表示から、第１の画像に映る被写体obj1がリアルタイムで歩くシーンに変化する。

また、終了処理では、第１及び第２の画像のうちの、フレームレートの小さい一方の画像の、表示装置１４での再生を停止し、その一方の画像の再生が停止されたフレームと同一時刻のフレームまで、他方の画像の、表示装置１４での再生を続行してから、その他方の画像の、表示装置１４での再生を停止することができる。

すなわち、終了処理では、第１の画像の、表示装置１４での再生を停止し、第１の画像の再生が停止されたフレームと同一時刻のフレームまで、第２の画像の、表示装置１４での再生を続行してから、第２の画像の、表示装置１４での再生を停止することができる。

そして、その後、第１の画像を表示対象に設定して、表示装置１４に表示することができる。

この場合、重畳終了操作が行われた直後に、第１の画像の、表示装置１４での再生が停止されるので、第１の画像については、重畳終了操作が行われたときのフレームが、静止画として表示され続ける。

一方、第２の画像の、表示装置１４での再生は続行されるので、第２の画像については、被写体obj2がスローで歩くシーンが表示され続ける。

そして、第２の画像の、表示装置１４での再生は、第１の画像の再生が停止されたフレームと同一時刻のフレームまで続行されて停止され、その後、第１の画像が表示対象に設定されて、表示装置１４に表示される。

したがって、第２の画像の、表示装置１４での再生は、その第２の画像に映る被写体obj2が、静止画として表示されている第１の画像に映る被写体obj1と重なるまで続行される。その後、表示装置１４の表示は、第１の画像に切り替わる。この場合、表示装置１４に表示される第１の画像に映るシーンは、重畳終了操作が行われた時のシーンから、いま現在、撮像装置１２が撮像している第１の画像に映るシーンに切り替わる。

ここで、以上のような終了処理によれば、表示装置１４では、第２の画像に映る被写体obj2が、静止画として表示されている第１の画像に映る被写体obj1に追いつくようなシーンか表示される。かかる表示を、以下、追っかけ表示ともいう。

図１３は、追っかけ表示の例を説明する図である。

図１３では、図１２の場合と同様に、撮像装置１２において、60[fps]の第１の画像と、240[fps]の第２の画像とが撮像されている。そして、第１の画像が、表示対象に設定され、表示装置１４に表示されている。

さらに、図１３では、図１２の場合と同様に、第１及び第２の画像には、左から右に歩いて行く人が、被写体obj1及びobj2としてそれぞれ映っている。

図１３のＡは、第１の画像が、表示対象に設定され、表示装置１４に表示されている場合に、特に操作が行われなかったときの、表示装置１４の表示例を示している。

この場合、図１２のＡで説明したように、表示装置１４には、第１の画像がリアルタムで表示され、表示装置１４の表示は、第１の画像に映る被写体obj1がリアルタイムで歩くシーンになる。

図１３のＢは、第１の画像が、表示対象に設定されて、表示装置１４に表示されている場合に、重畳開始操作が行われ、さらに、その後、重畳終了操作が行われた場合の、表示装置１４の表示例を示している。

この場合、図１２のＢで説明したように、重畳開始操作が行われた後、表示装置１４には、第１の画像がリアルタムで表示されるとともに、第２の画像がスローで表示され、表示装置１４の表示は、第１の画像に映る被写体obj1がリアルタイムで歩くシーンと、第２の画像に映る被写体obj2がスローで歩くシーンとが重畳された表示になる。

図１３のＢでは、重畳開始操作が行われた時刻を基準(0)として、その5秒後に、重畳終了操作が行われている。

重畳終了操作が行われると、終了処理が行われる。終了処理において、追っかけ表示が行われる場合、第１の画像の、表示装置１４での再生が停止され、重畳終了操作が行われたときに再生されていた第１の画像のフレームが、静止画として表示され続ける。

一方、第２の画像の、表示装置１４での再生は続行され、第２の画像に映る被写体obj2がスローで歩くシーンが表示され続ける。

図１３のＢでは、重畳開始操作が行われた時刻を基準として5秒後に行われた重畳終了操作の後、重畳終了操作が行われたときに再生されていた第１の画像のフレームと、スローで再生されている第２の画像のフレームとの重畳表示が開始されている。

そして、その重畳表示は、重畳開始操作が行われた時刻から10秒を経過した後（重畳終了操作が行われてから5秒を経過した後）も、続行されている。

第２の画像の、表示装置１４での再生は、第１の画像の再生が停止されたフレームと同一時刻のフレームまで続行されて停止される。

図１３のＢでは、重畳開始操作が行われてから、5秒後に、重畳終了操作が行われている。したがって、第２の画像の、表示装置１４での再生は、重畳開始操作が行われた時刻から5秒分のフレームまで行われる。

240[fps]の第２の画像の5秒分のフレーム数は、240×5フレームであり、追っかけ表示では、この240×5フレームが、第１の画像のフレームレートである60[fps]を表示レートとして表示される。

したがって、第２の画像の5秒分のフレーム（240×5フレーム）の、表示装置１４での再生には、20秒＝240×5／60を要する。

以上から、重畳終了操作が行われたときに再生されていた第１の画像のフレームと、スローで再生されている第２の画像のフレームとの重畳表示は、重畳開始操作が行われた時刻から20秒間（重畳終了操作が行われてから15秒間）行われる。

そして、重畳開始操作が行われた時刻から20秒間が経過すると、第２の画像に映る被写体obj2が、静止画として表示されている第１の画像に映る被写体obj1と重なり、その後、表示装置１４の表示は、第１の画像に切り替えられる。

以上のような追っかけ表示によれば、ユーザは、リアルタイムでの表示と、スローでの表示との間に、どの程度の時間の乖離があるのかを、直感的に把握することができる。

なお、上述の追っかけ表示では、第２の画像に映る被写体obj2が、静止画として表示されている第１の画像に映る被写体obj1と重なった後、表示装置１４の表示を、第１の画像に切り替えることとしたが、その他、例えば、第２の画像に映る被写体obj2が第１の画像に映る被写体obj1と重なった状態の表示を、ユーザの操作等の所定のベントが生じるまで維持し、所定のイベントが生じた場合に、表示装置１４の表示を、第１の画像に切り替えることができる。

また、上述の追っかけ表示では、第２の画像に映る被写体obj2が、静止画として表示されている第１の画像に映る被写体obj1と重なるまで、第２の画像の、表示装置１４での再生を続行することとしたが、その他、例えば、第２の画像の、表示装置１４での再生中に、ユーザの操作等の所定のベントが生じた場合には、第２の画像の、表示装置１４での再生を停止し、表示装置１４の表示を、第１の画像に切り替えることができる。

図１４は、第１及び第２の画像を模式的に示す図である。

図１４では、図１２の場合と同様に、撮像装置１２において、60[fps]の第１の画像と、240[fps]の第２の画像とが撮像され、第１及び第２の画像には、左から右に歩いて行く人が、被写体obj1及びobj2としてそれぞれ映っている。

ここで、重畳開始操作後に行われる、第１及び第２の画像の、基準レートでの重畳表示を、単に、第１及び第２の画像の重畳表示ともいう。第１及び第２の画像の重畳表示には、重畳終了操作後に行われる追っかけ表示で行われる第１及び第２の画像の重畳表示が、必要に応じて含まれる。

第１及び第２の画像の重畳表示では、第１及び第２の画像の、異なる時刻のフレームが重畳されることがある。

一方、ディジタルカメラでの画像の撮像時には、手ぶれが生じることや、ディジタルカメラをパンする等して撮像が行われることがあり、ディジタルカメラが動くことがある。

ディジタルカメラでの画像の撮像時に、ディジタルカメラに動きがあると、第１及び第２の画像の、異なる時刻のフレームに映る被写体に回転ずれ（姿勢のずれ）が生じることや、例えば、背景等の、動いていない被写体に位置ずれが生じることがある。

図１４では、第１の画像の時刻t=Tのフレームに映る被写体obj1と、第２の画像の、時刻t=Tとは異なる時刻t=T'のフレームに映る被写体obj2とに、回転ずれが生じている。

回転ずれや位置ずれが生じている第１及び第２の画像のフレームを、そのまま用いて重畳表示を行う場合、その重畳表示のために行われる、第１及び第２の画像のフレームの合成により得られる合成画像は、ユーザに違和感を感じさせる画像になるおそれがある。

すなわち、合成画像は、例えば、被写体obj1及びobj2の姿勢に不自然なずれがある画像や、背景に不自然な位置ずれがある画像になることがある。

そこで、第１及び第２の画像の重畳表示では、表示制御部３５において、重畳表示の対象の第１及び第２の画像のフレームの位置ずれや回転ずれ等の、ディジタルカメラが動くことに起因して生じるずれ（以下、動きずれともいう）を補正する変換処理（以下、補正変換処理ともいう）を、第１及び第２の画像のフレームの一方、又は、両方に施してから、第１及び第２の画像のフレームの合成を行うことができる。

図１５は、補正変換処理の例を説明する図である。

図１５では、第２の画像のフレームに補正変換処理が施され、補正変換処理後の第２の画像のフレームとして、元の第２の画像のフレームを、僅かに時計回りに回転したフレームが得られている。

これにより、補正変換処理後の第２の画像のフレームは、第１の画像のフレームとの間の動きずれが軽減されたフレームになっている。かかるフレーム（補正変換処理後の第２の画像のフレーム）と、第１の画像のフレームとが合成されることにより、違和感（不自然さ）が軽減された合成画像を得ることができる。

なお、補正変換処理では、例えば、重畳表示の対象の第１及び第２の画像のフレームに映る主要被写体の回転ずれに起因する、第１及び第２の画像のフレームの画素値どうしの差分をなくすように、第２の画像のフレームを変換することができる。

表示制御部３５では、主要被写体として、例えば、第１及び第２の画像のフレームに映る被写体の中から、サイズが閾値以上の被写体や、動き量が閾値以上の被写体等を選択することができる。その他、主要被写体としては、ユーザが入力装置１７を操作することにより指定する被写体を選択することができる。

また、補正変換処理では、例えば、背景や、水平方向、あおり具合のずれに起因する、第１及び第２の画像のフレームの画素値どうしの差分をなくすように、第２の画像のフレームを変換することができる。

さらに、補正変換処理では、例えば、第１及び第２の画像のフレームのうちの一方のフレームを基準とする、他方のフレーム全体のずれを表すグローバルベクトルを求め、そのグローバルベクトルを0にするように、第２の画像のフレームを変換することができる

以上のような補正変換処理を行うことにより、動きずれに起因する影響を軽減した、第１及び第２の画像の重畳表示を行うことができる。

以上のように、図１のディジタルカメラによれば、撮像装置１２で撮像される画像について、フレームレートを自在に変更し、表示装置１４に、リアルタイムで表示することができる。したがって、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。

さらに、図１のディジタルカメラによれば、撮像装置１２において、フレームレートが異なる複数の画像としての、例えば、第１及び第２の画像を撮像して出力し、フリップ切り替えで、表示装置１４の表示領域の同一位置に表示することができる。したがって、ユーザが、撮影現場において、フレームレートが異なる第１及び第２の画像の画質の違いを直感的に認識し、最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。

また、図１のディジタルカメラによれば、基準レート表示制御処理において、第１の画像のフレームレートを基準レートとして、表示装置１４の表示レートが基準レートに固定され、第１及び第２の画像が、基準レートで表示される。この場合、第１の画像は、リアルタイムで表示され、第２の画像は、スロー又は早送りで表示される。したがって、ユーザが、撮影現場において、スローや早送りの表示の効果を直感的に認識し、最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図１６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、フレームレートが異なり、かつ、同一時刻のフレームの画質が異なる第１の画像及び第２の画像の他、フレームレートが異なる、又は、同一時刻のフレームの画質が異なる第１の画像及び第２の画像、すなわち、フレームレートが異なり、同一時刻のフレームの画質が同一の第１の画像及び第２の画像、又は、フレームレートが同一で、同一時刻のフレームの画質が異なる第１の画像及び第２の画像に適用することができる。

さらに、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部を備える
表示制御装置。
＜２＞
前記第１の画像及び前記第２の画像のうちの一方の画像のフレームレートが、ユーザの１回の操作に応じて変更される
＜１＞に記載の表示制御装置。
＜３＞
前記第１の画像及び前記第２の画像のうちの前記表示装置に表示されている画像のフレームレートが変更される
＜２＞に記載の表示制御装置。
＜４＞
前記表示制御部は、前記表示装置に表示させる表示対象を、前記第１の画像及び前記第２の画像のうちの、前記表示装置に表示されている方の画像から、他方の画像に切り替える
＜１＞ないし＜３＞のいずれかに記載の表示制御装置。
＜５＞
前記表示制御部は、ユーザの１回の操作に応じて、前記表示対象を切り替える
＜４＞に記載の表示制御装置。
＜６＞
前記表示制御部は、前記表示対象の画像の一部を拡大して表示させる
＜４＞又は＜５＞に記載の表示制御装置。
＜７＞
前記表示制御部は、ユーザの１回の操作に応じて、前記表示対象の画像の一部を拡大する
＜６＞に記載の表示制御装置。
＜８＞
前記表示制御部は、前記表示対象の画像を、その画像の画素数に応じたサイズで表示させる
＜４＞又は＜５＞に記載の表示制御装置。
＜９＞
前記表示制御部は、前記第１の画像及び前記第２の画像を、リアルタイムで表示装置に表示させる
＜１＞ないし＜８＞のいずれかに記載の表示制御装置。
＜１０＞
前記表示制御部は、前記第１の画像及び前記第２の画像のうちの一方の画像のフレームレートに等しい表示レートで、他方の画像を表示させる
＜１＞に記載の表示制御装置。
＜１１＞
前記表示制御部は、前記第１の画像及び前記第２の画像を重畳表示させる
＜１０＞に記載の表示制御装置。
＜１２＞
前記表示制御部は、ユーザの１回の操作に応じて、前記第１の画像及び前記第２の画像を重畳表示させる
＜１１＞に記載の表示制御装置。
＜１３＞
前記表示制御部は、前記第１の画像及び前記第２の画像が重畳表示された後、前記第１の画像及び前記第２の画像のうちの、フレームレートの小さい一方の画像の、前記表示装置での再生を停止し、前記一方の画像の再生が停止されたフレームと同一時刻のフレームまで、他方の画像の、前記表示装置での再生を続行してから、前記他方の画像の、前記表示装置での再生を停止する
＜１１＞又は＜１２＞に記載の表示制御装置。
＜１４＞
前記表示制御部は、
ユーザの１回の操作に応じて、前記第１の画像及び前記第２の画像の重畳表示を解除し、
前記第１の画像及び前記第２の画像の重畳表示を解除するときに、前記一方の画像の、前記表示装置での再生を停止し、前記一方の画像の再生が停止されたフレームと同一時刻のフレームまで、前記他方の画像の、前記表示装置での再生を続行してから、前記他方の画像の、前記表示装置での再生を停止する
＜１３＞に記載の表示制御装置。
＜１５＞
前記表示制御部は、前記第１の画像及び前記第２の画像に映る被写体のずれを補正した補正後の、前記第１の画像及び前記第２の画像を重畳表示させる
＜１１＞ないし＜１４＞のいずれかに記載の表示制御装置。
＜１６＞
前記表示制御部は、前記表示装置に表示させる表示対象を、前記第１の画像及び前記第２の画像のうちの、前記表示装置に表示されている画像から、他の画像に切り替える
＜１０＞に記載の表示制御装置。
＜１７＞
前記表示制御部は、ユーザの１回の操作に応じて、前記表示対象を切り替える
＜１６＞に記載の表示制御装置。
＜１８＞
前記第１の画像及び前記第２の画像は、所定のフレームレートの１ストリームの画像から生成された、前記所定のフレームレート以下のフレームレートの画像である
＜１＞ないし＜１７＞のいずれかに記載の表示制御装置。
＜１９＞
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う
ステップを含む表示制御方法。
＜２０＞
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部
として、コンピュータを機能させるためのプログラム。

１１ 光学系， １２ 撮像装置， １３ ディジタル信号処理部， １４，１５ 表示装置， １６ メモリ， １７ 入力装置， １８ 制御部， １９ センサ部， ２０ ドライバIC， ３１，３２ 現像処理部， ３３ 画像解析部， ３４ 記録再生処理部， ３５ 表示制御部， ４１ ダイヤル， ４２ シャッタボタン， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インターフェース， １１１ リムーバブル記録媒体

Claims (20)

1. フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部を備える
   表示制御装置。
2. 前記第１の画像及び前記第２の画像のうちの一方の画像のフレームレートが、ユーザの１回の操作に応じて変更される
   請求項１に記載の表示制御装置。
3. 前記第１の画像及び前記第２の画像のうちの前記表示装置に表示されている画像のフレームレートが変更される
   請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記表示装置に表示させる表示対象を、前記第１の画像及び前記第２の画像のうちの、前記表示装置に表示されている方の画像から、他方の画像に切り替える
   請求項１に記載の表示制御装置。
5. 前記表示制御部は、ユーザの１回の操作に応じて、前記表示対象を切り替える
   請求項４に記載の表示制御装置。
6. 前記表示制御部は、前記表示対象の画像の一部を拡大して表示させる
   請求項４に記載の表示制御装置。
7. 前記表示制御部は、ユーザの１回の操作に応じて、前記表示対象の画像の一部を拡大する
   請求項６に記載の表示制御装置。
8. 前記表示制御部は、前記表示対象の画像を、その画像の画素数に応じたサイズで表示させる
   請求項４に記載の表示制御装置。
9. 前記表示制御部は、前記第１の画像及び前記第２の画像を、リアルタイムで表示装置に表示させる
   請求項１に記載の表示制御装置。
10. 前記表示制御部は、前記第１の画像及び前記第２の画像のうちの一方の画像のフレームレートに等しい表示レートで、他方の画像を表示させる
    請求項１に記載の表示制御装置。
11. 前記表示制御部は、前記第１の画像及び前記第２の画像を重畳表示させる
    請求項１０に記載の表示制御装置。
12. 前記表示制御部は、ユーザの１回の操作に応じて、前記第１の画像及び前記第２の画像を重畳表示させる
    請求項１１に記載の表示制御装置。
13. 前記表示制御部は、前記第１の画像及び前記第２の画像が重畳表示された後、前記第１の画像及び前記第２の画像のうちの、フレームレートの小さい一方の画像の、前記表示装置での再生を停止し、前記一方の画像の再生が停止されたフレームと同一時刻のフレームまで、他方の画像の、前記表示装置での再生を続行してから、前記他方の画像の、前記表示装置での再生を停止する
    請求項１１に記載の表示制御装置。
14. 前記表示制御部は、
    ユーザの１回の操作に応じて、前記第１の画像及び前記第２の画像の重畳表示を解除し、
    前記第１の画像及び前記第２の画像の重畳表示を解除するときに、前記一方の画像の、前記表示装置での再生を停止し、前記一方の画像の再生が停止されたフレームと同一時刻のフレームまで、前記他方の画像の、前記表示装置での再生を続行してから、前記他方の画像の、前記表示装置での再生を停止する
    請求項１３に記載の表示制御装置。
15. 前記表示制御部は、前記第１の画像及び前記第２の画像に映る被写体のずれを補正した補正後の、前記第１の画像及び前記第２の画像を重畳表示させる
    請求項１１に記載の表示制御装置。
16. 前記表示制御部は、前記表示装置に表示させる表示対象を、前記第１の画像及び前記第２の画像のうちの、前記表示装置に表示されている画像から、他の画像に切り替える
    請求項１０に記載の表示制御装置。
17. 前記表示制御部は、ユーザの１回の操作に応じて、前記表示対象を切り替える
    請求項１６に記載の表示制御装置。
18. 前記第１の画像及び前記第２の画像は、所定のフレームレートの１ストリームの画像から生成された、前記所定のフレームレート以下のフレームレートの画像である
    請求項１に記載の表示制御装置。
19. フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う
    ステップを含む表示制御方法。
20. フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第１の画像及び第２の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部
    として、コンピュータを機能させるためのプログラム。

Images