JP4890918B2 - 再生装置、再生画像の選択方法、プログラム - Google Patents

Description

この発明は、画像の再生装置、特に同時撮影された複数の画像を再生する再生装置やこの再生画像の選択方法に関する。

従来は、撮影時のフレーミングやズーミングを行う際には、カメラの向きを変えたり光学ズームを調整して実現していた。しかし、頻繁なフレーミングやズーミングには操作の手間がかかるだけでなく、その操作による機械音が音声ノイズとして入ることや、画角の不連続に変化して見づらくなるといったいろいろな問題があった。

そこで光学手段によらず、画角の異なる２つの画像を同時に撮影する撮像装置について提案されている（特許文献１）。この撮像装置は、撮像素子の異なる領域から信号を読み出して、それぞれ動画信号として記録する装置である。
特開２００６−４２３９９号公報

上記特許文献１で提案されたような２画面を同時に撮影するカメラはその利便性が大きい。しかし、従来の再生装置は１画像のみを再生するもので、特に２画面記録された画像を再生するように用意はされていない。例えば、撮影された２つの動画像を別々に再生するのでは、単純に再生時間が２倍かかってしまう。一方、２つの画像を切換えて再生するのは、操作の手間がわずらわしく、これも実用上問題が多い。つまり、複数画像記録されたものを効率よく再生する再生装置が必要になる。

本願発明は、上記課題に鑑み、同時に記録された複数の動画像のいずれか適切な画像を
再生する再生装置、そのような再生画像の選択方法、そのプログラムを提供することを目的とする。

上記目的を達成するため、第１の発明による再生装置は、同時に撮影された複数の動画を再生する再生装置において、再生中画像に対して、所定タイミング先の画像についての画像関連情報に基づいて、上記複数の動画像から優先して再生する１ の動画像を選択する再生選択部を備え、上記再生選択部は、上記画像関連情報として、動画ファイルを構成するＧＯＰの中のＰピクチャを用い、当該Ｐピクチャのデータの大きい動画像を優先して再生するものである。

また、第２の発明による再生方法は、同時に撮影された複数の動画像の中から再生する動画像を選択する再生画像の選択方法において、上記複数の動画像のいずれかの動画像を再生している間に、各動画像の所定時間先の部分についてを比較して、動画ファイルを構成するＧＯＰの中のＰピクチャのデータの大きい動画像を選択し、当該選択された動画像に再生画像を切換えるものである。

本発明によれば、同時に記録された複数の動画像のいずれか適切な画像を再生する再生
装置、そのような再生画像の選択方法、そのプログラムを提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１実施形態）
図１から図８を用いて第１実施形態を説明する。図１は、本発明が適用されるカメラ１の全体ブロック図である。カメラ１には撮影レンズ２、撮像素子３、ＡＦＥ（アナログフロントエンド）４、選択部５、画像処理ユニット８が設けられる。撮影レンズ２は、入射した被写体２０の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。ＡＦＥ４は、撮像素子３からの画像信号を読み出し、読み出した画像信号にＡＧＣ処理やＣＤＳ処理やＡＤ変換等してデジタル画像データとして出力する。またＡＦＥ４は、撮像素子３の駆動も制御する。選択部５は、ＡＦＥ４からの画像データを後段の２つの画像処理部に種類に応じて選択して出力する。

画像処理ユニット８は、画像データに各種処理を施し、記録媒体に記録するものである。画像処理ユニット８は、第1画像処理部６ａ、第2画像処理部６ｂ、第1記録部７ａ、第2記録部７ｂから構成される。上記選択部５は、画面全体の領域の信号であって、所定のルールで間引かれた画像データを第1画像処理部６ａに出力する。また選択部５は、所定領域に限定された画像データを第２画像処理部６ｂに出力する。第1画像処理部６ａ及び第2画像処理部６ｂには、圧縮部や伸張部等が設けられ、画像データに対して色補正や信号圧縮、伸張などの処理を行う。圧縮部は、画像データを不図示のメモリに記録するための例えばＪＰＥＧ圧縮やＭＰＥＧ圧縮を行い、また音声圧縮の機能も有する。伸張部は、圧縮された画像データを元に戻す処理を行う。

つまり、第1画像処理部６ａには、撮影領域全体の画像（以下全域画像または全体画像と称す）が入力される。また、第２画像処理部６ｂには、撮影領域の一部の画像（以下指定部画像または一部画像と称す）が入力される。第1記録部７ａが、第1画像処理部６ａで画像処理された全体の画像を不図示のメモリに記録する。同様に第２記録部７ｂが、第２画像処理部６ｂで画像処理された部分の画像を不図示のメモリに記録する。

また、カメラ１には、表示制御部９、表示部１２、タッチパネル１３が設けられる。表示制御部９は、第1画像処理部６ａと第２画像処理部６ｂによって画像処理された画像を、表示部１２へ表示するための制御を行う。表示部１２は、例えばＬＣＤから構成され、撮影時にモニタ画像を表示し、再生時には伸張処理された記録画像を表示する。タッチパネル１３は、表示部１２の表面に実装され、操作者の表示部１２の画面へのタッチ操作を直接的に検出するものである。

また、カメラ１には、ＡＦ部１４、マイク部１５と音声記録部１７が設けられる。ＡＦ部１４は、アクチュエータや位置エンコーダを有し、撮影レンズ２内のピントレンズの移動を制御する。ＡＦ部１４は、画像処理ユニット８からの画像のコントラスト値に基づいて合焦位置を検出し、この合焦レンズを移動させる。マイク部１５は、撮影時に音声を検出記録するためのものである。マイク部には、右側マイク１５Ｒと左側マイク１５Ｌが設けられ、被写体の位置によってバランスを変えて録音できる。音声記録部１７は、マイク部１５で検出された音声信号をデジタル化して、不図示のメモリに記録する。また、音声記録部１７は記録する音声を撮影画像に関連するように記録する。特に音声記録部１７はマルチ画面撮影時にはそれぞれの画像に対応した２つの音声を記録する。

また、カメラ１には、ＭＰＵ１０、ＲＯＭ１１、操作部１６、時刻部１８が設けられる。ＭＰＵ１０は、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。上記選択部５やタッチパネル１３もＭＰＵ１０により制御される。ＲＯＭ１１は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂが設けられる。スイッチ１６ｂはレリース指示用である。時刻部１８は、記録時に画像や音声にタイムスタンプを付帯させるための時刻発生部である。付帯される時刻データに基づいて、再生時には各画像と音声が同期して再生される。

そしてこのカメラ１は、被写体像２０を撮影レンズ２を介して撮像素子３にて受像して電気信号に変換して記録するタイプのカメラであるが、ここで用いる撮像素子３は、例えば１０００万画素クラスの高画素でかつ、ＣＭＯＳセンサ等であることがより望ましい。つまり、ここで用いる撮像素子３は、秒６０フレームから１００フレームの高速全画素読出しも可能とした、最新技術を採用したものであることが望ましい。

一方、このような高画素かつ高速読出しのセンサでは、再生時に、全画素を全てを利用するような表示デバイスは現在のところない。例えばいわゆるハイビジョンと呼ばれるＴＶ（ＨＤＴＶ）ですら、１００万画素相当の解像度があれば十分である。つまり、その全ての画素（１０００万画素）を利用しての撮影は、再生まで考えるとオーバースペックになってしまう。そこで、本発明では、任意の部分を読み出して必要部分のみを読み込んで記録するようにする。このような所定エリアのみの読出しや間引きや画素信号の加算なども、ＣＭＯＳセンサの得意とするところであるので、本発明では、このような機能を有効に活用する。

本発明の動画撮影カメラは、最新の高精細の高速撮像素子を駆使して、従来のような光学ズームによる可動部分を少なくして、しかもより多くの情報量を有効利用して、変化のある動きのスムースな動画像を撮影可能とする。

図２は、本発明のカメラ1を用いた撮影時のエリア枠の変更操作例である。図２の右は、ユーザーの手によって把持されたカメラ１を背面から見た図である。カメラ１の背面には表示部１２の表示面が配置される。表示部１２の画面には、モニタ画像に重畳して四角形のエリア枠１２ａが表示される。エリア枠１２ａは、部分的に撮影される指定部画像の位置と大きさを示すように表示される枠である。ユーザーはスイッチ１６ａ、スイッチ１６ｂを右手で操作しながら構え、表示部１２を見て、構図や撮影タイミングを決定する。そして、スイッチ１６ｂ（レリース）を押している間は、表示部１２に表示された全域画像が、第1画像処理部６ａと記録部７ａによってメモリに記録される。また、左手でエリア枠１２ａの位置や大きさを指定すると、タッチパネルがそれを検出して、エリア枠１２ａ内の指定部画像が第２画像処理部６ｂと記録部７ｂによって記録される。

ここで、エリア枠１２ａの判定や変更の仕方は種々考えられるが、一例として予め図２の左のように、いくつかの枠パターン１２ａ−１を表示させておき、そのいずれを触ったかによってエリア枠を選択するようにしてもよい。あるいは、タッチした位置と回数によって、大きさを変更するような方法としてもよい。また、タッチした位置を間違えてもあやまって記録されないように、スイッチ１６ａを押さないとその部分（指定部）を記録できないようにしても良い。

図３（Ａ）は、全域撮影される撮像領域と指定部撮影される撮像領域を対比して示した図である。全撮像領域３ｃが全域撮影される領域である。全撮像領域３ｃのうち所定の指定部撮像領域３ｄが上記画像処理部６ｂで指定部撮影される領域である。つまり、指定部撮像領域３ｄのみを記録すれば電子ズームして撮影したと同様な効果になる。図３（Ｂ）は、間引き読出しされる画素を模式的に示す画素配列の図である。全撮像領域３ｃを構成する全画素のうち、例えば、斜線部の画素３ｅのみが間引いて読み出される。このとき間引きレートは、再生時の分解能が十分な分解能となるような間引き率が自動的に設定される。

図５はカメラ１の撮影処理を示すフローチャートである。この処理は、主にＭＰＵ１０によってプログラムに従って実行される。カメラ１が撮影モードに設定されているとする。そして、ユーザーによるスイッチ１６ｂの操作有無を判断する（ステップＳ１２）。スイッチ１６ｂの操作がなされたら（ステップＳ１２ＹＥＳ），まず、全域撮影および録音を開始する（ステップＳ１３）。次に、ユーザーによるタッチパネル１３への操作有無を判断する（ステップＳ１４）。

タッチパネルへの操作がなければ（ステップＳ１４ＮＯ）、次にスイッチ１６ａへの操作有無を判断する（ステップＳ１５）。スイッチ１６ａは、指定部画像の撮影を指示するスイッチである。ユーザーによるスイッチ１６ａの操作があると（ステップＳ１５ＹＥＳ）、次にエリア枠１２ａが表示されているかを判断する（ステップＳ１６）。エリア枠１２ａが指定されていれば（ステップＳ１６ＹＥＳ）、その枠で指定される範囲を撮影する指定部撮影を行う（ステップＳ１７）。ここでも同時に録音するが、そのエリア枠１２ａの位置や大きさに従って録音の効果を切り換えるようにする。

図６は上記撮影切換えに応じた録音効果の切換えを説明するフローチャートである。ズームアップされたかを判断する（ステップＳ２５）。枠が小さくなってズームアップされた時には（ステップＳ２５ＹＥＳ）、録音のゲインを上げる（ステップＳ２６）。被写体に近寄ったような効果を出すためである。ズームアップされない時には（ステップＳ２５ＮＯ）、そのままステップＳ２７に進む。次に、エリア枠１２ａの位置が左右にシフトされたかを判断する（ステップＳ２７）。左右いずれかにシフトされた時には（ステップＳ２７ＹＥＳ）、マイク部１５の出力バランスをそのシフトされた方向に強調するよう変更して録音する（ステップＳ２８）。

図５ に戻る。なお、ここでは全域撮影も継続して行われるので、２ つの動画撮影が同時に行われることになる。エリア枠１ ２ ａ が選択されていなければ警告を表示（ ステップＳ ２２ ） して、ステップＳ １ ２ に戻る。

一方、タッチパネルへの操作があれば（ステップＳ１４ＹＥＳ）、エリア枠１２ａの変更処理を行う。まず、タッチされた所を中心にエリア枠１２ａを表示させる（ステップＳ１９）。続いて、複数回タッチされたかを判断する（ステップＳ２０）。複数回タッチされれば（ステップＳ２０ＹＥＳ）、タッチされた回数に応じてエリア枠１２ａの大きさを変更する（ステップＳ２１）。例えば、回数に応じて小さくするようにする。

図７にエリア枠１２ａの変化例の画面を示す。図７は、タッチ操作によって、表示部１２に表示される枠エリア１２ａの大きさの変化例を示す図である。図７（Ａ）は、最初のエリア枠１２ａの大きさと、エリア枠１２ａに対してのタッチ操作を示している。そして、複数回のタッチ操作によってエリア枠１２ａが、図７（Ａ）から(Ｂ)のように次第に縮小されていく。

そして、撮影中にスイッチ１６ｂの操作が解除されたと判断すると（ステップＳ１２ＮＯ），全域及び指定部いずれの撮影も終了して（ステップＳ１８）、スイッチ１６ｂの操作（撮影再開）を待つよう待機する。

また、ステップＳ２０、ステップＳ２１の後もステップＳ１２に進み、終了指示がない限り撮影を継続する。以上のフローチャートにより、全域画像及び、ユーザーにより指定されたタイミングで指定された範囲の指定部画像が記録される。

次に、上記操作の変形例を図８に示す。図８は、図５で説明した撮影処理の変形例を説明するフローチャートである。上記図５のフローチャートでは、スイッチ１６ｂ（レリース）が押されると、全域撮影が必ず行われた。しかし、全域撮影を行わずに指定部のみの撮影を行えるようにするようにしても便利である。そこで、この変形例では、全域撮影と指定部撮影の撮影操作を独立して行うようにする。

まずスイッチ１６ｂの操作の有無を判断する（ステップＳ３１）。スイッチ１６ｂが操作されていれば（ステップＳ３１ＹＥＳ）、全域撮影中であれば全域撮影を継続し、全域撮影中でなければ全域撮影を開始する（ステップＳ３２）。一方、スイッチ１６ｂが操作されなければ（ステップＳ３１ＮＯ）、全域撮影を行わないかまたは終了し（ステップＳ３３）、ステップＳ３４に進む。続いて、スイッチ１６ａの操作の有無を判断する（ステップＳ３４）。スイッチ１６ａが操作されていれば（ステップＳ３４ＹＥＳ）、エリア枠１２ａで指定された部分を撮影する指定部撮影の開始または継続を行う（ステップＳ３５）。一方、スイッチ１６ｂが操作されなければ（ステップＳ３４ＮＯ）、この指定部撮影を行わないかまたは終了する（ステップＳ３６）。そして、ステップＳ３１に戻る。これにより、全域撮影と指定部撮影の撮影が両方またはいずれか一方を任意で行うことができる。

次に、従来のビデオカメラの撮影方法を簡単に説明する。図４は、従来の撮影方法を説明する図である。まず図４（Ａ）は、従来のビデオカメラが構えられた状態を、背面から見た図である。図４（Ｂ）は、操作の手順を示す簡単なフローチャートである。ユーザーは、カメラの向きを被写体に合わせる（ステップＡ１）。被写体の大きさに合わせて、カメラのズームをあわせる（ステップＡ２）。そして、撮影開始指示により撮影を開始する（ステップＡ３）。撮影終了指示を待って、撮影を終了する（ステップＡ４）。

図４（Ｃ）は撮影される画像の一例を示す。例えば、Ｃ−１のような画像を撮影中に、Ｃ−２のようにフレーミングが変更されたり、Ｃ−３のようなズームをすることは良く行われる。そして、この頻繁な操作によってユーザーの手の動きにより手ぶれ状態となることも多い。また、このような画像では鑑賞時に気持ちが悪くなるおそれもある。また、この頻繁な操作によって、ズーム音などの操作音が気になったりもするし、ズーミング制御をミスすると、即失敗につながるという難しさがあった。

以上説明したように、第１実施形態で説明したカメラ１では、このような従来のビデオカメラとは撮影の仕方も撮影される画像の質も異なったものとなる。そして、本発明の動画撮影カメラは、最新の高精細の高速撮像素子を駆使して、従来のような光学ズームによる可動部分を少なくして、しかもより多くの情報量を有効利用して、変化のある動きのスムースな動画像の撮影が可能となる。

さらに、本発明では、ズーミングがうまくできなくても、全体画像が常に撮影されるのでこれを採用すれば良く、間歇的にズーミングを行うことによる気になる動作音もなくなる効果がある。また、手動ズームではなく、電気的に効果的なズームができるので、ユーザーが手でそれを加減を見ながら制御する必要がなく、なめらかな画面変化となり、より効果的な表現が可能となる。ユーザーは撮影したい所の指定のみを考えれば良いので、ズーミング操作から開放され、簡単に見やすい画像の動画撮影ができるようになる。また、予め、高画素で撮影しておいて、再生時に部分を選択する方法もあるが、それでは、カメラのメモリサイズが巨大になったり、録画時間が短くなったり、圧縮回路が巨大になったり、消費エネルギが大きくなってしまう。本実施形態のような撮影を行うことによって、これらの問題がなくなる。

（第２実施形態）
図９、図１０を用いて、第２実施形態を説明する。第１実施形態によるズーミングの際に、全域画像から指定部画像に急に画像が切換わると、見ている者が不連続感を感じるおそれがある。そこで、第２実施形態では、この不連続感を軽減すべく、指定部画像への切換え撮影時に、だんだんにその画像にズームし、次第に絞り込まれていくような撮影制御を行わせるようにする。以下これをトランジション効果(撮影）と称す。なお、第１実施形態では、全域画像と指定部画像の両方またはいずれか一方を選択的に記録することを説明したが、以下第２実施形態では、いずれか一方を選択して記録する例で説明する。もちろん両方を記録するようにしても当然よい。なお、適用されるカメラのブロック図は図１と共通なので省略する。

図９はトランジション撮影を含む第２実施形態の撮影手順を説明するフローチャートである。また、図１０は、トランジション撮影時に、表示部１２に表示されるモニタ画面を説明する図である。図１０（Ａ）、（Ｂ）、（Ｃ）は、モニタ画面の時間的変化を順に示している。簡単に説明すると、撮影記録される画像が、全域画像から直ちに指定部画像に切換わるのではなく、（Ａ）の１２ｂ（全域画像）から、（Ｂ）の１２ｂの中間サイズの画像（第３の画像）を経て、（Ｃ）の１２ｂ（指定部画像）に切換わるようにする。以下、フローチャートの流れに沿って説明する。なお以下、現に撮影されている画像が表示される画面をメイン画面と呼び、それ以外の画面をサブ画面と呼ぶ。また、中間サイズの画像を第３の画像とも呼ぶ。

カメラ１が撮影モードに設定され、全域画像の撮影が指示されたとする。全域画像の撮影を開始する（ステップＳ４１）。ここで、指定部撮影する指示の有無を判断する（ステップＳ４２）。指定部撮影の指示が行われると（ステップＳ４２ＹＥＳ）、表示部１２の表示をマルチ画面表示にする（ステップＳ４４）。

図１０（Ａ）が、このマルチ画面の最初の表示である。表示部１２には、メイン画面１２ｂが大きなサイズで表示され、その横にサブ画面１２ｃとサブ画面１２ｄが小画面として表示される。メイン画面１２ｂの一部には、エリア枠１２ａが重畳して表示される。前述した通りエリア枠１２ａは指定部の領域を示すものである。サブ画面１２ｃ及びサブ画面１２ｄは、トランジション撮影される開始と終了の画像を示していて、トランジション撮影の効果をユーザーに確認させるための表示である。右上の画面１２ｃには、開始時点サイズの画像である全域画像が表示される。右下のサブ画面１２ｄには、終了時点サイズの画像である、エリア枠１２ａの画像が表示される。また、メイン画面１２ｂの周囲には太枠が表示され、太枠でこの画像が現在撮影中であることを示す。次の（Ｂ）、（Ｃ）も同様に、メイン画面は太枠が付される。

次に、ユーザーの切換え操作の有無を判断する（ステップＳ４５）。全域撮影から指定部撮影への切換え操作があると（ステップＳ４５ＹＥＳ）、トランジション撮影を開始する（ステップＳ４６）。画面が図１０（Ａ）から図１０（Ｂ）に変わる。

マルチ画面として、大きなメイン画面１２ｂと小さなサブ画面１２ｃの２つの画面が表示される。メイン画面１２ｂに撮影画像が表示される。この状態では、全域画像より少しズームアップされた画面が撮影される。全域画像から指定部画像に直ちには切換えずに、ズームアップしながら変化させるわけである。また、サブ画面１２ｃには、図（Ａ）よりも縮小されたサイズで、全域画像が表示される。常に全域画像が確認できるようにするためである。撮影サイズを少しづつ変化させて自然なズーミングをさせる。

そして、指定部サイズの画像に至って、トランジション撮影が終わり、指定部撮影に切り換わる（ステップＳ４７）。図１０（Ｃ）は、トランジション撮影終了後の画面である。（Ｂ）と同様にマルチ画面として、大きなメイン画面１２ｂと小さなサブ画面１２ｃの２つの画面が表示される。メイン画面１２ｂに撮影中の指定部画像が表示される。サブ画面１２ｃには、図（Ｂ）と同じサイズで、全域画像が表示される。常に全域画像が確認できるようにするためである。以降は、変更操作がない限りこの指定部画像が継続して撮影される。

変更操作の１つとして、全域撮影操作の有無を判断する（ステップＳ４８）。全域撮影操作が指示されると（ステップＳ４８ＹＥＳ）、トランジション撮影を開始する（ステップＳ４９）。図１０とは逆に、指定部画像から全域画像へ徐々にサイズを小さくしながら撮影を行う。そして、指定部撮影を終了させて、全域画像撮影に切換える（ステップＳ５０）。そして、ステップＳ４１に戻る。

また、変更操作の１つとして、ユーザーの終了操作の有無を判断する（ステップＳ５１）。終了指示があったと判断すると（ステップＳ５１ＹＥＳ）、画像の撮影を終了させる。終了指示がないときは（ステップＳ５１ＮＯ）、ステップＳ４７に戻り、指定部撮影を継続する。

以上説明したように、第２実施形態で説明したカメラ１では、手動ズームではなく、電気的に効果的なズームができるので、ユーザーが手でそれを加減を見ながら制御する必要がなく、なめらかな画面変化となり、より効果的な表現が可能となる。また、単純にズーミングするだけでなく、フェードインフェードアウトとか特殊効果を加味する設定ができるようになる。このような工夫によって、ユーザーは撮影したい所の指定のみをかんがえれば良いので、ズーミング操作から開放され、簡単に見やすい画像の動画撮影画できるようになる。無論、全域画像と指定部画像の両方を常に記録するようにしてもよい。

（第３実施形態）
図１１、図１２を用いて第３実施形態を説明する。第３実施形態は、第１および第２実施形態によって２つの画像を記録したときの鑑賞法を説明するものである。図１１は、この２つの画像の鑑賞法を説明するフローチャートである。また、図１２は、２つの画像を再生する時に、表示部１２に表示される画面例である。なお、適用されるカメラのブロック図は図１と共通なので省略する。

再生を開始すると、まず全域画像を再生させる（ステップＳ６１）。同時に、この全域画像に指定部画像が付帯されているかを判断する（ステップＳ６２）。指定部画像があるときは（ステップＳ６２ＹＥＳ）、指定部画像がある旨の表示を行う（ステップＳ６３）。図１２（Ａ）がこのときに表示される画面である。１２ｅが、指定部画像がある旨の表示である。

ユーザーによる指定部画像表示選択の有無を判断する（ステップＳ６４）。指定部画像表示が選択されると（ステップＳ６４ＹＥＳ）、指定部画像を拡大処理する（ステップＳ６５）。そして、図１２（Ｂ）のように、指定部画像と全域画像の両画像を表示する（ステップＳ６６）。サブ画面１２ｃには指定部画像が表示され、小さなサブ画面１２ｄには全域画像が表示される（図１２（Ｂ））。指定部画像が存在しないとき（ステップＳ６２ＮＯ）や指定部画像表示操作がないとき（ステップＳ６４ＮＯ）は、ステップＳ６１に戻る。

図１２（Ｂ）の表示状態で、ユーザーの指定部表示の終了操作（ステップＳ６７）または再生終了操作の有無を判断する（ステップＳ６８）。指定部画像表示の終了の指示があると(ステップＳ６７ＹＥＳ）、ステップＳ６１に戻り、全域画像のみを表示させる。再生終了操作があると（ステップＳ６８ＹＥＳ）、再生を終了する。いずれもなければ、ステップＳ６６に戻り、指定部表示を継続する。

以上説明したように、メイン画像とサブ画像を自由に表示切換えできるようにしたので、画面に変化を持たせる再生方法が可能となる。

（第４実施形態）
図１３から図１８を用いて第４実施形態を説明する。第４実施形態では、第１および第２実施形態によって記録された２つの動画像を鑑賞する場合に、どちらの動画像を優先的に表示するかを自動的に判定する再生方法についてを説明する。図１６は、本発明が適用される再生装置３０の全体ブロック図である。再生装置３０には、ＭＰＵ３１、ＲＯＭ３２、操作部３３、再生部３４、記録媒体３５、ＲＡＭ３６および表示部３７が設けられている。ＭＰＵ３１はプログラムに従って再生装置３０全体を制御する。ＲＯＭ３２は、ＭＰＵ３１を動作させるプログラムを格納する。操作部３３は、ユーザーの操作指示をＭＰＵ３１に通知する。再生部３４は、圧縮された画像データや音声データを伸張処理する。再生部３４は、ＪＰＥＧ（Joint Photographic Expert Group）伸張部、ＭＰＥＧ（Motion Picture Experts Group）伸張部や音声伸張部が含まれる。記録媒体３５には、画像データ、音声データ、その他構図適否信号や音声変化信号が記録されている。構図適否信号や音声変化信号の詳細については、後述する。ＲＡＭ３６は、記録媒体３５から読み出した画像データに伸張等各種処理するためのワークエリアである。表示部３７は、例えばＬＣＤから構成され、再生部３４により伸張処理された画像が表示される。

また、再生装置３ ０ には、再生選択部３ ８ が設けられている。再生選択部３ ８ は、同時に撮影された画角の異なる複数の画像から再生する１ の画像を、条件に応じて選択する。この再生選択部３ ８ には、画像を選択するために、動き検出部３ ８ ａ 、顔検出部３ ８ ｂ 及び音声検出部３ ８ ｃ が設けられる。動き検出部３ ８ ａ は、動画のファイルのＧＯＰサイズから被写体の動き量を検出したり、動きベクトルの大小により被写体の動きを検出する。顔検出部３ ８ ｂ は、顔の各部の特徴から画面内の顔の部分を検出する。この技術はセキュリティの分野で頻繁に利用される。音声検出部３ ８ ｃ は、音量の左右のバランスや音量変化を検出する。

この再生装置３０を用いて、画像の構図によって再生させる画像を選択する方法について説明する。図１３は、同時に撮影された２つの画像を時間に沿って対比して示すものである。図１３の上段は全域画像で、Ａ−１、Ａ−２、Ａ−３の画像は、タイミングｔ１、ｔ２、ｔ３毎の画像である。図１３の下段は指定部画像で、Ｂ−１、Ｂ−２、Ｂ−３も同様に、タイミングｔ１、ｔ２、ｔ３毎の画像である。

図１３の全域画像と指定部画像のどちらを再生するかを、次のような観点から決定する。
ｔ＝ｔ1のタイミングでは、図１３のＡ−１またはＢ−１いずれの画像も再生に問題ない画像であるが、全体の状況がわかるＡ−１の画像の方が好ましい。しかし、ｔ＝ｔ２のタイミングでは、Ｂ−２の画像の方が人物の表情まで読み取れて好ましい。そして、ｔ＝ｔ３のタイミングでは、Ａ−３とＢ−３を比べれば明らかなように、Ｂ−３画像の方は人の顔がはみ出してしまい構図的に好ましくない。つまり、ｔ＝ｔ３では、、画像（Ａ−３）の方が好ましいので、こちらを優先して再生するようにする。

つまり、２つの画面のうち、構図の良否から再生画像を選択することで、鑑賞にふさわしい画面が選択される。このような構図の良否は、一つに再生選択部３８の顔検出部３８ｂによって判断される。この技術はセキュリティの分野で頻繁に利用される。また、動き検出部３８ａにより、被写体の追跡（類似画像追跡）も判断の一つにする。例えば下段Ｂでは、画像が画面からはみ出したか否かで判定する。

次に、切換えのタイミングは、Ｂ−３のようになる手前のタイミングで切換えるのが望ましい。つまり、Ｂ−３のような決定的に構図不適格になる前に画面の切換えを行うようにするために、先立つｔ＝ｔ２の時点で、ｔ＝ｔ３のタイミングでは構図不適格となることを予測する。時間的に先の時点で起こることを参照しながら、画面の切換え制御を行う。

次に、別な場面として、体の動きの少ない合唱シーンの例を説明する。図１４は、合唱のシーンで上段の全域画像と下段の指定部画像をそれぞれ対比して示している。上段の全域画像Ａの破線領域が、下段の指定部画像Ｂに相当する。合唱などのシーンも、マルチ画面撮影で効果のあるシーンである。図１４の上段は、ｔ１、ｔ２、ｔ３の各タイミングでの、全体（全域）シーンである。同様に、図１４の下段は自分の子供などの一部（Ｂ−１からＢ−３）シーンである。

このようなシーンでは、大きな構図変化は起こらず、単調になりがちである。そこで、（Ｂ−３）のように口が大きく開く所など、変化がある部分を楽しみたい。この場合も、画面を切換える際に、（Ｂ−３）のように口を開いてしまってから表示しても面白さに欠け、（Ｂ−２）から（Ｂ−３）への移り変わりを示す所が重要になる。これも、（Ａ−１）、（Ｂ−１）のｔ＝ｔ１のタイミングにおいて、この変化を先取りしなくてはならない。従って、画像情報の先取りが重要となる。口の開き方などの画面変化は上段Ａの画面でも起こっているが、口の部分が画面内で閉める割合が小さいので、下段Ｂの画面の方が、画面変化としては大きく判定することができる。

この画面変化の判定方法について以下説明する。この画面変化の判定方法には種々ある
が、本実施形態では動きベクトルや動画ファイルを構成するＧＯＰサイズをモニタする事によって判定する。図１５は、動画ファイルの中を構成するＩピクチャとＰピクチャを模式的に示す図である。動画圧縮ではコマ間圧縮が行われるが、コマ間の変化は動きベクトルによって表現され、動きが大きい動画部分はファイルの一部が大きめになるという特徴がある。ＭＰＥＧ４ のような動画ファイルはＧＯＰ という独立再生が可能なある複数フレーム単位の動画像の集まりから構成されている。ＧＯＰ の独立性を保つために1コマをフレーム内符号化したＩ ピクチャと動きによってフレーム間予測符号化したＰピクチャとからｎ フレームなり、動きが大きいと、差分画像分の符号化データが大きくなる。つまり、このＧＯＰ をチェックすれば動きの大きさが判断できる。また前述の動きベクトルとは、例えば基準となる参照フレームに対し、どの部分画像を参照したかを示すもので、これを模式的に示すと、図１ ５ のようになる。動きが大きい場合には符号化された動きベクトル情報が大きくなるため、その符号量から動きが大きいかを判別することが可能になる。

また、所定時間後の画像情報をモニタして再生の制御を切換えるが、上記所定時間後は動画の長さが短いものや動きの大きいものでは、短めに設定する方が好ましいので、こうした条件によって切換えて決定する。また、あまりにも頻繁に画像が切換わらないような工夫も必要になる。

図１７は、画面切換えを説明するためのフローチャートである。適当な状況を予測して、Ａ画面とＢ画面を切換える手順を説明する。ここでは、全域画像をＡ画面、指定部画像をＢ画面と呼ぶ。なお以下では、全域画面と指定部画面の切換える例で説明するが、同じような画角サイズの2画面でも、本発明並びに実施例は適用可能である。これらの処理は主にＭＰＵ３１及び再生選択部３８によって実行される。

まず、全体の雰囲気を示す広い画角のＡ画面から再生する（ステップＳ１０１）。そして、Ａ画面及びＢ画面いずれからも、所定時間先の部分の画像情報を取得する（ステップＳ１０２）。変な構図が再生される前に切換えるためである。この画像情報から、Ｂ画面の方がＡ画面よりも表示として効果的かを判断する（ステップＳ１０３）。具体的には、顔検出部３８ｂによる顔の大きさや位置の情報や、動き検出部３８ａによる動きの情報、あるいは両方の情報から判断する。構図についての判断は、上記図１３、１４で説明したような例である。動きについての判断は、上記図１４で説明したような例である。以上によって切換えを決定する。なお、音声検出部３８ｃによって音声信号の変化の状況を判定して切換えを行っても良い。

ここで、上記ステップS１０３での判断の詳細を、図１８のフローチャートを用いて説明する。まずどちらの画像の方が変化があるかを所定期間で比較する（ステップＳ１１１）。所定期間は例えば5秒である。Ｂ画面のほうが変化が多いからといって、一瞬こちらを再生してすぐにＡ画面にもどるような再生では落ちつかないので、所定期間の間で比較するようにした。

そして、その結果Ｂ 画面の方が変化大かを判断する（ステップＳ１１２ ） 。Ｂ画面の変化が大と判断したときは（ステップＳ１１２ＹＥＳ ） 、次にＢ画面の構図が不適でないかを判断する（ステップＳ１１３） 。不適でなければ（ ステップＳ１１３ＹＥＳ） 、所定期間のＢ 画面表示を選択する（ステップＳ１１４ ）。構図の適不適は、画像選択部３８が画像に付帯記録されている構図適否信号により判断する。もちろん、構図の適否を動き検出部３８ａ や顔検出部３ｂの情報に基づいて判断しても良い。構図の適否信号の記録についての詳細は、次の第５実施形態で説明する。

一方、Ｂ画面の変化が大でないと判断したときは（ステップＳ１１２ＮＯ）、次にＡ画面の構図が不適でないかを判断する（ステップＳ１１５）。Ａ画面が不適でなければ（ステップＳ１１５ＮＯ）Ａ画面表示を選択する（ステップＳ１１６）。ここで、Ａ画面の構図が適正でなければ（ステップＳ１１５ＮＯ）、ステップＳ１１３に進む。そして、更にＢ画面の構図も適正でないときは、画角の広い方、つまりＡ画面の方を選択する（ステップＳ１１７）。多くの被写体が写っている画面の方があらをよりカバーするからである。図１７に戻る。

そして、図１８のフローによりＢ画面の方が効果的と判定されると（ステップＳ１０３）、まずステップＳ１０４に進み、更に画面変更するかを判断する。このステップは、Ａ画面のほうが効果的で、変更しない方が良い場合である。画面変更した方が良いと判断されると（ステップＳ１０４ＹＥＳ）、トランジション効果を付加した再生を行う（ステップＳ１０５）。トランジション効果は第２実施形態で説明した効果で、ここでは再生に適用する。トランジション効果を適用するのは、突然に画面が切換わると違和感が生じるからである。Ａ画面からＢ画面へゆっくりズームアップさせてから、Ｂ画面再生を行う（ステップＳ１０６）。

そして終了操作判断をして（ステップＳ１１０）、終了操作がなければ（ステップS１１０ＮＯ）、ステップＳ１０２に戻り巡回する。また、ステップＳ１０４で画面変更が不要と判断されたときは、当然に画面変更しないで、ステップＳ１１０に進む。

一方、ステップＳ１０３にて、Ｂ画面に変更後に、Ａ画面の方が効果的であると判断されると、ステップＳ１０７に進む。まず、ステップＳ１０４と同様に画面変更の要否を判断する（ステップＳ１０７）。画面変更不要と判断すれば（ステップＳ１０７ＮＯ）、そのままステップＳ１１０に進む。変更必要と判断すれば（ステップＳ１０７ＹＥＳ）、トランジション効果を付加した再生を行う（ステップＳ１０８）。突然に画面が切換わると違和感が生じるからである。そして、Ｂ画面からＡ画面へゆっくりズームダウンさせてから、Ａ画面再生を行う（ステップＳ１０９）。そしてステップＳ１１０に進む。

以上のように再生中にもっと効果的なシーンが別画面で捉えられていることを前もって判定し、急にではなく、しかるべきタイミングで切換えて表示の変更を行うので、自然かつ効果的な画像再生が可能となる。そして、構図に難がなく、変化の多い画像を優先して表示するようにしたので、変化のある効果的な鑑賞が楽しむことができる。

（第５実施形態）
図１９を用いて第５実施形態を説明する。第５実施形態では、音の変化を再生時の画面切換えに利用するために、撮影時に音の変化や構図の適否を記録しておくカメラについてを説明する。なお、ここで使用されるカメラは、第１実施形態とおおむね共通なので、ブロック図は省略する。

音の変化を利用すれば、図１４で説明したような合唱などのシーンで、所定パートが目立つ場面で、その音の方向の画面を再生するようして、効果的な画面切換えができる。そして、再生時に的確な判断を容易にできるようにするために、撮影時に選択のための補足情報を記録するようにする。補足情報には、音声や画像の変化の情報と構図適否の情報が含まれる。音声記録部１７が音声変化情報も記録する。画像処理ユニット８には、図１６の再生装置３０の顔検出部３８ｂと同様な顔検出部が設けられ、この顔検出部により構図適否の情報が記録される。このような補足情報があれば、処理負担が軽くなる。

図１９はこの補足情報を記録する撮影処理の手順を説明するフローチャートである。撮影時に単に撮影や録音を行うだけでなく、画面や音声に変化があった場合にはその変化を判断して情報信号を付加するようにする。これらの処理は主にＭＰＵ１０、画像処理ユニット８、音声記録部１７によって実行される。

撮影と録音を行う（ステップＳ１２１）。撮影録音の途中で画面や音声に変化があったかを判断する（ステップＳ１２２）。変化があった判断するときは（ステップＳ１２２ＹＥＳ）、変化があった旨の信号を、補足情報として、画像や音声ファイルに付帯して記録する（ステップＳ１２３）。変化がないと判断するときも（ステップＳ１２２ＮＯ）、変化のない旨を補足情報として、画像や音声ファイルに付帯して記録する（ステップＳ１２４）。

次に、構図の適否を判断する（ステップＳ１２５）。構図の適否の判断は、顔検出部が行う。構図が適切なら（ステップＳ１２５ＹＥＳ）、構図適正信号を画像や音声ファイルに付帯して記録する（ステップＳ１２６）。一方、構図が不適正なら（ステップＳ１２５ＮＯ）、構図不適正の信号を記録する（ステップＳ１２７）。構図が不適正とは、例えば図１３（Ｂ−３）のような一部がはみ出したような構図のときである。そして、撮影の終了操作があるまで（ステップＳ１２８ＮＯ）、ステップＳ１２１からの処理を巡回する。撮影の終了操作があれば（ステップＳ１２８ＹＥＳ）、終了処理を行う。

これにより再生時に、音声変化のタイミングについては変化信号で、構図の良否は構図適正信号で、それぞれ容易に確認できるようになる。従って、マルチ画面撮影された画像の再生時の画面の切換えが、より確実簡単にできるようになる。

（第６実施形態）
図２０、図２１を用いて第６実施形態を説明する。第６実施形態では、音声を判定して再生画面を切換える再生装置についてを説明する。再生装置は、第４実施形態で説明した再生装置３０と同じ構成であるので、ブロック図は省略する。また、ここで使用するカメラも第１実施形態で説明したカメラ１と同じ構成であるのでブロック図は省略する。

図２０の右が全体画面を示す。この全体画面の中で、向かって左側の破線の範囲Ａと向かって右側の破線の範囲Ｂが、カメラ１で同時に撮影される２つの画像の範囲を示す。図２０の（Ａ）と（Ｂ）が、全画面の中で撮影された２つの画像である。

図２１は、図２０のシーンの撮影において同時に録音された音声の波形を示す。時間ｔに従って変化するＲＬの音量のグラフである。上側が左（Ｌ）マイク、下側が右（Ｒ）マイクによる音声出力である。このとき画像Ａは画面全体の中で左側に位置するので、ステレオマイクのＬ側の音が主にその画像に対応する。画像Ｂは画面全体の中で右側なので、ステレオマイクのＲ側の音が主にその画像に対応する。

そして、音声検出部３８ｃが、Ｌ，Ｒの信号からこれらの比較を行い、変化が大きい方を検出する。そして、再生選択部３８が、音声変化の大きい方に対応する画像を再生するようにする。ここでは、最初はＬ側の画像（Ａ）を再生し、途中でＲ側の画像（Ｂ）に切換えて再生する。

以上のように、第６実施形態によれば、音声が大きく変化するような画像で、適切な画面切換えが行われるようになる。

なお、上記各実施形態で説明したＭＰＵ１０、ＭＰＵ３１の処理に関しては、一部または全てをハードウェアで構成してもよい。具体的な構成は設計事項である。そして、ＭＰＵ１０、ＭＰＵ３１による各制御処理は、ＲＯＭ７またはＲＯＭ３２に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵの機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。同様に、再生選択部３８は全部又は一部をソフトウェアで構成しても当然によい。また、第１実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。また、第４、６実施形態等で示した再生装置３０は、デジタルカメラに内蔵してもよい。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１実施形態において、本発明が適用されるデジタルカメラ１の全体ブロック図。 第１実施形態において、撮影時のエリア枠の変更操作例を示す図。 第１実施形態において、全域撮影される撮像領域と部分撮影される撮像領域を対比して示した図。 第１実施形態において、従来の撮影方法を説明する図。 第１実施形態において、カメラ１の撮影処理を示すフローチャート。 第１実施形態において、撮影切換えに応じた録音効果の切換えを説明するフローチャート。 第１実施形態において、タッチ操作によって表示部に表示される枠エリアの大きさの変化例を示す図。。 第１実施形態において、撮影処理の変形例を説明するフローチャート。 第２実施形態において、トランジション撮影を含む撮影手順を説明するフローチャート。 第２実施形態において、トランジション撮影の具体例を説明する図。 第３実施形態において、２つの画像の鑑賞法を説明するフローチャート。 第３実施形態において、再生時に表示される画面例を示す図。 第４実施形態において、動きのあるシーンで同時撮影されたうちの全域画像と指定部画像で、３つのタイミングの画面を示す図。 第４実施形態において、動きのないシーンで同時撮影されたうちの全域画像と指定部画像で、３つのタイミングの画面を示す図。 第４実施形態において、動画の構成と動きベクトルを示す図。 第４実施形態において、適用される再生装置３０の全体ブロック図。 第４実施形態において、再生時の画面選択の手順を説明するフローチャート。 第４実施形態において、Ｂ画面選択の手順を説明するフローチャート。 第５実施形態において、録音撮影時に付帯情報が記録される手順を説明するフローチャート。 第６実施形態において、画面全体とその中で撮影される２つの画像を示す図。 第６実施形態において、Ｌ，Ｒの音声信号の波形例を示す図。

符号の説明

1…カメラ、２…撮影レンズ、３…撮像素子、３ｃ…全撮像領域、３ｄ…指定部撮像領域、
３ｅ…間引き画素、４…アナログフロントエンド（ＡＦＥ）部、
５…選択部、６ａ…第１画像処理部、６ｂ…第２画像処理部、
７ａ…第１記録部、７ｂ…第２記録部、８…画像処理ユニット、９…表示制御部
１０…ＭＰＵ、１１…ＲＯＭ、１２…表示部、１２ａ…エリア枠、１２ｂ…メイン画面、
１２ｃ、１２ｄ…サブ画面、１３…タッチパネル、１４…ＡＦ部、
１５…マイク部、１６…操作部、１６ａ、１６ｂ…操作部、１７…音声記録部、
１８…時刻部、２０…被写体、
３０…再生装置、３１…ＭＰＵ、３２…ＲＯＭ、３３…操作部、３４…再生部、３５…記録媒体、
３６…ＲＡＭ、３７…表示部、３８…再生選択部、３８ａ…動き検出部、３８ｂ…顔検出部 、
３８ｃ…音声検出部

Claims (4)

1. 同時に撮影された複数の動画を再生する再生装置において、
   再生中画像に対して、所定タイミング先の画像についての画像関連情報に基づいて、
   上記複数の動画像から優先して再生する１の動画像を選択する再生選択部を備え、
   上記再生選択部は、上記画像関連情報として、動画ファイルを構成するＧＯＰの中のＰピクチャを用い、当該Ｐピクチャのデータの大きい動画像を優先して再生する
   ことを特徴とする再生装置。
2. 上記再生選択部は、２つの動画像の上記Ｐピクチャのデータに差異がないときには、広角で撮影された方の動画像を優先する
   ことを特徴とする請求項１に記載の再生装置。
3. 同時に撮影された複数の動画像の中から再生する動画像を選択する再生画像の選択方法
   において、
   上記複数の動画像のいずれかの動画像を再生している間に、各動画像の所定時間先の部分
   についてを比較して、動画ファイルを構成するＧＯＰの中のＰピクチャのデータの大きい動画像を選択し、
   当該選択された動画像に再生画像を切換える
   ことを特徴とする再生画像の選択方法。
4. 同時に撮影された複数の動画像の中から再生する動画像を選択する再生画像の選択方法
   をコンピュータに実行させるプログラムにおいて、
   上記再生画像の選択方法は、上記複数の動画像のいずれかの動画像を再生している間に、各動画像の所定時間先の部分についてを比較して、動画ファイルを構成するＧＯＰの中のＰピクチャのデータの大きい動画像を選択し、
   当該選択された動画像に再生画像を切換える
   ことを特徴とするプログラム。

Images