JP4325488B2 - 出力画像選択装置 - Google Patents

Description

この発明は、デジタルビデオカメラで撮影した動画像データの中から、出力すべき静止画像データを選択する出力画像選択装置に関する。

デジタルビデオカメラで撮影した動画像データのうち、いくつかのシーンを静止画像として印刷することがある。また、近年、デジタルビデオカメラをプリンタに直接接続して、パーソナルコンピュータ等を介することなく印刷することが可能なダイレクトプリンタが用いられるようになっている。このような場合に、どのシーンを印刷するかをデジタルビデオカメラやプリンタで指示する必要があった。
特開２００１−３２０６６５号公報

しかし、従来の方法では、印刷する静止画像データを選択するために、動画像データを再生して印刷したいシーンを選択しなければならなかったため、時間や手間がかかっていた。

本発明はこうした点に鑑みてなされたもので、その目的は、同じ場面を撮影した動画像データの中から、出力すべき静止画像データを効率よく選択する技術の提供にある。

本発明によれば、
被写体を撮影した複数の動画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の動画像データを、各前記複数の動画像データが撮影された時間軸で並べたときの、前後の前記動画像データ間のそれぞれ最後のシーンと最初のシーンとの相関度に基づき、当該前後の動画像データが同一場面を撮影した動画像データごとの同一グループに分類されるか否かを判断してグループ分けするグループ分け手段と、
前記グループ分け手段によりグループ分けされた動画像データの中から、出力すべき静止画像データを選択する選択手段と、
を含むことを特徴とする出力画像選択装置が提供される。

出力とは、選択された静止画像データをたとえばプリンタで印刷する場合や、電子メールに添付して送信する場合等、外部の装置に出力することをいう。出力画像選択装置は、単独の装置として構成することもできるが、本発明の出力画像選択装置の機能は、たとえばデジタルビデオカメラやプリンタ等の印刷装置に設けることもできる。本発明の出力画像選択装置は、被写体を撮影する撮影手段をさらに含むデジタルビデオカメラとすることができる。

本発明によれば、動画像データを同一場面を撮影した動画像データごとにグループ分けした後に、各グループから出力すべき代表的な画像データを選択するので、同一場面を撮影した動画像データの中から、代表的なシーンを効率よく選択することができる。

通常、デジタルビデオカメラで撮影された動画像データは、撮影開始点および終了点が対応づけて記憶されている。グループ分け手段は、基本的に、このような撮影開始点および終了点に基づき、動画像データをグループ分けすることができる。しかし、撮影開始点および終了点で区切られた複数の動画像データであっても、同一場面を撮影した画像である場合もある。グループ分け手段は、たとえば、撮影開始点および終了点で区切られた複数の動画像データを各動画像データが撮影された時間軸で並べたときの、前後の動画像データ間のそれぞれ最後のシーンと最初のシーンとの相関度に基づき、これらの動画像データが同一グループに分類されるか否かを判断することができる。

画像データ間の相関度が高い画像データは、同一場面を撮影した可能性が高いため、このようにすれば、同一場面を撮影した動画像データのグループ分けを精度よく行うことができる。

本発明の出力画像選択装置において、選択手段は、グループ分けされた動画像データの最初のシーンを出力すべき静止画像データとして選択することができる。

動画像データを撮影する場合に、最初のシーンは、撮影者が撮影を始めたばかりであり、撮影者が撮りたいと意図する画像である可能性が高く、撮影者の所望の画像データを出力できる可能性を高めることができる。

本発明の出力画像選択装置において、選択手段は、グループ分けされた動画像データを構成する複数の静止画像のうち、情報量の多い静止画像データを出力すべき画像データとして選択することができる。

ここで、情報量とは、画像データをたとえばＪＰＥＧ等の圧縮技術で同率で圧縮した後の圧縮データの情報量とすることができる。より多くの情報が含まれる画像データを選択することにより、撮影者の所望の画像データを出力できる可能性を高めることができる。

本発明の出力画像選択装置は、選択手段が選択した出力すべき静止画像データを表示する表示手段と、表示手段に表示された静止画像データを出力するか否かの指示を受け付ける指示受け付け手段と、指示受け付け手段が出力を受け付けた静止画像データを出力する出力手段と、をさらに含むことができる。

これにより、ユーザが出力すべき画像データを選択する手間を大幅に省くことができるとともに、ユーザの所望の画像データを出力することができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、同じ場面で撮影された動画像データの中から、出力すべき静止画像を効率よく選択することができる。

（第一の実施の形態）
本実施の形態におけるデジタルビデオカメラは、撮影した動画像データの中からいずれかのシーンをたとえばプリンタで印刷する場合や、電子メールに添付して送信する等、外部の装置に出力する場合に、出力すべき代表的なシーンを自動的に選択する機能を有する。

図１は、本実施の形態におけるデジタルビデオカメラの構成を示すブロック図である。
デジタルビデオカメラ１００は、被写体を撮影する撮影部１０２と、計時部１０４と、撮影部１０２が撮影した動画像データを記憶部１１４に書き込む動動画像データ書込部１０６と、分類処理部１０８と、静止画像データ選択部１１０と、出力データ決定部１１２と、表示処理部１１６と、出力部１１７と、指示受付部１１８と、表示部１２０とを有する。記憶部１１４は、動画像データ記憶部１２２と、分類済データ記憶部１２４と、出力データ記憶部１２６とを有する。

撮影部１０２は、レンズ等の光学系、ＣＣＤ等の撮像素子、およびアナログ／デジタル変換器等により構成される。動画像データ書込部１０６は、撮影部１０２で得られた動画像データを、計時部１０４で計時された時刻に対応づけて動画像データ記憶部１２２に記憶する。また、ここで図示していないが、デジタルビデオカメラ１００は、撮影開始・終了ボタンを有し、ユーザからの当該ボタンの選択により被写体の撮影を開始または終了する。動画像データ書込部１０６は、撮影開始点および終了点で区切られた動画像データをひとまとまりのデータとして記憶する。

分類処理部１０８は、動画像データ記憶部１２２に記憶された動画像データを、同一場面を撮影した動画像データごとにグループ分けする。

分類処理部１０８は、基本的に、撮影開始点および終了点で区切られた動画像データをそれぞれグループ分けすることができる。しかし、同一場面であっても、短時間撮影をした後、一度撮影を終了して何か動作をした後、再び撮影を開始することもある。分類処理部１０８は、たとえば、動画像データに対応づけられた時刻や、複数の動画像データを対応づけられた時刻に基づき時間軸で並べた場合に、一の動画像データの終了点のシーンと次の動画像データの開始点のシーンとの相関度等に基づき、グループ分けを行うことができる。画像データ間の相関度は、位相限定相関法や、正規化相関法等を用いて行うことができる。

分類処理部１０８は、以上のようにしてグループ分けした動画像データをグループごとに分類済データ記憶部１２４に記憶する。

静止画像データ選択部１１０は、分類済データ記憶部１２４に記憶された動画像データの中から、グループごとに所定数の静止画像データを出力すべき画像データとして選択する。

静止画像データ選択部１１０は、たとえば、各グループに分類された動画像データの中で、最初のシーンを出力すべき画像データとして選択することができる。動画像を撮影する場合に、最初のシーンは、撮影者が撮影を始めたばかりであり、撮影者が撮りたいと意図する画像である可能性が高いからである。

また、静止画像データ選択部１１０は、たとえば、各グループに分類された動画像データを構成する複数の静止画像データの中で、情報量の多い静止画像データを出力すべきデータとして選択することができる。ここで、情報量が多いとは、各静止画像データをたとえばＪＰＥＧで同率で圧縮した後のファイルサイズが最も大きいものとすることができる。情報量が多い画像には、その動画像データの中で最も多くのものが写っている可能性が高く、その動画像データを代表的に表すものである可能性が高いからである。

なお、どのようなシーンを出力すべき画像データとして選択するかは、ユーザからの指定により決定することができる。指示受付部１１８は、ユーザに、（１）動画像データの最初のシーンを選択するモード、（２）情報量の最も多いシーンを選択するモード、（３）動画像データのちょうど真ん中のシーンを選択するモード等の中からいずれかのモードを選択させることができる。この場合、静止画像データ選択部１１０は、ユーザの選択に従って出力すべき静止画像データを選択する。

静止画像データ選択部１１０は、出力すべき画像データとして選択した画像を出力データ記憶部１２６に記憶する。

出力部１１７は、出力データ記憶部１２６に記憶された画像データを外部に出力する。ここで、出力とは、たとえばプリンタに出力してその画像データをプリント写真として印刷してもよい。また、出力部１１７は、出力データ記憶部１２６に記憶された写真を電子メール等に添付して、ネットワーク（不図示）を介して他の端末に送信してもよい。

また、本実施の形態において、出力部１１７は、静止画像データ選択部１１０が選択した画像データをそのまま出力してもよいが、静止画像データ選択部１１０が選択した画像データをユーザに確認させ、ユーザの指示に基づいて出力するようにすることもできる。

表示処理部１１６は、静止画像データ選択部１１０が選択した画像データを表示部１２０に表示する処理を行う。表示部１２０は、たとえばモニタである。指示受付部１１８は、ユーザから、表示部１２０に表示された画像データの中から、実際に出力する画像データの選択を受け付ける。出力データ決定部１１２は、指示受付部１１８が受け付けたユーザの選択に基づき、出力する画像データを決定する。出力データ決定部１１２は、出力データ記憶部１２６に記憶された画像データのうち、ユーザから出力すると決定された画像データにたとえばフラグをたてる等の処理を行う。この場合、出力部１１７は、出力データ記憶部１２６に記憶された画像データのうち、フラグのたった画像データのみを出力する。

図２は、記憶部１１４の内部構成の一例を模式的に示す図である。
動画像データ記憶部１２２には、動画像データＡ、動画像データＢ、および動画像データＣが記憶されている。

分類処理部１０８は、動画像データＡ、動画像データＢ、および動画像データＣがそれぞれ撮影された時間の間隔、これらの動画像データをそれぞれ構成する静止画像データ間の相関度に基づいて、これらの動画像データをグループ分けする。具体的には、分類処理部１０８は、動画像データＡの終了点の静止画像データ「シーンＡ０５５」と動画像データＢの開始点の静止画像データ「シーンＢ００１」とが撮影された時間の間隔、およびこれらの画像データの相関度に基づき、動画像データＡと動画像データＢを同一グループに分類するか否かを判断する。

同様に、分類処理部１０８は、動画像データＢの終了点の静止画像データ「シーンＢ１００」と動画像データＣの開始点の静止画像データ「シーンＣ００１」とが撮影された時間の間隔、およびこれらの画像データの相関度に基づき、動画像データＡと動画像データＢを同一グループに分類するか否かを判断する。

以上の結果、たとえば動画像データＡおよび動画像データＢが同一グループに、動画像データＣは動画像データＡおよび動画像データＢと異なるグループに分類されたと仮定する。分類済みデータ記憶部１２４は、動画像データＡおよび動画像データＢを同一グループに分類された動画像データとして、動画像データＣを同一グループに分類された動画像データとして記憶する。

静止画像データ選択部１１０は、動画像データＡおよび動画像データＢを含むグループ、および動画像データＣを含むグループからそれぞれ代表シーンを選択する。

なお、以上の例では、記憶部１１４が動画像データ記憶部１２２、分類済データ記憶部１２４、および出力データ記憶部１２６を有するとして説明したが、記憶部１１４の内部構成はこれに限られず、複数の画像データのグループ分けおよび選択された画像データが識別できるようになっていればどのような構成とすることもできる。

図３は、本実施の形態におけるデジタルビデオカメラ１００において、撮影された動画像データの中から出力すべき静止画像データを選択する処理手順を示すフローチャートである。以下、動画像データ記憶部１２２に、複数の動画像データが記憶された後の処理を説明する。

まず、分類処理部１０８は、動画像データ記憶部１２２に記憶された複数の動画像データを同一場面を撮影した動画像データごとにグループ分けする（Ｓ１００）。つづいて、指示受付部１１８は、ユーザから、いずれのモードで代表的な静止画像データを選択するかの指定を受け付ける（Ｓ１０２）。ここで、モードは、たとえば、（１）動画像データの最初のシーンを選択するモード、（２）情報量の最も多いシーンを選択するモード、（３）動画像データのちょうど真ん中のシーンを選択するモード、を含むことができる。

つづいて、静止画像データ選択部１１０は、ユーザが選択したモードに従い、各グループに分類された動画像データの中から、所定数の静止画像データをそれぞれ選択する（Ｓ１０４）。

ここで、指示受付部１１８は、静止画像データ選択部１１０が選択した静止画像データをそのまま出力するか否かの選択をユーザから受け付ける（Ｓ１０６）。ユーザが出力を選択した場合（Ｓ１０６のＹＥＳ）、ステップＳ１１４に進み、出力部１１７は、静止画像データ選択部１１０が選択した静止画像データを出力する（Ｓ１１４）。

一方、ステップＳ１０６において、ユーザが出力を選択しなかった場合（Ｓ１０６のＮＯ）、表示処理部１１６は、静止画像データ選択部１１０が選択した静止画像データを表示部１２０に表示する。

つづいて、指示受付部１１８は、表示部１２０に表示された静止画像データの中からいずれのデータを実際に出力するかの選択をユーザから受け付ける（Ｓ１１０）。

つづいて、指示受付部１１８は、ユーザから、選択した静止画像データを出力するか否かの指示を受け付ける（Ｓ１１２）。ユーザがデータの出力を指示した場合（Ｓ１１２のＹＥＳ）、出力部１１７は、ユーザが選択した静止画像データを出力する（Ｓ１１７）。一方、ステップＳ１１２において、ユーザがデータの出力を指示しなかった場合（Ｓ１１２のＮＯ）、出力データ決定部１１２は、ユーザが選択した静止画像データにフラグを立てて出力データ記憶部１２６に記憶する（Ｓ１１６）。

以上のように、本実施の形態におけるデジタルビデオカメラ１００によれば、複数の画像データを、同一場面を撮影した画像データごとにグループ分けした後に、各グループから出力すべき代表的な画像データを選択するので、動画像データの中から効率よく出力すべきシーンを選択することができる。

（第二の実施の形態）
本実施の形態では、デジタルビデオカメラで撮影された動画像データをパーソナルコンピュータ等を用いることなく印刷することのできる印刷装置について説明する。本実施の形態における印刷装置は、デジタルビデオカメラで同一場面を撮影した動画像データの中から、代表的なシーンを自動的に選択する機能を有する。

図４は、本実施の形態における印刷装置の構成を示すブロック図である。
印刷装置２００は、各種メディアに記憶された動画像データを取り込み、記憶部１１４に書き込む動画像データ取込部２０２と、分類処理部１０８と、静止画像データ選択部１１０と、出力データ決定部１１２と、表示処理部１１６、指示受付部１１８と、表示部１２０と、印刷部２１７とを有する。記憶部１１４は、動画像データ記憶部１２２と、分類済データ記憶部１２４と、出力データ記憶部１２６とを有する。

本実施の形態において、第一の実施の形態において図１を参照して説明したのと同様の構成要素には同様の符号を付し、適宜説明を省略する。

本実施の形態においても、第一の実施の形態と同様、分類処理部１０８は、複数の動画像データを同一場面を撮影した動画像データごとにグループ分けする。静止画像データ選択部１１０は、グループ分けされた動画像データの中から、出力すべき代表的な静止画像データを選択する。表示処理部１１６は、静止画像データ選択部１１０が選択した静止画像データを表示部１２０に表示する。指示受付部１１８は、ユーザから実際に印刷すべき静止画像データの指定を受け付ける。出力データ決定部１１２は、ユーザが選択した静止画像データを印刷する静止画像データとして決定する。印刷部２１７は、出力データ決定部１１２が決定した静止画像データをプリント写真として印刷する。

以上のように、本実施の形態における印刷装置２００によれば、複数の画像データを、同一場面を撮影した画像データごとにグループ分けした後に、各グループから印刷すべき代表的な画像データを選択するので、動画像データの中から効率よく印刷すべきシーンを選択することができる。

以上の実施の形態において、デジタルビデオカメラ１００および印刷装置２００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インターフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

なお、以上の実施の形態において、静止画像データ選択部１１０は、たとえばユーザが選択したモードに従って出力すべき静止画像データを選択すると説明したが、画像データ選択部１１０は、すべてのモードにおける静止画像データを選択することもできる。この場合、表示処理部１１６は、画像データ選択部１１０が選択した静止画像データを表示部１２０に表示して、ユーザからいずれの画像データを出力するかの選択を受け付けることができる。もとの動画像データに含まれるシーンによって、どのモードで静止画像データを選択したものがユーザの所望するものであるかが異なることがある。このようにすれば、すべてのモードで選択された静止画像データの中から、ユーザが所望する画像データを選択することができる。

また、静止画像データ選択部１１０は、各グループに分類された動画像データの中から、所定の時間間隔ごとに静止画像データを選択することもできる。この場合、表示処理部１１６は、静止画像データ選択部１１０が選択した静止画像データを表示部１２０に表示して、ユーザからいずれの画像データを出力するかの選択を受け付けることができる。これにより、ユーザが出力すべき画像データを選択する手間を大幅に省くことができるとともに、ユーザの所望の画像データを出力することができる。

また、他の例において、静止画像データ選択部１１０は、動画像データ記憶部１２２に記憶された各動画像データ、または分類済みデータ記憶部１２４に記憶された各動画像データの中から、所定の時間間隔ごとに静止画像データを抽出することができる。画像データ分類処理部１０８は、静止画像データ選択部１１０が抽出した複数の静止画像データを、それらの相関度に基づいてグループ分けすることができる。静止画像データ選択部１１０は、画像データ分類処理部１０８によりグループ分けされた各グループの静止画像データの中から、出力すべき画像データを選択する。

たとえば、結婚式の様子をデジタルビデオカメラで撮影する場合、新郎新婦を撮影した後、周囲の人を撮影したり会場内の様子を撮影した後、再び新郎新婦を撮影したりすることがよくある。このような場合に、デジタルビデオカメラで撮影した動画像データから適当にいくつかの出力すべき静止画像データを選択すると、新郎新婦が写ったシーンばかりが選択されてしまうようなことがある。上記の例のようにすれば、動画像データの中からいくつかの静止画像データを選択した後、それらを類似した静止画像データごとにグループ分けして、各グループから出力すべき静止画像データを選択するので、種々のシーンの画像を出力すべき画像データとして選択することができる。

本発明の実施の形態におけるデジタルビデオカメラの構成を示すブロック図である。 記憶部の内部構成の一例を模式的に示す図である。 本発明の実施の形態におけるデジタルビデオカメラにおいて、撮影された動画像データの中から出力すべき静止画像データを選択する処理手順を示すフローチャートである。 本発明の実施の形態における印刷装置の構成を示すブロック図である。

符号の説明

１００ デジタルビデオカメラ
１０２ 撮影部
１０４ 計時部
１０６ 動画像データ書込部
１０８ 分類処理部
１１０ 静止画像データ選択部
１１２ 出力データ決定部
１１４ 記憶部
１１６ 表示処理部
１１７ 出力部
１１８ 指示受付部
１２０ 表示部
１２２ 動画像データ記憶部
１２４ 分類済みデータ記憶部
１２６ 出力データ記憶部
２００ 印刷装置
２０６ 動画像データ取込部
２１７ 印刷部

Claims (4)

1. 被写体を撮影した複数の動画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の動画像データを、各前記複数の動画像データが撮影された時間軸で並べたときの、前後の前記動画像データ間のそれぞれ最後のシーンと最初のシーンとの相関度に基づき、当該前後の動画像データが同一場面を撮影した動画像データごとの同一グループに分類されるか否かを判断してグループ分けするグループ分け手段と、
   前記グループ分け手段によりグループ分けされた動画像データの中から、出力すべき静止画像データを選択する選択手段と、
   を含むことを特徴とする出力画像選択装置。
2. 請求項１に記載の出力画像選択装置において、
   前記選択手段は、グループ分けされた動画像データの最初のシーンを出力すべき静止画像データとして選択することを特徴とする出力画像選択装置。
3. 請求項１に記載の出力画像選択装置において、
   前記選択手段は、グループ分けされた動画像データを構成する複数の静止画像のうち、情報量の多い静止画像データを出力すべき画像データとして選択することを特徴とする出力画像選択装置。
4. 請求項１乃至３いずれかに記載の出力画像選択装置において、
   前記選択手段が選択した出力すべき静止画像データを表示する表示手段と、
   前記表示手段に表示された前記静止画像データを出力するか否かの指示を受け付ける指示受け付け手段と、
   前記指示受け付け手段が出力を受け付けた静止画像データを出力する出力手段と、
   をさらに含むことを特徴とする出力画像選択装置。

Images