JP4719565B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関する。

従来、ＤＶＤなどの光ディスクに対して画像や音声を記録再生するディスクレコーダが知られている。

また、近年では、ビデオカメラで撮影した画像データをＭＰＥＧ方式で符号化し、ＤＶＤに記録するディスクビデオカメラも登場している。ディスクビデオカメラのうち、動画像に加え、静止画像の撮影機能を持つものもある。

しかし、通常のＤＶＤビデオプレーヤでは、静止画像の再生機能を持つものが少なく、ディスクに記録された静止画像を一般のＤＶＤプレーヤでは見ることができない。

そこで、ディスクに記録された静止画像データの各画面をスライドショーとして再生するよう、改めてＭＰＥＧ方式で符号化したストリーム（以下、フォトムービーと呼ぶ）を生成し、ＤＶＤに記録する。これにより、一般のＤＶＤプレーヤでも静止画像を確認可能とすることが考えられている（例えば、特許文献１参照）。

図６は、この様なフォトムービーの生成動作を示す図である。図６（a）はディスク上のデータを表しており、Ａ〜Ｅの各記号は図６（e）の表に示す各データが配置されている。Ａはディスクの内周と外周に配置されているディスクの管理データである。Ａは、どんなタイプのディスクであるか、また、ディスクの反射率などのディスク制御用の物理フォーマット情報や、ディスクにどんなデータが書かれているか、そのデータはディスク上のどこのアドレス位置にかかれているかの情報が書かれている。さらに、Ａは、ムービーのタイトルやチャプタといったムービーの情報などの管理情報、論理フォーマット情報が書かれている。Ｃは、ビデオデータであり、ユーザーが撮影して記録した動画クリップである。その動画クリップの情報がＢにあたり、それぞれのムービーの長さや、タイトルやチャプタなど、それぞれのビデオデータに対する制御情報、管理情報が書かれている。Ｄは静止画群が記録された領域であり、ここでは、図６（ｂ）のように複数枚の静止画が記録されているものとする。ここでフォトムービーを生成するような操作が行われると、Ｄに記録されている静止画が所定の順番に並べられて、所定のタイミングで読み出されて、ＭＰＥＧのＩフレーム部となるように符号化される。これにより、１枚の静止画がＮ秒ごとに切り替わる動画へとなり、図６（ｃ）に示すようなＭＰＥＧ等に変換される。さらに、ビデオデータ管理情報が付加されて、図６（ｄ）のように、ＭＯＶＩＥ３の後ろに、ＭＯＶＩＥ４として、フォトムービーが記録されたディスクとなる。

特開２００４−２０１１７０号公報

前述のように、ディスクに記録されている全ての静止画像データをＭＰＥＧデータに変換することで、静止画像データをスライドショーとして再生することができる。しかし、フォトムービーでは静止画像の各画面が動画データとなっているため、ユーザーが所望する静止画像を迅速に検索することができないという問題があった。

本発明はこの様な問題を解決し、静止画を動画に変換して記録する場合であっても、変換された動画の中から所望の静止画に対応する画面を容易に検索可能とすることを目的とする。

本発明の画像処理装置は、複数の静止画像データを用いて、前記静止画像データが記録された日付ごとに一つの動画データを生成する動画生成手段と、前記動画生成手段により前記日付ごとに生成された動画データを記録媒体に記録する記録手段とを備える。
また、本発明の画像処理方法は、複数の静止画像データを用いて、前記静止画像データが記録された日付ごとに一つの動画データを生成する動画生成ステップと、前記動画生成ステップにより前記日付ごとに生成された動画データを記録媒体に記録する記録ステップとを備える。

静止画像データを基に動画データを生成することにより、動画再生装置で再生が可能になる。また、生成された動画データの検索が容易になる。

以下、図面を参照しながら、本発明の実施形態について説明する。図１は、本発明の実施形態によるカメラ一体型の動画記録再生装置（画像処理装置）の構成例を表す図である。カメラの起動時には、プログラムフラッシュメモリ１１３内に圧縮されたプログラムは、プログラムメモリ１１２に解凍／展開され、ＣＰＵ１１１は、プログラムメモリ１１２内のプログラムにしたがって動作し、以後説明する各種の制御動作を行う。被写体からの光は、レンズ群１０１を通して撮像素子１０２に結像される。撮像素子１０２に結像された被写体象は光電変換されて、電気信号となる。撮像素子１０２からの光電変換画像は、所定の周期で読み出され、カメラ信号処理部１０３にて、標準的な画像信号になるように信号処理され、標準的なデジタル動画像として、画像メモリ１０４に一時的に蓄積される。それと同時に、このデジタル動画像はディスプレイ１０６へと送られ、現在撮像中の動画像が表示される（撮影待機状態）。撮影待機状態で、操作スイッチ１０５に含まれる撮影ボタン（未表示）を押すことで撮影が開始される。撮影が開始されると、前記画像メモリ１０４に一時的に蓄積された原動画像は、動画符号化回路１０８にて動画像の圧縮符号化がなされ（圧縮本動画像）、ＤＶＤ符号化回路１１５にて、ＤＶＤフォーマットに則した形式への符号化が行われる。その後に、ショックプルーフメモリ１１６をバッファとして一旦蓄積される。その後に、インターフェース１１０を通してＤＶＤディスク１０９に記録されていく。操作スイッチ１０５に含まれる撮影ボタンが再度押されると、記録終了となり、１カットの動画クリップの記録が終了する。

一方、上述の撮影待機状態で、静止画撮影ボタン（未表示）を押されると、前記画像メモリ１０４から読み出した画像は、静止画符号化回路１０７にて、静止画像としての圧縮符号化がなさる。その後に、ショックプルーフメモリ１１６を介してＤＶＤディスク１０９に記録される。

上述のカメラ一体型の動画記録再生装置を用いて、撮影した静止画からフォトムービーを作成する場合について、図２のフローチャートを参照しながら説明する。フォトムービーの作成を行うためとして、操作スイッチ１０５にてフォトムービー生成の操作がなされると、処理を開始する（Ｓ２００）。次に、ステップＳ２０１にてＣＰＵ１１１は、装置に装着された記録メディアを認識して、ＤＶＤが装着されている場合であれば、ＤＶＤディスク１０９から静止画ファイルを読み出す。そして、静止画ファイルの数、撮影日時や撮影機種等の静止画中の情報、また、静止画ファイルが記録されているファイルシステムを読み出して確認する。静止画の確認が終わるとステップＳ２０２にて、ステップＳ２０１にて得られた情報により、フォトムービーを作成するモードを４種類の中からユーザーに選択させる。ここでは、モード１〜モード４の４種類のモードから選択するようになっている。モード１は、日付ごとにフォトムービーを作成するモードである。モード２は、フォルダごとにフォトムービーを作成するモードである。モード３は、すべての静止画を一括して一つのフォトムービーにするモードである。モード４は、フォトムービーにする静止画を選択してフォトムービーにするモード（ファイル単位、またはフォルダ単位、または日付単位で選択可能）である。ステップＳ２０２で選択されたモードに従って、ステップＳ２０３では、静止画を読み出す順番を示すリストが一時的に生成される。ステップＳ２０４で操作ボタン１０５によって、事前に確認するための読み出しボタンが操作されると、ステップＳ２０５にて、このリストに従って静止画ファイルがＤＶＤディスク１０９より順次読み出されて 、ディスプレイ１０６に表示される。ユーザーはこれから作成されるフォトムービーのプレビューを行うことができる。この確認が終わったのちに、ステップＳ２０４で、フォトムービー作成用のボタン操作がなされると、ステップＳ２０６に移り、リストに従って読み出された静止画ファイルは、画像処理部１１４にてＶＧＡサイズなどの所定の画像サイズに順次変換される。変換された静止画像データは画像メモリ１０４に一時保存され、所定タイミングごとに読み出されて動画符号化回路１０８においてＭＰＥＧ符号化されて動画データとなる。さらにフォトムービー作成モードの各モードによって、後述する規定の条件に従ったタイトル及びチャプタ情報が生成される（Ｓ２０７）。さらにＤＶＤ符号化回路１１５によって、データはステップＳ２０７で生成されたタイトル、チャプタ情報を組み込んだＤＶＤビデオフォーマットに準じたファイルシステム及び論理フォーマットとなる。最後にステップＳ２０８において、記録のための８/１６変調や、エラー訂正符号化などを行った後に、ショックプルーフメモリ１１６を介して、ＤＶＤディスク１０９へ記録する。

なお、フォトムービーを生成するための静止画ファイルの記録媒体は、ＤＶＤディスクに限定されない。その記録媒体は、本装置に接続されていて、読み出し可能なハードディスクや光磁気ディスク等でも構わないし、FLASHメモリやSRAM／DRAM等の固体半導体メモリで構成されるランダムアクセス可能なメモリでも構わないのは言うまでも無い。

次に、図３、図４を用いて更に具体的に、フォトムービーの生成例についての詳細な説明を加える。図３は、ディスク上に記録されている静止画ファイルのフォルダの構成を表す図である。ルートにDCIMフォルダ（Ｄ３０１）が存在する。そのDCIMフォルダ内に、「100AABBB」フォルダ（Ｄ３０２）、「101ABCDE」フォルダ（Ｄ３０３）、「102XYZTX」フォルダ（Ｄ３０４）、そして「105AABBB」フォルダ（Ｄ３０５）が存在する。各フォルダにはそれぞれ複数枚の静止画が収められている。ここでは100AABBBフォルダの中には、IMG_0001.JPG 〜 IMG_0099.JPG（３０１〜３０５）で記した静止画ファイルが存在し、それぞれの撮影日時が図に示されている。また、105AABBBフォルダ（Ｄ３０５）にはIMG_0501.JPG 〜 IMG_0599.JPG（３０６〜３１０）で示した静止画ファイルが存在する。なお、図示しないが101ABCDEフォルダと、102XYZTXフォルダにも複数の静止画ファイルが格納されているものとする。このような静止画ファイルが存在する場合には、図２におけるステップＳ２０２からＳ２０３へ、下記手順に従って、図４に示すリストが生成される。
なお、本実施形態では、撮影した静止画ファイルを格納するフォルダをユーザが任意に選択できる構成となっている。

モード１の日付ごとにフォトムービーを作成するモードにおいては、まずＤＣＩＭフォルダ内のすべての静止画ファイルの撮影日時を確認し、日時順にソートして、図４に示すような日時別のリストを生成する。図４において、リスト１は撮影日時が、2004/11/03 となるもので、「100AABBB」フォルダ内の３０１〜３０５、105AABBBフォルダ内の３０６〜３０７の静止画が選択されて、時間順にリストされている状態を示している。同様にリスト２は撮影日時が、2004/11/05 となるもので、「105AABBB」フォルダ内の３０８〜３１０の静止画が選択されて、時間順にリストされている。このリストに従って各リストごとにフォトムービーとして動画が生成される。この動画を生成する過程において、静止画の撮影日時のうち、時間についての項目は、さらにチャプタとして利用されるため、各時間ごとのファイルの先頭にチャプタを示すマークを付加しておく。すなわち、図４リスト１中の４０１〜４０３は10時台の撮影のため、一つのチャプタとする。その他の静止画の場合も、リスト１については、４０４、４０５、４０６、４０７に、それぞれ10時、11時、15時、16時、20時としてチャプタとなる。同様にリスト２については、４０８、４０９、４１０において、それぞれ１２時、１４時、１８時のチャプタとなる。

モード２（フォルダごとにフォトムービー生成）時には、フォルダ検索して、フォルダ数と同数のリストが生成される。各フォルダ内の静止画枚数を認識すると、フォルダ内の静止画を撮影日時順に並べてリスト生成される。ここでフォルダ内の静止画の撮影日がすべて同じ日付であれば、上記モード１と同様に、時間ごとにチャプタとなる。一方、フォルダ内の静止画の撮影日時が異なる場合には、日付ごとにチャプタとなる。

モード３（記録メディア内の総静止画を一括してフォトムービー生成）時には、参照した記録メディアのＤＣＩＭフォルダ内のすべての静止画を日付順にしてムービーを生成する。また、静止画の撮影日付毎にチャプタを生成し、タイトル名をフォルダ名とする。

モード４（選択した画像のみフォトムービー作成）時には、ユーザーが選択した画像のみをリストに追加する。このとき、フォルダ単位や撮影日時単位での選択も行えるように、選択画面中での画像一覧表示は、選択単位切り替えボタンにより、フォルダ階層⇒撮影日単位⇒時単位⇒画像ファイル単位の順に切り替わり、再びフォルダ階層単位にもどる。その一覧表示中の各単位ごとに、選択された順にリストが生成される。ここでは同一の画像ファイルが繰り返して選択されても、選択された順にリストが生成されので、ムービー中に同一画像が繰り返し現れることになる。タイトル名、チャプタともに、ユーザーが任意に選択する。

以上のように各モードでリストが生成されると、そのリストに従って図５に示すようなフォトムービーが作成され、ディスク１０９に記録される。

図５（１）はモード１にて生成したフォトムービーであり、各日付ごとにムービーが生成されている。フォトムービー＃１は、１１月３日づけで撮影された図４のリスト１により作成されたフォトムービーＥで、タイトルとチャプタ情報が記されるビデオ管理データ部Ｂが付加されてディスクへ記録される。フォトムービー＃２も同様に、１１月５日づけの撮影画像によるフォトムービーＥであり、フォトムービー＃１と同様に、タイトル、チャプタ情報Ｂが付加されて記録されている。

図５（２）に示すのは、モード２により、フォルダごとにフォトムービーを生成したもので、フォトムービー＃５からフォトムービー＃８は、それぞれ図３中のＤ３０２〜Ｄ３０５のフォルダに対応したフォトムービーＥである。上述のモード２で説明したようにチャプタタイトルが付け加えられることで、図５（２）の表にあるようなタイトル、チャプタタイトルとなる。

以上のように、各モードによって、それぞれのフォトムービーのタイトル、チャプタに、元の静止画ファイルに付加されていた情報が使用される。この一覧を図７の表に示す。フォルダごとにフォトムービーを作成する場合には、タイトル名がフォルダ名、チャプタの単位はなしまたは、日付となる。撮影日ごとにフォトムービーを作成する場合は、撮影日がタイトル名となり、撮影時間がチャプタ単位となる。記録メディアごとに生成する場合には、記録メディア名かまたはタイトルはつかない。そしてチャプタ名はフォルダ名となる。任意選択のモードでは、ユーザーが自由に選択できる。

本実施形態では、４つのモードとしたが、静止画情報として利用できるものは、他にも、画像サイズ、シャッター速度も考えられる。画像サイズで分別したのちに、画像サイズが所定以上の静止画から生成する動画のサイズをハイビジョンにするモードや、シャッター速度やホワイトバランス、露出などの画像情報から生成する動画の輝度やカラー調整を行うモード等があってもよい。

以上のように、本実施形態では、複数の生成モードの中から１つを選択するモード選択手段と、前記選択された生成モードに応じて、記憶装置（記録媒体：ＤＶＤディスク）に記憶された静止画データを分類し、分類された静止画データ毎に１つの動画データを生成する動画生成手段とを有する。生成された動画データは、記録媒体に記録される。

モード１は、記録日（撮影日）単位生成モードである。前記動画生成手段は、前記記録日単位生成モードが選択されると前記静止画データの記録日毎に１つの動画データを生成する。管理データ生成手段は、前記記録日単位生成モードが選択されると、前記動画生成手段により生成された動画データのタイトル名を、記録日情報を基に生成する。また、前記管理データ生成手段は、前記記録日単位生成モードが選択されると、前記動画生成手段により生成された動画データのチャプタ名を、記録時間（撮影時間）情報を基に生成する。

モード２（フォルダ単位生成モード）では、本実施形態は、記憶装置（記録媒体）に記憶された静止画データを格納しているフォルダを認識するフォルダ認識手段と、１つの前記フォルダ内の静止画データを基に１つの動画データを生成する動画生成手段を有する。記録手段は、前記動画生成手段による生成された動画データを記録媒体に記録する。前記動画生成手段は、前記認識されたフォルダ毎に１つの動画を生成する。また、前記動画生成手段は、前記認識されたフォルダのうち、少なくとも１つ以上の選択したフォルダ毎に１つの動画データを生成してもよい。管理データ生成手段は、前記動画生成手段により生成された動画データのタイトル名を、前記フォルダ認識手段により認識されたフォルダ名を基に生成する。

モード３では、本実施形態は、静止画が記録されている複数の記録媒体を認識する記録媒体認識手段と、１つの記録媒体内の静止画を基に１つの動画を生成する動画生成手段とを有する。前記動画生成手段は、前記記録媒体認識手段により認識された記録媒体毎に１つの動画を生成する。管理データ生成手段は、前記動画生成手段により生成された動画のタイトル名を、前記記録媒体認識手段により認識された記録媒体情報を基に生成する。

モード４では、本実施形態は、記憶装置に記憶されている複数の静止画データの中から一部の静止画データを選択する静止画選択手段を有する。モード４は、選択生成モードである。前記動画生成手段は、前記選択生成モードが選択されると前記静止画選択手段により選択された静止画データを基に１つの動画データを生成する。

モード１〜モード４において、前記動画生成手段は、ＤＶＤ−ＶＩＤＥＯ形式、ＤＶＤ−ＶＲ形式又はＶＩＤＥＯ−ＣＤ形式で動画を生成する。

以上のように、本実施形態によれば、静止画の保管されているフォルダごとに動画を自動生成し、その生成された動画のタイトル名を静止画が保管されていたフォルダ名とすることで、動画の管理が非常にわかりやすくなり、ユーザーの利便性が向上する。

また、撮影日時などの静止画情報を動画の管理データとすることで、生成した動画のタイトルやチャプタが静止画と関連深くなることにより、視聴する際にシーンの検索能率が大幅に向上するという効果がある。

また、動画に変換したい静止画が複数のメディアにまたがって多数ある場合でも、メディア間に渡っての静止画から簡単に動画が生成でき、自動的に所定の分割方法で複数の動画を生成する。これにより、ユーザーが見たいシーンをすぐに再生できるというような利便性が向上するなどの効果がある。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態によるカメラ一体型動画記録再生装置の構成例を表す図である。 本実施形態を説明するフローチャートである。 静止画のツリー構造を示す図である。 本実施形態により生成されたリストを示す図である。 本実施形態により生成されたフォトムービーディスクの説明図である。 従来のフォトムービー生成の説明図である。 フォトムービー記録モードとタイトル、チャプタの関係一覧表を示す図である。

符号の説明

１０１ レンズ群
１０２ 撮像素子
１０３ カメラ信号処理部
１０４ 画像メモリ
１０５ 操作スイッチ
１０６ ディスプレイ
１０７ 静止画符号化／復号化回路
１０８ 動画符号化／復号化回路
１０９ ＤＶＤディスク
１１０ インターフェース
１１１ ＣＰＵ
１１２ プログラムメモリ
１１３ プログラムフラッシュメモリ
１１４ 画像処理部
１１５ ＤＶＤ符号化／復号化回路
１１６ ショックプルーフメモリ

Claims (12)

1. 複数の静止画像データを用いて、前記静止画像データが記録された日付ごとに一つの動画データを生成する動画生成手段と、
   前記動画生成手段により前記日付ごとに生成された動画データを記録媒体に記録する記録手段とを備える画像処理装置。
2. 前記動画生成手段は、前記日付ごとに前記複数の静止画像データがスライドショーとして再生されるように前記動画データを生成することを特徴とする請求項１記載の画像処理装置。
3. 前記記録媒体から前記複数の静止画像データと前記静止画像データが記録された日付を示す記録日情報とを再生する手段を備え、
   前記動画生成手段は、前記記録日情報に基づき、前記再生された静止画像データを用いて前記日付ごとに一つの動画データを生成することを特徴とする請求項１または２記載の画像処理装置。
4. 前記動画生成手段は、前記記録媒体に記録された複数の静止画像データを用いて前記日付ごとに一つの動画データを生成するモードと、前記記録された日付を単位として前記記録媒体に記録された複数の静止画像データの中から選択された一部の静止画像データを用いて前記選択された日付ごとに一つの動画データを生成するモードとを有することを特徴とする請求項３記載の画像処理装置。
5. 前記動画生成手段は、前記複数の静止画像データの記録日の情報に基づいて前記複数の静止画像データを日付ごとに分け、日付ごとに分けられた前記静止画像データを用いて、前記静止画像データが記録された日付ごとに一つの前記動画データを生成することを特徴とする請求項１記載の画像処理装置。
6. 前記動画生成手段は、前記静止画像データの記録日を前記動画データのタイトル名とすることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 複数の静止画像データを用いて、前記静止画像データが記録された日付ごとに一つの動画データを生成する動画生成ステップと、
   前記動画生成ステップにより前記日付ごとに生成された動画データを記録媒体に記録する記録ステップとを備える画像処理方法。
8. 前記動画生成ステップは、前記日付ごとに前記複数の静止画像データがスライドショーとして再生されるように前記動画データを生成することを特徴とする請求項７記載の画像処理方法。
9. 前記記録媒体から前記複数の静止画像データと前記静止画像データが記録された日付を示す記録日情報とを再生するステップを備え、
   前記動画生成ステップは、前記記録日情報に基づき、前記再生された静止画像データを用いて前記日付ごとに一つの動画データを生成することを特徴とする請求項７または８記載の画像処理方法。
10. 前記動画生成ステップは、前記記録媒体に記録された複数の静止画像データを用いて前記日付ごとに一つの動画データを生成するモードと、前記記録された日付を単位として前記記録媒体に記録された複数の静止画像データの中から選択された一部の静止画像データを用いて前記選択された日付ごとに一つの動画データを生成するモードとを有することを特徴とする請求項９記載の画像処理方法。
11. 前記動画生成ステップは、前記複数の静止画像データの記録日の情報に基づいて前記複数の静止画像データを日付ごとに分け、日付ごとに分けられた前記静止画像データを用いて、前記静止画像データが記録された日付ごとに一つの前記動画データを生成することを特徴とする請求項７記載の画像処理方法。
12. 前記動画生成ステップは、前記静止画像データの記録日を前記動画データのタイトル名とすることを特徴とする請求項７から１１の何れか１項に記載の画像処理方法。

Images