WO2008001608A1

WO2008001608A1 - Dispositif de captage d'image et son procédé de commande, et dispositif de traitement d'informations, dispositif d'impression et procédé de génération de données d'impression

Info

Publication number: WO2008001608A1
Application number: PCT/JP2007/061869
Authority: WO
Inventors: Atsushi Takagi; Yasuyoshi Miyazaki
Original assignee: Canon Kabushiki Kaisha
Priority date: 2006-06-26
Filing date: 2007-06-13
Publication date: 2008-01-03
Also published as: CN101754033A; US8149286B2; CN101356805A; CN101356805B; JP2008005436A; US20090135257A1; JP4757113B2; CN101754033B

Description

明細書

撮像装置及びその制御方法、及び、情報処理装置、印刷装置、印刷データ生成方法

技術分野

[0001] 本発明は、撮像装置及びその制御方法、及び、情報処理装置、印刷装置、印刷データ生成方法に関し、更に詳しくは、撮像装置、情報処理装置、印刷装置における動画像の撮影及び印刷、及び撮像装置の制御方法、印刷データ生成方法に関する背景技術

[0002] 近年、簡単な操作で画像を撮影して、その撮影した画像をデジタル画像データ〖こ変換できるデジタルカメラやデジタルビデオカメラなどの撮像装置が広く使用されるようになつてきている。それに伴い、デジタルカメラやデジタルビデオカメラなどで撮影した静止画像や動画像を、 PCのディスプレイや TV等で見たり、ラボプリントサービスや家庭用のパーソナルプリンタで印刷する機会が増大している。

[0003] さらに、最近のデジタルカメラの高機能化により、静止画撮影だけでなぐ動画撮影機能を併せ持つものが普及してヽる。

[0004] この状況下において、従来はプリントショップでネガやインデックスプリントを使い、プリントしたいコマや枚数、日付プリントなどプリント作成のための情報を手書きで指定していた。近年では、これらの情報を自分のデジカメで設定し、メモリカードなどのリムーバブルメディアに直接記録することができるようになつている。この機能により、このリムーバブルメディアをプリンタに装着するだけで、指定どおりに自動的にプリントできるようになる。これは、デジタルカメラやプリンタ上で、デジタル画像を確認しながら一枚一枚印刷するよりも、時間と手間を節約することができ、ユーザの手間が軽減する。

[0005] 上述の機能を実現する為に、 DPOF (Ditigal Print Order Format)と呼ばれる規格が知られている。この DPOFは、上述したユーザのメリットを実現するために、プリント枚数、サイズ、日付の有無、タイトル、トリミング等の自動プリント情報を、画像ファイルとともにリムーバブルメディア内に格納し、印刷時に利用するようにしたフォーマットである。

[0006] 現在広く知られている DPOFは、静止画像を印刷対象とすることを前提としており、そのプリントの種類としては、例えば以下のものが用意されている。

Standard Print' ·' 1枚のプリントにレイアウトされる画像ファイルが 1個。

Index Printおよび Multiple Image Print' "1枚のプリントにレイアウトされる画像フアイルが複数。

Specific Size Print' ·'1枚のプリントにレイアウトされる画像ファイルが 1個、ただし画像サイズは指定したもの。

[0007] そして、自動プリント情報は、テキストファイルに格納され、その情報を格納するファィルは、 DPOFファイルと呼ばれている。

[0008] また最近は、 PCを介することなく、デジタルカメラ力プリンタにデジタル画像データを直接伝送して印刷することができるダイレクトプリントシステムが開発されている。また、デジタルカメラで撮影された画像をメモリカード等のメディアに記憶させ、このメディアを直接プリンタに装着し、メディアに記憶された画像を印刷するプリンタ等も開発されている。

[0009] 更に、静止画だけでなぐ動画中の一コマを印刷するという動画プリントに対する二ーズもあり、動画像を印刷対象とする技術は、例えば特許文献 1において提案されている。さらに、 DPOFで動画像を印刷処理の対象に含める技術は、例えば特許文献 2において提案されている。

[0010] また、特許文献 3では、フレーム間差分値が逐次計算されて、動画像のシーンの変わるタイミングを抽出することが開示されている。

[0011] 特許文献 1：特開 2004-040393号公報

特許文献 2 :特開 2001 -251573号公報

特許文献 3：特開 2004-080599号公報

発明の開示

発明が解決しょうとする課題

[0012] し力しながら、従来の発明では、動画像中の特定の 1フレームの画像に対し、エッジを強調したり明るさを補正したりするなど、通常考えられる画像補正を行ってから、印刷用の静止画像を作成していた。そのため、動画像特有の画像ノイズを除去するのが難し力た。また、特許文献 3のように動画像力もシーンの変わり目を抽出する為には、フレーム間の相関をいちいちチェックしなければならないため、処理に時間が力かるという問題があった。

[0013] また、静止画では、撮影情報がヘッダに格納されて！、たり、また、基本的には時間的に一瞬を切り取ったものであることから、静止画プリント時にはその一枚だけの情報から画像補正を行い、印刷する。

[0014] これに対し、動画プリントでは、時間的に連続する画像の中からある一枚を抜き出してプリントする。この場合、プリントしたい画像の時間的に連続した前後画像を用い、動領域'静領域に分けて 2種類の画像処理を行うといった技術や、フィールド画像からフレーム画像に拡大印刷する場合に画素補間を行う技術などが知られている。

[0015] これらの合成または補正を行うことで画像の解像度アップや感度アップを図ることは有効であり、被写体が静止しているならば、合成および補正に用いる画像は多いほどその効果は増す。し力しながら、動画撮影である以上、画角変化や露出変化が発生する可能性は非常に高い。そういったシーンの一枚を印刷しょうとした場合に、従来技術のままでは、画像に最適な補正をかけたり、画質向上を図ることは難しい。

[0016] 本発明は上記問題点を鑑みてなされたものであり、より確実且つ迅速に高画質な印刷用の動画像データを生成できるようにすることを目的とする。

課題を解決するための手段

[0017] 上記目的を達成するために、動画像の撮影が可能な本発明の撮像装置は、動画像の撮影時に、撮影した動画像の画像データと、当該動画像の撮影データとを記憶する記憶手段と、前記記憶手段に記憶された動画像を形成する複数コマの画像データから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、前記選択手段により選択されたコマの撮影条件に基づ!/ヽて、合成する画像数を決定する決定手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。 [0018] また、別の構成によれば、本発明の画像処理装置は、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、前記選択手段により選択されたコマの撮影条件に基づ!ヽて、合成する画像数を決定する決定手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。

[0019] また、別の構成によれば、本発明の印刷装置は、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、前記選択手段により選択されたコマの撮影条件に基づいて、合成する画像数を決定する決定手段と、前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。

[0020] また、本発明の印刷データ生成方法は、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを取得する取得工程と、前記取得した複数コマの画像データから、印刷するコマを選択する選択工程と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成工程と、前記選択工程で選択されたコマの撮影条件に基づ!、て、前記合成工程で合成する画像数を決定する決定工程とを有し、前記合成工程では、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。

[0021] また、別の構成によれば、動画像の撮影が可能な本発明の撮像装置は、動画像を撮影する撮像手段と、前記撮像手段により新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係を前記新たに取得したコマの画像データと共に記録媒体に記録する記録手段とを有する。

[0022] 更に別の構成によれば、本発明の画像処理装置は、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係を入力する入力手段と、前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、前記相関関係に基づいて、前記選択されたコマと相関関係を有する他のコマを抽出する抽出手段と、前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、前記合成手段により合成した印刷用の画像データを印刷装置に出力する出力手段とを有する。

[0023] 更に別の構成によれば、本発明の印刷装置は、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係を入力する入力手段と、前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、前記相関関係に基づいて、前記選択されたコマと相関関係を有する他のコマを抽出する抽出手段と、前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有する。

[0024] また、動画像の撮影が可能な撮像装置の本発明の制御方法は、撮像手段により動画像を撮影する撮影工程と、前記撮影工程で新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係を前記新たに取得したコマの画像データと共に記録媒体に記録する記録工程とを有する。

[0025] 更に別の構成によれば、本発明の印刷データ生成方法は、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係に関する情報を取得する取得工程と、前記取得した複数コマの画像データから、印刷するコマを選択する選択工程と、前記相関関係に基づいて、前記選択されたコマと相関関係を有する他のコマを抽出する抽出工程と、前記選択されたコマ及び前記抽出工程で抽出されたコマの画像データを合成して印刷用の画像データを生成する合成工程と、前記合成ェ程で合成した印刷用の画像データを印刷手段に出力する出力工程とを有する。

[0026] 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

[0027] 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。

[図 1]本発明の第 1の実施形態におけるシステムの構成を示すブロック図である。

[図 2]本発明の第 1の実施形態における撮像装置の動画像撮影処理を示すフローチヤートである。

[図 3]本発明の第 1の実施形態における動画像の印刷用静止画像の生成処理を示すフローチャートである。

[図 4]本発明の第 1の実施形態における記録媒体に記録された画像ファイルのディレクトリ構成の一例を示す図である。

[図 5]本発明の第 1の実施形態における記録媒体に記録された、動画像ファイルの構成の一例を示す図である。

[図 6]本発明の第 1の実施形態における動画像のフレーム画像と相関フラグとを示す模式図である。

[図 7]本発明の第 1の実施形態における印刷用静止画像の一例を示す図である。

[図 8]本発明の第 1の実施形態における記憶媒体に記録された、管理ファイルの構成の一例である。

[図 9]本発明の第 1の実施形態の変形例におけるシステムの構成を示す図である。

[図 10A]本発明の第 2の実施形態におけるシステムの構成を示すブロック図である。

[図 10B]本発明の第 2の実施形態におけるシステムの構成を示すブロック図である。

[図 11]本発明の第 2の実施形態における時系列的な露出変化を示す撮影データの一例を示す図である。

[図 12]本発明の第 2の実施形態におけるプリント画像指定のタイミングと露出変化の関係を示す図である。

[図 13]本発明の第 2の実施形態における動画像の印刷用静止画像の生成処理を示すフローチャートである。発明を実施するための最良の形態

[0028] 以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する

[0029] <第 1の実施形態 > 図 1は、本発明の第 1の実施形態におけるシステムの構成を示すブロック図であり、主に撮像装置 1及び印刷装置 3から構成される。

[0030] 撮像装置 1は、例えば、デジタルスチルカメラやデジタルビデオカメラなどであって、動画撮影が可能な撮像装置である。本第 1の実施形態における撮像装置 1において、 11はフォーカスレンズやズームレンズ等カゝら成るレンズ、 12は絞り機能を備えるシャッター（デジタルビデオカメラの場合は、絞り）、 13は CCDや CMOSセンサなどに代表される撮像素子である。

[0031] 14は二重相関サンプリング Zオートゲイン制御回路（CDSZAGC)、 15はデジタル信号処理回路、 16は少なくとも 2フレーム分の画像データを記憶可能な容量を有するフレームメモリである。なお、本第 1の実施形態では、後述するように撮像素子 13 力の 1回の読み出し動作で 1フレーム分の画像信号を読み出すものとして説明する 1S 1フィールド分の画像信号をインターレーススキャンにより読み出しても良いことは言うまでもない。また、フレームまたはフィールドに関わらず、 1回の読み出し動作で撮像素子 13から読み出される動画のことを「コマ」と呼ぶ。

[0032] 17はメインマイクロコンピュータ (メインマイコン)であり、撮像装置 1全体の動作を制御する。 18は画像バス、 19は画像コーデック、 20は画像コーデック 19により圧縮された画像データを、メモリカードやデジタルビデオテープ、 DVD等の着脱可能な外部記録媒体 29に記録したり、外部記録媒体 29から画像データを読み出す記録部である。

[0033] 21は液晶ディスプレイ (LCD)などの表示部、 22は表示部 21の表示制御を行う表示制御部である。 23は NTSCエンコーダ、 24はビデオ出力端子、 25は IEEE1394 規格や USB規格等の規格に準拠した通信インターフェース (IZF)である。 26は画像データ間の相関関係を判断する相関判断部、 28は、ボタン、スィッチ、ダイヤル、タツチパネル等力も構成される操作部である。

[0034] 印刷装置 3は、 CPU31、メモリ 32、内部バス 38、メモリカードや HDDなどの記憶媒体 33、操作パネルやプレビュー画面を表示する表示部 35と、表示部 35の表示制御する表示制御部 34とを含む。更に、外部との通信を行うための IEEE1394規格や U SB規格等の規格に準拠した通信 IZF部 37、印刷エンジン 36などを含む。 [0035] 撮像装置 1と印刷装置 3は通信ケーブル 2により接続され、印刷データの転送、各種制御データのやり取りを行う。なお、図 1に示す例では、ケーブルにより接続するものとしたが、本発明は通信規格や接続形態により限定されるものではない。例えば、通信 IZFが赤外線通信や Bluetooth規格等の通信規格に準拠した無線通信手段である場合には、無線により通信を行うように構成してもよい。また、撮像装置 1の記録媒体 29を、印刷装置 3の記憶媒体 33として装着し、記録媒体 29を介して印刷データ及び各種制御データのやり取りを行うこともできる。

[0036] ここで、本第 1の実施形態における、図 1に示す構成を有する撮像装置 1での動画像の撮像動作について、図 2のフローチャートを参照しながら説明する。

[0037] レンズ 11及びシャッター 12を介して入射した被写体光は、撮像素子 13に入射し、電気信号に変換される。ここで、操作部 28により動画像の記録が指示されると、撮像素子 13は、蓄積された電気信号をクリアして力も所定時間電気信号を蓄積した後、蓄積した電荷 (画像信号)を 1フレーム分読み出し、 CDSZAGC14に出力する。 C DSZAGC14は、得られた画像信号をサンプルホールドし、適正な信号レベルにする。 CDSZAGC 14によりレベル調整された画像信号に対してデジタル信号処理回路 15でデジタル信号処理を行い、生成された画像データをフレームメモリ 16の所定領域に記憶する (ステップ S11)。

[0038] 次に、ステップ S12において、 1フレーム前の画像データがフレームメモリ 16に存在するかどうかを判断する。フレームメモリ 16に 1フレーム分の画像データしか無い場合には、ステップ S11で取得した画像データが今回の動画撮影における初めての画像データであるため、ステップ S 11に戻る。 1フレーム前の画像データがフレームメモリ 16に存在する場合には (ステップ S12で YES)、ステップ S13に進み、相関判断部 26は今回取得した画像データと 1フレーム前の画像データとをフレームメモリ 16から読み出して、相関関係を判断する。なお、相関判断部 26は公知の方法を用いて相関関係を判断する。

[0039] 相関判断部 26による判断の結果、相関関係が所定レベルよりも高い場合には (ステツプ S14で YES)、相関フラグを Yに設定し (ステップ S16)、低い場合は (ステップ S 14で NO)、相関フラグを Nに設定する（ステップ S 15)。 [0040] 次に、ステップ S17において、画像コーデック 19は今回取得した画像データをフレームメモリ 16から読み出して動画像に適した方法で圧縮符号ィ匕し、記録部 20に圧縮符号化した画像データを転送する。記録部 20では、圧縮符号化した圧縮画像データを記録に適したフォーマットに変換して、相関判断部 26から得られる相関フラグと共に記録媒体 29に記録する。

[0041] 上記処理により 1フレーム分の画像データの記録が終了すると、ステップ S 18で、操作部 28により動画像の撮影終了が指示されているかどうかを判断し、指示されていれば、撮影処理を終了する。指示されていなければステップ S 11に戻って次のフレームの画像信号の読み込みを行う。なお、次のルーチンでは、前のルーチンで 1フレーム前の画像データが記憶されていたフレームメモリ 16の領域に、新しく読み出した画像データを記憶するように制御される。

[0042] このように、本第 1の実施形態では動画撮影時には、各フレームの画像データと、 1 フレーム前の画像データとの相関フラグが記録媒体 29に記録される。

[0043] 図 4は、記録媒体 29に記録された、画像ファイルのディレクトリ構成の一例を示す図である。図 4では、撮像装置 1が静止画像を撮影可能である場合に、撮影した静止画像および動画像を、同一の記録媒体 29に混在したまま格納した状態を示してヽる

[0044] 図 5は、記録媒体 29に記録された、動画像ファイルの概略構成を示す模式図である。図 2を参照して上述したように、撮像装置 1では予め各動画フレーム間の相関関係を調べ、動画像ファイルに各フレームの画像データを記録する際、各フレーム毎に、付属情報として相関フラグを追記している。

[0045] 次に、図 3を参照して、上述したようにして記録された動画像を印刷する際に行われる、撮像装置 1で行われる印刷用静止画像の生成処理について説明する。

[0046] まず、印刷する動画像のフレームがユーザーにより指示されるのを待つ（ステップ S 21)。ここでは、図 4に示すような画像ファイルが記録媒体 29に保存されている場合に、印刷したい動画像の画像ファイルを選択し、更に、選択した画像ファイルを再生しながら、印刷するフレームを選択する。

[0047] 例えば、図 6に示すような動画像のフレーム画像と、相関フラグとが記録されている場合、まず、シーンの変化点を抽出し、そのフレームで動画像を止める。ここでは、フレーム 2がフレーム 1との変化量が大きいため、フレーム 2で動画像を止める。その後、ユーザーはフレーム 2から 1フレームづっ表示画面を送りながら、各フレームの画像を表示部 21で確認してヽき、所望のフレームで操作部 28を操作して印刷を指定する。ここでは、ここでは例えばフレーム 3が印刷指定されたものとする。

[0048] 印刷指定されると、指定された動画像のフレームから、前の動画像のフレームの相関フラグを順次チェックしていき、連続する相関フレームの一番最初のフレーム番号 ( 相関開始フレーム）を検索する (ステップ S22)。ここでは、まず、指定されたフレームの相関フラグが γであるかどうかを確認する。 Nであれば、指定されたフレームを相関開始フレームと判断する。一方、 Yであれば、 1フレーム前の相関フラグを確認する。 1フレーム前の相関フラグが Nであれば、 1フレーム前のフレームが相関開始フレームと判断する。一方、 1フレーム前の相関フラグが Yであれば、 2フレーム前の相関フラグを確認する。この相関フラグの確認動作を相関フラグが Nのフレームに到達するまで繰り返し、相関フラグが Nのフレームを相関開始フレームであると判断する。そして、検索した相関開始フレームを記憶する (ステップ S23)。図 6に示す例では、相関開始フレームとして、フレーム 2を記憶する。

[0049] 次に、指定された動画像のフレームから、後の動画像のフレームの相関フラグを順次チックしていき、連続する相関フレームの一番最後のフレーム番号 (相関終了フレーム）を検索する（ステップ S24)。ここでは、まず、指定されたフレームの 1フレーム後のフレームの相関フラグが Yであるかどうかを確認する。 Nであれば、指定されたフレームを相関終了フレームと判断する。一方、 Yであれば、 2フレーム後の相関フラグを確認する。 2フレーム後の相関フラグが Nであれば、 1フレーム後のフレームが相関終了フレームであると判断する。一方、 2フレーム後の相関フラグが Yであれば、 3フレーム後の相関フラグを確認する。この確認動作を相関フラグが Nのフレームに到達するまで繰り返し、相関フラグが Nのフレームの 1つ前のフレームを相関終了フレームであると判断する。そして、検索した相関終了フレームを記憶する (ステップ S25)。図 6に示す例では、相関終了フレームとして、フレーム 5を記憶する。

[0050] 上記処理により、ステップ S21で印刷指定された動画像のフレームに対し、相関関係の高いフレームの範囲を求めることができる。図 6に示す例では、印刷指定されたフレーム 3に対し、フレーム 2〜5力相関関係の高いフレームとして求められる。

[0051] 次にステップ S26において、上記検出された範囲内（図 6の例ではフレーム 2〜5) の全てのフレームの画像データを合成する。これにより、所望の動画像のフレームの印刷用静止画像を生成することができる。

[0052] 図 7は、図 6に示す相関性の高い複数の動画像のフレーム（フレーム 2〜5)を合成して作成した、印刷用静止画像の一例を示す図である。動画の画像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、画像信号に含まれるノイズ成分には相関がない。そのため、画像合成として、例えば、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、ノイズ成分のみが小さくなるので、ノイズを低減することが可能になる。

[0053] 撮像装置 1は、このようにして生成した印刷用静止画像データを、通信 IZF25を介して印刷装置 3に送る。印刷装置 3では、通信 IZF37を介して受け取った印刷用静止画像データを印刷する。

[0054] 上記の通り、本第 1の実施形態によれば、動画像の記録時に相関関係を示す情報を各フレームの画像データと共に記録するため、記録時に素早く相関するフレームを抽出することができる。また、抽出したフレームの画像データを合成して印刷用静止画像を生成するので、動画像のシーンを、高画質且つ高速に印刷することが可能になる。

[0055] <第 1の実施形態の変形例 >

上記第 1の実施形態では、印刷用静止画像データを撮像装置 1で生成する場合について説明したが、印刷装置 3で生成するように構成しても良い。その場合には、図 3を参照して説明した処理を、印刷装置 3で行うようにすればょ、。

[0056] また、図 3を参照して説明した処理を、撮像装置 1と印刷装置 3とで分けて行うことも可能である。例えば、撮像装置 1でユーザーにより指定された印刷指定フレームを管理ファイルとして記録媒体 29に保持しておき、その管理ファイルを基にして、印刷装置 3で印刷用静止画像データを生成する。

[0057] 図 8は、記録媒体 29に記録された、管理ファイルの構成の一例を示す図である。 1 つのファイル「動画像ファイル A」に対し、複数の印刷指定箇所を記録することが可能である。これにより、 1度の印刷実行時に、複数の印刷箇所をまとめて印刷指定することができる。また、図 8に示すように、管理ファイルに相関フラグの情報を追記するようにしてもよい。この場合、動画像ファイルに相関フラグを埋め込まなくて済むため、実装が簡単になるというメリットがある。

[0058] また、図 3を参照して説明した処理を、撮像装置 1、印刷装置 3以外の画像処理装置において実行することも可能である。そのシステム構成の一例を図 9に示す。

[0059] 図 9では、撮像装置 1と印刷装置 3の間に画像処理装置 4が介在するところが図 1に示すシステムの構成と異なる。この構成において、撮像装置 1により記録された動画像ファイルを、記録媒体 29または通信 IZFを介して画像処理装置 4に入力し、画像処理装置 4で図 3に示す処理を行い、印刷用静止画像データを生成する。そして、生成した印刷用静止画像データを印刷装置 3に送る。

[0060] また、上記第 1の実施形態では、印刷指定されてから印刷用静止画像を作成していた。これに対し、撮像装置 1において、動画像撮影と同時に図 3のステップ S22〜 S 26で説明したアルゴリズムを用 Vヽて印刷用静止画を作成して動画データもしくは記憶媒体 23に記録するようにしても良い。この場合、印刷装置 3において任意の動画フレームが印刷指定されたときは、その動画フレームを用いて生成された印刷用静止画を単に呼び出して印刷する。これにより、印刷指定されてから印刷されるまでの時間を短縮し、生産性を高めることが可能となる。

[0061] <第 2の実施形態 >

次に、本発明の第 2の実施形態について説明する。

[0062] 図 10A及び図 10Bは本発明の第 2の実施形態におけるシステムの概略構成を示すブロック図であり、大きく分けて撮像装置 5 (図 10A)と印刷装置 8 (図 10B)力も構成されている。

[0063] 撮像装置 5において、 51はフォーカスレンズやズームレンズ等から成るレンズ、 52 は絞り機能を備えるシャッター（デジタルビデオカメラの場合は、絞り）である。 53は C CDや CMOSセンサなどに代表される撮像素子である。 60は撮像装置 5全体の動作を制御する制御部である。 61は制御部 60の指示を受けて、レンズ 51のフォーカスレンズを駆動して AF処理を行う AF処理部、 62は制御部 60の指示を受けて、絞りゃシャッタースピードを制御して AE処理を行う AE処理部である。

[0064] 54は撮像素子 53から出力されるアナログ画像信号をデジタル画像信号に変換する AZD変換部、 55は画像処理部であり、 AZD変換器 54により変換されたデジタル画像信号に対して所定の画素補間処理や色変換処理を行う。 56は、画像処理部 55 により処理された画像データを、例えば MPEGや JPEGなどの記録に適したフォーマットに変換するフォーマット変換部である。また、 58は画像データを一時的に蓄えるノッファ機能を有するメモリ、 57は画像記録部であり、フォーマット変換部 56によりフォーマット変換された画像データをバッファ 58に記録する。

[0065] 63はフラッシュ、 64は EF (Electric Flash)処理部、 59はボタンやスィッチ、タツチパネル、ダイヤルなど力も成る操作部である。 65は LCDなどの表示部、 66は撮像装置 5を他の機器と接続するための外部接続部である。

[0066] 67は動画用撮影データ作成部であり、動画撮影時の撮影データを生成する。なお、撮影データについては、詳細に後述する。 72は、撮影データを印刷装置 8に送信する撮影データ送信部である。

[0067] 68は、ノッファ 58に一時的に記憶された所定フォーマットの画像データを伸長する動画伸長部、 69はプリントする画像を決定するプリント用画像決定部である。 70は、プリント用画像決定部 69により決定されたプリントする画像データ (静止画)を再び圧縮する画像圧縮部、 71は、画像圧縮部 70により圧縮された画像データを印刷装置 8 に送信する画像送信部である。

[0068] 印刷装置 8において、 81及び 85はそれぞれ、撮像装置 5から送られた画像データ及び撮影データを受信する画像受信部及び撮影データ受信部である。 82は、画像受信部 81を介して受信した画像データを一時的に記憶する画像バッファ、 83は画像バッファ 82に記憶された画像データを伸長する画像伸長部である。また、 86は伸張された複数画像データの各露出値を演算する、前後画像露出値演算部である。 8 4は撮影データ受信部 85を介して受信した撮影データを用いて印刷に用いる補正値を決定するプリンタ用補正値算出部、 87は決定した補正値を用いて画像データに対して補正処理を行うプリンタ用画像処理部である。 88は、撮像装置 5の制御部 60 の制御に応じてプリンタを制御するプリンタ制御部、 89はプリンタ用画像処理部 87により処理された画像を印刷する印刷部である。

[0069] 次に、図 10A及び図 10Bを参照して、撮像装置 5における動画撮影時の処理について説明する。

[0070] 最初に操作部 59によりユーザーが動画撮影の指示をすると、制御部 60は AF処理部 61、 AE処理部 62へそれぞれ AF、 AE処理の指示を与え、レンズ 51、絞り機能を備えるシャッター 52が駆動し、最適な AF、 AE処理を行う。レンズ 51及びシャッター 5 2を通して撮像素子 53に入射した光はアナログ画像信号に変換され、更に AZD変換部 54によりデジタル画像信号に変換され、画像処理部 55へと送られる。上記処理は、動画撮影終了の指示が操作部 59から入力されるまで、所定周期で繰り返される。動画撮影終了の指示後には画像処理部 55から送られたデータのフォーマットをフォーマット変換部 ₅₆にて決定.作成し、画像記録部 57により動画ファイルをバッファ 5

8に保存する。

[0071] また、動画データと共に動画撮影時の撮影データも保存する。更に、本第 2の実施形態ではサムネイルファイル (動画ファイルとは別途保存)を作成するものとして説明を行う。そしてサムネイルファイルに、動画用撮影データ作成部 67により作成された撮影データを添付して記憶する。

[0072] サムネイルファイルに記載される撮影データとしては、例えば、絞り、シャッタースピード、 ISO感度、 Bv値、露出補正値、フラッシュ発光量、撮影シーン情報、測光重み情報などの露出条件や、角速度センサによる手ぶれ情報や、レンズ情報などがある。また、本第 2の実施形態では動画撮影を行うため、動画撮影中の時間的なパラメータの変化量も撮影データとする。例えば、動画撮影中には画角変化が起こり得るが、その場合、露出変化を伴うことがあるため、そういった変化データも撮影データに含む。しかしながら、全てのフレーム画像に対して露出情報を記憶するとデータ量が膨大なものとなる恐れがあるため、例えば、露出変化開始時間と終了時間の絞り Αν、シャツタースピード Τν、ゲイン Gainを記憶する。

[0073] 図 11は、撮影データの一例として、時系列的な露出変化を示すパラメータとしての輝度 Bv、絞り Αν、シャッタースピード Τν、ゲイン Gainの時間変化に伴う関係を示す図である。図 11の場合、第 1露出変化開始時刻は tll、第 1露出変化終了時刻は tl3 となる。同様に第 2露出変化開始時刻が tl4、第 2露出変化終了時刻が tl6となる。よつて露出安定区間は tl3〜tl4、 tl6〜tl7となる。これらの情報は動画プリント出力する際に用いられる。

[0074] また、時系列的な変化を示すパラメータとしては他にも、画角変化と被写体動作に関してもその変化開始時間、終了時間、変化量、ベクトルを記録する。画角変化にお V、ては角速度センサ、被写体動作にぉ、ては電子防振等で用いられて、る技術を用いる。

[0075] また、前記動画用撮影データ作成部 67により作成されるカメラ特性データには、一眼レフカメラのような交換レンズの情報も含まれる。そのレンズ情報の内容としては、名称 ·種類 ·設計値'ズームポジション' F値などの撮影データに加え、周辺光量落ちデータ ·色収差情報と、つた特性データをも含む。着脱交換可能なレンズの場合には、ダイレクト接続時にレンズ自体が保持して!/ヽる情報をカメラを介してプリンタ側に転送することも可能とする。

[0076] 上記のように露出変化、画角変化、被写体動作等の撮影データはサムネイル画像内に随時記録され、撮影終了時に動画データと共にフォーマット変換部 56にて変換され、画像記録部 57によりバッファ 58に記録される。

[0077] なお上記例では、露出変化データを動画データとは別途添付するサムネイルフアイルに添付するものとして説明した力これに限るものではなぐ動画の各瞬間の露出データをその動画データ自体に記録してもよ、。

[0078] 次に動画プリント時の処理について、図 12及び図 13を参照して説明する。

[0079] 図 12は、図 11に示すように露出変化が起きている動画像において、印刷指示を行つた場合のタイミングを示す図であり、図 13は、動画プリント処理を示すフローチヤ一トである。図 12に示す例では、 tl3〜tl4の間（指定画像 a)、 tl4〜tl5の間（指定画像 b)、 tl6〜tl7の間（指定画像 c)の動画フレームを印刷指定した場合を示している。

[0080] まず、ユーザーが表示部 65に動画ファイルの再生を行い、撮影した動画像から、印刷したい動画フレームをプリント用画像決定部 69によりプリント指定すると、プリンタ用画像処理部 87により図 13に示す処理が開始される。 [0081] ステップ S31において、プリント指定された動画フレームに撮影データが添付されているかどうかを判断する。撮影データとしては、上述したように、絞り（Av)、シャツタ一スピード (Τν)、ゲイン (Gain)などの露出変化や、画角、被写体動作が考えられる力ここでは露出変化として説明する。

[0082] 撮影データが無い場合には、ステップ S35に進んで印刷指定された動画フレームの前後 1フレーム分の動画フレームを選択し（合計 3フレーム）、ステップ S40へ進む

[0083] 撮影データがある場合には、印刷指定された動画フレームが露出安定区間のフレーム力どうかの判定を行う（ステップ S32)。図 12に示す例では、指定画像 a及び指定画像 cが露出安定区間に印刷指定された動画フレームである。露出安定区間に印刷指定された動画フレームで無い場合には、ステップ S36に進んで、印刷指定された動画フレームのみを選択し、ステップ S40へ進む。

[0084] ステップ S32で、印刷指定された動画フレームが露出安定区間にある場合には、ステツプ S33でシャッタースピード (Tv)が所定値 (ΤνΤΗ)よりも低ヽかどうかを判断する。シャッタースピードが遅いほど手振れが大きいことが考えられるので、 Tvく TvTH であればステップ S37に進んで、印刷指定された動画フレームの前後各 3フレームを選択し (合計 7フレーム）、ステップ S40に進む。

[0085] Tv≥TvTHであればステップ S34に進んで、ゲイン（Gain)が所定置（GainTH)よりも大きいかどうかを判断する。ゲインが大きいほどノイズが多くなるので、後述する画像合成において使用するフレーム数を多くし、ノイズを除去することが望ましい。従つて、 Gain > GainTHであればステップ S39に進んで、印刷指定された動画フレームの前後各 5フレームを選択する（合計 11フレーム）。また、 Gain≤ GainTHであればステップ S38で前後各 3フレームを選択して (合計 7フレーム）、ステップ S40に進む。

[0086] なお、上述したステップ S35〜S39における選択するフレーム数は一例であり、本発明はこれらのフレーム数に限られるものではない。また、選択するフレーム数を決定するためのパラメータは、 Tv、 Gainだけでなぐ絞りや画角変化量や被写体動作量ほか、撮影データ内の情報を用いてもよい。

[0087] ステップ S40では、ステップ S35〜S39のいずれかにより選択された動画フレームのうち、露出安定期間にある画像のみを選別し、ステップ S41において加算平均により合成処理する。そして、合成した画像データを画像送信部 71を介して、また、撮影データを撮影データ送信部 72を介して印刷装置 8に送信する (ステップ S42)。なお、印刷装置 8では、送信された画像データ及び撮影データを画像受信部 81及び撮影データ受信部 85を介してそれぞれ受信し、印刷を行う。

[0088] また、図 12に示す指定画像 a〜c (複数の画像)がー度に指定された場合には、指定フレーム画像の時間のみをー且保持し、プリント処理時に一括して処理を行う。時間指定された場合、画像記録部 57により再生動画ファイルのサムネイル画像を呼び出し、書き込まれている撮影データより露出変化情報とプリント指定時間の相関を取り、画像合成に使用する枚数を決定する。

[0089] <変形例>

上記第 2の実施形態では、図 4のステップ S35〜S40で印刷装置 8に送信するフレームを決定すると、該当する動画フレームを撮像装置 5側で合成し、合成した印刷用の静止画像を印刷装置 8に送信する場合について説明した。

[0090] し力しながら、決定された動画フレームを合成する処理を印刷装置 8において行つてもよく、その場合には、図 5のステップ S35〜S40で決定された動画フレームをそのまま印刷装置 8に送信し、印刷装置 8にお、て合成処理を行うようにしても良!、。

[0091] 上記第 2の実施形態においては、カメラ-プリンタのダイレクト接続時にユーザーにより画像補正処理が設定された場合のものであるが、 PC-プリンタ接続に関してもその要旨を逸脱しな、ものとする。

[0092] <他の実施形態 >

本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体 (または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ (または CPUや MPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体力も読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 [0093] また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなぐ以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているォペレ一ティングシステム（OS)などが実際の処理の一部または全部を行、、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、 ROM, RAM,磁気テープ、不揮発性のメモリカード、 CD-ROM, CD- R、 DVD,光デイスク、光磁気ディスク、 MOなどが考えられる。また、 LAN (ローカル'エリア'ネットヮーク）や WAN (ワイド 'エリア'ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

[0094] 本発明は上記実施の形態に制限されるものではなぐ本発明の精神及び範囲から離脱することなぐ様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

本願は、 2006年 6月 26日提出の日本国特許出願特願 2006- 175786を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims

請求の範囲

[1] 動画像の撮影が可能な撮像装置であって、

動画像の撮影時に、撮影した動画像の画像データと、当該動画像の撮影データとを記憶する記憶手段と、

前記記憶手段に記憶された動画像を形成する複数コマの画像データから、印刷するコマを選択する選択手段と、

動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、

前記選択手段により選択されたコマの撮影条件に基づ!/ヽて、合成する画像数を決定する決定手段とを有し、

前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする撮像装置。

[2] 前記撮影データは、絞り値、シャッタースピード、感度、輝度値、画角変化発生時刻および画角変化量、被写体動作発生時刻および被写体動作量の少なくともいずれ力 1つを含むことを特徴とする請求項 1に記載の撮像装置。

[3] 前記記憶手段は、前記撮影データを動画像の画像データに添付することを特徴とすることを特徴とする請求項 1又は 2に記載の撮像装置。

[4] 前記記憶手段は、前記撮影データを動画像の画像データと別のファイルとして記憶することを特徴とする請求項 1又は 2に記載の撮像装置。

[5] 前記決定手段は、前記選択されたコマの撮影条件が前後のコマと異なる場合に、合成する画像数を 0とすることを特徴とする請求項 1乃至 4のいずれか 1項に記載の撮像装置。

[6] 動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、

前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、

前記選択手段により選択されたコマの撮影条件に基づ!ヽて、合成する画像数を決定する決定手段とを有し、

前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする画像処理装置。

[7] 動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、

前記選択手段により選択されたコマの撮影条件に基づ!ヽて、合成する画像数を決定する決定手段と、

前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする印刷装置。

[8] 動画像の撮影が可能な撮像装置であって、

動画像を撮影する撮像手段と、

前記撮像手段により新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係を前記新たに取得したコマの画像データと共に記録媒体に記録する記録手段と

を有することを特徴とする撮像装置。

[9] 前記相関関係に基づいて、互いに関連するコマを示す情報を生成する生成手段を更に有し、

前記記録手段は、該生成された互いに関連するコマを示す情報を前記記録媒体に記録することを特徴とする請求項 8に記載の撮像装置。

[10] 前記相関関係に基づいて、互いに関連するコマの画像データを合成して合成画像データを生成する合成手段を更に有し、

前記記録手段は、前記合成画像データを前記記録媒体に記録することを特徴とする請求項 8又は 9に記載の撮像装置。

[11] 前記記録媒体に記録された動画像を形成する複数コマの画像データから、印刷するコマを選択する選択手段と、

前記相関関係に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、

前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、

前記合成手段により合成した印刷用の画像データを印刷装置に出力する出力手段と

を更に有することを特徴とする請求項 8乃至 10のいずれか 1項に記載の撮像装置。

[12] 動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係を入力する入力手段と、

前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、前記相関関係に基づいて、前記選択されたコマと相関関係を有する他のコマを抽出する抽出手段と、

を有することを特徴とする画像処理装置。

[13] 動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係を入力する入力手段と、

前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有することを特徴とする印刷装置。

[14] 動画像を形成する複数コマの画像データと、当該動画像の撮影データとを取得する取得工程と、

前記取得した複数コマの画像データから、印刷するコマを選択する選択工程と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成工程と、

前記選択工程で選択されたコマの撮影条件に基づ!ヽて、前記合成工程で合成する画像数を決定する決定工程とを有し、

前記合成工程では、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする印刷データ生成方法。

[15] 前記合成工程で合成された印刷用の画像データを印刷装置で印刷することを特徴とする請求項 14に記載の印刷データ生成方法。

[16] 動画像の撮影が可能な撮像装置の制御方法であって、

撮像手段により動画像を撮影する撮影工程と、

前記撮影工程で新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係を前記新たに取得したコマの画像データと共に記録媒体に記録する記録工程と

を有することを特徴とする制御方法。

[17] 前記相関関係に基づいて、互いに関連するコマを示す情報を生成する生成工程を更に有し、

前記記録工程では、該生成された互いに関連するコマを示す情報を前記記録媒体に記録することを特徴とする請求項 16に記載の制御方法。

[18] 前記相関関係に基づいて、互いに関連するコマの画像データを合成して合成画像データを生成する合成工程を更に有し、

前記記録工程では、前記合成画像データを前記記録媒体に記録することを特徴とする請求項 16又は 17に記載の制御方法。

[19] 動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係に関する情報を取得する取得工程と、前記取得した複数コマの画像データから、印刷するコマを選択する選択工程と、前記相関関係に基づいて、前記選択されたコマと相関関係を有する他のコマを抽出する抽出工程と、

前記選択されたコマ及び前記抽出工程で抽出されたコマの画像データを合成して印刷用の画像データを生成する合成工程と、

前記合成工程で合成した印刷用の画像データを印刷手段に出力する出力工程とを有することを特徴とする印刷データ生成方法。

[20] 前記合成工程で合成された印刷用の画像データを印刷装置で印刷することを特徴とする請求項 19に記載の印刷データ生成方法。

[21] コンピュータが実行可能なプログラムであって、前記プログラムを実行したコンビュータを、請求項 6又は 12に記載の画像処理装置として機能させることを特徴とするプログラム。

[22] コンピュータに、請求項 16乃至 18のいずれか 1項に記載の制御方法の各工程を実行させるためのプログラム。

[23] コンピュータに、請求項 14、 15、 19、 20のいずれ力 1項に記載の印刷データ生成方法の各工程を実行させるためのプログラム。

[24] 請求項 21乃至 23のいずれか 1項に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。