JP4865528B2

JP4865528B2 - 画像処理装置、画像処理装置の制御方法、プログラム

Info

Publication number: JP4865528B2
Application number: JP2006341130A
Authority: JP
Inventors: 幸男金窪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-12-19
Filing date: 2006-12-19
Publication date: 2012-02-01
Anticipated expiration: 2026-12-19
Also published as: US20080144126A1; CN101207670B; CN101207670A; JP2008154047A

Description

本発明は、動画データに含まれるフレームを静止画データとして切り出す処理を実行する画像処理装置、画像処理方法、プログラム、記憶媒体に関するものである。

近年、家庭用デジタルビデオカメラの普及、ハイビジョンに代表される高画質なテレビ映像、インターネット上の豊富な動画コンテンツなど、さまざまな動画データが身近に存在するようになってきた。また、プリンタも高画質化、低価格化が進み多くの家庭に普及している。このような環境においては、動画データの中の１シーンを静止画像として簡単に且つきれいに印刷したいという要望がある。

従来から、動画データの中の１シーンを静止画像として印刷することは可能であった。具体的には、デジタルビデオカメラにおいて動画データを撮影する際に、動画データを構成する複数の画像フレームの中から、ユーザが任意に指定した画像フレームに対して印刷用のフラグを付加しておく。これにより、フラグが付加されたフレームを後で簡単に選択して印刷することができる（例えば、特許文献１）。

さらに上記特許文献１記載の技術によれば、フラグを付加するフレームを選択する際に、連続する各フレームにおける画像の変化の度合いが所定レベル以上になったことを検知し、その結果に応じて該当するフレームにフラグを付加することも可能となっている。

また、動画データを撮影する際に各フレームに対応付けて、撮影時にカメラ装置が検知した手ぶれの程度を示す情報を記録しておいて、この情報に基づいて手ぶれの影響の少ないフレームを特定して静止画データとして切り出すことも可能となっている（例えば、特許文献２）。
特開２００５−２２９２３７号公報特開２００５−１９７９１０号公報

しかしながら、動画データの映像は被写体の動きやレンズのズーミングなどの要因により、撮影中にも被写体に対するピント合わせ（フォーカシング）が頻繁に行われている場合がある。そのため、動画データにおける特定のシーンを静止画データとして切り出して印刷する場合に、選択されたフレームの画像がピント合わせ動作中に撮影されたものであれば、ピントが合っていない画像が印刷されてしまうことになる。また、撮影中に被写体が動いたためにブレてしまった画像が選択されてしまう場合も考えられる。

一方、上述したように、各フレームに対応付けて撮影中の手ぶれの程度を示す情報を記録しておけば、手ぶれの影響が小さいフレームを自動的に選択することはできる。しかしながら、全ての動画データにこの情報が記録されているとは限らず、手ぶれの程度を示す情報を記録する機能を備えていない機器を用いて撮影された動画データから静止画データを切り出す場合には対応することができない。

また、そもそもピント合わせの動画を行っている場合に必ずしも手ぶれが発生しているとは限らず、撮影時の手ぶれの程度を示す情報を用いただけでは、ピント合わせ動作を行っているときに撮影されたフレームを特定することは不可能である。さらに、撮影中に被写体が動いてしまったことにより画像がブレてしまう場合もまた、上記の先行技術では対応できない。

従って、上述したような問題を避けるためには、ユーザが動画データをコマ送りするなどして細かくチェックし、各フレームの画像の内容を目で見て確認しながら探し出すという大変煩雑な作業が必要となる。特に、長時間に及ぶ動画データから印刷するフレームを選択する場合や、多数のフレームを選択して印刷する場合には、このように手作業で画像の内容の確認を行うのは非常に効率が悪い。

本発明は、上記の問題点に鑑みなされたものであり、動画データに含まれる複数のフレームの中から、明瞭度の高い画像を有するフレームを簡単に選択することができる画像処理装置、画像処理方法、プログラム、記憶媒体を提供することを目的とする。

上記の目的を達成するために本発明の画像処理装置は、連続する複数のフレームからなる動画データを記憶する記憶手段と、前記動画データに含まれるフレームの画像に基づいて、当該画像の明瞭度を判定する判定手段と、前記動画データに含まれる第１のフレーム及び第２のフレームについて、各フレームにおける画像に基づいて前記判定手段により判定された明瞭度を比較する比較手段と、前記比較手段による比較の結果に基づいて、前記第１のフレーム及び前記第２のフレームのうち、より明瞭度が高い画像を有するフレームを選択する選択手段と、前記選択手段により選択されたフレームを静止画データとして切り出す切出手段と、前記動画データに含まれるフレームの画像のうち、前記判定手段による明瞭度の判定を行う領域を指定する領域指定手段を備え、前記判定手段は、前記領域指定手段により指定された領域の画像について前記各フレームの画像の明瞭度を判定することを特徴とする。

本発明によれば、動画データに含まれる複数のフレームの中から、より明瞭度が高い画像を有するフレームを簡単に選択することができる。

以下に、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明における画像処理装置として用いられるＭＦＰ（マルチファンクションペリフェラル）１００のシステムブロック図を示す。

制御部１１０は、画像入力デバイスであるスキャナ１３０や画像出力デバイスであるプリンタ１４０と接続されており、画像情報の入出力を制御する。また一方で、制御部１１０はＬＡＮ１９０やＰＳＴＮ（公衆回線）に接続されており、動画データまたは静止画データを含む画像情報や、デバイス情報などの入出力を制御する。

ＣＰＵ１１１は、ＭＦＰ１００の動作を制御するものであり、ＲＡＭ１１２に格納されたプログラムに基づいて動作する。ＲＡＭ１１２はまた、画像データを一時的に記憶するための画像メモリでもある。ＲＯＭ１１３はブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ（ハードディスクドライブ）１１４は、システムソフトウェア、画像データ、ＭＦＰ１００の動作を制御するためのプログラム等を格納している。ＨＤＤ１１４に格納されたプログラムがＲＡＭ１１２にロードされ、ＣＰＵ１１１はこれに基づいてＭＦＰ１００の動作を制御する。

操作部Ｉ／Ｆ１１５は、操作部１５０と制御部１１０を接続するインターフェースであって、操作部１５０に表示するための画像データを操作部１５０に出力する。また、操作部１５０からユーザが入力した情報をＣＰＵ１１１に伝達する。ネットワークＩ／Ｆ１１６はＬＡＮ１９０に接続されて、各種情報の入出力を司る。Ｍｏｄｅｍ１１７は、ＰＳＴＮに接続されて、画像情報などの入出力を司る。

音声出力ユニットは、ＨＤＤ１１４に格納された動画データや音声データを再生する場合に、音声情報をスピーカー１６０に出力する。無線ＬＡＮＩ／Ｆ１１９は、赤外線通信などの無線通信を行って、携帯電話やノートパソコン、デジタルカメラなどの携帯端末１８０と動画データや静止画データの送受信を行う。無線ＬＡＮＩ／Ｆ１１９を介して受信した動画データや静止画データは、ＨＤＤ１１４内の後述するユーザボックスに保存される。メモリ１２０は、ＨＤＤ１１４と同様に動画データや静止画データを記憶する。なおこのメモリ１２０は、着脱可能な外部記憶装置であってもよい。

ＩｍａｇｅＢｕｓＩ／Ｆ１２１は、ＩｍａｇｅＢｕｓを介して画像データの高速な入出力を制御するためのインターフェースである。ＲＩＰ（ラスターイメージプロセッサ）部１２３は、ホストＰＣ１７０からＬＡＮ１９０及びネットワークＩ／Ｆ１１６を介して受信したＰＤＬコードをビットマップイメージに展開する。

スキャナ画像処理部１２５は、スキャナ１３０において原稿から読み取られた画像データに対して画像補正を行う。プリンタ画像処理部１２６は、プリンタ１４０へ出力される画像データに対して画像補正を行う。

画像変換部１２４は、ＲＡＭ１１２に記憶された画像データに対して画像変換を行う。具体的には、画像に対して回転処理、解像度変換処理などの処理を行う。またさらに画像変換部１２４は、２値画像を多値画像に変換したり、逆に多値画像を２値画像に変換したりする処理も行う。

図２は、ＭＦＰ１００の操作部１５０の外観図を示す。液晶操作パネル部２００はタッチパネルシートを備えた液晶表示装置であって、各種設定を行うための操作画面及び入力された設定情報の表示を行う。また、液晶操作パネル部２００はＨＤＤ１１４に格納された動画データを再生して表示したり、静止画データのプレビューを表示したりすることもできる。タッチパネルを用いてユーザが指示を入力した場合は、ユーザが触れた場所の位置情報を検知して、対応する指示内容が操作部Ｉ／Ｆ１１５を介してＣＰＵ１１１に伝えられる。

スタートキー２１０は、スキャナ１３０による読取動作やプリンタ１４０による印刷動作の開始を指示するためのハードキーである。スタートキー２０１の内部には緑色および赤色のＬＥＤが組み込まれており、動作開始可能な状態の場合には緑色のＬＥＤが、エラーなどにより動作開始不可能な状態の場合には赤色のＬＥＤが点灯する。ストップキー２０２は、動作の停止を指示するためのハードキーである。

ハードキー群２０３には、コピー部数などの数値を入力するためのテンキーや、設定を全てリセットするためのリセットキー、及びユーザモードに移行させて各種装置設定を行うためのユーザモードキーなどが含まれている。

図３は、液晶操作パネル部２００に表示される操作画面であって、ＭＦＰ１００の電源を入れた場合にデフォルト画面として表示されるＣＯＰＹ基本画面を示している。ＭＦＰ１００は、ＣＯＰＹモード、ＳＥＮＤモード、ＢＯＸモード、ＳＣＡＮモードの４つのモードを備えている。

ＣＯＰＹモードは、スキャナ１３０で原稿上の画像を読み取って入力し、プリンタ１４０で印刷出力する複写動作を行うためのモードである。ＳＥＮＤモードは、スキャナ１３０から入力された画像データまたはＨＤＤ１１４に予め格納された画像データを、ＬＡＮ１９０またはインターネットを介して、電子メールなどにより宛先に送信するためのモードである。ＢＯＸモードは、ボックスに格納された各種データを処理（編集・印刷・送信など）するためのモードである。なお、ボックスとはＨＤＤ１１４上の記憶領域が各ユーザにそれぞれ割り当てられたユーザボックスのことである。ＳＣＡＮモードは、スキャナ１３０を用いて原稿上の画像を読み取って入力し、ボックスに格納したりＬＡＮ１９０を介してホストＰＣ１７０に送信したりするためのモードである。

上述した各モードは、モードボタン３０１〜３０４を選択することにより切り替えられる。図３に示す例では、ＣＯＰＹモードが選択された状態の画面が表示されており、ボタン３０５〜３１０を用いて、それぞれ拡大／縮小、排紙方法選択、両面／片面指定、用紙サイズ選択、文字／写真指定、濃度指定の設定をユーザが行う。

図３に示すＢＯＸモードボタン３０３が選択された場合には、各ユーザに割り当てられたユーザボックスの属性情報がリスト表示されるユーザボックス一覧画面（図示しない）が表示される。そして、ユーザボックス一覧画面に表示されたユーザボックスリストの中から、いずれかのユーザボックスが選択された場合には、図４に示すファイル一覧画面が表示される。

図４は、ユーザボックス一覧画面で選択されたユーザボックスに格納されているファイルの属性情報をリスト表示するファイル一覧画面を示す。ファイル名表示欄４０１には、各ファイルの名称が表示される。ファイルタイプ表示欄４０２には、各ファイルのタイプを示す情報が表示される。ＨＤＤ１１４には、静止画データ（ｉｍａｇｅ）だけでなく、動画データ（ｍｏｖｉｅ）や音声データ（ｓｏｕｎｄ）を格納することができる。格納日時表示欄４０３には、各ファイルがボックスに格納された日時を示す情報が表示される。

ユーザボックスに格納されている各ファイルに対して各種処理を実行する場合には、表示されているファイルのいずれかを選択した状態で、ボタン４１１〜４１３のいずれかを押下する。なお、少なくとも１つのファイルが選択されていない限り、ボタン４１１〜４１３を選択することはできない。ファイルを選択する場合には、所望のファイルのファイル名が表示された領域にユーザが触れることにより選択することができる。ファイルが選択されると、選択されたファイルの属性情報が表示された領域の背景色が変化し、選択されたことが分かる。

図４に示す例では、「ＢｉｒｔｈｄａｙＰａｒｔｙ」という名称の動画データが選択されていることが分かる。なお、ここで選択できるファイルは１つに限らず、複数のファイルを同時に選択することもできる。複数のファイルが選択された場合には、それぞれのファイルの属性情報が表示された領域の背景色が変化する。

いずれかのファイルが選択された状態で表示ボタン４１１が選択されると、選択されたファイルの内容を確認することができる。具体的には、選択されたファイルが静止画データの場合には、画像のプレビューが表示される。また、選択されたファイルが音声データの場合には、音声がスピーカー１６０から出力される。選択されたファイルが動画データの場合には、動画が再生表示されるとともに、スピーカー１６０から音声が出力される。なお、複数のファイルが選択されている場合には、最初に選択されたファイルから順番に表示または再生される。

いずれかのファイルが選択された状態で印刷ボタン４１２が押下されると、選択されたファイルをプリンタ１４０から印刷する処理を行う。但し、選択されたファイルが動画データである場合には、動画データに含まれる複数のフレームの中から印刷すべき画像を有するフレームを選択して印刷処理を行う。この印刷処理の詳細については後述する。また、音声データを印刷することはできないので、選択されたファイルが音声データである場合には、警告メッセージが表示される。

いずれかのファイルが選択された状態で送信ボタン４１３が選択されると、選択されたファイルを電子メールに添付して指定された宛先に送信する処理を行う。なお、この送信処理は静止画像データに限らず、動画データや音声データに対して処理を行うことも可能である。また、複数のファイルが選択されている場合には、１つの電子メールに選択された複数のファイルが添付されることになる。

＜動画データの印刷処理＞
いずれかのファイルが選択された状態で印刷ボタン４１２が押下されると、選択されたファイルをプリンタ１４０から印刷する処理を行う。このとき、選択されたファイルが静止画データである場合には、印刷条件設定画面（図示しない）を用いて入力された印刷条件に従って印刷処理を実行する。

一方、選択されたファイルが動画データである場合には、動画データに含まれる複数のフレームの中から印刷すべき画像を有するフレームを選択し、選択されたフレームの画像を静止画データとして切り出してから、切り出した静止画データの印刷処理を実行する。なお、ここで印刷すべき画像を有するフレームを選択する際に、第１の実施形態では、ユーザから指定されたフレームの画像と、このフレームの近傍に位置する他のフレームの画像とを比較して、より明瞭度が高い画像を自動的に選択する機能を備えている。

図５は、複数のフレームからなる動画データの構成を模式的に示した図である。「ＢｉｒｔｈｄａｙＰａｒｔｙ．ａｖｉ」という名称の動画データ（．ａｖｉはファイル拡張子）は、１秒間に３０フレームが切り替わる（つまり、フレームレート３０）ので、図５に示すように１秒間のデータとして３０枚のフレームが含まれている。

動画データを構成する各フレームには、動画データを再生した場合にそれぞれのフレームが再生される時刻に基づいて、タイムコード情報が付加されている。図６は、タイムコード情報を詳細に説明するための図である。

図６に示すようにタイムコード情報は４つの部分に分かれており、左から順に時間（ｈｏｕｒ）（６０１）、分（ｍｉｎｕｔｅ）（６０２）、秒（ｓｅｃｏｎｄ）（６０３）、フレーム数（６０４）を示している。フレーム数６０４は、各秒に含まれるフレームのうち前から何番目かを示す情報であって、フレームレート３０の動画データであれば１〜３０のうちいずれかの値が入ることになる。例えば、１２０分ちょうどの動画データであれば、最初のフレームには（００：００：０１：０１）というタイムコード情報が、また最後のフレームには（０２：００：００：３０）というタイムコード情報が付加されていることになる。

図５に示すように、「ＢｉｒｔｈｄａｙＰａｒｔｙ．ａｖｉ」には（０１：３５：２７：１７）というタイムコード情報５０１を有するフレーム５０２が含まれていることが分かる。第１の実施形態では、静止画データとして切り出して印刷するフレームとして、ユーザからこのフレーム５０２が指定された場合を例にして説明する。

図４に戻り、「ＢｉｒｔｈｄａｙＰａｒｔｙ」が選択された状態で、印刷４１２が選択されると、図７に示すフレーム指定画面が表示される。図７において、動画データ表示領域７００には、動画データに含まれている各フレームの画像が表示される。タイムコード情報表示領域７１１には、動画データ表示領域７００に表示されているフレームに対応するタイムコード情報が表示される。シークバー７１２は、動画データ表示領域７００に表示されているフレームに関して、動画データ全体からみた相対的な位置を示している。

ユーザは、ボタン群７１３のそれぞれのボタンを選択することにより、再生・停止・早送り・巻戻し・コマ送りなどを指示して、印刷したいフレームの画像を探すことができる。静止画データとして切り出して印刷したいフレームを選択するには、所望のフレームを動画データ表示領域７００に表示した状態で動画データの再生を一時停止しておいて、印刷実行ボタン７１４または自動選択ボタン７１５のいずれかを押下する。

ここで、印刷実行ボタン７１４及び自動選択ボタン７１５の違いについて説明する。印刷実行ボタン７１４は、ユーザが指定したフレームをそのまま印刷する場合に押下する。一方、自動選択ボタン７１５は、ユーザが指定したフレームの画像の明瞭度と、指定されたフレームの近傍に位置するフレームの画像の明瞭度とを比較して、より明瞭度が高い画像を有するフレームを自動的に選択して印刷する場合に押下する。

つまり、例えばタイムコード０１：３５：２７：１７のフレーム５０２が動画データ表示領域７００に表示された状態で自動選択ボタン７１５が押下された場合には、フレーム５０２を基準にして前後０．５秒間分のフレームがそれぞれ比較される。具体的には、タイムコード０１：３５：２７：０２〜０１：３５：２８：０２に対応するフレームについて、各フレームの画像の中から最も明瞭度が高い画像を有するフレームが自動的に選択される。なお、この０．５秒間という値については、ＭＦＰ１００のユーザモードなどにおいて、ユーザが自由に設定することが可能となっている。

なお、本発明の実施形態では画像の明瞭度の判定方法として、画像のピント状態を認識して、よりピントが合っている画像がより明瞭度の高い画像であると判定する。画像のピント状態を判定する方法としては、公知の技術を用いる。即ち、例えば特開２００３−２６２９０９号公報に記載された技術を用いて、画像における被写体のエッジの状態を検出し、このエッジの先鋭度、長さ、方向などに基づいてピント状態を判定することができる。また、特開２００５−１４８８６０号公報に記載された技術を用いて、各画像の輝度情報を用いてピント状態を判定するようにしてもよい。また、これら以外の画像のピント状態を判定する方法のいずれを採用してもよい。さらに、画像の明瞭度を判定する方法であればピント状態を認識する方法以外の方法を用いても良い。

フレーム５０２を基準にして前後各１５枚ずつのフレームの画像のうち、最も明瞭度が高い、即ち最もピントが合っている画像を有するフレームが特定されると、図８に示すフレーム決定画面が表示される。第１の実施形態では、上述したような方法を用いて最もピントが合っている画像を有するフレームを特定した後で、さらにこの特定したフレームに連続する所定数のフレームの画像を選択候補として液晶操作パネル部２００に表示するようにしている。

これは、最もピントが合っていると判定された画像であっても、ユーザが所望するレイアウトでなかったり、被写体が目をつぶってしまっていたりする場合には、印刷を望まない可能性がある。このような場合に、最もピントが合っていると判定した画像を有するフレーム及びこのフレームの近傍に位置する他のフレームの画像についても選択候補として表示する。これにより、ユーザは自動的に選択されたフレームの画像を確認するとともに、適切なフレームを選択することが可能となる。

図８には、最もピントが合っていると判定した画像を有するフレーム及びこのフレームから前後２フレーム以内に位置するフレームの画像を表示した場合のフレーム決定画面を示す。表示領域８０１には、最もピントが合っていると判定した画像が表示され、さらにこの画像のフレームの前後２フレーム以内に位置するフレームの画像がそれぞれ選択候補として表示領域８０２〜８０５に表示されている。

このフレーム決定画面にサムネイル形式で表示された各フレームの画像の中から、ユーザは所望の画像を選択して印刷実行ボタン７１４を押下すれば、動画データの中から選択されたフレームが静止画データとして切り出される。そして、切り出された静止画データに基づいて印刷用の画像データが生成され、プリンタ１４０により印刷処理が実行される。なお、このように選択候補を表示してユーザに確認させるステップを経ずに、最もピントが合っていると判定された画像をそのまま印刷するようにしても構わない。

図９は、動画データに含まれる複数のフレームの中から、よりピントが合っている画像を有するフレームを特定してユーザに選択させる一連の処理を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

まず、ステップＳ９０１において、ユーザから印刷ボタン４１２が押下されたかどうかを判定する。印刷ボタン４１２が押下された場合は、ステップＳ９０２に進む。印刷ボタン４１２以外のボタンが押下された場合には、各ボタンに対応する処理を実行する。

ステップＳ９０２では、図４に示すファイル一覧画面において、複数のファイルが選択されているかどうかを判定する。ここで、ファイルが１つだけ選択されていると判定した場合には、ステップＳ９０３に進み、選択されたファイルのタイプを判定する。選択されたファイルが動画データである場合にはステップＳ９０５へ、また静止画データである場合にはステップＳ９１４に進む。

ステップＳ９０２で複数ファイルが選択されていると判定した場合、またはステップＳ９０３で音声データが選択されていると判定した場合には、ステップＳ９０４に進み、警告メッセージを表示してステップＳ９０１に戻る。

ステップＳ９０５では、ボタン群７１３を用いたユーザの指示に基づいて、選択された動画データを再生・停止・一時停止・早送り・巻戻し・コマ送りして表示する。続くステップＳ９０６では、印刷実行ボタン７１４が押下されたかどうかを判定する。ここで、印刷実行ボタン７１４が押下されたと判定した場合には、ステップＳ９０７に進み、動画データ表示領域７００に表示された画像を静止画データとして切り出す。

一方、印刷実行ボタン７１４が押下されていないと判定した場合には、ステップＳ９０８に進み、自動選択ボタン７１５が押下されたかどうかを判定する。ここで、自動選択ボタン７１５が押下されたと判定した場合は、ステップＳ９１０に進み、動画データ表示領域７００に表示された画像に対応するフレームを基準として前後１５フレームについてピント状態の判定を行う。そしてこの判定の結果に基づいて、比較対象となる３０フレームの画像の中から最もピントが合っている画像を有するフレームを特定し、この特定されたフレーム及び前後２フレームの画像を選択候補として液晶操作パネル部２００にサムネイル表示する。

続くステップＳ９１２では、選択候補として表示された画像のいずれかがユーザにより選択されて、印刷実行ボタン７１４が押下されたかどうかを判定する。印刷実行ボタン７１４が押下されたと判定した場合は、ステップＳ９１３に進み、選択された画像を静止画データとして切り出す。

ステップＳ９１４では、それぞれ印刷対象として選択された静止画データを、ユーザの指示に従ってプリンタ１４０により印刷する。

一方、ステップＳ９０８で、自動選択ボタン９１５が押下されていないと判定した場合は、ステップＳ９０６に進み、完了ボタン７１６が押下されたかどうかを判定する。ここで、完了ボタン７１６が押下されたと判定した場合は、印刷処理を終了する。完了ボタン７１６が押下されていない場合には、ステップＳ９０５に戻り、動画データの再生・停止・一時停止・早送り・巻戻し・コマ送りを続けるとともに、実行ボタン７１４〜７１６のいずれかが押下されるまで待機する。

以上のように、第１の実施形態によれば、ユーザから指定されたフレーム及びこのフレームの周囲に位置するフレームの画像のピント状態を判定し、この判定の結果に基づいて各画像を比較して、よりピントが合っている画像を有するフレームを選択する。これにより、ピントが合っている画像のフレームを探すために煩雑な作業を必要とせず、ユーザの手間を省くことができる。

また、最もピントが合っていると判定した画像のフレームの画像とともに、このフレームの近傍に位置するフレームの画像を選択候補として表示して、ユーザに印刷処理を実行する画像を選択させるようにしている。これにより、最もピントが合っていると判定した画像だけでなく、この画像の前後に撮影された画像をユーザが確認することもでき、さらに使い勝手がよくなる。

（第２の実施形態）
次に、本発明における第２の実施形態について説明する。第１の実施形態では、ＭＦＰ１００のＨＤＤ１１４内に格納された動画データに含まれる複数のフレームの中からユーザがいずれかのフレームを指定し、このフレームに基づいてピント状態の判定処理を行っている。

これに対して、第２の実施形態では、携帯端末に記憶された動画データに含まれる複数のフレームの中からユーザが携帯端末を操作していずれかのフレームを指定する。そしてＭＦＰ１００は、この指定されたフレームを識別する情報とともに、携帯端末から動画データを受信して、指定されたフレームに基づくピント状態の判定処理を行って、よりピントが合っている画像を有するフレームを静止画データとして切り出して印刷する。

第２の実施形態では、上述した携帯端末１８０の例としてデジタルカメラを用いて説明する。図１０は、デジタルカメラ１８０のシステムブロック図を示す。制御部１０１０は、操作部１０５０やカメラ部１０６０と接続されており、各種情報の入出力を制御する。

ＣＰＵ１０１１は、デジタルカメラ１８０の動作を制御するものであり、ＲＡＭ１０１２に格納されたプログラムに基づいて動作する。ＲＡＭ１０１２はまた、画像データを一時的に記憶するための画像メモリでもある。ＲＯＭ１０１５はブートＲＯＭであり、システムのブートプログラムが格納されている。メモリ１０１６は、システムソフトウェア、画像データ、デジタルカメラ１８０の動作を制御するためのプログラム等を格納している。メモリ１０１６に格納されたプログラムがＲＡＭ１０１２にロードされ、ＣＰＵ１０１１はこれに基づいてデジタルカメラ１８０の動作を制御する。

操作部Ｉ／Ｆ１０１３は、操作部１０５０と制御部１０１０を接続するインターフェースであって、操作部１０５０に表示するための画像データを操作部１０５０に出力する。また、操作部１０５０からユーザが入力した情報をＣＰＵ１０１１に伝達する。

カメラ部１０６０は撮像機能を有しており、カメラ部１０６０で撮影した静止画データまたは動画データはカメラ部Ｉ／Ｆ１０１４を介して制御部１０１０に入力される。無線ＬＡＮＩ／Ｆ１０１７は、赤外線通信などの無線通信を行って、ＭＦＰ１００に対して動画データや静止画データの送信する。

図１１は、カメラ部１０６０を用いて撮影した動画データに含まれるフレームをユーザが指定するとともに、この動画データをＭＦＰ１００に送信するデジタルカメラ１８０側の一連の処理を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１０１０のＣＰＵ１０１１がメモリ１０１６に格納されたプログラムに基づいて実行するものとする。

まずステップＳ１１０１において、ユーザから動画データを印刷するモードが選択されたかどうかを判定する。動画データを印刷するモードが選択されたと判定した場合にはステップＳ１１０２に進み、そうでない場合にはそれぞれ対応する処理を行う。

ステップＳ１１０２では、選択された動画データをユーザの指示に基づいて再生・停止・一時停止・早送り・巻戻し・コマ送りして表示する。続くステップＳ１１０３では、ユーザから印刷の実行が指示されたかどうかを判定する。ここで、印刷の実行が指示されたと判定した場合には、ステップＳ１１０４に進み、操作部１０１５に表示されている画像に対応するフレームに印刷指定フラグを付加する。

ステップＳ１１０３で印刷の実行が指示されていない場合、またはステップＳ１１０４で印刷指定フラグを付加した後は、ステップＳ１１０５に進み、動画データ印刷処理の終了が指示されたかどうかを判定する。ここで、動画データ印刷処理の終了が指示されていない場合には、ステップＳ１１０２に戻る。一方、動画データ印刷処理の終了が指示された場合には、ステップＳ１１０６に進み、印刷指定フラグが付加されたフレームを含む動画データをＭＦＰ１００に送信して終了する。

図１２は、デジタルカメラ１８０から受信した動画データに含まれる複数のフレームのいずれかを静止画データとして切り出して印刷するＭＦＰ１００側の一連の処理を明確に記述したフローチャートである。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

まずステップＳ１２０１において、デジタルカメラ１８０から動画データを受信したかどうかを判定する。動画データを受信したと判定した場合には、ステップＳ１２０２に進み、動画データに含まれている複数のフレームの中からフレームを１つ取り出す。続くステップＳ１２０３では、取り出したフレームに印刷指定フラグが付加されているかどうかを判定する。

ステップＳ１２０３において、印刷指定フラグが付加されていると判定した場合にはステップＳ１２０４に進み、このフレーム及びこのフレームの周囲に位置するフレームの画像のピント状態を判定して比較する。そして、ステップＳ１２０５で、比較した画像の中から最もピントが合っている画像のフレームを静止画データとして切り出す。なお、この画像のピント状態に基づいて各フレームの画像を比較して、よりピントが合っている画像を有するフレームを選択する処理は第１の実施形態と同様である。

ステップＳ１２０６では、ステップＳ１２０５で切り出した静止画データを、プリンタ１４０により印刷する。そして、ステップＳ１２０７では、受信した動画データに含まれる全てのフレームについて処理を行ったかどうかを判定し、未処理のフレームがあればステップＳ１２０２に進む。全てのフレームについて処理が済んでいれば終了する。

以上のように、第２の実施形態によれば、印刷すべきフレームが指定された状態で外部端末（デジタルカメラ）から動画データを受信した場合に、ＭＦＰ１００において自動的にピントが合っているフレームを選択して印刷することができる。

なお、ＭＦＰ１００における自動選択の処理を行うかどうかを、デジタルカメラ側で指定できるようにしてもよい。また、外部端末はデジタルカメラでなくともよく、カメラ機能を備えていないノートパソコンなどであってもよい。さらに、各フレームのピント状態の判定及び画像の比較の処理をデジタルカメラ側で行うようにしてもよい。この場合は、最もピントが合っていると判定された画像のみがＭＦＰ１００に送信される。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態では、ユーザにより指定されたフレームを基準に前後０．５秒分のフレームの画像についてピント状態に基づく判定を行った。これに対して第３の実施形態では、動画データに含まれる各フレームの画像におけるシーンの切り替わりを検知する機能を更に備え、ユーザにより指定されたフレームの画像と同じシーンの画像の中から、よりピントが合っている画像を選択するようにしている。

第１の実施形態のように、基準とするフレームから所定時間以内に位置するフレームの画像を比較対象とした場合には、最もピントが合っている画像として、ユーザが指定した画像とは全く異なる画像が選択されてしまう場合がある。この場合、たとえピントが合っている画像であったとしても、そもそもユーザが印刷しようとした画像とは異なるため、印刷しても全く意味がなくなってしまう。

そこで、第３の実施形態では、画像のピント状態の比較を行う対象を、ユーザから指定された画像と同じシーンの画像とすることにより、ユーザが印刷を希望した画像に類似する画像の中からよりピントが合っている画像を自動的に選択することができる。

なお、動画データの各フレームの画像におけるシーンの切り替わりを検知する方法は、公知の技術を用いる。即ち、例えば特開２００４−３６１９８８号公報に記載されているように、各フレームにおける画像の特徴量をそれぞれ抽出し、連続するフレームそれぞれについて抽出した特徴量を比較していく。このとき、画像内の特定のオブジェクト（人物の顔など）から抽出した特徴に注目することにより、シーンの切り替わりを検知することが可能となっている。なお、動画データ中におけるシーンの切り替わりを検知するための方法はこの方法に限らず他の方法を用いてもよい。

図１３は、ユーザから指定された画像と同じシーンの画像を有するフレームの中から、よりピントが合っている画像を有するフレームを自動的に選択する一連の処理を明確に記述したフローチャートである。このフローチャートは図９に示すステップＳ９１０〜Ｓ９１３の各処理に対応している。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

まず、ステップＳ１３０１において、上述した方法を用いて動画データの各フレームの画像におけるシーンの切り替わり箇所を検知する。ステップＳ１３０２では、ステップＳ９０９でユーザから指定されたフレームの画像と同じシーンの画像を有するフレームを抽出する。

そして、ステップＳ１３０３において抽出された各フレームの画像について、ピント状態の判定を行うとともに各画像の比較を行い、ステップＳ１３０４において、比較した各フレームの中から最もピントが合っている画像を有するフレームを選択する。続く、ステップＳ１３０５では選択したフレームを静止画データとして切り出して、ステップＳ９１４に進む。

以上のように、第３の実施形態では、動画データの各フレームの画像におけるシーンの切り替わりを考慮して比較対象とするフレームを抽出するようにしている。これにより、ユーザの意図に沿った画像を有するフレームの中からピントが合っている画像を有するフレーム選択することが可能となる。

（第４の実施形態）
次に、本発明における第４の実施形態について説明する。第１の実施形態では、ユーザにより指定されたフレームを基準に前後０．５秒分のフレームの画像についてピント状態に基づく判定を行った。これに対して第４の実施形態では、ユーザからフレームの指定を受け付けるとともに、指定されたフレームの画像に含まれるオブジェクトのうち、いずれかのオブジェクトの指定を受け付ける。そして、指定されたオブジェクトを含む画像の中から、よりピントが合っている画像を選択するようにしている。

そこで、第４の実施形態では、画像のピント状態の比較を行う対象を、ユーザから指定されたオブジェクトを含む画像とすることにより、ユーザが印刷を希望した画像に類似する画像の中からよりピントが合っている画像を自動的に選択することができる。

なお、動画データ中のフレームの画像におけるオブジェクトが選択された場合に、選択されたオブジェクトを含む画像を有するフレームを抽出する方法は以下の通りである。即ち、ユーザにより指定された画像から抽出した特徴量に基づいて、画像の領域分割を行って各オブジェクトを区別する。そして、区別された各オブジェクトがそれぞれ表示されたオブジェクト選択画面において、ユーザからオブジェクトの指定を受け付ける。

図１４は、ユーザから指定されたオブジェクトを含む画像を有するフレームの中から、よりピントが合っている画像を有するフレームを自動的に選択する一連の処理を明確に記述したフローチャートである。このフローチャートは図９に示すステップＳ９１０〜Ｓ９１３の各処理に対応している。なお、このフローチャートにおける一連の動作の制御は、制御部１１０のＣＰＵ１１１がＨＤＤ１１４に格納されたプログラムに基づいて実行するものとする。

まず、ステップＳ１４０１において、上述した方法を用いてユーザから指定されたフレームの画像を領域分割して、各オブジェクトを区別する。続くステップＳ１４０２において、図１５に示す画面を用いて、ユーザからオブジェクトの指定を受け付ける。ステップＳ１４０３では、ステップＳ１４０２でユーザから指定されたオブジェクトを含む画像を有するフレームを抽出する。

そして、ステップＳ１４０４において抽出された各フレームの画像について、ピント状態の判定を行うとともに各画像の比較を行い、ステップＳ１４０５において、比較した各フレームの中から最もピントが合っている画像を有するフレームを選択する。続く、ステップＳ１４０６では選択したフレームを静止画データとして切り出して、ステップＳ９１４に進む。

以上のように、第４の実施形態では、ユーザにより指定されたオブジェクトを含む画像を有するフレームを比較対象として抽出するようにしている。これにより、ユーザの意図に沿った画像を有するフレームの中から、よりピントが合っている画像を有するフレーム選択することが可能となる。

（第５の実施形態）
次に、本発明における第５の実施形態について説明する。第１の実施形態乃至第４の実施形態では、比較対象の全てのフレームの画像のピント状態を判定して比較を行っている。この場合、比較対象のフレームの数が多くなってしまうと、ＣＰＵ１１１にかかる処理の負荷が大きくなってしまい、処理が遅くなってしまうことが考えられる。そこで、第５の実施形態では、ピント状態の判定及び比較の処理を以下のように二段階に分けて行う。

即ち、第一段階として比較対象のフレームの中から所定の時間間隔毎にフレームを１つずつ抽出する。そして、ここで抽出された各フレームの画像についてピント状態の判定及び比較の処理を行い、最もピントが合っている画像を有するフレームを選択する。

そして、第二段階として第一段階で選択したフレームを基準として、前記所定の時間間隔内の各フレームの画像についてピント状態の判定及び比較の処理を行い、最もピントが合っている画像を有するフレームを選択する。このようにして選択されたフレームを静止画データとして切り出して印刷処理を実行する。

以上のように、第５の実施形態によれば、比較対象の全てのフレームの画像についてピント状態の判定及び比較の処理を行わずに済むので、ＣＰＵ１１１に対する負荷を軽減することができる。

（第６の実施形態）
次に、本発明における第６の実施形態について説明する。第１の実施形態では、動画データに含まれる各フレームの画像全体についてピント状態の判定を行っていた。これに対して第６の実施形態では、各フレームにおける画像領域のうちピント状態の判定を行う対象とすべき領域を、ユーザが指定することを可能としている。

ピント状態の判定を行う対象領域の指定は、ＭＦＰ１００のユーザモードにおいて図１６に示す領域指定画面を用いて予め設定しておく。図１６に示す例では、４分割された画像領域の中からいずれかの領域をユーザが選択する。この領域の指定が行われた場合は、上述した各フローチャートにおいてピント状態の判定を行うにあたり、指定された領域を対象とした判定が行われる。

なお、画像領域の分割方法はこれに限らず、ユーザに任意の大きさの領域を指定できるようにしてもよい。また、領域の指定はユーザモードで行うのではなく、動画データの印刷処理を行うたびにその都度ユーザによる指定を受け付けるようにしてもよい。

なお、以上の第１の実施形態乃至第６の実施形態において説明した各機能はそれぞれ単独で備えるようにしてもよいし、それぞれ組み合わせて備えるようにしてもよい。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

本発明の実施形態におけるＭＦＰ１００のシステムブロック図である。本発明の実施形態における操作部１５０の外観図である。本発明の実施形態における操作部１５０に表示されたＣＯＰＹ基本画面を示す図である。本発明の実施形態における操作部１５０に表示されたファイル一覧画面を示す図である。本発明の実施形態におけるＨＤＤ１１４に保存された動画データの構成を示す模式図である。本発明の実施形態におけるタイムコード情報を説明する図である。本発明の実施形態における操作部１５０に表示されたフレーム指定画面を示す図である。本発明の実施形態における操作部１５０に表示されたフレーム決定画面を示す図である。本発明の実施形態における動画データにおける複数のフレームの中から、よりピントが合っている画像を有するフレームを特定して印刷する動作を説明するフローチャートである。本発明の実施形態におけるデジタルカメラ１８０のシステムブロック図である。本発明の実施形態における印刷するフレームを指定した動画データを送信する動作を説明するフローチャートである。本発明の実施形態における印刷するフレームを指定した動画データを受信して印刷する動作を説明するフローチャートである。本発明の実施形態における各フレームの画像におけるシーンの切り替わりを考慮してピント状態を比較する動作を説明するフローチャートである。本発明の実施形態におけるユーザからのオブジェクトの指定を考慮してピント状態を比較する動作を説明するフローチャートである。本発明の実施形態における操作部１５０に表示されたオブジェクト指定画面を示す図である。本発明の実施形態における操作部１５０に表示された領域指定画面を示す図である。

符号の説明

１００ＭＦＰ（マルチファンクションペリフェラル）
１１０制御部
１１１ＣＰＵ
１１２ＲＡＭ
１１３ＲＯＭ
１１４ＨＤＤ（ハードディスクドライブ）
１１５操作部
１３０スキャナ
１４０プリンタ

Claims

連続する複数のフレームからなる動画データを記憶する記憶手段と、
前記動画データに含まれるフレームの画像に基づいて、当該画像の明瞭度を判定する判定手段と、
前記動画データに含まれる第１のフレーム及び第２のフレームについて、各フレームにおける画像に基づいて前記判定手段により判定された明瞭度を比較する比較手段と、
前記比較手段による比較の結果に基づいて、前記第１のフレーム及び前記第２のフレームのうち、より明瞭度が高い画像を有するフレームを選択する選択手段と、
前記選択手段により選択されたフレームを静止画データとして切り出す切出手段と、
前記動画データに含まれるフレームの画像のうち、前記判定手段による明瞭度の判定を行う領域を指定する領域指定手段を備え、
前記判定手段は、前記領域指定手段により指定された領域の画像について前記各フレームの画像の明瞭度を判定することを特徴とする画像処理装置。
前記判定手段は、前記動画データに含まれるフレームの画像のピント状態を認識し、よりピントが合っている画像をより明瞭度の高い画像であると判定することを特徴とする請求項１に記載の画像処理装置。
前記判定手段は、前記画像に含まれるオブジェクトの境界部におけるエッジを検出し、検出したエッジの状態に基づいて前記ピント状態を判定することを特徴とする請求項２に記載の画像処理装置。
前記切出手段により切り出された静止画データを印刷する印刷手段を更に備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記複数のフレームのうち、少なくとも１つのフレームを前記第１のフレームとしてユーザが指定するフレーム指定手段と、
前記複数のフレームの中から、前記指定されたフレームとの再生時間の差が予め定められた時間以内であるフレームを前記第２のフレームとして抽出する第１の抽出手段と、
を更に備えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記複数のフレームのうち、少なくとも１つのフレームを前記第１のフレームとしてユーザが指定するフレーム指定手段と、
前記複数のフレームの中から、前記指定されたフレームの画像と類似する画像を有するフレームを前記第２のフレームとして抽出する第２の抽出手段と、
を更に備えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記動画データに含まれるフレームの画像における複数のオブジェクトのいずれかをユーザが指定するオブジェクト指定手段と、
前記複数のフレームの中から、前記指定されたオブジェクトを含む画像を有するフレームを前記第２のフレームとして抽出する第３の抽出手段と、
を更に備えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記複数のフレームのうち、前記選択手段により選択されたフレームから予め定められた範囲内に位置する他のフレームを、前記切出手段による切り出しを行うフレームの候補として表示する表示手段を更に備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
連続する複数のフレームからなる動画データに含まれるフレームの画像に基づいて、当該画像の明瞭度を判定する判定ステップと、
前記動画データに含まれる第１のフレーム及び第２のフレームについて、各フレームにおける画像に基づいて前記判定ステップで判定された明瞭度を比較する比較ステップと、
前記比較ステップにおける比較の結果に基づいて、前記第１のフレーム及び前記第２のフレームのうち、より明瞭度が高い画像を有するフレームを選択する選択ステップと、
前記選択ステップにおいて選択されたフレームを静止画データとして切り出す切出ステップと、
前記動画データに含まれるフレームの画像のうち、前記判定ステップにおける明瞭度の判定を行う領域を指定する領域指定ステップを備え、
前記判定ステップでは、前記領域指定ステップで指定された領域の画像について前記各フレームの画像の明瞭度を判定することを特徴とする画像処理装置の制御方法。
請求項９に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラム。