JP5683291B2 - 動画再生装置、方法及びプログラム並びに記録媒体 - Google Patents

Description

本発明は、動画再生装置、方法及びプログラム並びに記録媒体に関する。

動画を処理する動画処理装置には、動画のブレ補正を行う装置が広く普及している。画像中の顔を検出し、顔の検出位置をブレ補正する技術が、特許文献１に記載されている。

また、特許文献２には、ユーザが絵柄、被写体の位置等を考慮して検出領域を指定することにより、その部分の揺れをなくすように動作させる画像揺れ補正装置が開示されている。

特開２００８−２３６６４５号公報 特開平０６−２１７１８７号公報

従来の技術では記録動作時の顔検出結果やフォーカス位置などに対してブレ補正を行うので、再生時にブレ補正を行う場合に、補正用の動きベクトル算出位置をユーザが操作キーやタッチパネル等で選択する必要があった。操作キーによって再生画像中の座標を選択するには、位置合わせに多くの操作を必要とし、操作が複雑になる。タッチパネルを用いる場合には比較的容易に選択可能だが、タッチパネル搭載のコストなどの問題がある。

また、再生時は再生状況によってユーザがブレ補正したい位置は様々であり、動画データに付加されている情報だけではブレ補正位置を自動で特定することが難しい。

本発明は、上述の課題に対して鑑みてなされたもので、ユーザが注目している可能性の高い部分に注目してブレを補正する動画再生装置、方法及びプログラム並びに記録媒体を提示することを目的とする。

本発明に係る動画装置は、ユーザからの検索条件の入力を受け付ける指定手段と、前記指定手段で指定される前記検索条件に従い、記録媒体から動画を検索する検索手段と、前記検索手段で検索された動画から、前記指定手段によりユーザから入力された検索条件に基づいて、ブレ補正に用いる動きベクトル算出位置を設定する動きベクトル算出位置設定手段と、前記動きベクトル算出位置に基づき、前記検索手段で検索された動画から動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段により算出された動きベクトルに基づき、前記検索手段で検索された動画の切り取り位置を制御することでブレ補正を行うブレ補正手段と、前記ブレ補正手段でブレ補正を施した動画を出力する出力手段とを具備することを特徴とする。

本発明によれば、再生動作時にそれまでのユーザ操作、とくに動画検索条件からユーザが着目したい再生画像位置を判別し、ユーザが特別な操作を行うことなく再生動画のブレ補正を実現することができる。

本発明の一実施例の概略ブロック図である。 本実施例の動画検索の動作フローチャートである。 本実施例の再生防振動作のフローチャートである。 本実施例のブレ補正動作を説明する模式図である。 本実施例の動画検索動作を説明する模式図である。 本発明の第二実施例の動画検索の動作フローチャートである。 本発明の第二実施例の再生防振動作のフローチャートである。 サーチ再生時の別の動作フローチャートである。 サーチ再生時の画像合成を説明する模式図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明係る画像再生装置の一実施例の概略構成ブロック図を示す。２００は、画像再生装置１００から着脱可能なメモリカードなどの記録媒体である。１０１は、画像再生装置１００全体を制御するＣＰＵである。１０２は、ＣＰＵ１０１のワークメモリであるＲＡＭである。１０３は、ＣＰＵ１０１で実行されるプログラム、データなどが格納されるＲＯＭである。１１１は、画像再生装置１００の各ブロックで処理する画像データ及び符号化データを一時保持するＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

１０４は、画像再生装置１００で再生された画像を表示出力する液晶パネルや外部出力端子を含む表示出力手段である。１０５は、動きベクトル算出手段１０６によって算出された動きベクトルデータを用いて画像のブレを補正するブレ補正手段である。

１０６は、ＤＲＡＭ１１１に格納されている画像データを読み込み、読み込んだ画像の動きベクトルデータを算出する動きベクトル算出手段である。１０７は、顔検出手段１０８で検出された顔位置を用いて、画像中の人物が特定の個人かを判別可能な個人認証手段である。１０８は、ＤＲＡＭ１１１から読み出した画像データから人物の顔位置を検出する顔検出手段である。１０９は、ＤＲＡＭ１１１から符号化データを読み込み、復号化し再生画像を生成するデコーダ（ＤＥＣ）である。１１０は、画像再生装置１００と記録媒体２００とのインターフェースとなるメディアＩ／Ｆである。

１１２は、ＣＰＵ１０１と、ＲＡＭ１０２及びＲＯＭ１０３を接続するプログラムバスである。

１１３は、ＣＰＵ１０１と、表示出力手段１０４〜ＤＲＡＭ１１１を接続し、ＣＰＵ１０１から各ブロックを制御する制御バスである。

１１４は、表示出力手段１０４〜メディアＩ／Ｆ１１０及びＣＰＵ１０１を接続し、画像データ及び符号化データの転送に用いられるデータバスである。

画像再生装置１００は、ＣＰＵ１０１〜データバス１１４で構成されている。通常の動画再生では、メディアＩ／Ｆ１１０を介してＤＲＡＭ１１１に符号化データを読み込み、デコーダ１０９によって再生画像を生成し、表示出力手段１０４から再生画像を表示出力する。

再生すべき動画が検索された際の検索条件に合わせた被写体のブレを補正するように再生防振して動画を再生する動作を説明する。

図２は、画像再生装置１００の動画検索の動作フローチャートである。図２に示す動作は、ＲＯＭ１０３に記録されたプログラムをＲＡＭ１０２に展開してＣＰＵ１０１が実行することで実現される。ユーザは記録媒体２００に記録されている動画データから所望の動画を検索するための条件を選択または設定する（Ｓ２０１）。例えば、メニューに顔検索及び日付検索などの項目を設け、ユーザに選択させる。ＣＰＵ１０１は、ユーザによる選択を待機する待機手段として機能し、プログラム上、待機機能を実現する。

ＣＰＵ１０１は、Ｓ２０１で選択された検索条件に基づき、記録媒体２００に記録されている動画データを検索する（Ｓ２０２）。例えば、日付検索が選択された場合、動画データの管理情報に記録されている撮影日時や、動画データに多重化されている付加情報に含まれる撮影日時から、Ｓ２０１で設定された検索条件にあう動画を抽出する。顔検索が選択されている場合、動画データの管理情報に含まれることがある顔情報や、先頭画像だけをデコードし顔検出手段１０８で検出した顔情報を使って、顔がある動画を抽出する。

ＣＰＵ１０１は、Ｓ２０１で設定された検索条件が顔検索、又は、顔に関係する検索条件かを判別する（Ｓ２０３）。Ｓ２０３でＹｅｓならば、動きベクトル算出位置を顔検出位置に設定する（Ｓ２０４）。Ｓ２０３でＮｏならば、動きベクトル算出位置を画像中心位置に設定する（Ｓ２０５）。すなわち、ＣＰＵ１０１は、検索手段及び動きベクトル算出位置設定手段として機能し、検索機能及び動きベクトル算出位置設定機能を実現する。

図２において、Ｓ２０３でＮｏと判断された場合に、Ｓ２０５で動きベクトル算出位置を画像中心位置に設定したが、再生防振を行わない動きベクトル算出位置無しの設定にしてもよい。すなわち、図２では、動画検索を行う場合の処理を説明したが、動画検索を行わない場合は、画像中心座標を動きベクトル算出位置に設定してもよい。または、再生防振を行わない動きベクトル算出位置無しの設定にしてもよい。

また、顔検出において特定個人を認証できる場合、顔検出手段によって検出された位置を動きベクトル算出位置としてもよい。

図５（ａ）〜（ｃ）は、表示出力手段１０４からの出力によってディスプレイに表示される画面表示例を示す。

図５（ａ）は、検索動作を行う前の通常のマルチインデックス画面である。マルチインデックス画面では、記録媒体２００に記録された複数の動画ファイルのそれぞれの代表画像が、対応する動画の撮影された順番に時系列にならべて表示される。

図５（ｂ）は、２００９年１０月１０日に撮影された動画を検索する日付検索動作が行われた場合に、検索結果として表示されるインデックス画面の表示例である。ユーザ操作に基づいて日付検索動作を実行した場合は、Ｓ２０３でＮｏと判断される。このとき、図５（ｂ）のように、記録媒体２００に記録されている動画のうち、指定した日付（この例では２００９年１０月１０日）に撮影された動画の代表画像のみが表示される。

図５（ｃ）は、顔に関係する検索条件として、人物Ｘの顔が写っている動画の検索が行われた場合に、検索結果として表示されるインデックス画面の表示例である。ユーザ操作に基づいて人物Ｘの顔についての顔検索動作を実行した場合は、Ｓ２０３でＹｅｓと判断される。このとき、図５（ｃ）のように記録媒体２００に記録されている動画のうち、指定した人物Ｘが撮影されていると認識された動画の代表画像のみが表示される。

図３は、動きベクトル算出位置を顔検出位置に設定された場合（Ｓ２０４）の再生防振動作の詳細なフローチャートを示す。図３は、ＲＯＭ１０３に記録されたプログラムをＲＡＭ１０２に展開してＣＰＵ１０１が実行することで実現する。

図３に示すフローの前提として、動画の再生動作前に動画検索が行われ、図２のＳ２０４において、動きベクトル算出位置が顔検出位置に設定されているものとする。図５（ｃ）に示すような検索結果画面から、ユーザ操作により所望の代表画像が選択されて、選択された代表画像が表す動画（以下、選択された動画と称する）の再生指示が行われると、図３の処理を開始する。

ユーザから再生指示をされると、ＣＰＵ１０１は、デコーダ１０９を用いて、選択された動画のデコード処理を行い、再生画像を得る（Ｓ３０１）。

ＣＰＵ１０１は、顔検出手段１０８を用いて、Ｓ３０１で得られた再生画像に顔があるか否かを検出する（Ｓ３０２）。Ｓ３０２でＹｅｓならば、ＣＰＵ１０１は、Ｓ３０２で検出された顔の位置情報を取得し、取得した位置情報を動きベクトル算出手段１０６に通知する（Ｓ３０３）。Ｓ２０２で行われた検索が、個人を特定せずに顔を含む動画を検索するものであれば、同時に検出される複数の顔のうち、画像中に占める面積が大きい、画像の中央に近い等の条件によって主顔と判定される顔の位置情報が通知される。一方、Ｓ２０２で行われた検索が特定個人の顔を含む動画を検索するものである場合（例えば図５（ｃ）で説明したように人物Ｘの顔についての検索の場合）、検索条件となった特定個人の顔（例えば人物Ｘの顔）の位置情報が通知される。Ｓ３０２でＮｏならば、ＣＰＵ１０１は、画像の中心位置情報を動きベクトル算出手段１０６に通知する（Ｓ３０４）。

ＣＰＵ１０１は、動きベクトル算出手段１０６に、Ｓ３０３又はＳ３０４で設定された位置情報に基づき、Ｓ３０１で得られた再生画像から動きベクトル情報を算出させる（Ｓ３０５）。動きベクトル算出手段１０６の機能をＣＰＵ１０１で実現してもよい。その場合、ＣＰＵ１０１は、動きベクトル算出機能を実現する。

ＣＰＵ１０１は、ブレ補正手段１０５に、Ｓ３０５で得られた動きベクトル情報に基づきＳ３０１で得られた再生画像にブレ補正処理を行わせ、表示出力手段１０４を介してブレ補正手段１０５の処理結果の画像をディスプレイに表示させる（Ｓ３０６）。ブレ補正手段１０５の機能をＣＰＵ１０１で実現してもよい。その場合、ＣＰＵ１０１は、ブレ補正機能を実現する。

ＣＰＵ１０１は、ユーザによる再生終了指示または動画の終端までの再生終了を判断する（Ｓ３０７）。Ｓ３０７でＮｏならば、Ｓ３０１に戻る。Ｓ３０７でＹｅｓならば、再生動作を終了する。

Ｓ３０２でＮｏと判断された場合、Ｓ３０４で動きベクトル算出位置を画像中心位置に設定したが、再生防振を行わない動きベクトル算出位置なしの設定にしてもよい。

ブレ補正手段１０５がブレ補正処理を行っている場合に、図示しないＬＥＤランプ又はＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能などを用いて、ブレ補正中をユーザに通知してもよい。

動きベクトル算出位置を顔検出位置に設定しなかった場合（Ｓ２０５）の動画再生では、図３で説明した処理と異なり、顔検出をすることなく画像の中心位置情報に設定して再生防振を行った動画を再生する。これは例えば、図５（ａ）や図５（ｂ）の画面で選択された動画の再生である。ここでは、画像全体としてのブレが最も低減するように前記動きベクトル算出位置が設定される。

図４は、Ｓ３０３で設定された顔の位置情報に基づき動きベクトル情報を算出しブレ補正を行った場合と、Ｓ２０５で動きベクトル算出位置が画像中心座標に設定された状態で選択された動画をブレ補正して再生した際のイメージ図である。

画像Ａは、通常再生時の再生画像を示す。画像Ａは、記録媒体２００に記録されている動画符号化データをデコーダ１０９で復号化し生成される再生画像の全範囲を、そのまま表示出力手段１０４によって表示した画像である。なお、ブレ補正が行われた場合、各フレームにおいては、単一フレーム画像の全範囲を表示することはせず、単一フレーム画像のうち一部の範囲を切り出して表示するものとする。このとき、補正すべき動きベクトルを打ち消すようにフレーム間で切り出し位置を変えて切り出し表示することで、ブレを補正する。

画像Ａ−１は、Ｓ３０３において動きベクトル算出位置を顔の位置に設定した場合の再生画像であり、人物の顔位置に対してブレ補正処理が適用されている。

本実施例では、動きベクトル算出位置を顔の位置に設定した場合、顔の動きベクトルが０になるようにブレ補正を行う。顔のブレを低減した画像となり、画像全体としてのブレが低減するとは限らない。背景（画像全体）はブレているが、顔だけはブレていないという状態で画像を表示できる。すなわち、ユーザは検索キーであった顔をブレの少ない状態で見ることができる。言い換えれば、ユーザが検索の際に着目した部分を視認性よくみることができる。この処理により、人物の顔について、被写体ブレを低減することができる。

画像Ａ−２は、Ｓ２０５において動きベクトル算出位置が画像中心位置に設定された状態で選択された動画を再生した場合の再生画像であり、画像の中心位置に対してブレ補正処理が適用されている。なお、Ｓ３０２でブレを止めるべき顔が検出されずにＳ３０４で動きベクトル算出位置が画像中心位置に設定された場合も同様である。

本実施例では、動きベクトル算出位置を画像中心位置に設定した場合、画像全体中の一番多い動きベクトルが０になるように（あるいは打ち消されて低減するように）ブレ補正を行う。画像全体のブレを低減した表示となり、顔のブレ量が低減されるとは限らない。被写体ブレ等により顔はブレているが、画像全体としてはブレていないという状態で画像を表示できる。この処理により、撮影時の手ブレを低減できる。

このように本実施例によれば、動画検索条件に顔条件が含まれている場合、再生動画中の顔位置に対してブレ補正処理をおこなった再生動画を得ることができる。

動画再生中に検索条件を満たさない場面（再生位置）に切り替わった場合に、動画再生を終了しても良い。例えば、検索条件が顔条件を含む場合に、顔が無い場面になったら、動画再生を終了する。

検索条件に基づいた動きベクトル算出位置を設定できない場合に、動画再生を終了しても良い。

検索条件が指定されていない場合、動きベクトル算出位置を画像の中心座標に設定するようにしても良い。

特定の物体の存在を検索条件とする物体検索の場合、その物体の検出位置を動きベクトル算出位置としてもよい。ＣＰＵ１０１が物体検出手段として機能し、プログラムは、ＣＰＵ１０１に物体検出機能を実現させる。

なお、Ｓ２０４で動きベクトル算出位置を顔検出位置に設定し、Ｓ２０５で動きベクトル算出位置を画像中心位置に設定する例を説明したが、ここでは動きベクトル算出位置の設定までは行わない構成としてもよい。代わりに、Ｓ２０３での判定結果、使用された検索条件、あるいは使用された検索条件が特定できる現在の表示モードをＲＡＭ１０２に記録しておくだけでも良い。動画再生の指示に対し、ＲＡＭ１０２に記録された情報に基づき顔検索又は顔に関する検索で見つけられた動画を再生する指示であると判定できる場合、図３の処理に従ってブレ補正再生を行う。これによって検索条件に用いられた顔について被写体ブレが補正される。動画再生の指示に対し、ＲＡＭ１０２に記録された情報に基づき顔検索又は顔に関する検索で見つけられた動画ではない動画を再生する指示であると判定できる場合、画像全体のブレを補正するブレ補正再生を行うか、ブレ補正を行わずに再生する。前者は、いわゆる手ぶれ補正となる。

次に、第２実施例を説明する。実施例２では、再生すべき動画が検索された際の検索条件となった被写体が切り出しによるブレ補正によって表示範囲からはみ出してしまうことを防止する。

図６は、第２実施例における画像再生装置１００の動画検索の動作フローチャートである。図６に示す動作は、ＲＯＭ１０３に記録されたプログラムをＲＡＭ１０２に展開してＣＰＵ１０１が実行することで実現される。図６のＳ６０１〜Ｓ６０３は、図２のＳ２０１〜２０３と同様の処理なので説明を省略する。

ＣＰＵ１０１は、Ｓ６０３で、Ｓ６０１で設定された検索条件が顔検索又は顔に関係する検索条件であると判定された場合、ブレ補正最終調整領域を顔検出位置に設定する（Ｓ６０４）。この際の検索結果の表示は、図５（ｃ）で前述したような表示となる。

Ｓ６０３でＮｏならば、ブレ補正最終調整領域をなしに設定する（Ｓ６０５）。すなわち、ＣＰＵ１０１は、検索手段及びブレ補正最終調整領域設定手段として機能し、検索機能及びブレ補正最終調整領域設定機能を実現する。この際の検索結果の表示は、図５（ｂ）で前述したような表示となる。

また、顔検出において特定個人を認証できる場合、顔検出手段によって検出された位置をブレ補正最終調整領域としてもよい。

図７は、ブレ補正最終調整領域を顔検出位置に設定した場合（Ｓ６０４）の再生防振動作の詳細なフローチャートを示す。

図７に示すフローの前提として、動画の再生動作前に動画検索が行われ、図６のＳ６０４において、ブレ補正最終調整領域が顔検出位置に設定されているものとする。図５（ｃ）に示すような検索結果画面から、ユーザ操作により所望の代表画像が選択されて、選択された代表画像が表す動画（以下、選択された動画と称する）の再生指示が行われると、図７の処理を開始する。

ユーザから再生指示をされると、ＣＰＵ１０１は、デコーダ１０９を用いて、選択された動画のデコード処理を行い、再生画像を得る（Ｓ７０１）。

ＣＰＵ１０１は、動きベクトル算出手段１０６に、Ｓ７０１で得られた再生画像全体の動きベクトル情報（前述の画像中心位置に基づいた動きベクトルと同等）を算出させる（Ｓ７０２）。動きベクトル算出手段１０６の機能をＣＰＵ１０１で実現してもよい。その場合、ＣＰＵ１０１は、動きベクトル算出機能を実現する。

ＣＰＵ１０１は、ブレ補正手段１０５に、Ｓ７０２で得られた動きベクトル情報に基づき、Ｓ７０１で得られた再生画像全体のブレ量が少なくなるようにブレ補正切り出し領域を算出させる（Ｓ７０３）。ブレ補正手段１０５のこの機能をＣＰＵ１０１で実現してもよい。その場合、ＣＰＵ１０１は、ブレ補正切り出し領域算出機能またはブレ補正領域検出機能を実現し、ブレ補正領域検出手段として機能する。

ＣＰＵ１０１は、ブレ補正最終調整領域が設定されているかを判断する（Ｓ７０４）。Ｓ７０４でＮｏならば、Ｓ７０８へ移行する。Ｓ７０４でＹｅｓならば、ＣＰＵ１０１は、顔検出手段１０８を用いて、Ｓ７０１で得られた再生画像に顔があるか否かと顔領域を検出する（Ｓ７０５）。検出された顔領域は、検索条件に基づいた着目位置の一例であり、ＣＰＵ１０１は、検索された動画にこの着目位置を設定する着目位置設定手段として機能する。また、制御プログラム上の着目位置設定機能を実現する。

ＣＰＵ１０１は、Ｓ７０５で検出された顔領域がＳ７０３で算出されたブレ補正切り出し領域外か否かを判断する（Ｓ７０６）。Ｓ７０６でＮｏならば、Ｓ７０８へ移行する。Ｓ７０６でＹｅｓならば、ＣＰＵ１０１は顔領域がＳ７０３で算出したブレ補正切り出し領域内にＳ７０５で検出した顔領域が含まれるようにブレ補正切り出し領域を調整する（Ｓ７０７）。ＣＰＵ１０１は、このブレ補正切り出し領域調整を行うブレ補正切り出し領域調整手段として機能し、制御プログラム上のブレ補正切り出し領域調整機能を実現する。

ＣＰＵ１０１は、ブレ補正手段１０５にＳ７０３またはＳ７０７で決定したブレ補正切り出し領域に基づきブレ補正処理を行わせ、表示出力手段１０４を介してブレ補正手段１０５の処理結果の画像をディスプレイに表示させる（Ｓ７０８）。

ＣＰＵ１０１は、ユーザによる再生終了指示または動画の終端までの再生終了を判断する（Ｓ７０９）。Ｓ７０９でＮｏならば、Ｓ７０１に戻る。Ｓ７０９でＹｅｓならば、再生動作を終了する。

本実施例では、動画の各フレーム画像の一部の範囲を切り出して電子的なブレ補正を行って再生する際に、再生している動画の検索条件となった被写体がブレ補正のための切り出しによってはみ出してしまうことを防止できる。再生している動画を検索した際に検索条件とした被写体、すなわちユーザが着目しているであろう被写体に対する視認性をブレ補正によって妨げられることを防止又は低減できる。

上記実施例では、Ｓ７０４でＮｏと判断された場合、Ｓ７０３で算出されたブレ補正領域を用いてＳ７０８でブレ補正再生を行ったが、ブレ補正処理を行わない設定にしてもよい。

特定の物体の存在を検索条件とする物体検索の場合、その物体の検出位置をブレ補正最終調整領域としてもよい。このとき、ＣＰＵ１０１が物体検出手段として機能し、プログラムは、ＣＰＵ１０１に物体検出機能を実現させる。

図８は、実施例２での画像再生装置１００のサーチ再生（変倍速再生）時の動作フローチャートである。サーチ再生とは、２倍、４倍、８倍速などの高速再生（早送り）のことである。図８に示す動作は、ＲＯＭ１０３に記録されたプログラムをＲＡＭ１０２に展開してＣＰＵ１０１が実行することで実現される。

図８に示すフローの前提として、動画の再生動作前に動画検索が行われ、図６のＳ６０４において、ブレ補正最終調整領域が顔検出位置に設定されているものとする。図５（ｃ）に示すような検索結果画面から、ユーザ操作により所望の代表画像が選択されて、選択された代表画像が表す動画（以下、選択された動画と称する）のサーチ再生の指示が行われると、図８の処理を開始する。

ユーザからサーチ再生指示をされると、ＣＰＵ１０１は選択された動画から所望の再生速度に合わせたフレーム画像を検出し、デコーダ１０９を用いてデコード処理を行い、再生画像を得る（Ｓ８０１）。

ＣＰＵ１０１は、ブレ補正最終調整領域が設定されているかを判断する（Ｓ８０２）。Ｓ８０２でＹｅｓならば、ＣＰＵ１０１は、顔検出手段１０８を用いて、Ｓ８０１で得られた再生画像に顔があるか否かと顔領域を検出する（Ｓ８０３）。

ＣＰＵ１０１は、Ｓ８０３で検出された顔領域が画像の中心になるように切り出し領域を決定する（Ｓ８０４）。

ＣＰＵ１０１は、ブレ補正手段１０５に、Ｓ８０４で決定した切り出し領域に基づき切り出し処理を行わせ、表示出力手段１０４を介して切り出した結果の画像をディスプレイに表示させる（Ｓ８０５）。ここでは、切り出した結果の画像を拡大してディスプレイいっぱいに表示するものとする。補正切り出し領域の画像を切り出し、出力する出力手段又は出力機能は、ＣＰＵ１０１で実現してもよい。

Ｓ８０２でＮｏならば、ＣＰＵ１０１は、Ｓ８０１で得た再生画像全体を表示出力手段１０４を介してディスプレイに表示させる（Ｓ８０７）。

ＣＰＵ１０１は、ユーザによるサーチ再生終了指示または動画の終端までの再生終了を判断する（Ｓ８０６）。Ｓ８０６でＮｏならば、Ｓ８０１に戻る。Ｓ８０６でＹｅｓならば、サーチ再生動作を終了する。

このように、動画検索条件に顔条件が含まれている場合、サーチ再生動作時に顔が表示画像の中心となるサーチ再生動画を得ることができる。従って、検索条件となった注目すべき被写体に着目して所望の場面をサーチすることが可能となる。

サーチ再生時には画像全体の動き検出によるブレ補正処理を行わないようにした。しかし、再生速度に応じて、再生速度が閾値よりも高速な場合はブレ補正処理を行わず、再生速度が閾値よりも低い場合にはブレ補正処理を行うものとしてもよい。

高速再生時に図８の処理を行うものとして説明したが、高速再生に限らず、スロー再生などの際にも図８の処理を適用できる。この場合、Ｓ８０１のサーチ再生はスロー再生となる。動きの少ないスロー再生であっても、検索条件となった着目すべき被写体を拡大することで、注目すべき被写体の細部を視認できるとともに、注目すべき被写体の動きを特に視認しやすくすることができる。

なお、Ｓ８０５では、切り出した結果の画像を拡大してディスプレイいっぱいに拡大するものとしたが、それに重畳して、あるいは他の領域に同時に、Ｓ８０１で得た再生画像全体を縮小表示してもよい。あるいは、Ｓ８０１で得た再生画像全体をディスプレイに表示させておき、それに重畳して、あるいはそれと同時に他の領域に、Ｓ８０５で切り出した結果の画像を小さめに表示してもよい。このようにすれば、現在の再生位置のフレーム画像の全体の様子と、検索条件となった被写体のその時点の様子とを同時に視認性よく確認することができる。

図９は、Ｓ８０５において切り出した結果の画像を拡大してディスプレイいっぱいに拡大表示するとともに、それに重畳してＳ８０１で得た再生画像全体を縮小表示した例を示す。

画像９０１は、Ｓ８０５において、検索条件による切り出し領域に基づいて得られた画像である。画像９０２は、Ｓ８０１において得たデコード画像（再生画像全体）の縮小画像である。図９に示すように、ユーザの着目点である画像９０１と、全体画像である画像９０２を合成し、同一画面上に表示する。これにより、ユーザは、着目領域と全体画像を同時に確認でき、所望の場面をより容易に探すことが可能となる。

Ｓ６０４でブレ補正最終調整領域を顔検出位置に設定し、Ｓ６０５でブレ補正最終調整領域を無しに設定するとしたが、ブレ補正最終調整領域の設定までは行わない構成としてもよい。代わりに、Ｓ６０３での判定結果、使用された検索条件、又は使用された検索条件が特定できる現在の表示モードをＲＡＭ１０２に記録しておくだけでも良い。

ＲＡＭ１０２の記録情報に基づき、顔検索あるいは顔に関する検索で見つけられた動画を再生する指示であると判定できる場合、通常再生であれば図７の処理に従ってブレ補正再生を行う。これによって、検索条件に用いられた顔がブレ補正が原因で表示範囲からはみ出ることのないように、ブレ補正再生される。同様の動画のサーチ再生の場合、図８の処理に従ってサーチ再生を行う。

他方、ＲＡＭ１０２の記録情報に基づき、顔検索あるいは顔に関する検索で見つけられた動画ではない動画を再生する指示であると判定できる場合、通常再生であれば、検索条件に用いられた顔は特に考慮せずにブレ補正再生を行う。同様の動画のサーチ再生の場合、図８の処理とは異なり、検索条件に用いられた顔は特に考慮せずにサーチ再生を行う。

上述の各実施例では、顔検索あるいは顔に関する検索条件を用いた検索の例を説明したが、本発明は、これに限定されない。例えば、検索条件に基づいて再生時にユーザが注目しているであろう被写体を推定できるものであれば、他の検索条件であっても適用可能である。例えば、犬や猫などの動物の顔が写っていることを検索条件としてユーザが指定した場合には、次のようにしてもよい。すなわち、検索条件に使用された動物の被写体ブレを補正するようにブレ補正再生する（実施例１）。検索条件に使用された動物がはみ出ないようにブレ補正再生する（実施例２）。検索条件に使用された動物を拡大してサーチ再生を行う（実施例２）。このための検索手段を指定する指定手段、及び制御プログラム上の指定機能は、ＣＰＵ１０１により実現されうる。

なお、上述の各実施例におけるＣＰＵ１０１の制御機能は１つのハードウエアが行ってもよいし、複数のハードウエアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明の好適な実施例を説明したが、本発明は上述の実施例に限定されない。本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施例は本発明の一実施例を示すものにすぎず、各実施例を適宜組み合わせることも可能である。

また、上述した実施例は、動画を再生可能な動画再生装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、デジタルカメラ等の撮像装置などに適用可能である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例のＣＰＵ１０１及びその他の手段の機能は、ソフトウエア、例えば動画再生プログラムにより実現可能である。その動画再生プログラム、及び動画再生プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明を構成する。

Claims (22)

1. ユーザからの検索条件の入力を受け付ける指定手段と、
   前記指定手段で指定される前記検索条件に従い、記録媒体から動画を検索する検索手段と、
   前記検索手段で検索された動画から、前記指定手段によりユーザから入力された検索条件に基づいて、ブレ補正に用いる動きベクトル算出位置を設定する動きベクトル算出位置設定手段と、
   前記動きベクトル算出位置に基づき、前記検索手段で検索された動画から動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段により算出された動きベクトルに基づき、前記検索手段で検索された動画の切り取り位置を制御することでブレ補正を行うブレ補正手段と、
   前記ブレ補正手段でブレ補正を施した動画を出力する出力手段
   とを具備することを特徴とする動画再生装置。
2. 前記動きベクトル算出位置設定手段は、前記検索条件が人物の顔の場合に、前記検索手段で検索された動画から検出された人物の顔の位置を動きベクトル算出位置とすることを特徴とする請求項１に記載の動画再生装置。
3. 前記動きベクトル算出位置設定手段は、前記検索条件が特定の個人の顔であった場合に、前記検索手段で検索された動画から検出された該特定の個人の顔が検出された位置を動きベクトル算出位置とすることを特徴とする請求項１に記載の動画再生装置。
4. 前記動きベクトル算出位置設定手段は、前記検索条件に基づく動きベクトル算出位置を設定できない場合に、画像全体としてのブレが低減するように前記動きベクトル算出位置を設定することを特徴とする請求項１に記載の動画再生装置。
5. 前記動きベクトル算出位置設定手段が前記検索条件に基づいた動きベクトル算出位置を設定できない場合に、前記ブレ補正手段によるブレ補正、及び前記出力手段による出力を終了することを特徴とする請求項１に記載の動画再生装置。
6. 前記動きベクトル算出位置設定手段は、前記指定手段による前記検索条件の指定がされない場合は、画像全体としてのブレが低減するように前記動きベクトル算出位置を設定することを特徴とする請求項１乃至５のいずれか１項に記載の動画再生装置。
7. ユーザからの検索条件の入力を受け付ける指定ステップと、
   前記指定ステップで指定される前記検索条件に従い、記録媒体から動画を検索する検索ステップと、
   前記検索ステップで検索された動画から、前記指定ステップによりユーザから入力された検索条件に基づいて、ブレ補正に用いる動きベクトル算出位置を設定する動きベクトル算出位置設定ステップと、
   前記動きベクトル算出位置に基づき、前記検索ステップで検索された動画から動きベクトルを算出する動きベクトル算出ステップと、
   前記動きベクトル算出ステップで算出された動きベクトルに基づき、前記検索ステップで検索された動画の切り取り位置を制御することでブレ補正を行うブレ補正ステップと、前記ブレ補正ステップでブレ補正を施した動画を出力する出力ステップ
   とを具備することを特徴とする動画再生方法。
8. 記録媒体から動画を再生する動画再生装置のＣＰＵにより実行される動画再生プログラムであって、前記ＣＰＵに、
   ユーザからの検索条件の入力を受け付ける指定機能と、
   前記指定機能で指定される前記検索条件に従い、前記記録媒体から動画を検索する検索機能と、
   前記検索機能で検索された動画から、前記指定機能によりユーザから入力された検索条件に基づいて、ブレ補正に用いる動きベクトル算出位置を設定する動きベクトル算出位置設定機能と、
   前記動きベクトル算出位置に基づき、前記検索機能で検索された動画から動きベクトルを算出する動きベクトル算出機能と、
   前記動きベクトル算出機能で算出された動きベクトルに基づき、前記検索機能で検索された動画の切り取り位置を制御することでブレ補正を行うブレ補正機能
   とを実現させることを特徴とする動画再生プログラム。
9. 請求項８に記載の動画再生プログラムを記憶することを特徴とするコンピュータ読み取り可能な記録媒体。
10. ユーザからの検索条件の入力を受け付ける指定手段と、
    前記指定手段で指定された検索条件に従い、記録媒体から動画を検索する検索手段と、
    前記検索手段で検索された動画から動きベクトルを算出する動きベクトル算出手段と、
    前記動きベクトル算出手段により算出された動きベクトルに基づき、前記検索手段で検索された動画のブレ補正のための切り出し領域を算出するブレ補正領域検出手段と、
    前記検索手段で検索された動画から、前記指定手段によりユーザから入力された検索条件に基づいた着目位置を設定する着目位置設定手段と、
    前記ブレ補正領域検出手段によるブレ補正切り出し領域内に、前記着目位置設定手段による着目位置が含まれるようにブレ補正切り出し領域を調整するブレ補正切り出し領域調整手段と、
    前記ブレ補正切り出し領域調整手段で調整されたブレ補正切り出し領域を切り出し、出力する出力手段
    とを具備することを特徴とする動画再生装置。
11. 前記検索条件として、特定の被写体が写っている動画であることを指定でき、
    前記着目位置設定手段は、前記検索条件が、前記特定の被写体が写っている動画であることであった場合には、前記指定された動画の各フレームにおける前記特定の被写体の写っている位置を前記着目位置とする
    ことを特徴とする請求項１０に記載の動画再生装置。
12. 前記特定の被写体は、人物の顔、あるいは特定の個人の顔であることを特徴とする請求項１１に記載の動画再生装置。
13. ユーザからの検索条件の入力を受け付ける指定ステップと、
    前記指定ステップで指定された検索条件に従い、記録媒体から動画を検索する検索ステップと、
    前記検索ステップで検索された動画から動きベクトルを算出する動きベクトル算出ステップと、
    前記動きベクトル算出ステップにより算出された動きベクトルに基づき、前記検索ステップで検索された動画のブレ補正のための切り出し領域を算出するブレ補正領域検出ステップと、
    前記検索ステップで検索された動画から、前記指定ステップによりユーザから入力された検索条件に基づいた着目位置を設定する着目位置設定ステップと、
    前記ブレ補正領域検出ステップによるブレ補正切り出し領域内に、前記着目位置設定ステップによる着目位置が含まれるようにブレ補正切り出し領域を調整するブレ補正切り出し領域調整ステップと、
    前記ブレ補正切り出し領域調整ステップで調整されたブレ補正切り出し領域を切り出し、出力する出力ステップ
    とを具備することを特徴とする動画再生方法。
14. 記録媒体から動画を再生する動画再生装置のＣＰＵにより実行される動画再生プログラムであって、前記ＣＰＵに、
    ユーザからの検索条件の入力を受け付ける指定機能と、
    前記指定機能で指定された検索条件に従い、前記記録媒体から動画を検索する検索機能と、
    前記検索機能で検索された動画から動きベクトルを算出する動きベクトル算出機能と、
    前記動きベクトル算出機能により算出された動きベクトルに基づき、前記検索機能で検索された動画のブレ補正のための切り出し領域を算出するブレ補正領域検出機能と、
    前記検索機能で検索された動画から、前記指定機能によりユーザから入力された検索条件に基づいた着目位置を設定する着目位置設定機能と、
    前記ブレ補正領域検出機能によるブレ補正切り出し領域内に、前記着目位置設定機能による着目位置が含まれるようにブレ補正切り出し領域を調整するブレ補正切り出し領域調整機能と、
    前記ブレ補正切り出し領域調整機能で調整されたブレ補正切り出し領域を切り出し、出力する出力機能
    とを実現させることを特徴とする動画再生プログラム。
15. 請求項１４に記載の動画再生プログラムを記憶することを特徴とするコンピュータ読み取り可能な記録媒体。
16. ユーザからの検索条件の入力を受け付ける指定手段と、
    前記指定手段で指定された検索条件に従い、記録媒体から動画を検索する検索手段と、
    前記検索手段による検索結果の中から指定された動画を再生する場合には、該指定された動画の各フレームの全範囲ではなく、前記指定手段によりユーザから入力された検索条件に基づいた着目位置を含む範囲を拡大して、前記検索手段で検索された動画を再生するように制御する制御手段
    とを具備することを特徴とする動画再生装置。
17. 前記検索条件として、特定の被写体が写っている動画であることを指定でき、
    前記検索条件が、前記特定の被写体が写っている動画であることであった場合には、前記指定された動画の各フレームにおける前記特定の被写体の写っている位置を前記着目位置とする
    ことを特徴とする請求項１６に記載の動画再生装置。
18. 前記特定の被写体は、人物の顔、あるいは特定の個人の顔であることを特徴とする請求項１７に記載の動画再生装置。
19. 前記制御手段は、前記指定された動画の各フレームのうち前記着目位置を含む範囲を拡大した画像とともに、当該フレームの全範囲を表示するように制御することを特徴とする請求項１６乃至１８のいずれか１項に記載の動画再生装置。
20. ユーザからの検索条件の入力を受け付ける指定ステップと、
    前記指定ステップで指定された検索条件に従い、記録媒体から動画を検索する検索ステップと、
    前記検索ステップによる検索結果の中から指定された動画を再生する場合には、該指定された動画の各フレームの全範囲ではなく、前記指定ステップによりユーザから入力された検索条件に基づいた着目位置を含む範囲を拡大して、前記検索ステップで検索された動画を再生するように制御する制御ステップ
    とを具備することを特徴とする動画再生方法。
21. 記録媒体から動画を再生する動画再生装置のＣＰＵにより実行される動画再生プログラムであって、前記ＣＰＵに、
    ユーザからの検索条件の入力を受け付ける指定機能と、
    前記指定機能で指定された検索条件に従い、記録媒体から動画を検索する検索機能と、
    前記検索機能による検索結果の中から指定された動画を再生する場合には、該指定された動画の各フレームの全範囲ではなく、前記指定機能によりユーザから入力された検索条件に基づいた着目位置を含む範囲を拡大して、前記検索機能で検索された動画を再生するように制御する制御機能
    とを実現させることを特徴とする動画再生プログラム。
22. 請求項２１に記載の動画再生プログラムを記憶することを特徴とするコンピュータ読み取り可能な記録媒体。

Images