JP6234164B2 - 画像再生装置、方法及びプログラム - Google Patents

Description

本発明は画像再生装置、方法及びプログラムに関し、より具体的には、被写体の移動軌跡を重畳表示する画像再生装置、方法及びプログラムに関する。

近年パーソナルコンピュータや携帯電話、ゲーム機器、デジタルカメラなどで動画像を再生できるものが増えてきている。これらの装置では、マウス、タッチパッド、タッチパネル又は十字キー等の操作手段を用いて画面内のボタンやシークバーを操作することで、動画の所望シーンへの早送りや巻き戻しを操作できるようになっている。

動画像の再生を操作する技術として、ユーザが画面内の被写体を直接掴んで移動させるようなＧＵＩ（Graphical User Interface）操作（ドラッグ操作）をすることで、動画の早送りや巻き戻しを指示する技術が知られている。

また、動画像から任意又は特定の被写体の軌跡を取得し、移動軌跡線を再生画像に重畳表示する技術も知られている。

特許文献１には、被写体を操作することによってその被写体に関連したデータの表示または場面への移行を行う技術がある。

特開平９−１１４４２７号公報

動画像中のユーザが選択した被写体の移動軌跡を表示画像に重畳するには、動画像を復号化し、各画面から当該被写体の位置を検出する必要がある。再生早送りをした場合には、復号化しない画面が発生し、これらの画面では被写体の位置を検出しない。従って、被写体の位置を接続した移動軌跡を生成できなくなり、この結果、移動軌跡に沿って被写体をドラッグする再生操作を実現できない。

また、移動軌跡に沿ったドラッグ操作による再生制御では、被写体の軌跡が複雑な場合でも、その軌跡上をドラッグ操作する必要がある。例えば、選択した被写体がフレームアウトするまで早送りしたい場合などには軌跡上の移動距離が多くなり、操作に手間がかかる。

また、従来技術では、被写体が画面内から消えて(フレームアウト)しまった場合に、その被写体をＧＵＩ画面上で選択する（つかむ）ことができない。このような状況では、移動軌跡に沿った再生操作を使えず、シークバー上のポインタを操作する等の別の再生操作を採用しなければならない。このように、状況に応じて再生操作方法が変化するのは、ユーザにとって使い勝手が悪い。

本発明は、このような移動軌跡に沿ったドラッグ操作等の画面操作による再生制御の操作性を改善した画像再生装置、方法及びプログラムを提示することを目的とする。

本発明に係る画像再生装置は、再生画像に重畳して表示する被写体軌跡により再生を制御する画像再生装置であって、動画像の符号化画像データを表示用に復号化すると共に、まだ再生に至らない所定フレームの符号化画像データを復号化し、それぞれの再生画像データを出力する復号化手段と、前記再生画像データから被写体とその被写体位置を検出する被写体検出手段と、前記被写体位置から前記被写体軌跡を作成する軌跡生成手段と、前記再生画像データに前記軌跡生成手段で作成される前記被写体軌跡を合成することにより表示用画像データを生成する合成手段とを有し、前記軌跡生成手段は、再生表示したフレームに対する前記被写体軌跡と、未再生のフレームに対する前記被写体軌跡を互いに異なる線形状又は色で表現することを特徴とする。

本発明によれば、効率的に軌跡情報を取得し、一度も再生していないシーンの予測軌跡線を描画することで、所望のシーン、とくに早送り方向のシーンの選択性が向上する。

また、本発明によれば、被写体の軌跡をなぞることなく、直感的に被写体をフレームアウトさせることが可能となる。

また、本発明によれば、フレームアウトした被写体とアイコンを関連付け、その関連づけられたアイコンを選択、移動をさせることで、直観的に所望のシーンを再生することが可能になる。

本発明に係る画像再生装置の一実施例の概略構成ブロック図である。 タッチパネルへの操作の説明図である。 被写体を検出しその位置情報を保持しながら画像再生する被写体検出動画再生のイメージ図である。 図３で説明した被写体検出動画再生の動作フローチャートである。 ドラッグ操作による動画像の早送り再生と巻き戻し再生のイメージ図である。 再生ポーズ状態での動作フローチャートである。 本実施例による予測軌跡表示のイメージ図である。 早送り又は巻き戻し再生の場合の予測軌跡生成描画処理の動作フローチャートである。 再生軌跡データと予測軌跡データを更新する処理のイメージ図である。 被写体検出動画再生動作時に予測軌跡情報を破棄する処理の動作フローチャートである。 フリック操作による早送り／巻き戻し制御の動作フローチャートである。 図１１Ａに続く動作フローチャートである。 フリック操作による早送り／巻き戻し制御の説明例である。 フリック操作の方向と強度による早送り／巻き戻し制御の動作フローチャートである。 図１３Ａに続く動作フローチャートである。 フレームアウトした場合の被写体検出動画再生の動作フローチャートである。 図１４Ａに続く動作フローチャートである。 フレームアウト被写体を選択した場合の再生ポーズ動作のイメージ図である。 被写体が複数検出される動画像説明図である。 認証被写体が検出される場合の動画像説明図である。 フレームアウト被写体再生軌跡データ登録の動作フローチャートである。 図１８Ａに続く動作フローチャートである。 被写体がフレームアウトする直前画像を切り出す動作の動画像説明図である。 切出し画像を用いる再生制御の説明図である。 被写体がフレームアウトする直前画像を切り出す被写体検出動画再生の動作フローチャートである。 図２１Ａに続く動作フローチャートである。 切出し画像を用いる再生制御の動作フローチャートである。 図２２Ａに続く動作フローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像再生装置の一実施例の概略構成ブロック図である。

画像再生装置１００は、着脱自在なメモリカード等からなる記録媒体１２０から動画像を再生し、再生画像に重畳して表示する被写体軌跡により再生を制御するできる。記録媒体１２０に記録される動画像は、例えば、撮影画像（動画像）をＭＰＥＧ（Moving Picture Expert Group）方式等の標準的な方式で符号化された符号化画像データである。画像再生装置１００は、動画を撮影記録可能な撮像装置に組み込まれる。

１０１は、画像再生装置１００のメインメモリとなるＤＲＡＭ（Dynamic Random Access Memory）であり、記録媒体１２０から読み出した符号化画像データ、及び復号化された画像データ等を一時保持可能である。

１０２は、ＤＲＡＭ１０１へのアクセスするためのデータバスである。

１０３は、ＤＲＡＭ１０１上に一時保持される画像データから被写体領域を検出する被写体検出部である。

１０４は、被写体検出部１０３が検出した被写体画像から特徴情報を抽出し、登録されている特徴情報と比較し、類似度を算出することで被写体を認証判定する被写体認証部である。

１０５は、液晶パネル等の表示装置に一体化されたタッチパネルであり、画面にユーザが接触することで接触位置情報を検出し出力する。タッチパネル１０５は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式又は光センサ方式等の様々な方式のタッチパネルのうちいずれの方式のものでもよい。静電容量式タッチパネルの場合、直接の接触を必要とせず、タッチパネル面への近接であっても、接触と検知できる。

１０６は、ＤＲＡＭ１０１に一時保持される符号化画像データを復号化し、画像データ（再生画像データ）をＤＲＡＭ１０１に出力するデコーダ（復号化手段）である。

１０７は、画像再生装置１００に装着されている記録媒体１２０から符号化画像データをＤＲＡＭ１０１に読み込む可能なメディアインターフェース（Ｉ／Ｆ）である。

１０８は、ＣＰＵ１０９からブロック１０１〜１０７への制御信号を伝送する制御バスである。

１０９は、画像再生装置１００全体を制御するＣＰＵである。

１１０は、ＣＰＵ１０９とＲＯＭ１１１及びＲＡＭ１１２とを接続するプログラムバスである。

１１１は、ＣＰＵ１０９で動作するプログラムが格納されているＲＯＭ（Read Only Memory）である。１１２は、ＣＰＵ１０９の主メモリ及びワークメモリとなるＲＡＭ（Random Access Memory）である。

ＲＯＭ１１１には、以下に説明する処理を実現するプログラムが格納されており、ＣＰＵ１０９は、適宜にこれらのプログラムを実行する。

再生軌跡情報生成処理は、通常動画再生動作時に、デコーダ１０６によって復号化された画像データから、被写体検出部１０３を用いて被写体位置を検出し、再生軌跡情報を生成する。

再生軌跡描画処理は、再生軌跡情報を用いて、ＤＲＡＭ１０１上に存在する表示再生画像に軌跡を描画する。

軌跡情報解析処理は、再生軌跡情報を解析し、再生軌跡情報が存在しない動画像のシーンを検出する。

予測軌跡情報生成処理は、軌跡情報解析処理によって検出された動画像のシーンから予め復号化するシーンを抽出し、抽出されたシーンをデコーダ１０６によって復号化させ、被写体検出部１０３によって検出された位置情報から予測軌跡情報を生成する。予測軌跡の生成対象となるシーンは、例えば、その動画像の、まだ再生に至らない将来のシーンである。

予測軌跡情報補間処理は、軌跡情報解析処理の結果と予測軌跡情報から軌跡がないシーンを検出し、前後の軌跡情報から軌跡がないシーンの軌跡情報を補間する。

予測軌跡描画処理は、予測軌跡情報を用いて、ＤＲＡＭ１０１上に存在する表示再生画像に軌跡を描画する。

フレームインアウト検出処理は、再生軌跡情報生成処理、および予測軌跡情報生成処理を実行中に、被写体がフレームアウト及びフレームインしたシーンを検出する。

ＣＰＵ１０９（上で動作するプログラム）は、タッチパネル１０５に対する図２に示すユーザ操作／状態を検出する操作判定機能を有する。タッチパネル１０５は、ペンや指が触れている位置座標を、データバス１０８を介してＣＰＵ１０９に通知する。ＣＰＵ１０９は、タッチパネル１０５から通知された位置情報に基づいてタッチパネル１０５に対する上記の操作／状態を判定する。タッチパネル１０５上で移動するペンや指の移動方向についても、ＣＰＵ１０９は、位置座標の変化に基づいて、タッチパネル１０５上の垂直成分・水平成分毎に判定できる。

図２（１）に示すように、タッチパネル１０５を指やペンで触れる操作を、「タッチオン」と称する。図２（２）に示すように、タッチパネル１０５を指やペンで触れたまま移動する操作を、「ムーブ」と称する。図２（３）に示すように、タッチパネル１０５へ触れていた指やペンを離す操作を、「タッチアップ」と称する。図２（４）に示すように、タッチパネル１０５に何も触れていない状態を、「タッチオフ」と称する。タッチパネル１０５上をタッチダウンから一定のムーブを経てタッチアップしたとき、ストロークを描いたこととする。図２（５）に示すように、素早くストロークを描く操作を、「フリック」と呼ぶ。フリックは、タッチパネル１０５上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１０５上を指ではじくように素早くなぞる操作である。所定距離以上を所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されると、ＣＰＵ１０９は、フリックが行われたと判定する。また、所定距離以上を所定速度未満でムーブしたことが検出された場合、ＣＰＵ１０９は、ドラッグが行われたと判定する。

静電容量式タッチパネルの場合、指などが実際にパネル面に接触していなくても、ある程度パネル面に近づくことで、タッチ状態と検出することができる。このようなケースも、以下の説明におけるタッチパネル１０５に対するタッチ操作ないしユーザ操作と同視できることは明らかである。

図３は、再生画像から被写体を検出し、検出された被写体の位置情報を保持しながら再生する被写体検出動画再生のイメージ図である。図３に示す例では、動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ７があり、再生シーン時間情報はそれぞれ以下のようになっている。すなわち、

同じ被写体ＡがＳｃｅｎｅ０〜Ｓｃｅｎｅ５に含まれている。

図３に示す動画像に対して、被写体を検出しつつ動画再生を行ったとする。Ｓｃｅｎｅ０を再生時に被写体Ａが検出される。ＣＰＵ１０９は、被写体Ａに対応する被写体再生軌跡データＡとして、その時の位置情報（ｘ０，ｙ０）と再生時間情報００：００を追記する。

ＣＰＵ１０９は、Ｓｃｅｎｅ１を再生時に検出された被写体がすでに登録されている被写体Ａと同一かどうかを判断する。被写体Ａと同一であるので、ＣＰＵ１０９は、Ｓｃｅｎｅ１での検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を被写体再生軌跡データＡに追記する。ＣＰＵ１０９は、Ｓｃｅｎｅ２からＳｃｅｎｅ７に対して同様に、被写体の検出と同一性の判定、軌跡データの登録を実行する。

図３に示す例に対して、被写体再生軌跡データＡは、以下のような情報となる。すなわち、

Ｓｃｅｎｅ６で被写体Ａが検出されなくなるので、フレームアウトマーカとして、検出位置情報（−１，−１）と、その時の再生時間情報００：０６を追記する。Ｓｃｅｎｅ７では被写体が検出されないので、検出位置情報と再生時間情報は追記されない。

図４は、図３で説明した被写体検出動画再生の動作フローチャートである。ＣＰＵ１０９は、ユーザからの再生指示をタッチパネル１０５の出力により検出すると、記録媒体１２０に記録されている符号化画像データをメディアＩ／Ｆ１０７を介してＤＲＡＭ１０１に読み込む（Ｓ４０１）。

デコーダ１０６は、読み込まれた符号化画像データをデコードし、生成した再生画像データをＤＲＡＭ１０１に書き込む（Ｓ４０２）。

被写体検出部１０３は、Ｓ４０２で生成された再生画像データに所望の被写体が存在するかを検出する（Ｓ４０３）。例えば、被写体検出モードが顔検出だった場合、被写体検出部１０３は、画像データから輪郭情報を抽出し、その輪郭情報と、一般的多数の顔画像から標準化した顔特徴情報とを比較し、一定以上の合致率で一致する領域があるかを検出する。

ＣＰＵ１０９は、Ｓ４０３で被写体が検出されたかを判断する（Ｓ４０４）。

Ｓ４０４でＮｏの場合、ＣＰＵ１０９は、Ｓ４０８に移行する。

Ｓ４０４でＹｅｓの場合、ＣＰＵ１０９は、既に検出されている被写体と同一かどうかを判断する（Ｓ４０５）。例えば、直前の画像で検出された被写体の位置とＳ４０３で検出された被写体の位置が所定距離以内であれば、同一被写体と判断する方法がある。又は、直前の画像で検出された被写体の輪郭情報とＳ４０３で抽出した輪郭情報とを比較し、一定以上の確度で一致した場合に同一被写体と判断する。

Ｓ４０５でＹｅｓの場合、ＣＰＵ１０９は、Ｓ４０７に移行する。

Ｓ４０５でＮｏの場合、ＣＰＵ１０９は、新規被写体としてこの被写体のための被写体再生軌跡データを登録する（Ｓ４０６）。この被写体再生軌跡データは、Ｓ４０３で検出した被写体の輪郭情報と検出位置情報と検出位置に応じた再生シーン時間情報とを登録可能なデータ構造であって、位置情報と再生シーン時間を時系列に追記可能なデータ構造を有している。Ｓ４０６では、ＣＰＵ１０９は、被写体再生軌跡データを登録する際に、Ｓ４０３で検出した被写体の輪郭情報を登録する。

Ｓ４０５でＮｏの場合、ＣＰＵ１０９は、Ｓ４０６で被写体再生軌跡データを登録した後にＳ４０３で検出された被写体位置情報と再生シーン時間情報を該当する被写体再生軌跡データに追記する（Ｓ４０７）。

Ｓ４０４でＮｏの場合又はＳ４０７の後、ＣＰＵ１０９は、Ｓ４０２で生成したＤＲＡＭ１０１の再生画像データを読み込み、図示しない表示部に表示する（Ｓ４０８）。

ＣＰＵ１０９は、タッチパネル１０５に対するユーザからの再生ポーズ指示の操作受け付けの有無を判断する（Ｓ４０９）。

Ｓ４０９でＹｅｓの場合、ＣＰＵ１０９は、再生ポーズ動作に遷移する。

Ｓ４０９でＮｏの場合、ＣＰＵ１０９は、タッチパネル１０５に対するユーザからの再生終了指示の操作受け付けの有無を判断する（Ｓ４１０）。

Ｓ４０９でＮｏの場合、ＣＰＵ１０９は、Ｓ４０１へ戻る。Ｓ４０９でＹｅｓの場合、ＣＰＵ１０９は、動画再生を終了する。

ＣＰＵ１０９は、ステップＳ４０１〜Ｓ４１０の動作を動画像の再生フレームレートに応じて繰り返すことで、被写体検出動画再生を実現する。

図５は、ユーザが画面内の被写体を直接つかんで動かすドラッグ操作による動画像の早送り再生と巻き戻し再生のイメージ図である。

図５（１）は、Ｓｃｅｎｅ５の再生表示例を示す。Ｓｃｅｎｅ５では被写体Ａが検出され、被写体Ａは、位置（ｘ５，ｙ５）に存在する。

ユーザから再生ポーズ指示があると、被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図５（２）に示すように、被写体再生軌跡データＡに登録されている位置情報（ｘ０，ｙ０）〜（ｘ５，ｙ５）を使って被写体Ａの軌跡を描画する。

ここで、図５（３）に示すように、ユーザが、Ｓｃｅｎｅ５における被写体検出位置（ｘ５，ｙ５）を、タッチパネル１０５を用いて選択したとする。

ユーザが被写体Ａの選択を解除することなく、図５（４）に示すように、タッチパネル１０５のタッチ位置を位置（ｘ１，ｙ１）に移動したとする。すると、ＣＰＵ１０９は、位置（ｘ１，ｙ１）に対応した再生時間情報を被写体再生軌跡データＡから検索し、対応する再生時間００：０１であるＳｃｅｎｅ１を再生表示する。

図６は、再生ポーズ状態での動作フローチャートである。Ｓ４０９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態に遷移して、図６に示すフローを実行する。

ＣＰＵ１０９は先ず、Ｓ４０６において登録される被写体再生軌跡データが存在するかを判断する（Ｓ６０１）。Ｓ６０１でＮｏの場合、ＣＰＵ１０９は、Ｓ６１０に移行する。

Ｓ６０１でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データの検出位置情報を使って被写体の軌跡データを生成し、ＤＲＡＭ１０１上のＯＳＤ（On Screen Display）などの描画スクリーンエリアに描画する（Ｓ６０２）。例えば、被写体再生軌跡データの検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画する。この描画処理は、ＣＰＵ１０９の再生軌跡描画処理によって実行される。

ＣＰＵ１０９は、ユーザが被写体をタッチパネル１０５によって選択したか否かを判断する（Ｓ６０３）。Ｓ６０３でＮｏの場合、ＣＰＵ１０９は、Ｓ６０９に移行する。Ｓ６０３でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出する（Ｓ６０４）。

ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ６０４で検出した位置が一致しているか否かを判断する（Ｓ６０５）。Ｓ６０５でＹｅｓの場合、ＣＰＵ１０９は、Ｓ６０９に移行する。

Ｓ６０５でＮｏの場合、ＣＰＵ１０９は、Ｓ６０４で検出した現在位置に対応する被写体位置情報が被写体再生軌跡データ内に存在するか否かを判断する（Ｓ６０６）。このとき、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲内であれば、一致と判断する。Ｓ６０６でＮｏの場合、ＣＰＵ１０９は、Ｓ６０９に移行する。

Ｓ６０６でＹｅｓの場合、ＣＰＵ１０９は、一致した被写体位置情報に応じた再生シーンに対応する符号化画像データを記録媒体１２０から読み込む（Ｓ６０７）。

ＣＰＵ１０９は、Ｓ６０７で読み込んだ符号化画像データをデコーダ１０６にデコードさせる（Ｓ６０８）。これにより、一致した被写体位置情報に応じた再生シーンの画像データを取得できる。

ＣＰＵ１０９は、Ｓ６０２で軌跡データを描画した描画スクリーンデータを画像データに重畳又は合成処理することで表示用画像データを生成し、この表示用画像データを表示部に表示する（Ｓ６０９）。軌跡データを合成又は重畳すべき画像データは、Ｓ６０８でデコード処理した場合は、Ｓ６０８で生成した画像データであり、Ｓ６０８でデコード処理していない場合は、現在表示出力している画像データである。

ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了指示をしたか否かを判断する（Ｓ６１０）。Ｓ６１０でＮｏの場合、ＣＰＵ１０９は、Ｓ６０１に戻る。Ｓ６１０でＹｅｓの場合、ＣＰＵ１０９は、図６に示すフローを終了する。

図７は、本実施例による予測軌跡表示のイメージ図である。図７（１）は、Ｓｃｅｎｅ０から再生を開始して、Ｓｃｅｎｅ１を再生表示している状態を示す。Ｓｃｅｎｅ１における被写体Ａが検出され、被写体Ａが位置（ｘ１，ｙ１）に存在している。

図７（１）に示す状態で、ユーザが再生停止（ポーズ）をＣＰＵ１０９に指示したとする。被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図７（２）に示すように、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を生成して描画する。このとき、被写体再生軌跡データＡには、Ｓｃｅｎｅ０からＳｃｅｎｅ１までの再生軌跡情報が格納されており、以下のような内容になっている。すなわち、

図７（２）に示す状態では、被写体再生軌跡データには、Ｓｃｅｎｅ０とＳｃｅｎｅ１の検出位置情報が格納されているので、ＣＰＵ１０９は、これらの検出位置情報に基づき軌跡を描画する。

ＣＰＵ１０９は、再生ポーズ中に、未再生のシーンの軌跡を描画するために予測軌跡情報生成処理を実行する。

まず、ＣＰＵ１０９はデコーダ１０６に指示して、被写体Ａがフレームアウトするシーンを検出するために、未再生のシーンから所定時間以内のフレームのうち通常再生より間引いたシーンを早送り方向にデコードさせる。例えば、Ｓｃｅｎｅ２を間引いてＳｃｅｎｅ３をデコードし、被写体検出部１０３が、Ｓｃｅｎｅ３で被写体を検出する。Ｓｃｅｎｅ３で被写体位置（ｘ３，ｙ３）が検出されるので、ＣＰＵ１０９は、位置（ｘ３，ｙ３）を被写体再生軌跡データＡに追記する。同様に、Ｓｃｅｎｅ４を間引いてＳｃｅｎｅ５をデコードし、被写体検出部１０３が、Ｓｃｅｎｅ５で被写体を検出する。Ｓｃｅｎｅ５で被写体位置（ｘ５，ｙ５）が検出されるので、ＣＰＵ１０９は、位置（ｘ５，ｙ５）を被写体再生軌跡データＡに追記する。

次に、Ｓｃｅｎｅ７をデコードし、被写体検出部１０３が、Ｓｃｅｎｅ７で被写体を検出しない。被写体はＳｃｅｎｅ５で検出されるが、Ｓｃｅｎｅ７では検出されないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５をフレームアウト直前のシーンと認識する。ＣＰＵ１０９は、Ｓｃｅｎｅ７の再生時間情報の欄にフレームアウトマーカを追記し、デコード処理を終了する。

この状態での被写体再生軌跡データは以下となる。すなわち、

デコードしなかったＳｃｅｎｅ２、Ｓｃｅｎｅ４、Ｓｃｅｎｅ６について説明する。ＣＰＵ１０９は、被写体Ａに対する予測軌跡データＡＰを生成し、被写体再生軌跡データＡを用いて、Ｓｃｅｎｅ２とＳｃｅｎｅ４での被写体Ａの予測位置を格納する。Ｓｃｅｎｅ６については、フレームアウトマーカの直前シーンであるＳｃｅｎｅ５が被写体検出最終シーンとなるので、予測位置データは作成されない。

この時点での被写体予測軌跡データＡＰは以下のようになる。すなわち、

図６（３）は、このようにして得られた予測軌跡情報生成処理後の被写体再生軌跡データＡを用いた再生軌跡と、被写体予測軌跡データＡＰを用いた予測軌跡とを描画した結果を示す。再生軌跡と予測軌跡は、互いに異なる線形状又は色で表現するのが好ましい。図６（３）に示す例では、再生軌跡を実線で描画し、予測軌跡を破線で描画している。

ユーザが、図７（４）に示すように、Ｓｃｅｎｅ１における被写体検出位置（ｘ１，ｙ１）をタッチパネル１０５上で選択し、タッチパネル１０５の接触（現在）位置を位置（ｘ５，ｙ５）に移動したとする。ＣＰＵ１０９は、移動後の接触位置（ｘ５，ｙ５）に対応した再生時間情報を被写体再生軌跡データＡ及び被写体予測軌跡データＡＰから検索する。接触位置（ｘ５，ｙ５）に対応する再生時間は００：０５でありＳｃｅｎｅ５に対応するので、ＣＰＵ１０９は、Ｓｃｅｎｅ５以降を再生表示する。

図８は、早送り又は巻き戻し再生の場合の予測軌跡生成描画処理の動作フローチャートである。

ＣＰＵ１０９は、被写体再生軌跡データにフレームアウトマーカが存在するか否かを判断する（Ｓ８０１）。

Ｓ８０１でＹｅｓの場合、ＣＰＵ１０９は、予測軌跡表示の動作を終了する。

Ｓ８０１でＮｏの場合、ＣＰＵ１０９は、被写体予測軌跡データを生成する（Ｓ８０２）。

Ｓ８０２に続いて、ＣＰＵ１０９は、デコーダ１０６に通常再生時よりフレームを間引いたデコードレートでデコードを実行させる（Ｓ８０３）。すなわち、デコーダ１０６は、一部のシーンを間引き、残ったシーンをデコードする。

ＣＰＵ１０９は、被写体検出部１０３に、Ｓ８０３でデコードされた画像に被写体が存在するかを検出させる（Ｓ８０４）。

Ｓ８０４で被写体が検出された場合、ＣＰＵ１０９は、検出された位置情報とシーンの再生時間情報を被写体再生軌跡データに追記する（Ｓ８０５）。

ＣＰＵ１０９は、Ｓ８０５で追記された被写体再生軌跡データを再生軌跡描画処理に適用して再生軌跡を描画し、現在再生表示している画像に合成又は重畳して表示用画像データを生成する（Ｓ８０６）。ＣＰＵ１０９は、タッチパネル１０５を装備する表示部に表示する。図７に示す例では、再生軌跡描画処理は、再生軌跡を実線で描画する。

ＣＰＵ１０９は、Ｓ８０３で間引かれてデコードされなかったシーンの被写体位置を被写体再生軌跡データから被写体位置情報補間処理により算出し、被写体予測軌跡データに追記する（Ｓ８０７）。

予測軌跡の算出方法を説明する。間引かれたフレーム数をｍとする。Ｓ８０５で被写体再生軌跡データに追記したフレームをＦ（ｎ）とし、その直前に追記されているフレームをＦ（ｎ−ｍ）とする。フレームＦ（ｎ）での被写体検出位置を（ｘ（ｎ），ｙ（ｎ））とし、フレームＦ（ｎ−ｍ）での被写体検出位置を（ｘ（ｎ−ｍ），ｙ（ｎ−ｍ））とする。間引かれたシーンは、Ｆ（ｎ−ｍ＋１）からＦ（ｎ−１）となり、各フレームの被写体予測位置は、以下のように算出される。

ＣＰＵ１０９は、Ｓ８０７で追記更新された被写体予測軌跡データを予測軌跡描画処理により描画し、現在表示している画像に合成して表示する（Ｓ８０８）。図７に示す例では、予測軌跡描画処理は、予測軌跡描画を破線で描画する。

Ｓ８０４で被写体が検出されなかった場合、ＣＰＵ１０９は、Ｓ８０３でデコードしたシーンの再生時間情報を用いて被写体再生軌跡データにフレームアウトマーカを追記する（Ｓ８０９）。

Ｓ８０８およびＳ８０９の処理後、ＣＰＵ１０９は、Ｓ８０１に戻る。

本実施例では、ステップＳ８０３で所定フレームを間引いた間隔でデコード処理をおこなったが、動画圧縮のＭＰＥＧ方式におけるイントラフレーム（フレーム内符号化フレーム）のみをデコードするようにしてもよい。又は、再生表示のフレーム間隔よりも広いフレーム間隔のフレーム又はシーンを予測軌跡生成の対象とする。

本実施例では、ステップＳ８０４で被写体のフレームアウトを検知し予測軌跡の生成を終了したが、現在再生表示しているシーンから所定フレームまでの範囲に対して予測軌跡の生成を行ってもよい。

再生軌跡と予測軌跡を実線と破線で区別したが、その表示色で区別しても良いことはいうまでもない。

ユーザが被写体を選択しているか否かを判断せずに予測軌跡データを生成したが、ユーザによる被写体の選択に応じて予測軌跡データの生成を開始してもよい。

被写体検出部１０３により検出される被写体に予測軌跡データを生成したが、被写体検出部１０３で検出される被写体を被写体認証部１０４で被写体認証し、認証された被写体のみに予測軌跡データ生成処理を適用しても良い。

図９は、再生ポーズ状態で予測軌跡を表示した後に、通常再生し、再度再生ポーズ状態にした場合の、再生軌跡データと予測軌跡データを更新する処理のイメージ図である。

図９（１）は、Ｓｃｅｎｅ０から再生を開始し、Ｓｃｅｎｅ１を再生表示している状態を示す。このとき、Ｓｃｅｎｅ１で被写体Ａが検出され、被写体Ａは位置（ｘ１，ｙ１）に存在する。

ユーザから再生ポーズ指示があると、ＣＰＵ１０９は、被写体再生軌跡データＡが存在するので、図９（２）に示すように、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を描画する。このとき、被写体再生軌跡データＡには、下記のように、Ｓｃｅｎｅ０からＳｃｅｎｅ１までの再生軌跡情報が格納されている。すなわち、

図９（２）には、再生軌跡データＡに基づき、Ｓｃｅｎｅ０とＳｃｅｎｅ１の位置情報に基づく軌跡が描画される。

ＣＰＵ１０９は、再生していないシーンの予測軌跡を描画するために、予測軌跡情報生成処理を実行する。

まず、ＣＰＵ１０９は、被写体Ａがフレームアウトするシーンを検出するために、早送り方向にシーンを間引いてデコーダ１０６にデコードを行わせる。

例えば、Ｓｃｅｎｅ２のデコードを省略して、Ｓｃｅｎｅ３をデコードし、被写体検出を行う。Ｓｃｅｎｅ３では被写体Ａが位置（ｘ３，ｙ３）で検出されるので、ＣＰＵ１０９は、位置（ｘ３，ｙ３）を被写体再生軌跡データＡに追記する。また、Ｓｃｅｎｅ４のデコードを省略して、Ｓｃｅｎｅ５をデコードし、被写体検出を行う。Ｓｃｅｎｅ５では被写体Ａが位置（ｘ５，ｙ５）で検出されるので、ＣＰＵ１０９は、位置（ｘ５，ｙ５）を被写体再生軌跡データＡに追記する。次にＳｃｅｎｅ７をデコードして被写体検出を行っても、Ｓｃｅｎｅ７では被写体が検出されない。被写体はＳｃｅｎｅ５で検出されるが、Ｓｃｅｎｅ７では検出されないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５をフレームアウト直前のシーンと認識する。従って、ＣＰＵ１０９は、Ｓｃｅｎｅ７に対する再生時間情報の欄にフレームアウトマーカを追記し、デコード処理を終了する。

予測軌跡情報生成処理を終了した後の画面例を図９（３）に示す。図９（３）に示す状態での被写体再生軌跡データは以下となる。すなわち、

ＣＰＵ１０９は、予測軌跡情報補間処理により、デコードしなかったＳｃｅｎｅ２、Ｓｃｅｎｅ４、Ｓｃｅｎｅ６での被写体位置を、デコードしたシーンの位置情報から補間する。先ず、ＣＰＵ１０９は、被写体Ａに対する予測軌跡データＡＰを生成する。そして、ＣＰＵ１０９は、被写体再生軌跡データＡを用いてＳｃｅｎｅ２とＳｃｅｎｅ４での被写体Ａの位置と再生時間を補間し、予測軌跡情報として予測軌跡データＡＰに格納する。Ｓｃｅｎｅ６については、フレームアウトマーカの直前シーンであるＳｃｅｎｅ５が被写体検出最終シーンとなるので、予測軌跡データは作成されない。この時点での被写体予測軌跡データＡＰは、以下のようになる。すなわち、

ＣＰＵ１０９は、予測軌跡情報生成処理後の被写体再生軌跡データＡを用いて再生軌跡を描画し、被写体予測軌跡データＡＰを用いて予測軌跡を描画する。描画後の表示画像を図９（３）に示す。図９（３）では、両者を視覚的に識別できるように、再生軌跡は実線で描画され、予測軌跡は破線で描画されている。

次に、ユーザが、再生指示に応じて、図９（４）に示すように、Ｓｃｅｎｅ１からＳｃｅｎｅ５までの再生を指示したとする。この指示によるＳｃｅｎｅ１からＳｃｅｎｅ５までの再生の間に、ＣＰＵ１０９は、各シーンで被写体を検出し、被写体再生軌跡データＡを各シーンでの再生軌跡情報で更新する。すなわち、被写体再生軌跡データＡに未登録であったシーンＳｃｅｎｅ２，Ｓｃｅｎｅ４の再生軌跡情報が、被写体再生軌跡データＡに追記される。被写体再生軌跡データＡに追記したシーンに対応する予測軌跡情報が、被写体予測軌跡データＡＰに存在する場合、ＣＰＵ１０９は、被写体再生軌跡データＡに追記したシーンに対応する予測軌跡情報を被写体予測軌跡データＡＰから削除する。ここでの説明例では、シーンＳｃｅｎｅ２，Ｓｃｅｎｅ４の予測軌跡情報が被写体予測軌跡データＡＰから削除される。

Ｓｃｅｎｅ１からＳｃｅｎｅ５までを通常再生した時点での、被写体再生軌跡データＡと被写体予測軌跡データＡＰは以下のようになる。すなわち、

Ｓｃｅｎｅ５を再生表示中にユーザから再生ポーズ指示があると、ＣＰＵ１０９は、図９（５）に示すように、被写体再生軌跡と被写体予測軌跡の描画処理を再度実行する。ただし、被写体予測軌跡データＡＰには予測軌跡情報が存在しないので、被写体再生軌跡データＡに基づく軌跡のみが表示される。

図１０は、被写体検出動画再生動作時に予測軌跡情報を破棄する処理の動作フローチャートである。

ユーザからの再生指示をタッチパネル１０５が検出すると、ＣＰＵ１０９は、記録媒体１２０に記録されている符号化画像データをメディアＩ／Ｆ１０７を介してＤＲＡＭ１０１に読み込む（Ｓ１００１）。

デコーダ１０６が、ＤＲＡＭ１０１に読み込んだ符号化画像データをデコードし、得られた画像データ（再生画像データ）をＤＲＡＭ１０１に書き込む（Ｓ１００２）。

ＣＰＵ１０９は、被写体検出部１０３にＳ１００２で生成された画像データに所望の被写体を検出させる（Ｓ１００３）。例えば、被写体検出モードが顔検出だった場合、被写体検出部１０３は、画像データから輪郭情報を抽出し、その輪郭情報と多数の顔画像から標準化した顔特徴情報とを比較し、マッチングする領域（被写体領域）を検出する。

ＣＰＵ１０９は、被写体検出部１０３の検出出力により、Ｓ１００３で被写体が検出されたかを判断する（Ｓ１００４）。

Ｓ１００４でＮｏの場合、ＣＰＵ１０９は、Ｓ１００８に移行する。

Ｓ１００４でＹｅｓの場合、ＣＰＵ１０９は、検出済みの被写体と同一かどうかを判断する（Ｓ１００５）。検出済みの被写体との同一性を判断する方法として、例えば、直前の画像で検出された被写体の位置とＳ１００３で検出された被写体の位置が所定距離以内であれば、同一被写体と判断する。又は、直前の画像で検出された被写体の輪郭情報とＳ１００３で抽出した輪郭情報とを比較し、一致した場合に同一被写体と判断する。

Ｓ１００５でＹｅｓの場合、ＣＰＵ１０９は、Ｓ１００７に移行する。

Ｓ１００５でＮｏの場合、ＣＰＵ１０９は、新規被写体として被写体再生軌跡データを新規登録する（Ｓ１００６）。被写体再生軌跡データは、Ｓ１００３で検出した被写体の輪郭情報、検出位置情報、及び検出位置に応じた再生シーン時間情報を登録可能であって、位置情報と再生シーン時間は時系列に追記可能なデータ構造を有している。

Ｓ１００５でＹｅｓの場合、又はＳ１００６の後、ＣＰＵ１０９は、Ｓ１００３で検出された被写体位置情報と再生シーン時間情報を、該当する被写体再生軌跡データに追記する（Ｓ１００７）。

ＣＰＵ１０９は、Ｓ１００７の処理後に、Ｓ１００４で検出された被写体に対して予測軌跡データが存在するか判断する（Ｓ１０１１）。

Ｓ１０１１でＮｏの場合、ＣＰＵ１０９は、Ｓ１００８に移行する。

Ｓ１０１１でＹｅｓの場合、ＣＰＵ１０９は、予測軌跡データ内にＳ１００２でデコードしたシーンに対応する予測軌跡位置情報が存在するか判断する（Ｓ１０１２）。

Ｓ１０１２でＮｏの場合、ＣＰＵ１０９は、Ｓ１００８に移行する。

Ｓ１０１２でＹｅｓの場合、ＣＰＵ１０９は、Ｓ１００２でデコードしたシーンに対応する予測軌跡位置情報を予測軌跡データから破棄し、Ｓ１００８に移行する（Ｓ１０１３）。

Ｓ１００４でＮｏの場合、Ｓ１０１１でＮｏの場合、Ｓ１０１２でＮｏの場合、又は、Ｓ１０１３の後、ＣＰＵ１０９は、ＤＲＡＭ１０１に保持するＳ１００２で生成した再生画像データを表示する（Ｓ１００８）。

ＣＰＵ１０９は、ユーザからの再生ポーズ指示をタッチパネル１０５が受けつけたかどうかを判断する（Ｓ１００９）。

Ｓ１００９でＹｅｓの場合、ＣＰＵ１０９は、再生ポーズ動作に遷移する。

Ｓ１００９でＮｏの場合、ＣＰＵ１０９は、ユーザからの再生終了指示をタッチパネル１０５が受けつけたかどうかを判断する（Ｓ１０１０）。

Ｓ１００９でＮｏの場合、ＣＰＵ１０９はＳ１００１に戻る。Ｙｅｓの場合、ＣＰＵ１０９は、図１０に示すフローを終了する。

ＣＰＵ１０９は、ステップＳ１００１〜Ｓ１０１０の動作を動画像の再生フレームレートに応じて繰り返す。これにより、動画を再生しながら被写体を検出する被写体検出動画再生を実現する。

本実施例は、特定被写体がフレームアウトするシーンまでの早送りや、フレームインするシーンまでの巻き戻しをフリック操作により実現できる。以下、その動作を説明する。

図１１Ａ及び図１１Ｂは、再生ポーズ動作において、ユーザが被写体を選択した後にフリック操作を行った場合の動作フローチャートである。Ｓ１００９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態に遷移して、図１１Ａ及び図１１Ｂに示すフローを実行する。

ＣＰＵ１０９は先ず、Ｓ４０６において登録される被写体再生軌跡データが存在するかを判断する（Ｓ１１０１）。Ｓ１１０１でＮｏの場合、ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１１１５）。Ｓ１１０１でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データの検出位置情報を使って被写体の軌跡を算出し、ＤＲＡＭ１０１上の描画スクリーンエリアに当該軌跡を描画する（Ｓ１１０２）。例えば、被写体再生軌跡データに存在する検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画できる。

ＣＰＵ１０９は、ユーザがタッチパネル１０５へのタッチにより被写体を選択したかどうかを判断する（Ｓ１１０３）。Ｓ１１０３でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。Ｓ１１０３でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出する（Ｓ１１０４）。

ＣＰＵ１０９は、タッチパネル１０５によって位置検出されたか否かを判断する（Ｓ１１０５）。Ｓ１１０５でＹｅｓの場合、ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ１１０４でタッチパネル１０５によって検出された位置が一致しているかを判断する（Ｓ１１０６）。Ｓ１１０５でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。

Ｓ１１０６でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５への操作がフリック操作かどうかを判定する（Ｓ１１０７）。Ｓ１１０６でＮｏの場合、ＣＰＵ１０９は、Ｓ１１０５でタッチパネル１０５によって検出された現在位置に対応する被写体位置情報が被写体再生軌跡データに存在するかどうかを判断する（Ｓ１１０８）。例えば、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲以内であれば一致と判断する。

Ｓ１１０８でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。Ｓ１１０８でＹｅｓの場合、ＣＰＵ１０９は、メディアＩ／Ｆ１０７を介して、一致した被写体位置情報に応じたシーンの符号化画像データを記録媒体１２０から読み込む（Ｓ１１０９）。デコーダ１０６は、Ｓ１１０９で記録媒体１２０から読み込んだ符号化画像データをデコードし、画像データ（再生画像データ）を生成する（Ｓ１１１３）。

Ｓ１１０７でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。

Ｓ１１０７でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５へのフリック操作の方向が被写体の移動方向かその逆方向かを判断する（Ｓ１１１０）。Ｓ１１１０で、被写体の進行方向とフリック方向が同方向である場合、ＣＰＵ１０９は、選択中の被写体位置情報を参照し、被写体がフレームアウトする直前の時間に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１１１２）。なお、被写体がフレームアウトするシーンが存在しない場合、ＣＰＵ１０９は、動画像の再生終了時間に対応する（最後のシーンの）符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む。デコーダ１０６は、ＤＲＡＭ１０１に読み込んだ符号化画像データをデコードし、再生画像データを生成する（Ｓ１１１３）。

Ｓ１１１０で被写体の進行方向とフリック方向が同方向である場合、ＣＰＵ１０９は、選択中の被写体位置情報を参照し、被写体がフレームインした直後の時間に対応する画像符号化データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１１１１）。なお、被写体がフレームインするシーンが存在しない場合は、ＣＰＵ１０９は、動画像の再生開始時間に対応する画像符号化データを記録媒体１２０からＤＲＡＭ１０１に読み込む。デコーダ１０６は、画像符号化データをデコードし、画像データを生成する（Ｓ１１１３）。

ＣＰＵ１０９は、Ｓ１１０２で軌跡を描画した描画スクリーンデータと、画像データとを合成し表示する（Ｓ１１１４）。合成対象となる画像データは、Ｓ１１１３でデコーダ１０６がデコード処理した場合はＳ１１１３で生成した画像データであり、そうでない場合は、現在表示出力している画像データである。

ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１１１５）。Ｓ１１１５でＮｏの場合、ＣＰＵ１０９は、Ｓ１１０１へ戻る。Ｓ１１１５でＹｅｓの場合、ＣＰＵ１０９は、図１０のＳ１００１に戻る。

図１１Ａ及び図１１Ｂを参照して説明したフリック操作による動画像の早送り／巻き戻し再生を、図１２に示すイメージ図を用いて説明する。

図１２（１）はＳｃｅｎｅ２の再生表示状態であり、Ｓｃｅｎｅ２における被写体Ａは、位置（ｘ２，ｙ２）で検出される。

ユーザから再生ポーズ指示があると、被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図１２（２）に示すように、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を描画する（Ｓ１１０１〜Ｓ１１０２）。

ユーザは、図１２（３）に示すように、Ｓｃｅｎｅ２における被写体検出位置（ｘ２，２）をタッチパネル１０５上で選択したとする（Ｓ１１０３〜Ｓ１１０６）。

そして、ユーザが、図１２（４）に示すように、被写体の選択を解除することなく、タッチパネル１０５上で被写体の移動方向にフリック操作したとする（Ｓ１１０７）。このフリック操作に応じて、ＣＰＵ１０９は、図１２（５）に示すように、被写体がフレームアウトする位置（ｘ５，ｙ５）に対応した再生位置情報を被写体再生軌跡データＡから検索する（Ｓ１１１０〜Ｓ１１１２）。説明例では、ＣＰＵ１０９は、対応する再生時間００：０５であるＳｃｅｎｅ５を再生表示する（Ｓ１１１３〜Ｓ１１１４）。

動画像の再生中に特定の被写体がフレームアウトするシーンまで早送りをしたい場合、又は特定の被写体がフレームインするシーンまで巻き戻しをしたいする場合、本実施例では、軌跡をなぞることなくフリック操作で済ませることができ、操作性が向上する。

フリック方向だけでなく、フリックの強度を考慮して再生を制御することもできる。図１３Ａ及び図１３Ｂは、フリック強度を加味するように図１１Ａ及び図１１Ｂに示すフローチャートを変更したフローチャートを示す。Ｓ１００９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態に遷移して、図１３Ａ及び図１３Ｂに示すフローを実行する。

ＣＰＵ１０９は先ず、Ｓ４０６において登録される被写体再生軌跡データが存在するかを判断する（Ｓ１３０１）。Ｓ１３０１でＮｏの場合、ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１３１８）。Ｓ１３０１でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データの検出位置情報を使って被写体の軌跡を算出し、ＤＲＡＭ１０１上の描画スクリーンエリアに当該軌跡を描画する（Ｓ１３０２）。例えば、被写体再生軌跡データに存在する検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画できる。

ＣＰＵ１０９は、ユーザがタッチパネル１０５へのタッチ操作により被写体を選択したかどうかを判断する（Ｓ１３０３）。Ｓ１３０３でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。Ｓ１３０３でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出する（Ｓ１３０４）。

ＣＰＵ１０９は、タッチパネル１０５によって位置検出されたか否かを判断する（Ｓ１３０５）。Ｓ１３０５でＹｅｓの場合、ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ１３０４でタッチパネル１０５によって検出された位置が一致しているかを判断する（Ｓ１３０６）。Ｓ１３０５でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。

Ｓ１３０６でＹｅｓの場合、ＣＰＵ１０９は複雑度判定手段として、被写体軌跡の複雑度を判定する（Ｓ１３０７）。Ｓ１３０２で描画した軌跡に交点が所定値以上、例えば、１点以上ある場合に、ＣＰＵ１０９は、被写体の軌跡が複雑であると判断する。

Ｓ１３０６でＮｏの場合、ＣＰＵ１０９は、Ｓ１３０５でタッチパネル１０５によって検出された現在位置に対応する被写体位置情報が被写体再生軌跡データに存在するかどうかを判断する（Ｓ１３０９）。例えば、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲以内であれば一致と判断する。

Ｓ１３０９でＮｏの場合、ＣＰＵ１０９は、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。Ｓ１３０９でＹｅｓの場合、ＣＰＵ１０９は、メディアＩ／Ｆ１０７を介して、一致した被写体位置情報に応じたシーンの符号化画像データを記録媒体１２０から読み込む（Ｓ１３１０）。デコーダ１０６は、Ｓ１３１０で記録媒体１２０から読み込んだ符号化画像データをデコードし、画像データ（再生画像データ）を生成する（Ｓ１３１６）。

Ｓ１３０７でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。Ｓ１３０７でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５への操作がフリック操作かどうかを判定する（Ｓ１３０８）。

Ｓ１３０８でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。

Ｓ１３０８でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の検出出力からタッチアップまでのムーブ速度を算出する（Ｓ１３１１）。ここで算出したムーブ速度をＶとする。

ＣＰＵ１０９は、受け付けたフリック操作の方向が被写体の移動方向か逆方向かを判断する（Ｓ１３１２）。Ｓ１３１２で被写体の進行方向とフリック方向が同方向である場合、ＣＰＵ１０９は、早送り再生位置を算出する（Ｓ１３１４）。Ｓ１３１１で算出したムーブ速度Ｖが閾値Ｖ_０以上である場合、ＣＰＵ１０９は、被写体がフレームアウトする直前の時間を早送り再生位置とする。なお、被写体がフレームアウトするシーンが存在しない場合、ＣＰＵ１０９は、動画像の再生終了時間を早送り再生位置とする。ムーブ速度Ｖが閾値Ｖ_０よりも小さい場合、ＣＰＵ１０９は、早送り再生位置としての再生シーン時間Ｔを下記式（１）により算出する。すなわち、
Ｔ＝ｔ＋（Ｔ_０−ｔ）×（Ｖ／Ｖ_０） （１）
ただし、ｔは表示中の再生時間、Ｔ_０はムーブ速度Ｖ_０以上でフリックした場合に再生するシーンの時間を示す。

Ｓ１３１２で被写体の進行方向とフリック方向が逆方向である場合、ＣＰＵ１０９は、巻き戻し再生位置を算出する（Ｓ１３１３）。Ｓ１３１１で算出したムーブ速度Ｖが閾値Ｖ_０以上である場合、ＣＰＵ１０９は、被写体がフレームインした直後の時間を巻き戻し再生位置とする。なお、被写体がフレームインするシーンが存在しない場合、ＣＰＵ１０９は、動画像の再生開始時間を巻き戻し再生位置とする。ムーブ速度Ｖが閾値Ｖ_０よりも小さい場合、ＣＰＵ１０９は、巻き戻し再生位置としての再生シーン時間Ｔを下記式（２）により算出する。すなわち、
Ｔ＝ｔ−（ｔ−Ｔ_０）×（Ｖ／Ｖ_０） （２）
ただし、ｔは表示中の再生時間、Ｔ_０はムーブ速度Ｖ_０以上でフリックした場合に再生するシーンの時間を示す。

ＣＰＵ１０９は、Ｓ１３１３，Ｓ１３１４でＣＰＵ１０９が算出した再生シーン時間に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１３１５）。デコーダ１０６は、ＤＲＡＭ１０１に読み込んだ符号化画像データをデコードし、画像データを生成する（Ｓ１３１６）。

ＣＰＵ１０９は、Ｓ１３０２で軌跡データを描画した描画スクリーンデータと、画像データとを合成処理し、表示部に表示する（Ｓ１３１７）。合成対象となる画像データは、Ｓ１３１６でデコーダ１０６がデコード処理した場合はＳ１３１６で生成した画像データであり、そうでない場合は、現在表示出力している画像データである。

ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１３１６）。Ｓ１３１６でＮｏの場合、ＣＰＵ１０９は、Ｓ１３０１へ戻る。Ｓ１３１６でＹｅｓの場合、ＣＰＵ１０９は、図１０のＳ１００１に戻る。

軌跡が複雑な場合は、なぞるべき線がわからなくなるなど、ユーザの操作が難しくなることがある。その場合に、フリック操作による巻き戻し・早送りを行うことで、ユーザの操作が容易になる。また、フリックの強さと再生シーンを関連付けることにより、より直感的に、ユーザの意図したシーンを再生することが可能になる。

被写体が画面内から消えて(フレームアウト)しまった場合に、その被写体が画面内に位置するシーンに早送り又は巻き戻し制御する動作を説明する。図１４Ａ及び図１４Ｂは、その動作フローチャートを示す。Ｓ１００９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態において、図１４Ａ及び図１４Ｂに示すフローを実行する。

ＣＰＵ１０９は先ず、被写体再生軌跡データが存在するかを判断する（Ｓ１４０１）。Ｓ１４０１でＮｏの場合、ＣＰＵ１０９は、Ｓ１４１３に移行する。

Ｓ１４０１でＹｅｓの場合、ＣＰＵ１０９はフレームアウト検出手段として、被写体再生軌跡データの対象となる被写体が現在、再生表示中の画像からフレームアウトしているかどうか判断する（Ｓ１４０２）。被写体がフレームアウトしているかどうかは、現在表示中の画像から被写体を検出し、被写体再生軌跡データに格納されている輪郭情報との一致性で判断できる。被写体が検出され、かつ検出された被写体から生成された輪郭情報と被写体再生軌跡データに格納されている輪郭情報が一致する場合、フレームアウト状態ではないと判断される。被写体が検出されない場合と輪郭情報が一致しない場合には、フレームアウト状態と判断される。Ｓ１４０２でＮｏ（フレームアウト状態でない）の場合、ＣＰＵ１０９は、Ｓ１４０４に移行する。

Ｓ１４０２でＹｅｓ（フレームアウト状態）の場合、ＣＰＵ１０９は、フレームアウトした被写体のフレームアウト直前のシーン（再生時間）を取得して記憶すると共に、当該被写体に関連付けたアイコンを再生表示画面に表示する（Ｓ１４０３）。具体的には、ＣＰＵ１０９は、被写体再生軌跡データに格納されている再生時間情報から、現在表示出力されている画像データの再生時間に一番近いシーン（フレームアウト直前のシーン）の再生時間を検索する。そして、ＣＰＵ１０９は、検索された再生時間に対応する被写体の検出位置情報（フレームアウト直前の被写体位置）を取得し、ＤＲＡＭ１０１上の描画スクリーンエリアにおける相対座標位置に被写体再生軌跡データと関連づけられたアイコンを描画する。

ＣＰＵ１０９は、被写体再生軌跡データに存在する検出位置情報を被写体の軌跡として、ＤＲＡＭ１０１上に存在する描画スクリーンエリアに描画する（Ｓ１４０４）。例えば、被写体再生軌跡データの検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画する。この描画処理は、ＣＰＵ１０９の再生軌跡描画処理によって実行される。

ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出し（Ｓ１４０５）、位置検出できたかどうかを判断する（Ｓ１４１４）。位置検出できた場合（Ｓ１４１４でＹｅｓ）、ＣＰＵ１０９は、Ｓ１４０３で描画したアイコンの描画位置とＳ１４０５で検出した位置が実質的に一致しているか否かを判断する（Ｓ１４０６）。

Ｓ１４０６でＹｅｓの場合、ＣＰＵ１０９はアイコンの選択操作であると判断し、Ｓ１４０３で検索された再生時間（フレームアウト直前の再生時間）に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１４１１）。ＣＰＵ１０９は、読み込んだ符号化画像データをデコーダ１０６にデコードさせる（Ｓ１４１０）。

Ｓ１４０６でＮｏの場合、ＣＰＵ１０９は、現在表示している画像中の被写体位置とＳ１４０５で検出した位置とが実質的に一致しているか否かを判断する（Ｓ１４０７）。Ｓ１４０７でＹｅｓの場合、ＣＰＵ１０９は、Ｓ１４１２に移行する。

Ｓ１４０７でＮｏの場合、ＣＰＵ１０９は、Ｓ１４０５で検出した現在位置に対応する被写体位置情報が被写体再生軌跡データ内に存在するかを判断する（Ｓ１４０８）。例えば、現在位置と完全に一致する情報が被写体再生軌跡データ内に存在しなくとも、画像上の座標距離が所定範囲内であれば一致と判断する。

Ｓ１４０８でＮｏの場合、ＣＰＵ１０９は、Ｓ１４１２に移行する。Ｓ１４０８でＹｅｓの場合、ＣＰＵ１０９は、一致した被写体位置情報に対応する再生シーン時間情報を取得し、取得した再生シーン情報に応じた符号化画像データを記録媒体１２０から読み込み（Ｓ１４０９）、Ｓ１４１０に移行する。

Ｓ１４１４でＮｏの場合、ＣＰＵ１０９は、直前の位置検出時にアイコンが選択されていたか否かを判断する（Ｓ１４１５）。Ｓ１４１５でＮｏの場合、ＣＰＵ１０９は、Ｓ１４１２に移行する。Ｓ１４１５でＹｅｓの場合、ＣＰＵ１０９は、この再生ポーズ動作へ遷移する直前に表示していた再生シーンに応じた符号化画像データを記録媒体１２０から読み込み（Ｓ１４１６）、Ｓ１４１０に移行する。

デコーダ１０６は、Ｓ１４０９又はＳ１４１１で読み込んだ符号化画像データをデコードし、得られた画像データをＤＲＡＭ１０１に書き込む（Ｓ１４１０）。

ＣＰＵ１０９は、Ｓ１４０３で描画したアイコンとＳ１４０４で描画した軌跡データを含む描画スクリーンデータを画像データと合成して表示する（Ｓ１４１２）。合成に使用する画像データは、Ｓ１４１０でデコード処理した場合は、Ｓ１４１０で生成した画像データであり、Ｓ１４１０でデコード処理していない場合は、現在表示出力している画像データである。

ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了指示をしたか否かを判断する（Ｓ１４１３）。Ｓ１４１３でＮｏの場合、ＣＰＵ１０９は、Ｓ１４０１に戻る。Ｓ１４１３でＹｅｓの場合、ＣＰＵ１０９は、図１４Ａ及び図１４Ｂに示すフローを終了し、図１０のＳ１００１に戻る。

図１５に示す画面例を参照して，図１４Ａ及び図１４Ｂに示すフローチャートの早送り・巻き戻しの再生制御動作を説明する。図１５は、Ｓ４０９でＹｅｓの場合に、現在表示出力されている画像に被写体が検出されない状態での画面遷移例を示す。

図１５（１）はＳｃｅｎｅ６の再生表示状態を示し、このときＳｃｅｎｅ６における被写体Ａは検出されていない。

ユーザから再生ポーズ指示があると、被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図１５（２）に示すように、被写体Ａがフレームアウトする直前の検出位置（ｘ５，ｙ５）にフレームアウトした被写体Ａに対応するアイコンを描画する。ＣＰＵ１０９は更に、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を描画する。

ユーザが、図１５（３）に示すように、アイコン描画位置（ｘ５，ｙ５）をタッチパネル１０５上で選択したとする。

アイコン描画位置（ｘ５，ｙ５）のアイコンをユーザが選択したことに応じて、ＣＰＵ１０９は、図１５（４）に示すように、被写体Ａがフレームアウトする直前のＳｃｅｎｅ５（再生時間００：０５）を再生表示する。このとき、ＣＰＵ１０９は、アイコン表示をオフにする。

ユーザが被写体の選択を解除することなく、タッチパネル１０５のタッチ位置（現在位置）を軌跡上の位置（ｘ１，ｙ１）に移動したとする。この移動操作に応じて、ＣＰＵ１０９は、図１５（５）に示すように、タッチ位置（ｘ１，ｙ１）に対応した再生時間情報を被写体再生軌跡データＡから検索し、Ｓｃｅｎｅ１（再生時間００：０１）を再生表示する。

ユーザが、図１５（４）に示す状態からタッチ位置を移動することなく操作を解除すると、ＣＰＵ１０９は、再生ポーズ動作開始直前に表示されていたＳｃｅｎｅ６（再生時間００：０６）を再生表示し、図１５（２）に示す状態に遷移する。

被写体がフレームアウトしている再生シーンでは、タッチパネルを用いて被写体を選択することができない。図１４Ａ及び図１４Ｂで説明したように、フレームアウトした被写体に関連付けられたアイコンを画面上に表示することで、ユーザは、フレームアウトした被写体を選択できるようになる。

また、フレームアウトした被写体を示すアイコンが選択された場合に当該被写体がフレームアウトする直前のシーンを再生することで、選択したアイコンがどの被写体に関連付けられているかを確認することが容易になる。

当該アイコンを選択後に移動せずにその選択を解除することで、アイコン選択前のシーンに戻ることができる。

フレームアウトした被写体の被写体再生軌跡データの保持可能数よりも多くの被写体がフレームアウトする場合の処理を説明する。説明上、画像再生装置１００は、フレームアウトした被写体再生軌跡データを１つしか保持できないとする。

図１６は説明例として画像例であり、動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ６があり、それぞれの再生シーン時間情報および被写体検出は以下の表のようになっているとする。すなわち、

この動画像に対して被写体検出動画再生を行った場合、Ｓｃｅｎｅ０の再生時に、被写体検出部１０３は被写体Ａ，Ｂを検出し、ＣＰＵ１０９は、被写体Ａの被写体再生軌跡データＡと被写体Ｂの被写体再生軌跡データＢを登録する。被写体再生軌跡データＡには位置情報（ｘ０，ｙ０）と再生時間情報００：００が追記される。被写体再生軌跡データＢには位置情報（ｘｂ０，ｙｂ０）と再生時間情報００：００が追記される。

ＣＰＵ１０９は、Ｓｃｅｎｅ１の再生時に被写体検出部１０３が検出した被写体がすでに登録されている被写体Ａ，Ｂと同一であると判定する。ＣＰＵ１０９は、この判定に基づき、被写体再生軌跡データＡにＳｃｅｎｅ１での被写体Ａの検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を追記する。ＣＰＵ１０９は更に、被写体再生軌跡データＢにＳｃｅｎｅ１での被写体Ｂの検出位置情報（ｘｂ１，ｙｂ１）と再生時間情報００：０１を追記する。この結果、Ｓｃｅｎｅ２まで再生した後の、被写体再生軌跡データＡ，Ｂは、以下のような内容となる。すなわち、

Ｓｃｅｎｅ３〜Ｓｃｅｎｅ５では被写体Ａは検出されるが、被写体Ｂはフレームアウトしているので検出されない。この場合、被写体再生軌跡データＡにはそれぞれのＳｃｅｎｅに応じた検出位置情報と再生時間情報が追記されるが、被写体再生軌跡データＢにはこのようなデータは追記されない。Ｓｃｅｎｅ３において被写体Ｂは検出されないので、フレームアウトした被写体と判断され、ＣＰＵ１０９は、被写体再生軌跡データＢをフレームアウト被写体再生軌跡データとして再登録する。

Ｓｃｅｎｅ５まで再生した後の被写体再生軌跡データは、以下のような内容となる。すなわち、

Ｓｃｅｎｅ６では被写体が検出されないので、被写体Ａがフレームアウトしたと判断される。フレームアウト被写体再生軌跡データは１つしか保持できないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５の段階で保持されていたフレームアウト被写体再生軌跡データを破棄し、被写体再生軌跡データＡをフレームアウト被写体再生軌跡データとして再登録する。この結果、Ｓｃｅｎｅ６まで再生した後の被写体再生軌跡データは、以下のような内容となる。すなわち、

新たにフレームアウトした被写体が発生した場合に、当該被写体の被写体再生起動データをフレームアウト被写体再生起動データとして再登録する例を説明したが、認証された被写体の被写体再生起動データを優先するようにしてもよい。ここでも、説明上、画像再生装置１００はフレームアウトした被写体再生軌跡データを１つしか保持できないとする。

図１７は、この動作の説明例としての動画像の再生画像遷移例を示す。動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ６があり、それらの再生シーン時間情報および被写体検出が、それぞれ以下のようになっているとする。すなわち、

この動画像に被写体検出動画再生動作を行ったとする。被写体検出部１０３は、Ｓｃｅｎｅ０の再生時に被写体Ａ，Ｂを検出する。被写体認証部１０４は、検出された被写体Ａ，Ｂが認証登録されている被写体かどうかを判定し、判定結果をＣＰＵ１０９に通知する。ここでは、被写体Ａが認証登録された被写体であるとする。

ＣＰＵ１０９は、被写体Ａの被写体再生軌跡データＡと、被写体Ｂの被写体再生軌跡データＢを登録する。被写体Ａが認証被写体なので、ＣＰＵ１０９は、認証情報を被写体再生軌跡データＡに追記する。被写体再生軌跡データＡには被写体Ａの検出位置情報（ｘ０，ｙ０）と再生時間情報００：００が追記され、被写体再生軌跡データＢには被写体Ｂの検出位置情報（ｘｂ０，ｙｂ０）と再生時間情報００：００が追記される。

ＣＰＵ１０９は、Ｓｃｅｎｅ１の再生時に被写体検出部１０３が検出した被写体がすでに登録されている被写体Ａ，Ｂと同一であると判定する。ＣＰＵ１０９は、この判定に基づき、被写体再生軌跡データＡにＳｃｅｎｅ１での被写体Ａの検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を追記する。ＣＰＵ１０９は更に、被写体再生軌跡データＢにＳｃｅｎｅ１での被写体Ｂの検出位置情報（ｘｂ１，ｙｂ１）と再生時間情報００：０１を追記する。この結果、Ｓｃｅｎｅ２まで再生した後の、被写体再生軌跡データＡ，Ｂは、以下のような内容となる。すなわち、

Ｓｃｅｎｅ３〜Ｓｃｅｎｅ５では被写体Ｂは検出されるが、被写体Ａはフレームアウトしているので検出されない。この場合、被写体再生軌跡データＢにはそれぞれのＳｃｅｎｅに応じた検出位置情報と再生時間情報が追記されるが、被写体再生軌跡データＡにはこのようなデータは追記されない。Ｓｃｅｎｅ３において被写体Ａは検出されないので、フレームアウトした被写体と判断され、ＣＰＵ１０９は、被写体再生軌跡データＡをフレームアウト被写体再生軌跡データとして再登録する。

Ｓｃｅｎｅ５まで再生した後の被写体再生軌跡データは、以下のような内容となる。すなわち、

Ｓｃｅｎｅ６では被写体が検出されないので、被写体Ｂがフレームアウトしたと判断される。フレームアウト被写体再生軌跡データは１つしか保持できないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５の段階で保持されていたフレームアウト被写体再生軌跡データに認証被写体情報が含まれているかどうかを調べる。現在のフレームアウト被写体再生軌跡データは、被写体再生軌跡データＡを再登録したものであるので、認証被写体情報を含む。この場合、ＣＰＵ１０９は、現在のフレームアウト被写体再生軌跡データを保持し続け、被写体再生軌跡データＢを破棄する。

この結果、Ｓｃｅｎｅ６まで再生した後の被写体再生軌跡データは、以下のような内容なる。すなわち、

図１８Ａ及び図１８Ｂは、図１６及び図１７を参照して説明したフレームアウト被写体再生軌跡データ登録処理の動作フローチャートである。

被写体検出部１０３は、ＤＲＡＭ１０１上にある画像データから被写体を検出し、被写体検出数ＮをＣＰＵ１０９に通知する（Ｓ１８０１）。

ＣＰＵ１０９は、被写体検出数Ｎが０か否かを判断する（Ｓ１８０２）。

Ｓ１８０２でＮｏの場合、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が登録済みの被写体再生軌跡データに対応するかどうかを判断する（Ｓ１８０３）。

Ｓ１８０３でＮｏの場合、ＣＰＵ１０９は、Ｎ番目の被写体に対応する被写体再生軌跡データを新規に登録し、Ｓ１８０５に移行する（Ｓ１８０４）。Ｓ１８０４の後に、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ１８０５）。

Ｓ１８０３でＹｅｓの場合にも、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ１８０５）。

Ｓ１８０５でＹｅｓの場合、ＣＰＵ１０９は、対応する被写体再生軌跡データに認証被写体情報を追記する（Ｓ１８０６）。

Ｓ１８０５でＮｏの場合又はＳ１８０６の後、ＣＰＵ１０９は、被写体再生軌跡データに検出位置情報と再生シーン時間情報を追記する（Ｓ１８０７）。

Ｓ１８０７の後、ＣＰＵ１０９は、被写体検出数ＮにＮ−１を代入し、Ｓ１８０２に戻る（Ｓ１８０８）

Ｓ１８０２でＹｅｓの場合、ＣＰＵ１０９は、登録済みの被写体再生軌跡データにＳ１８０７で情報追記がされなかった被写体再生軌跡データが存在するかどうかを判断する（Ｓ１８０９）。

Ｓ１８０９でＹｅｓの場合、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データが登録済みかを判断する（Ｓ１８１０）。

Ｓ１８１０でＹｅｓの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データに認証被写体情報が存在するか否かを判断する（Ｓ１８１１）。

Ｓ１８１１でＮｏの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データを破棄する（Ｓ１８１２）。

Ｓ１８１０でＮｏの場合又はＳ１８１２の後、ＣＰＵ１０９は、追記されなかった被写体再生軌跡データをフレームアウト被写体再生軌跡データとして再登録する（Ｓ１８１３）。追記されなかった被写体再生軌跡データが複数ある場合、ＣＰＵ１０９は、認証被写体情報が存在する被写体再生軌跡データを優先的に登録する。

Ｓ１８０９でＮｏの場合、Ｓ１８１１でＹｅｓの場合、又は、Ｓ１８１３の後、ＣＰＵ１０９は、図１８Ａ及び図１８Ｂに示すフローを終了する。

単一の動画シーンの場合を説明したが、再生される動画シーンのシーンチェンジを検知し、シーンチェンジが検知された場合に登録済みのフレームアウト被写体再生軌跡データを破棄してもよい。

図１６、図１７及び図１８Ａ及び図１８Ｂを参照して説明したように、新たにフレームアウトした被写体の情報を優先的に保持することで、再生ポーズを指示したシーンに対して、より近傍のシーンでフレームアウトした被写体を選択することが可能になる。

認証された被写体のフレームアウト情報を優先的に保持することで、再生ポーズ動作時に、ユーザは、フレームアウトした所望の被写体を選択できるようになる。

画像再生装置１００は、被写体検出動画再生中に被写体がフレームアウトしたことを検知すると、フレームアウト直前の再生画像の一部を保持し、この保持した画像の一部を使ってフレームアウトした被写体を選択可能にする。

図１９は、説明に使用する動画像のイメージ図であり、動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ６があり、再生シーン時間情報がそれぞれ以下のようになっている。すなわち、

この動画像に対して被写体検出動画再生を行った場合に、被写体検出部１０３はＳｃｅｎｅ０の再生時に被写体Ａを検出する。ＣＰＵ１０９は、被写体Ａに対応する被写体再生軌跡データＡを登録し、その時の位置情報（ｘ０，ｙ０）と再生時間情報００：００を追記する。ＣＰＵ１０９は、Ｓｃｅｎｅ１の再生時に検出された被写体を登録済みの被写体Ａと同一と判断し、Ｓｃｅｎｅ１での検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を被写体再生軌跡データＡに追記する。Ｓｃｅｎｅ３の再生後の被写体再生軌跡データＡは、以下のような内容となる。すなわち、

Ｓｃｅｎｅ４で、被写体検出部１０３は、被写体Ａと被写体Ｃとを検出し、ＣＰＵ１０９は、被写体Ｃに対応する被写体再生軌跡データＣを登録する。ＣＰＵ１０９は、被写体再生軌跡データＡに被写体Ａの検出位置情報（ｘ４，ｙ４）と再生時間情報００：０４を追記し、被写体再生軌跡データＣには被写体Ｃの検出位置情報（ｘｃ４，ｙｃ４）と再生時間情報００：０４を追記する。

Ｓｃｅｎｅ５で、被写体検出部１０３は、被写体Ａと被写体Ｃを検出する。ＣＰＵ１０９は、被写体再生軌跡データＡに被写体Ａの検出位置情報（ｘ５，ｙ５）と再生時間情報００：０５を追記し、被写体再生軌跡データＣには被写体Ｃの検出位置情報（ｘｃ５，ｙｃ５）と再生時間情報００：０５を追記する。Ｓｃｅｎｅ５の再生後に登録されている被写体再生軌跡データＡ，Ｃは、以下のような内容となる。すなわち、

Ｓｃｅｎｅ６で、被写体検出部１０３は被写体Ｃを検出するが、被写体Ａはフレームアウトしているので検出されない。ＣＰＵ１０９は、被写体再生軌跡データＣに被写体Ｃの検出位置情報と再生時間情報を追記する。

被写体Ａがフレームアウトしたので、ＣＰＵ１０９は、被写体再生軌跡データＡをフレームアウト被写体再生軌跡データとして再登録する。このとき、ＣＰＵ１０９は、被写体Ａがフレームアウトする直前のＳｃｅｎｅ５の被写体検出位置（ｘ５，ｙ５）を含む画像データ領域の一部を切り出し、ＤＲＡＭ１０１の再生画像データとは別領域に一時保持する。ＣＰＵ１０９はまた、Ｓｃｅｎｅ５から切り出した画像を一時保持するＤＲＡＭ１０１の領域を示す切出し画像領域情報を、フレームアウト被写体再生軌跡データに追記する。この切出し画像領域情報は、例えば切出し画像を一時保持するＤＲＡＭ１０１上のアドレス情報、切出し画像の座標、幅及び高さ、切り出した再生画像の再生時間、並びに切出し時の被写体検出位置情報などからなる。

Ｓｃｅｎｅ６の再生後の被写体再生軌跡データおよびフレームアウト被写体再生軌跡データは、以下のような内容となる。すなわち、

図２０は、図１９で説明した動画像においてＳｃｅｎｅ６で再生ポーズしたときの動作説明の模式図を示す。

図２０（１）は、Ｓｃｅｎｅ６の再生表示状態であり、Ｓｃｅｎｅ６では被写体Ｃは検出されているが、被写体Ａは検出されていない。

Ｓｃｅｎｅ６でユーザが再生ポーズをＣＰＵ１０９に指示したとする。この時点で、フレームアウト被写体再生軌跡データが存在し、フレームアウト被写体再生軌跡データに切出し画像領域情報が登録されている。そこで、ＣＰＵ１０９は、図２０（２）に示すように、切出し画像領域を現在表示出力しているＳｃｅｎｅ６の再生画像に対して合成表示する。合成表示位置は、切出し画像領域情報にある切出し位置と同じ位置である。さらに、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データに登録されている検出位置情報を参照して、図２０（２）に示すように、フレームアウト被写体の軌跡を描画する。

図２０（３）に示すように、ユーザが、切出し画像領域情報にある切出し時の被写体検出位置（ｘ５，ｙ５）をタッチパネル１０５上で選択したとする。切出し時の被写体検出位置をユーザが選択されると、ＣＰＵ１０９は、この選択に従い、図２０（４）に示すように、被写体Ａがフレームアウトする直前のＳｃｅｎｅ５（再生時間００：０５）を再生表示する。このとき、ＣＰＵ１０９は、切出し画像の合成表示をオフにする。

ここで、ユーザが被写体の選択を解除することなく、図２０（５）に示すように、タッチパネル１０５のタッチ（現在）位置を位置（ｘ１，ｙ１）に移動したとする。このドラッグ操作に応じて、ＣＰＵ１０９は、タッチ位置（ｘ１，ｙ１）に対応した再生時間情報を被写体再生軌跡データＡから検索し、Ｓｃｅｎｅ１（再生時間００：０１）が再生表示される。

また、ユーザが、図２０（４）に示す状態からタッチ位置を移動することなく、操作を解除したとする。ＣＰＵ１０９は、この操作に応じて、再生ポーズ動作開始直前に表示されていたＳｃｅｎｅ６（再生時間００：０６）を再生表示し、切出し画像をＳｃｅｎｅ６に合成した図２０（２）に示す状態に遷移する。

図２１Ａ及び図２１Ｂは、被写体検出動画再生中に被写体がフレームアウトする場合に、フレームアウト直前の再生画像の一部を切出し保持する動作のフローチャートである。ここでも、説明上、画像再生装置１００はフレームアウトした被写体再生軌跡データを１つしか保持することができないとする。

被写体検出部１０３は、ＤＲＡＭ１０１上にある画像データから被写体を検出し、被写体検出数ＮをＣＰＵ１０９に通知する（Ｓ２１０１）。

ＣＰＵ１０９は、被写体検出数Ｎが０か否かを判断する（Ｓ２１０２）。

Ｓ２１０２でＮｏの場合、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が登録済みの被写体再生軌跡データに対応するかどうかを判断する（Ｓ２１０３）。

Ｓ２１０３でＮｏの場合、ＣＰＵ１０９は、Ｎ番目の被写体に対応する被写体再生軌跡データを新規に登録し、Ｓ２１０５に移行する（Ｓ２１０４）。Ｓ２１０４の後に、ＣＰＵ１０９は、Ｓ２１０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ２１０５）。

Ｓ２１０３でＹｅｓの場合にも、ＣＰＵ１０９は、Ｓ２１０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ２１０５）。

Ｓ２１０５でＹｅｓの場合、ＣＰＵ１０９は、対応する被写体再生軌跡データに認証被写体情報を追記する（Ｓ２１０６）。

Ｓ２１０５でＮｏの場合又はＳ２１０６の後、ＣＰＵ１０９は、被写体再生軌跡データに検出位置情報と再生シーン時間情報を追記する（Ｓ２１０７）。

Ｓ２１０７の後、ＣＰＵ１０９は、被写体検出数ＮにＮ−１を代入し、Ｓ２１０２に戻る（Ｓ２１０８）

Ｓ２１０２でＹｅｓの場合、ＣＰＵ１０９は、登録済みの被写体再生軌跡データにＳ２１０７で情報追記がされなかった被写体再生軌跡データが存在するかどうかを判断する（Ｓ２１０９）。

Ｓ２１０９でＹｅｓの場合、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データが登録済みかを判断する（Ｓ２１１０）。

Ｓ２１１０でＹｅｓの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データに認証被写体情報が存在するか否かを判断する（Ｓ２１１１）。

Ｓ２１１１でＮｏの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データを破棄する（Ｓ２１１２）。このとき、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データに登録されている切出し画像情報に対応する、ＤＲＡＭ１０１に一時保持する切出し画像データも破棄する。

Ｓ２１１１でＮｏの場合、又はＳ２１１２の後、ＣＰＵ１０９は、追記されなかった被写体再生軌跡データをフレームアウト被写体再生軌跡データとして再登録する（Ｓ２１１３）。追記されなかった被写体再生軌跡データが複数ある場合、ＣＰＵ１０９は、認証被写体情報が存在する被写体再生軌跡データを優先的に登録する。

Ｓ２１１３の後に、ＣＰＵ１０９は、登録されているフレームアウト被写体再生軌跡データに対応する被写体がフレームアウトする直前の画像から、フレームアウトした被写体検出位置を含む画像領域を切り出し、ＤＲＡＭ１０１に一時保持する。このような画像の一時保持は、ＤＲＡＭ１０１上でのメモリコピーによって高速に実現できる。ＣＰＵ１０９はまた、切り出した画像を一時保持するＤＲＡＭ１０１の領域を示す切出し画像領域情報を、フレームアウト被写体再生軌跡データに追記する（Ｓ２１１４）。この切出し画像領域情報は、例えば切出し画像を一時保持するＤＲＡＭ１０１上のアドレス情報、切出し画像の座標、幅及び高さ、切り出した再生画像の再生時間、並びに切出し時の被写体検出位置情報などからなる。

Ｓ２１０９でＮｏの場合、Ｓ２１１１でＹｅｓの場合、又はＳ２１１４の後、ＣＰＵ１０９は、図２１Ａ及び図２１Ｂに示すフローを終了する。

図２２Ａ及び図２２Ｂは、図２０で説明した切出し画像を用いて再生ポーズにした場合の動作フローチャートである。

ＣＰＵ１０９は、図１９および図２１Ａ及び図２１Ｂで示した被写体検出動画再生において、被写体再生軌跡データが登録されているかどうかを判断する（Ｓ２２０１）。

Ｓ２２０１でＮｏの場合、ＣＰＵ１０９は、Ｓ２２１２へ移行する。

Ｓ２２０１でＹｅｓの場合、ＣＰＵ１０９は、登録済みの被写体再生軌跡データの対象となっている被写体が現在表示出力中の画像データからフレームアウトしているかどうかを判断する（Ｓ２２０２）。このときフレームアウトしているかどうかは、現在表示出力中の画像データから被写体を検出し、その輪郭情報が被写体再生軌跡データに格納されている輪郭情報と実質的に一致するかどうかで判断する。被写体が検出され、かつ検出された被写体から生成された輪郭情報と被写体再生軌跡データに格納されている輪郭情報が実質一致する場合、ＣＰＵ１０９は、Ｎｏと判断する。逆に、被写体が検出されない場合、又は輪郭情報が一致しない場合には、ＣＰＵ１０９は、フレームアウトと判断し、Ｙｅｓとなる。

Ｓ２２０２でＮｏの場合、ＣＰＵ１０９は、Ｓ２２０４に移行する。

Ｓ２２０２でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データに格納されている切出し画像領域情報を参照して、ＤＲＡＭ１０１に一時保持されている切出し画像データを読み出し、現在表示出力中の画像データと合成する（Ｓ２２０３）。ここでは、切出し画像領域情報に格納されている切り出した画像の座標と幅と高さで規定される位置及びサイズで、切出し画像を表示中の画像に合成する。

ＣＰＵ１０９は、フレームアウト被写体再生軌跡データに存在する検出位置情報を被写体の軌跡として、ＤＲＡＭ１０１上に存在する描画スクリーンエリアに描画する（Ｓ２２０４）。例えば、被写体再生軌跡データに存在する検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画できる。

タッチパネル１０５は、ユーザが現在タッチしているか否か及びタッチ位置を検出し、ＣＰＵ１０９に通知する（Ｓ２２０５）。

ＣＰＵ１０９は、Ｓ２２０５で位置検出されたか否かを判断する（Ｓ２２１４）。

Ｓ２２１４でＹｅｓの場合、ＣＰＵ１０９は、Ｓ２２０３でフレームアウト被写体再生軌跡データの切出し画像領域情報から切出しシーンでの被写体検出位置を取得し、Ｓ２２０５で検出した位置との一致を判断する（Ｓ２２０６）。

Ｓ２２０６でＹｅｓの場合、ＣＰＵ１０９は、Ｓ２２０３で検索された再生時間（フレームアウト直前の時間）に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込み（Ｓ２２１１）、Ｓ２２１０に移行する。

Ｓ２２０６でＮｏの場合、ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ２２０５で検出した位置が実質一致しているか否かを判断する（Ｓ２２０７）。

Ｓ２２０７でＹｅｓの場合、ＣＰＵ１０９は、Ｓ２２１２に移行する。

Ｓ２２０７でＮｏの場合、ＣＰＵ１０９は、Ｓ２２０５で検出した現在位置に対応する被写体位置情報が被写体再生軌跡データ内に存在するかを判断する（Ｓ２２０８）。例えば、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲内であれば一致と判断する。

Ｓ２２０８でＮｏの場合、ＣＰＵ１０９は、Ｓ２２１２に移行する。

Ｓ２２０８でＹｅｓの場合、ＣＰＵ１０９は、一致した被写体位置情報に対応する再生シーン時間情報を取得し、取得した再生シーン情報に応じた符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込み（Ｓ２２０９）、Ｓ２２１０に移行する。

Ｓ２２１４でＮｏの場合、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データの切出し画像領域情報から切出しシーンでの被写体検出位置を取得し、切出し時の被写体検出位置が直前の位置検出時に選択されていたか否かを判断する（Ｓ２２１５）。

Ｓ２２１５でＮｏの場合、ＣＰＵ１０９は、Ｓ２２１２に移行する。

Ｓ２２１５でＹｅｓの場合、ＣＰＵ１０９は、この再生ポーズ動作へ遷移する直前に表示していた再生シーン情報に応じた符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込み（Ｓ２２１６）、Ｓ２２１０に移行する。

デコーダ１０６は、ＣＰＵ１０９の制御下で、Ｓ２２０９またはＳ２２１１で読み込んだ画像符号化データをデコードし、画像データを生成する（Ｓ２２１０）。

ＣＰＵ１０９は、Ｓ２２０４での軌跡データを描画した描画スクリーンデータと、画像データを合成処理し、表示する（Ｓ２２１２）。合成に使用する画像データは、Ｓ２２１０でデコード処理した場合は、Ｓ２２１０で生成した画像データであり、Ｓ２２１０でデコード処理していない場合は、現在表示出力している画像データである。

ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了指示をしたか否かを判断する（Ｓ２２１３）。Ｓ２２１３でＮｏの場合、ＣＰＵ１０９は、Ｓ２２０１に戻る。Ｓ２２１３でＹｅｓの場合、ＣＰＵ１０９は、図２２Ａ及び図２２Ｂに示すフローを終了し、呼び出し元に戻る。

図１９、図２０、図２１Ａ、図２１Ｂ、図２２Ａ及び図２２Ｂを参照して説明したように、被写体がフレームアウトする直前の画像の一部を保持し、再生ポーズ時に画像合成を行って表示することで、ユーザは、フレームアウトした被写体を選択することが可能になる。

フレームアウトした被写体に関する情報を複数、記憶できるようにすることで、フレームアウトした複数の被写体に対応可能になる。その場合、フレームアウトの位置と前記軌跡を示す情報が所定数を超える場合に、フレームアウトを検知した順に古いものを破棄する。

上述の実施例は、互いに矛盾しない範囲で組み合わせて実施することが可能である。また、上述の実施例の一部又は全部の機能は、コンピュータ上で動作するコンピュータプログラムにもよって実現されうる。

Claims (10)

1. 再生画像に重畳して表示する被写体軌跡により再生を制御する画像再生装置であって、
   動画像の符号化画像データを表示用に復号化すると共に、まだ再生に至らない所定フレームの符号化画像データを復号化し、それぞれの再生画像データを出力する復号化手段と、
   前記再生画像データから被写体とその被写体位置を検出する被写体検出手段と、
   前記被写体位置から前記被写体軌跡を作成する軌跡生成手段と、
   前記再生画像データに前記軌跡生成手段で作成される前記被写体軌跡を合成することにより表示用画像データを生成する合成手段
   とを有し、
   前記軌跡生成手段は、再生表示したフレームに対する前記被写体軌跡と、未再生のフレームに対する前記被写体軌跡を互いに異なる線形状又は色で表現する
   ことを特徴とする画像再生装置。
2. 更に、
   再生ポーズを指示する指示手段と、
   再生ポーズ状態において、前記所定フレームの符号化画像データを前記復号化手段により復号化させ、得られた再生画像データから前記被写体検出手段により被写体位置を検出させ、前記軌跡生成手段に被写体軌跡を作成させる制御手段
   とを有することを特徴とする請求項１に記載の画像再生装置。
3. 前記所定フレームは、再生表示されるフレーム間隔よりも大きなフレーム間隔のフレームであることを特徴とする請求項１又は２に記載の画像再生装置。
4. 更に、前記所定フレームに対して前記被写体検出手段により検出される被写体位置を補間する補間手段を有し、
   前記軌跡生成手段は、前記フレームに対して前記被写体検出手段により検出される被写体位置と前記補間手段により補間される被写体位置とから軌跡を作成する
   ことを特徴とする請求項３に記載の画像再生装置。
5. 前記所定フレームは、表示中のシーンから所定時間以内のものであることを特徴とする請求項１ないし４の何れか１項に記載の画像再生装置。
6. 前記被写体がフレームインをするシーンとフレームアウトをするシーンを検出する検出手段を具備し、
   前記所定フレームは、前記フレームインのシーンから前記フレームアウトのシーンとの間のフレームである
   ことを特徴とする請求項１ないし５の何れか1項に記載の画像再生装置。
7. 前記被写体検出手段で検出すべき被写体を選択する手段を有することを特徴とする請求項１ないし６の何れか１項に記載の画像再生装置。
8. 更に、前記被写体検出手段で検出される被写体を認証する被写体認証手段を具備し、
   前記軌跡生成手段は、前記被写体認証手段で認証された被写体の被写体位置からその軌跡を作成する
   ことを特徴とする請求項１ないし７の何れか１項に記載の画像再生装置。
9. 動画像の符号化画像データを表示用に復号化し、表示用の再生画像データを出力するステップと、
   前記表示用の再生画像データから被写体とその被写体位置を検出するステップと、
   前記被写体位置から前記被写体の再生軌跡を作成するステップと、
   前記再生画像データの画像に前記再生軌跡を合成するステップと、
   表示中のシーンに対してまだ再生に至らない所定フレームの符号化画像データを復号化する復号化ステップと、
   前記復号化ステップにより得られる画像データから前記被写体とその被写体位置を検出するステップと、
   前記復号化ステップにより得られる画像データから検出される被写体位置から前記被写体の予測軌跡を作成する予測軌跡生成ステップと、
   前記再生画像データに前記予測軌跡を合成するステップ
   とを有することを特徴とする画像再生方法。
10. コンピュータに請求項９に記載の画像再生方法を実行させるためのプログラム。

Images