JP4752935B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、動画を処理する画像処理装置及び画像処理プログラムに関する。

この種の技術として、例えば、特許文献１には、撮影時に記憶されたメイン被写体の位置軌跡情報に基づいて、再生された静止画上で、メイン被写体像を位置軌跡情報が示す時系列順に順次重畳表示させる技術が記載されている。

特開２００８−１８２３７４号公報

しかしながら、特許文献１に記載された技術では、静止画上に順次重畳表示されるメイン被写体像は静止画全体から切り出された部分的な静止画であるため、このメイン被写体像そのものは自身の動きを表現し得るものではない。そのため、特許文献１に記載された技術では、メイン被写体の位置が変化したことに起因する被写体の動きを表現できないという問題があった。つまり、特許文献１に記載された技術では、被写体の一部の動きのみを表現できなかった。

上記点に鑑み、本発明は、被写体の一部の動きのみを表現可能となるように動画を処理することができる画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の第一の観点に係る画像処理装置は、
動画の画面領域を分割した複数の分割ブロックそれぞれの中における被写体の動きを検出し、前記被写体に動きがあった前記分割ブロックとこの分割ブロックの中における前記動画の被写体の往復運動を前記動き情報に含まれる被写体の動く方向の反転を用いて検知し、検知した前記往復運動の周期に応じた被写体動き情報を複数生成する被写体動き情報生成手段と、
静止画を取得する静止画取得手段と、
前記被写体動き情報生成手段が生成した複数の前記被写体動き情報を用い、前記静止画取得手段が取得した前記静止画上で、前記被写体動き情報が特定する前記分割ブロックに対応する静止画ブロックの像を、前記被写体動き情報が特定する前記被写体の動きに応じて順次移動させる静止画処理手段と、
を備える。

前記被写体動き情報は、前記分割ブロック毎に、前記被写体の動きを特定する動き情報を対応付けたものであってもよい。

前記画像処理装置は、
撮影部を更に備え、
前記静止画は前記撮影部によって撮影されたものであり、
前記被写体動き情報生成手段は、前記撮影部が前記静止画を撮影する時期から遡った往復運動の周期に応じた前記被写体動き情報を複数生成してもよい。

前記画像処理装置は、
撮影部をさらに備え、
前記動画及び前記静止画は、前記撮影部が撮影したものであってもよい。

前記画像処理装置は、
表示部をさらに備え、
前記静止画処理手段は、前記表示部に前記静止画を表示させ、前記表示部に表示させた前記静止画上で、前記静止画ブロックの像を移動させてもよい。

本発明の第二の観点に係る画像処理プログラムは、
画像処理方法をコンピュータに実行させる画像処理プログラムであって、
動画の画面領域を分割した複数の分割ブロックそれぞれの中における被写体の動きを検出し、前記被写体に動きがあった前記分割ブロックとこの分割ブロックの中における前記動画の被写体の往復運動を前記動き情報に含まれる被写体の動く方向の反転を用いて検知し、検知した前記往復運動の周期に応じた被写体動き情報を複数生成する被写体動き情報生成ステップと、
静止画を取得する静止画取得ステップと、
前記被写体動き情報生成ステップで生成した複数の前記被写体動き情報を用い、前記静止画取得ステップで取得した前記静止画上で、前記被写体動き情報が特定する前記分割ブロックに対応する静止画ブロックの像を、前記被写体動き情報が特定する前記被写体の動きに応じて順次移動させる静止画処理ステップと、
を前記コンピュータに行わせる。

本発明に係る画像処理装置及び画像処理プログラムによれば、被写体の一部の動きのみを表現可能となるように動画を処理することができる。

本発明の一実施形態に係る画像処理装置の各部の関係を示すブロック図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成図である。 本発明の一実施形態に係る画像処理装置が行う撮影処理を示すフローチャートである。 本発明の一実施形態に係る画像処理装置が行う画像処理を説明するための、動画を示す図である。 本発明の一実施形態に係る画像処理装置が生成する被写体動き情報の一例を示す図である。 本発明の一実施形態に係る画像処理装置が生成する複数の被写体動き情報（最終データ）の一例を示す図である。 本発明の一実施形態に係る画像処理装置が行う再生処理を示すフローチャートである。 本発明の一実施形態に係る画像処理装置が行う静止画ブロックの像の移動を説明するための図である。

本発明の一実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。

なお、本発明において、「動画」は、被写体の動きが不連続である静止画の集合をも含む。

本実施形態に係る画像処理装置１は、デジタルカメラである。なお、本発明に係る画像処理装置は、デジタルカメラの他、コンピュータ等の他の装置によっても実現可能である。

図１のように、画像処理装置１は、制御部１０と、撮影部２０と、表示部３０と、入力部４０と、記憶部５０と、を備える。

制御部１０は、撮影部２０及び表示部３０を制御する。また、制御部１０は、撮影部２０が撮影した画像をライブビュー画像として表示部３０に表示する。また、制御部１０は、記憶部５０に記録されている画像データをもとにした画像を表示部３０に表示する。また、制御部１０は、入力部４０からの操作信号に基づいて、撮影部２０、及び、表示部３０を制御する。また、制御部１０は、被写体動き情報生成部１０ａと、静止画取得部１０ｂと、静止画処理部１０ｃと、を備える。制御部１０が有する前記の各部は、後述の画像処理を行う。

撮影部２０は、制御部１０の制御のもと、被写体（撮影部が撮影する対象）を撮影する。表示部３０は、制御部１０の制御のもと、画像を表示する。入力部４０は、ユーザの入力操作に応じた操作信号を制御部１０に送る。記憶部５０は、画像データ及び被写体動き情報等の各種データを記憶する。

次に、画像処理装置１のハードウェア構成を説明する。図２にように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１１と、レンズ駆動部２１と、撮影レンズ２２と、絞り兼用シャッタ２３と、撮像素子２４と、ユニット回路２５と、ドライバ２６と、ＴＧ（Timing Generator）２７と、ディスプレイ３１と、キー入力装置４１と、メモリ５１と、ＲＡＭ（Random Access Memory）５２と、フラッシュメモリ５３と、バス９０と、を備える。

ここで、図１の制御部１０は、画像処理プログラムによって処理を行うＣＰＵ１１によって構成される。図１の撮影部２０は、レンズ駆動部２１と、撮影レンズ２２と、絞り兼用シャッタ２３と、撮像素子２４と、ユニット回路２５と、ドライバ２６と、ＴＧ２７と、によって構成される。図１の表示部３０は、ディスプレイ３１によって構成される。図１の入力部４０は、キー入力装置４１によって構成される。図１の記憶部５０は、メモリ５１と、ＲＡＭ５２と、フラッシュメモリ５３と、から構成される。

撮影レンズ２２は、フォーカスレンズ及びズームレンズ等から構成されるレンズ群からなる。レンズ群を構成する複数のレンズは、それぞれ、レンズ駆動部２１と接続される。

レンズ駆動部２１は、フォーカスレンズ及びズームレンズを光軸方向にそれぞれ移動させるモータ（図示せず）と、ＣＰＵ１１から送られてくる制御信号にしたがってフォーカスモータ及びズームモータをそれぞれ駆動させるモータドライバ（図示せず）とから構成される。

絞り兼用シャッタ２３は、駆動回路（図示せず）を含み、この駆動回路はＣＰＵ１１から送られてくる制御信号にしたがって絞り兼用シャッタ２３を動作させる。この絞り兼用シャッタ２３は、絞りとシャッタとして機能する。絞りとは、撮影レンズ２２から入ってくる光の量を制御する機構のことをいい、シャッタとは、撮像素子２４に光を当てる時間を制御する機構のことをいう。ここで、撮像素子２４に光を当てる時間（露出時間）は、シャッタの開閉の速度（シャッタ速度）によって変わってくる。また、撮像素子２４の露出時間は、前記の絞りとシャッタ速度によって変わる。

撮像素子２４は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等によって構成される。撮像素子２４は、ドライバ２６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路２５に出力する。このユニット回路２５及びドライバ２６の動作タイミングは、ＴＧ２７を介してＣＰＵ１１によって制御される。なお、撮像素子２４はベイヤー配列の色フィルタを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ２６及びＴＧ２７を介してＣＰＵ１１よって制御される。

ユニット回路２５にはＴＧ２７が接続されている。ユニット回路２５は、撮像素子２４から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成される。撮像素子２４の撮像信号は、ユニット回路２５を経てデジタル信号としてＣＰＵ１１に送られる。

ＣＰＵ１１は、ユニット回路２５から送られてきたデジタル信号（画像元データ）に対してガンマ補正、補間処理、ホワイトバランス処理、ヒストグラム生成処理、及び、輝度色差信号（ＹＵＶデータ）の生成処理などの画像処理を行う機能を有するとともに、画像処理装置の各部を制御するワンチップマイコンである。特に、本実施の形態では、ＣＰＵ１１は、後述の画像処理を行う。

メモリ５１には、ＣＰＵ１１の各部の制御に必要な制御プログラム、後述の画像処理をＣＰＵ１１に行わせるための画像処理プログラム、及び、必要なデータが格納されている。制御プログラム及び画像処理プログラムは、ＲＡＭ５２に展開される。ＣＰＵ１１は、ＲＡＭ５２に展開された制御プログラム及び画像処理プログラムに従って動作する。特に、ＣＰＵ１１は、画像処理プログラムに従って後述の画像処理を行う。

ＲＡＭ５２は、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等によって構成される。ＲＡＭ５２は、撮像素子２４によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用される。また、ＲＡＭ５２には、制御プログラム及び画像処理プログラムが展開される。また、ＲＡＭ５２は、ＣＰＵ１１のワーキングメモリとしても使用される。

ディスプレイ３１は、例えば、カラーＬＣＤ（Liquid Crystal Display）とその駆動回路とを含む。ディスプレイ３１は、ＣＰＵ１１の制御のもと、撮影待機状態にあるときには、撮像素子２４によって撮像された被写体をライブビュー画像として表示する。記録画像の再生時には、ディスプレイ３１は、ＣＰＵ１１の制御のもと、フラッシュメモリ５３に記憶されている画像データから生成した画像を表示させる。

フラッシュメモリ５３は、撮像素子２４によって撮像された画像の画像データ、被写体動き情報等を保存しておく記憶媒体である。

キー入力装置４１は、半押し全押しの２段階操作可能なシャッタボタン、モード切替キー、十字キー、ズームキー、及び、メニューキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。

バス９０は、このバス９０に接続された各部間でやりとりされるデータ等を伝送する伝送路である。

なお、図１及び図２における構成要素は一の画像処理装置１が備えるものである。しかし、前記構成要素の少なくとも一部の機能を画像処理装置１の外部に設けても良い。例えば、表示部３０（ディスプレイ３１）は、画像処理装置１の外部に設けられたもの（例えば、コンピュータのモニタ等）でも良い。また、記憶部５０（メモリ５１と、ＲＡＭ５２、及び、フラッシュメモリ５３）の記憶領域の少なくとも一部を外部の装置（例えばサーバ）に持たせても良い。また、撮影部２０は、画像処理装置１の外部に設けられたもの（例えば、カメラ（画像処理装置１がコンピュータの場合）等）でも良い。

画像処理プログラムは、インターネット等の通信回線を介してコンピュータにダウンロードしてもよい。この場合、このコンピュータが画像処理装置１になる。また、画像処理プログラムは、OS（Operating System）と協働して、後述の処理をＣＰＵ１１に行わせるものであってもよい。また、画像処理プログラムは、各種のコンピュータ読み取り可能な記憶媒体（例えば、ＲＡＭ、ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、ハードディスク、又は、フラッシュメモリ）に記録されたものであってもよい。画像処理プログラムは、コンピュータが読み取り可能なプログラムであり、このプログラムが記録された記憶媒体は、コンピュータ・プログラム製品になる。

次に、本実施形態に係る画像処理装置１が行う画像処理方法のうちの撮影処理について、図３乃至６を参照して説明する。なお、この撮影処理は、画像処理装置１のユーザ（操作者）が入力部４０を用いて所定の操作を行った時を契機としてスタートする。例えば、ユーザが入力部４０（例えば、モード切替キー）を操作して、静止画撮影モードが画像処理装置１に設定されることによって、この処理はスタートする。この撮影処理は、画像処理装置１の制御部１０（ＣＰＵ１１）が行っているが、下記の説明では、制御部１０が備える被写体動き情報生成部１０ａと、静止画取得部１０ｂと、が処理を行うとして、以下説明する。また、この撮影処理は、ユーザが入力部４０を操作することによって、途中終了することもある。

被写体動き情報生成部１０ａは、ライブビュー画像を表示部３０に表示させることを開始する（ステップＳ１０１）具体的には、被写体動き情報生成部１０ａは、被写体を撮像させる処理を撮影部２０に開始させ、順次撮像されたフレーム画像の元データ（画像元データ）から輝度色差信号のフレーム画像データを生成し、生成した輝度色差信号のフレーム画像データをバッファメモリ（ＲＡＭ５２）に記憶させ、記憶させた被写体のフレーム画像データから生成される画像を表示部３０に表示させるという、いわゆるライブビュー画像の表示を開始する。この処理の際のフレームレートは、例えば、３０ｆｐｓ（フレーム／秒）とする。

被写体動き情報生成部１０ａは、ｎ＝０、及び、ｘ＝０を設定するとともに、本画像処理に用いる後述の中間データ等を消去する初期化を行う（ステップＳ１０２）。ここで、ｎは、フレーム画像の順番を特定するものであり、ｘは、後述の動き情報に含まれる共通動き方向の反転回数を特定するものである。

被写体動き情報生成部１０ａは、入力部４０の備えるシャッタボタンが半押しの状態になっているかを判断する（Ｓ１０３）。入力部４０の備えるシャッタボタンがユーザによって半押しされると、入力部４０は、この半押しに対応する操作信号を被写体動き情報生成部１０ａに出力する。被写体動き情報生成部１０ａは、この操作信号が送られてくると、シャッタボタンが半押しの状態になっていると判断する。

被写体動き情報生成部１０ａは、シャッタボタンが半押しの状態になっていると判断すると（ステップＳ１０３；ＹＥＳ）、ステップＳ１０４の処理に進む。また、被写体動き情報生成部１０ａは、シャッタボタンが半押しの状態になっていない（例えば、半押しされていない。又は、半押しが解除されている。）と判断すると（ステップＳ１０３；ＮＯ）、ステップＳ１０２の処理に戻る。このように、被写体動き情報生成部１０ａは、ユーザによってシャッタボタンが半押しされるまで待機する。また、被写体動き情報生成部１０ａは半押しがステップＳ１０４からステップＳ１１８の間で解除されると、本撮影処理の開始状態（ステップＳ１０２）に戻る。

被写体動き情報生成部１０ａは、上記ステップＳ１０１で説明したフレーム画像データを生成できたかを判断する（ステップＳ１０４）。被写体動き情報生成部１０ａは、フレーム画像データを生成できた場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０５に進む。また、被写体動き情報生成部１０ａは、フレーム画像データをまだ生成していない場合（ステップＳ１０４；ＮＯ）、ステップＳ１０４に戻る。このように、被写体動き情報生成部１０ａは、フレーム画像データを生成するまで待機する。

被写体動き情報生成部１０ａは、ｎ＝ｎ＋１として、ｎ番目のフレーム画像データを中間データとして、記憶部５０（ワーキングメモリ（ＲＡＭ５２））に保持（記録）する（ステップＳ１０５）。このように、シャッタが半押しされた状態において、上記のフレームレートが経過するごとに、第１、第２、・・・第ｎ−２、第ｎ−１、第ｎのフレーム時期（フレーム画像データが生成される時期）がこの順番に訪れる。そして、第１、第２、・・・第ｎ−２、第ｎ−１、第ｎのフレーム時期で生成されるフレーム画像データが、それぞれ、１番目、２番目、・・・ｎ−２番目、ｎ−１番目、ｎ番目のフレーム画像データとなる。つまり、第ｎのフレーム時期が訪れると、ｎ番目のフレーム画像データが記録される。なお、被写体動き情報生成部１０ａは、ｎ番目のフレーム画像データを記憶部５０に順次保持していくが、このときに、ｎ−２番目のフレーム画像データを削除してもよい。これにより、処理の効率化が図れる。ｎ番目のフレーム画像データの画像は、例えば、表示部３０に表示される。

被写体動き情報生成部１０ａは、ｎが２以上であるか判断する（ステップＳ１０６）。つまり、被写体動き情報生成部１０ａは、フレーム画像データを２つ以上、記憶部５０に保持しているか（２番目以降のフレーム画像を生成したか）判断する。

被写体動き情報生成部１０ａは、ｎが２未満の場合（ステップＳ１０６；ＮＯ）の場合、後述するフレーム画像データの比較が出来ないので、ステップＳ１０３に戻る。被写体動き情報生成部１０ａは、ｎが２以上の場合（ステップＳ１０６；ＹＥＳ）の場合、後述するフレーム画像データの比較が出来るので、ステップＳ１０７に進む。

被写体動き情報生成部１０ａは、記憶部５０に保持しているｎ−１番目のフレーム画像データとｎ番目のフレーム画像データとを比較し、ｎ番目の被写体動き情報Ｖｉ（ｎ）を生成する（ステップＳ１０７）。この処理の具体的な例を図４乃至５を参照して説明する。なお、ここでは、理解を容易にするために、フレーム画像データの画像（フレーム画像）を用いて上記処理を説明するが、被写体動き情報生成部１０ａは、これに対応する処理を、フレーム画像データを用いてデータ上で行う。

図４のように、フレーム画像は１５０個（数は、適宜決定できる。）の分割ブロック１００に分割される。なお、図４の分割ブロック１００内の数字は、分割ブロック１００の位置を特定するための数字であり（例えば、１であったら、１番目の分割ブロック１００）、フレーム画像を構成するもの（すなわち被写体の一部）ではない。

ここで、被写体の一部である竹の葉の集合１１０及び１１１が、風などの影響によって、それぞれ同様に、左右に往復運動しているとする（図４の点線矢印参照）。ｎ−１番目とｎ番目のフレーム画像を比較すると、分割ブロック１００内における被写体、つまり、竹の葉（例えば、２２及び２３番目の分割ブロック１００）は左右に動いているので、分割ブロック１００内の竹の葉（被写体）は動いていることになる。また、例えば、１番目の分割ブロック１００の被写体は動いていないことになる。ここで、ｎ−１番目とｎ番目のフレーム画像を比較し、各分割ブロック１００内における被写体の動き情報を特定する。この動き情報は、公知の方法によって算出できる。公知の方法とは、例えばオプティカルフローである。また、動き情報の例としては、動きベクトルがある。

このようにして得られた動き情報の集合が被写体動き情報Ｖｉ（ｎ）となる（図５参照）。ここで、被写体動き情報Ｖｉ（ｎ）は、各分割ブロック１００を特定する情報と、各分割ブロック１００における動き情報と、をそれぞれ対応付けたものである。各分割ブロック１００を特定する情報は、図５においては、Ｖ１（ｎ）乃至Ｖ１５０（ｎ）である。ここで、Ｖｉ（ｎ）のｉは、分割ブロックの番号である。例えば、Ｖ１（ｎ）は、ｉ＝１なので、１番目の分割ブロックを表す。各分割ブロック１００を特定する情報は、各分割ブロックを特定出来る情報であればよく、例えば、分割ブロックの位置に対応する番号を特定する情報であってもよい。また、動き情報は、例えば、フレーム画像の横方向をｘ軸、フレーム画像の縦方向をｙ軸としたとき（図４の座標軸参照）の、ｘ方向及びｙ方向に像がどれだけ動いたかの情報である。つまり、動き情報は、例えば、分割ブロック１００内における、被写体の動く方向と被写体の動いた距離とを特定できる情報である。例えば、図５では、動き情報は、ｘ＝１０，ｙ＝１というような形で表されている。なお、ｘ及びｙの数値は、画素の数である。なお、ｘ方向と１８０度反対側の方向は、ｘの値が負の値となる。また、ｙ方向と１８０度反対側の方向は、ｙの値が負の値となる。図５のように、２２番目の分割ブロック１００においては、Ｖ２２（ｎ）でｘ＝１０，ｙ＝１として表現され、２２番目の分割ブロック１００内の被写体が、ｘ方向に１０画素だけ移動し、ｙ方向に１画素だけ移動したことになる。なお、動き情報は、被写体が動いていないことも表現できる。この場合、ｘ＝０，ｙ＝０と表現される（例えば図５のＶ１（ｎ）参照）。

被写体動き情報生成部１０ａは、被写体動き情報Ｖｉ（ｎ）を中間データとして、記憶部５０（ワーキングメモリ（ＲＡＭ５２））に保持する。このようにして、被写体動き情報生成部１０ａは、記憶部５０に保持しているｎ−１番目のフレーム画像データとｎ番目のフレーム画像データとを比較し、各ブロック毎に、各分割ブロック１００の中における被写体の動きを特定する動き情報を特定するｎ番目の被写体動き情報Ｖｉ（ｎ）を生成し、記録する。なお、被写体の動きを特定するとは、被写体の動きを一意に特定する場合の他、例えば、ある範囲をもって被写体の動きを特定する場合も含む。例えば、被写体が、ｘ＝０．６〜１．４、ｙ＝０．６〜１．４の範囲内で動いた場合に、この動き情報をｘ＝１、ｙ＝１とする。このように、ある範囲をもって被写体の動きを特定してもよい。

被写体動き情報生成部１０ａは、被写体動き情報Ｖｉ（ｎ）をもとに、被写体が動く共通の方向を特定する共通動き方向Ｄ（ｎ）を中間データとして生成し、記憶部５０（ワーキングメモリ（ＲＡＭ５２））に保持する（ステップＳ１０８）。共通動き方向とは、分割ブロック１００それぞれの動き情報に含まれる被写体の動く方向（上記のｘ及びｙの値から特定できる。）の中で、最も共通する被写体の動く方向を特定するものである。なお、動く方向が共通するとは、動く方向が互いに完全に一致するか、互いに所定範囲内（例えば、±５度）にあることをいう。互いに所定範囲内（例えば、±５度）にある方向を共通の方向とする場合は、例えば、その所定範囲の中心方向を共通の方向とする。互いに所定範囲内（例えば、±５度）にある方向を共通の方向とする場合、例えば、３６０度を３６分割し、分割したそれぞれの範囲（１０度の範囲）にある動く方向の数を特定し、最も多くの動く方向が属する範囲の中心方向を共通の方向とする。被写体動き情報生成部１０ａが共通動き方向を生成することによって、被写体の少なくとも一部が画像全体の中で、主にどちらの方向に移動しているかを特定できる。特に本実施形態は、風などにより、被写体の一部（特に複数部分）が略共通の動きによって往復運動しているものを撮影する場合に適する。

被写体動き情報生成部１０ａは、ｎ≧３であるかを判断する（ステップＳ１０９）。ｎが３未満の場合（ステップＳ１０９；ＮＯ）、被写体動き情報生成部１０ａはステップＳ１０３の処理に戻る。ｎが３以上の場合（ステップＳ１０９；ＹＥＳ）、被写体動き情報生成部１０ａはステップＳ１１０に進む。このようにして、被写体動き情報生成部１０ａは、フレーム画像データを３つ以上取得するまで、ステップＳ１０３乃至Ｓ１０９を繰り返す。３つ以上のフレーム画像データを取得できれば、後述の共通動き方向の反転を判別することができる。

被写体動き情報生成部１０ａは、ｎ番目のＤ（ｎ）とｎ−１番目のＤ（ｎ−１）とを比較する（ステップＳ１１０）。具体的には、被写体動き情報生成部１０ａは、記憶部５０に保持した、Ｄ（ｎ）とＤ（ｎ−１）とがそれぞれ特定する方向を比較する。

被写体動き情報生成部１０ａは、ｎ番目のＤ（ｎ）が特定する方向が、ｎ−１番目のＤ（ｎ−１）が特定する方向に対して反転しているかを判断する（ステップＳ１１１）。例えば、被写体動き情報生成部１０ａは、Ｄ（ｎ）が特定する方向と、Ｄ（ｎ−１）が特定する方向と、が反対の方向であるか判断する。反対であればＤ（ｎ）は反転しており、反対でなければＤ（ｎ）は反転しないことになる。なお、反対の方向とは、Ｄ（ｎ−１）が特定する方向と１８０度反対の方向の他、１８０度反対の方向を中心とした所定の範囲内の方向（例えば中心方向から５度の範囲内の方向）であってもよい。被写体動き情報生成部１０ａは、ｎ番目のＤ（ｎ）が特定する方向が反転していると判断した場合（ステップＳ１１１；ＹＥＳ）、ステップＳ１１２に進み、ｘ＝ｘ＋１を設定する。これによって、共通動き方向の反転回数がカウントされる。また、被写体動き情報生成部１０ａは、ｎ番目のＤ（ｎ）が特定する方向が反転していないと判断すると（ステップＳ１１１；ＹＥＳ）、ステップＳ１１３に進む。このようにして、被写体動き情報生成部１０ａは、共通動き方向の反転の数によって、被写体の中の少なくとも一部の主な部分が画像全体の中で何回反転しているかをカウントできる。

被写体動き情報生成部１０ａは、ｘ≧１かどうかを判断する（ステップＳ１１３）。ｘ＝１となったときは、シャッタが半押しされたときから最初に共通動き情報が特定する方向が反転したときである。このとき、被写体は往復運動における中心から最も変位したことになる。この最も変位したときから、被写体の往復運動を捉えることによって、往復運動の周期が分かる。また、これによって、被写体の往復運動を効率良く捉えることが出来る。

被写体動き情報生成部１０ａは、ｘ≧１と判断した場合（ステップＳ１１３；ＹＥＳ）には、ｎ番目の被写体動き情報であるＶｉ（ｎ）（全ての分割ブロック１００から特定された動き情報の集合）のうち、共通動き情報Ｖｍ（ｎ）に類似する動き情報のみを記憶部５０（ワーキングメモリ（ＲＡＭ５２））に保持する（ステップＳ１１４）。つまり、ステップＳ１１４において、被写体動き情報生成部１０ａは、共通動き情報Ｖｍ（ｎ）に類似する動き情報が特定された分割ブロック１００についてのみ、特定された動き情報をそのまま記憶部５０に保持する。一方、ステップＳ１１４において、被写体動き情報生成部１０ａは、共通動き情報Ｖｍ（ｎ）に類似しない動き情報が特定された分割ブロック１００については、特定された動き情報をそのまま記憶部５０に保持するのではなく、動き情報として、ｘ＝０，ｙ＝０、を記憶部５０に保持する。ここで、共通動き情報Ｖｍ（ｎ）とは、例えば、ｎ番目の被写体動き情報Ｖｉ（ｎ）において、方向と大きさ（上記のｘ及びｙの値から特定できる。）とが互いに一致する動き情報の中で、その一致する数が最も多い動き情報のことである。また、共通動き情報Ｖｍ（ｎ）に類似する動き情報とは、ｎ番目の被写体動き情報Ｖｉ（ｎ）のうち、その方向が共通動き情報Ｖｍ（ｎ）の方向の所定範囲内（例えば、±５度）であって、かつ、その大きさが共通動き情報Ｖｍ（ｎ）の大きさの所定範囲内（例えば、±５％）にある動き情報のことである。このようにして、共通動き情報に類似する動き情報（共通動き情報に対して所定の範囲内にある動き情報、（往復運動に対応した動き情報））を特定した被写体動き情報であるＶｉ（ｎ）が最終データとして記録される。

なお、繰り返し行われるステップＳ１１４で、被写体動き情報生成部１０ａは、被写体動き情報Ｖｉ（ｎ）を、時系列、すなわち、ｎの値順が分かるように、記憶部５０に保持する。また、被写体動き情報生成部１０ａは、ｘ≧１でないとき（ステップＳ１１３；ＮＯ）、まだ、被写体の往復運動を捉える時期が来ていないとして、ステップＳ１１８に進む。

被写体動き情報生成部１０ａは、ｘ≧３であるかを判断する（ステップＳ１１５）。被写体動き情報１０ａは、ｘ≧３であると判断した場合（ステップＳ１１５；ＹＥＳ）、最終データとして記録した、最小のｎに対応する被写体動き情報Ｖｉ（ｎ）を記憶部５０から削除する（ステップＳ１１６）。また、被写体動き情報１０ａは、ｘ≧３でないと判断した場合（ステップＳ１１５；ＮＯ）、ステップＳ１１８に進む。このように、ｘ≧１となった直後からｘ≧３となる直前のｎに対応する被写体動き情報Ｖｉ（ｎ）を最終データとして記憶部５０に記録することによって、一周期分のｎ（フレーム数）に対応する被写体動き情報を得られる。また、ｘ≧３以降のｎについて、最小のｎに対応する被写体動き情報Ｖｉ（ｎ）を記憶部５０から削除していくことによって、最新の一周期分の被写体動き情報を得ることが出来る。このようにして、効率よく一周期分の被写体動き情報を得ることが出来る。

被写体動き情報生成部１０ａは、処理完了の旨の表示部を表示部３０に表示させる。このようにして、被写体動き情報生成部１０ａは、ユーザに第一の画像処理が終了した旨を知らせる（ステップＳ１１７）。すなわち、被写体動き情報生成部１０ａは、ユーザに静止画に往復運動を加えた画像を再生可能である旨を知らせる。

被写体動き情報生成部１０ａは、入力部４０の備えるシャッタボタンが全押しされたか判断する（Ｓ１１８）。被写体動き情報生成部１０ａは、入力部４０の備えるシャッタボタンがユーザによって全押しされると、入力部４０は、この全押しに対応する操作信号を被写体動き情報生成部１０ａに出力する。被写体動き情報生成部１０ａは、この操作信号が送られてくると、シャッタボタンが全押しされたと判断する。被写体動き情報生成部１０ａは、全押しされたと判断すると（ステップＳ１１８；ＹＥＳ）、ステップＳ１１９に進む。また、被写体動き情報生成部１０ａは、全押しされていないと判断すると（ステップＳ１１９；ＮＯ）、ステップＳ１０３に戻る。このようにして、被写体動き情報生成部１０ａは、ユーザが静止画を撮影するまで上記の処理を繰り返す。

被写体動き情報生成部１０ａが全押しされたと判断すると（ステップＳ１１８；ＹＥＳ）、静止画取得部１０ｂは、被写体動き情報生成部１０ａからｎ番目のフレーム画像データを取得し、このデータを最終データの静止画（静止画像データ）として、記憶部５０（ワーキングメモリ（ＲＡＭ５２））に保持する（ステップＳ１１９）。そして、被写体動き情報生成部１０ａは、記憶部５０に保持した静止画像データ（撮影部が取得した静止画）と、記憶部に最終データとして保持している時系列順の被写体動き情報Ｖｉ（ｎ）と、を対応付けて、最終データとして記憶部５０（フラッシュメモリ５３）に記録する。

図６のように、時系列順の複数の被写体動き情報は、ｎ＝ｍｉｎからｎ＝ｍａｘまでの被写体動き情報の集合からなっている。ここで、ｎ＝ｍｉｎの被写体動き情報とは、最終データとする複数の被写体動き情報Ｖｉ（ｎ）の中で一番古いもの（ｎの値が最も小さいもの）であり、ｎ＝ｍａｘの被写体動き情報とは最新のもの（ｎの値が最も大きいもの）である。

次に、本実施形態に係る画像処理装置１が行う画像処理方法のうちの再生処理について、図７乃至８を参照して説明する。なお、この再生画像処理は、画像処理装置１の操作者が入力部４０を用いて所定の操作を行った時を契機としてスタートする。例えば、ユーザが入力部４０（例えば、モード切替キー等）を操作して所定の静止画の再生が画像処理装置１に設定されると、この処理はスタートする。このとき、制御部１０は、記憶部５０に最終データとして記録した静止画データから静止画を生成して表示部３０に表示する。なお、この再生処理は、画像処理装置１の制御部１０（ＣＰＵ１１）が行っているが、下記の説明では、静止画処理部１０ｃが処理を行うとして、以下説明する。また、この再生処理は、ユーザが入力部４０を操作することによって、途中終了することもある。

静止画処理部１０ｃは、ｎ＝ｍｉｎを設定し、ｎのカウントを開始する（ステップＳ２０１）。

静止画処理部１０ｃは、前記静止画データに対応して記録された被写体動き情報の中からｎに対応する被写体動き情報を記憶部５０から取得し、この被写体動き情報の中から０より大きい値の動き情報（例えば、ｘ又はｙのどちらか少なくとも一方が０でない動き情報）を特定する（ステップＳ２０２）。例えば、図６においては、ｎ＝ｍｉｎの場合、Ｖ２２（ｎ）及びＶ２３（ｎ）の動き情報を特定する。なお、被写体動き情報は、記憶部５０のＲＡＭ５２に複数読み出されてもよいし、ステップＳ２０２乃至Ｓ２０４の処理毎に一つずつ読み出しても良い。

静止画処理部１０ｃは、前記のｎに対応する被写体動き情報の中から０より大きい値の動き情報に対応する分割ブロック１００を特定する（ステップＳ２０３）。例えば、図６においては、ｎ＝ｍｉｎの場合、Ｖ２２（ｎ）及びＶ２３（ｎ）等に対応する分割ブロック１００を特定する。

静止画処理部１０ｃは、ステップＳ２０３で特定した各分割ブロック１００に対応する各静止画ブロックを静止画上で特定し、この特定した各静止画ブロック内の像をそのまま、ステップＳ２０２で特定した各動き情報に応じて移動させる。例えば、図６においては、ｎ＝ｍｉｎの場合、Ｖ２２（ｎ）及びＶ２３（ｎ）等に対応する各分割ブロック１００にそれぞれ対応する（例えば位置及び形状が同じ）各静止画ブロックの像を、Ｖ２２（ｎ）及びＶ２３（ｎ）等における各動き情報が特定する移動方向及び移動距離（例えば、ｘ方向に１０画素、ｙ方向に１画素）分だけ表示部３０に表示した静止画上で移動させる。

この静止画ブロックの像の移動について、図８を参照してより詳細に説明する。図８の各静止画ブロック２００ａ乃至２００ｉは、分割ブロック１００（図４参照）と同じ形状を有し、位置も同じ位置にある。静止画ブロック２００ｅ（ハッチングを施したブロック）内にある像を、上記動き情報に基づいて、例えば図８のように移動させる。なお、ここでは、一つの静止画ブロック２００ｅが移動しているが、複数の静止画ブロックが移動しても、移動の原理は同じである。

図８のように、静止画ブロック２００ｅの像２０１（ハッチングを施した領域）が移動すると、空白領域２０２（黒く塗りつぶした領域）が形成されてしまう。このため、空白領域２０２を何らかの像によって補完する必要がある。

静止画処理部１０ｃは、例えば以下の方法によって、空白領域２０２を補完する。まず、空白領域２０２に隣接する静止画ブロック２００ｄ、２００ｆ、及び、２００ｈの各画素データ（例えば輝度色差値）を特定する。次に、移動後の像２０１の画素データと、静止画ブロック２００ｄの画素データと、２００ｆの画素データと、２００ｈの画素データとの平均値（例えば輝度色差値）を算出し、算出した平均値をこの空白領域２０２の画素データとする。静止画処理部１０ｃは、このようにして、空白領域２０２を補完する。

静止画処理部１０ｃは、ｎ＝ｍａｘであるか判断する（ステップＳ２０５）。ｎ＝ｍａｘであれば（ステップＳ２０５；ＹＥＳ）、一周期分の被写体の動き情報に応じて、静止画ブロックの像の移動を行ったので、ステップＳ２０６に進む。これにより、表示部３０上に表示された静止画の被写体の少なくとも一部が静止画上で１回往復運動したことになる。また、静止画処理部１０ｃは、ｎ＝ｍａｘでなければ（ステップＳ２０５；ＮＯ）、ｎ＝ｎ＋１を設定して（ステップＳ２０７）、ステップＳ２０２に戻る。これにより、表示部３０上に表示された静止画の被写体の少なくとも一部が静止画上で１回往復運動するまで、静止画上での再生が行われることになる。

静止画処理部１０ｃは、ｎ＝ｍｉｎを設定し（ステップＳ２０６）、入力部４０の備える所定の操作キー等が操作されたことによる再生終了の指示があったか判断する（ステップＳ２０８）。ユーザが入力部４０を用いて再生終了を操作すると、入力部４０は、再生終了に対応する操作信号を静止画処理部１０ｃに出力する。静止画処理部１０ｃは、この操作信号が送られてくると、再生終了の指示があったと判断する。静止画処理部１０ｃは、再生終了の指示があったと判断すると（ステップＳ２０８；ＹＥＳ）、再生処理を終了する。また、静止画処理部１０ｃは、再生終了の指示がなかったと判断すると（ステップ；ＮＯ）、上記再生処理を繰り返す。これにより、静止画の被写体の少なくとも一部は複数回往復運動することになる。

上記で説明した処理（例えば上記ステップＳ１０７、Ｓ１１４、Ｓ１１６等を参照）は、被写体動き情報生成部１０ａが行う、動画を分割した複数の分割ブロック１００それぞれの中における被写体の動きを監視し、被写体に動きがあった分割ブロック１００とこの分割ブロック１００の中における動き情報とを特定した被写体動き情報を生成する処理の一例である。なお、被写体動き情報は、例えば、被写体に動きがあった分割ブロック１００とこの分割ブロック１００の中における被写体の動きとを特定した情報であればよく、例えば、分割ブロック１００を特定する分割ブロック特定情報（例えば、図５のＶ２２（ｎ）等の分割ブロック１００の位置等を得するデータ）と、動き特定情報（例えば、ｘ＝１０，ｙ＝１を示すデータ）と、からなるデータであってもよい。また、上記で説明した処理（例えばステップＳ１１９を参照）は、静止画取得手段１０ｂが行う、静止画を取得する処理の一例である。また、上記で説明した処理（ステップＳ２０２乃至２０４等を参照）は、静止画処理手段１０ｃが行う、被写体動き情報生成手段１０ａが生成した被写体動き情報１０ａを用い、静止画取得手段１０ａが取得した静止画上で、被写体動き情報が特定する分割ブロック１００に対応する静止画ブロックの像２０１を、被写体動き情報が特定する被写体の動きに応じて移動させる処理の一例である。なお、上記実施形態では、静止画処理手段１０ｃは、表示部３０に静止画を表示して処理を行っているが、この処理を表示部３０に表示せずにデータ上で行っても良い。

なお、静止画ブロックの像２０１を、被写体動き情報が特定する被写体の動きに応じて移動させるとは、像２０１を、被写体動き情報が特定する被写体の動きと同じ動きをさせることによって移動させるか、同じではなくても所定の範囲内に規定される方法で移動させることをいう。上記では、像２０１を、被写体動き情報が特定する被写体の動きと同じ動きをさせている。

また、上記実施形態では、静止画を最後に取得しているが、静止画を撮影処理の最初に取得してもよい。つまり、静止画取得手段１０ｂが取得する静止画（静止画データ）は、ｎ＝１のときのフレーム画像（データ）であってもよい。この場合、被写体動き情報をｎ＝１から順に最終データとして記憶部５０に記録する。また、この場合には、被写体の往復運動を検知しなくてもよい。所定期間におけるｎ個の被写体動き情報Ｖｉ（ｎ）を生成し、静止画上で、生成したｎ個の被写体動き情報Ｖｉ（ｎ）が特定する動き情報に応じて静止画ブロック内の像を移動させてもよい。

本説明のように本実施形態（上記で説明した変形例も適宜含む、以下同じ。）では、被写体に動きがあった分割ブロック１００とこの分割ブロック１００の中における動き情報とを特定した被写体動き情報を生成し、静止画上で、被写体動き情報が特定する分割ブロック１００に対応する静止画ブロックの像２０１を、被写体動き情報が特定する被写体の動きに応じて移動させる。これにより、本実施形態に係る画像処理装置１は、被写体が同じ位置に留まり続けていても、被写体の一部となる少領域の動きを、１枚の静止画のみを用いて再現できる。また、１枚の静止画データのみを用いて被写体の少なくとも一部の動きを表現できるので、被写体の動きを表現するに際して、複数の静止画データから構成されるデータ量の多い動画データが不要になる。その結果、画像データのデータ量を抑制しつつも、自身の一部が同じ位置に留まっている被写体の動きを表現できる画像を得ることができる。また、被写体の一部の動きのみを表現可能となるように動画を処理することができる。また、静止画ブロック内の像全体移動させることから新たな印象を与える画像を提供できる。さらに、別々の分離した複数領域における被写体の動きを再現できる。

また、本実施形態では、撮影処理において被写体動き情報を生成する際に、共通動き情報Ｖｍ（ｎ）に類似する動き情報のみを記憶部５０に保持させるようにし、共通動き情報Ｖｍ（ｎ）に類似しない動き情報が特定された分割ブロック１００については、動き情報として、ｘ＝０，ｙ＝０、を記憶部５０に保持するようにした。これにより、撮影処理時において共通動き情報Ｖｍ（ｎ）に類似する動き情報が特定された分割ブロック１００に写っていた被写体（例えば、図４に示される竹の葉の動き）のみの動きが、再生処理時において静止画上で表現される。このため、共通動き情報Ｖｍ（ｎ）と大きく異なる動き情報が特定された分割ブロック１００に写っていた被写体（例えば、図示しないが、図４に示される竹の葉の動きに比べ、非常に早い速度で一直線に移動する車）の動きは、再生処理時において静止画上で表現されないこととなる。従って、再生処理においては、周期的な往復運動をする被写体（上述の竹の葉など）の動き情報が共通動き情報に類似する限り、この被写体の周期的な往復運動のみが静止画上で繰り返し再現され、周期的な往復運動をしない被写体（上述の車など）の動きは再現されないことになる。この結果、撮影処理時において周期的な動きをしていなかった被写体が、再生処理時における静止画上では周期的な動きをしてしまうという違和感を、ユーザに与える事態を回避できる。

また、撮影処理において被写体動き情報を生成する際に、全ての分割ブロック１００から特定された動き情報をそのまま記憶部５０に保持させるようにし、再生処理の開始直後に、全ての分割ブロック１００のそれぞれの動き情報が一周期分の往復運動（Ｖｉ（ｍｉｎ）〜Ｖｉ（ｍａｘ））において反転しているか否かを確認し、動き情報が反転していない分割ブロック１００の動き情報を、ｘ＝０，ｙ＝０、つまり動き情報の大きさを０に変更するようにしてもよい。このようにすれば、撮影処理時に動きがあった分割ブロックに写っていた被写体であっても、例えばその被写体が周期的な往復運動することなく一直線に移動していた場合には、再生処理時に、この一直線に移動していた被写体（例えば、上述の車など）の動きは再現されないこととなる。これによっても、撮影処理時において周期的な動きをしていなかった被写体が、再生処理時における静止画上では周期的な動きをしてしまうという違和感を、ユーザに与える事態を回避できる。ここで、分割ブロック１００のそれぞれの動き情報が一周期分の往復運動において反転しているか否かを確認する手法は、分割ブロック１００のそれぞれにおいて、時系列で隣接する動き情報が示すそれぞれ方向を順次確認していき、この時系列で隣接する動き情報が示すそれぞれ方向が、反対であれば時系列で隣接する動き情報は反転しており、反対でなければ時系列で隣接する動き情報は反転しないことになる。なお、反対の方向とは、時系列で隣接する動き情報がそれぞれ示す方向が互いに１８０度反対の方向の他、時系列で隣接する動き情報が示すそれぞれ方向が互いに１８０度反対の方向を中心とした所定の範囲内の方向（例えば中心方向から５度の範囲内の方向）であってもよい。

上記例のように、被写体動き情報生成部１０ａは、動画を分割した複数の分割ブロック１００それぞれの中における被写体の動きを監視し、動画の被写体の往復運動を動き情報に基づいて検知し、検知した前記往復運動の周期に応じた（周期分の）、かつ、往復運動に対応した動き情報（例えば、上記の類似する動き情報であり、上記共通動き情報又はその他の動き情報であってもよい。）を特定した複数の被写体動き情報を生成し、静止画処理部１０ｃは、前記被写体動き情報生成部１０ａが生成した複数の被写体動き情報のうちの往復運動に対応した動き情報のみを用い、静止画取得手段が取得した静止画上で、静止画ブロックの像を、動き情報が特定する前記被写体の動きに応じて移動させてもよい。

また、上記で説明した処理（例えば、上記ステップＳ１０７、Ｓ１１１、Ｓ１１４、及び、Ｓ１１６等を参照）は、被写体動き情報生成部１０ａが行う、動画を分割した複数の分割ブロックそれぞれの中における被写体の動きを監視し、動画の被写体の往復運動を動き情報に基づいて検知し、検知した往復運動の周期に応じた被写体動き情報を複数生成する処理の一例である。なお、周期とは、半周期の整数倍の周期をいう。往復運動の周期に応じた被写体動き情報を複数生成するとは、例えば、前記周期内における被写体の動きについての被写体動き情報を複数生成することをいう。なお、上記実施形態では、周期は、一周期であるが、半周期の場合は、ステップＳ１１５での判断をｘ≧２とすればよい。このように、周期を変更する場合には、例えば、ステップＳ１１５のｘの値を変更すればよい。また、上記で説明した処理（例えば、上記ステップＳ２０２乃至Ｓ２０６、及び、Ｓ２０７等を参照）は、静止画処理手段１０ｃが行う、被写体動き情報生成手段１０ａが生成した複数の被写体動き情報を用い、静止画上で、静止画ブロックの像を動き情報に応じて順次移動させていく処理の一例である。なお、往復運動の周期を半周期の倍数分とする場合には、再生処理において、例えば、ステップＳ２０２乃至Ｓ２０７を２回以上行う。また、偶数回目の処理では、動き情報を反転させて静止画ブロックの像２０１を移動させる。これによって、適切な往復運動を行うことが出来る。このように、本実施形態では、往復運動を検知して、利用することにより、被写体の往復運動を効率良く表現できる。

上記で説明した処理（例えば、ステップＳ１１１）は、往復運動を動き情報に含まれる被写体の動く方向の反転を用いて検知する処理の一例である。このように、本実施形態では、往復運動を効率よく検知できる。

また、上記で説明した処理（例えば、ステップＳ１１４乃至ステップＳ１１６等を参照）は、前記被写体動き情報生成手段１０ａが行う、前記撮影部が前記静止画を撮影する時期から遡った往復運動の周期に応じた前記被写体動き情報を複数生成する処理の一例である。このような処理によって、被写体の最新の往復運動を表現可能になる。これは、往復運動が減衰していく運動である場合に有効である。

なお、動画の他の例として、被写体の動きが不連続である静止画の集合を用いて上記処理を行っても良い。また、動画は予め撮影され保存されたものであってもよい。

１・・・画像処理装置、１０・・・制御部、１０ａ・・・被写体動き情報生成部、１０ｂ・・・静止画取得部、１０ｃ・・・静止画処理部、１１・・・ＣＰＵ、２０・・・撮影部、２１・・・レンズ駆動部、２２・・・撮影レンズ、２３・・・絞り兼用シャッタ、２４・・・撮像素子、２５・・・ユニット回路、２６・・・ドライバ、２７・・・ＴＧ、３０・・・表示部、３１・・・ディスプレイ、４０・・・入力部、４１・・・キー入力装置、５０・・・記憶部、５１・・・メモリ、５２・・・ＲＡＭ、５３・・・フラッシュメモリ、９０・・・バス、１００・・・分割ブロック、１１０、１１１・・・竹の葉の集合、２００ａ乃至２００ｉ・・・静止画ブロック、２０１・・・像、２０２・・・空白領域

Claims (6)

1. 画像処理装置であって、
   動画の画面領域を分割した複数の分割ブロックそれぞれの中における被写体の動きを検出し、前記被写体に動きがあった前記分割ブロックとこの分割ブロックの中における前記動画の被写体の往復運動を前記動き情報に含まれる被写体の動く方向の反転を用いて検知し、検知した前記往復運動の周期に応じた被写体動き情報を複数生成する被写体動き情報生成手段と、
   静止画を取得する静止画取得手段と、
   前記被写体動き情報生成手段が生成した複数の前記被写体動き情報を用い、前記静止画取得手段が取得した前記静止画上で、前記被写体動き情報が特定する前記分割ブロックに対応する静止画ブロックの像を、前記被写体動き情報が特定する前記被写体の動きに応じて順次移動させる静止画処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記被写体動き情報は、前記分割ブロック毎に、前記被写体の動きを特定する動き情報を対応付けたものであることを特徴とする請求項１に記載の画像処理装置。
3. 撮影部を更に備え、
   前記静止画は前記撮影部によって撮影されたものであり、
   前記被写体動き情報生成手段は、前記撮影部が前記静止画を撮影する時期から遡った往復運動の周期に応じた前記被写体動き情報を複数生成することを特徴とする請求項１に記載の画像処理装置。
4. 撮影部をさらに備え、
   前記動画及び前記静止画は、前記撮影部が撮影したものであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 表示部をさらに備え、
   前記静止画処理手段は、前記表示部に前記静止画を表示させ、前記表示部に表示させた前記静止画上で、前記静止画ブロックの像を移動させることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 画像処理方法をコンピュータに実行させる画像処理プログラムであって、
   動画の画面領域を分割した複数の分割ブロックそれぞれの中における被写体の動きを検出し、前記被写体に動きがあった前記分割ブロックとこの分割ブロックの中における前記動画の被写体の往復運動を前記動き情報に含まれる被写体の動く方向の反転を用いて検知し、検知した前記往復運動の周期に応じた被写体動き情報を複数生成する被写体動き情報生成ステップと、
   静止画を取得する静止画取得ステップと、
   前記被写体動き情報生成ステップで生成した複数の前記被写体動き情報を用い、前記静止画取得ステップで取得した前記静止画上で、前記被写体動き情報が特定する前記分割ブロックに対応する静止画ブロックの像を、前記被写体動き情報が特定する前記被写体の動きに応じて順次移動させる静止画処理ステップと、
   を前記コンピュータに行わせることを特徴とする画像処理プログラム。

Images