JP6046711B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像画像を表示装置で遅延表示する画像処理技術に関する。

近年、カメラなどの撮像装置とモニタなどの表示装置とを被写体に向け、撮影した画像をリアルタイムで表示することで鏡として機能するデジタルミラーが実用化されている。

このようなデジタルミラーを用いて被写体の後姿の確認を実現する技術の従来例として、特許文献１、特許文献２が開示されている。特許文献１は、顔向き検出技術を用いて被写体の前向きおよび後ろ向きを検出することで、被写体の後姿の記録および再生を自動化する技術を開示している。すなわち、被写体がデジタルミラーの前で身体を１回転させる時、顔向きを用いて、被写体が後ろ向きになるタイミングから前向きになるタイミングまでの後姿を記録し、記録した後姿を再生している。このようにすることで、特許文献１の技術は、被写体がデジタルミラーの前で身体を１回転するだけで後姿の確認を可能としている。

また、特許文献２は、撮影画像をスロー再生させる技術を開示している。特許文献２の技術では、被写体が撮影画像の再生時に特定のジェスチャを行うことで、通常再生とスロー再生を切り替える。このようにすることで、特許文献２の技術は、被写体の回転動作が速い場合でも後姿の確認を可能としている。

特開２０１１−２４８７１４号公報 国際公開第２００８／１２６３３６号

しかしながら、特許文献１の技術では、被写体が行った回転動作はそのままの速度で表示されるので、必ずしも後姿の確認に適した速度であるとは限らない。

また、特許文献２の技術では被写体の操作によりスロー再生が行われるが、１／２倍速など元の速度の固定値倍が、必ずしも適切な速度であるとは限らない。

以上、被写体の後姿の確認を例にとって説明したが、この例に限らず、回転する非対称物の背面の確認においても同様の問題がある。

本発明は、上記の課題を解決するもので、回転する被写体の背面を適切な速度で表示する画像処理装置を提供することを目的とする。

上記の課題を解決するために、本明細書において開示される画像処理装置は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出部と、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存部と、前記録画開始点以降の第１のタイミングから、前記録画終了点以前の第２のタイミングまでの特定区間について、録画時間を算出する時間算出部と、前記録画時間と、前記録画時間に依存しない予め定められた再生時間とを用いて、前記動画の再生速度を決定する再生速度決定部と、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生部とを備え、前記再生速度決定部は、前記再生時間と、前記動画再生部が前記特定区間を再生する時間とが同一となるように、前記再生速度を決定することを特徴とする。

この構成によれば、画像処理装置は、回転する被写体の背面を適切な速度で表示することが可能となる。

実施の形態１に係る画像処理装置のブロック図 実施の形態１に係る画像処理装置の外観を示す図 被写体の回転方向を示す図 実施の形態１に係る画像処理装置の動作を示すフローチャート 顔向き検出結果と時間との関係を示す図 実施の形態１に係る画像処理装置の後姿再生動作を示すシーケンス図 実施の形態２に係る画像処理装置のブロック図 設定された顔向き角度と録画時間との関係を示す図 実施の形態２に係る画像処理装置の動作を示すフローチャート 実施の形態２に係る画像処理装置の後姿再生動作を示すシーケンス図 実施の形態２の変形例１に係る画像処理装置のブロック図 実施の形態２の変形例１における三面鏡動作のモニタ表示画像を示す図

＜発明に至った経緯＞
上述したようなデジタルミラーは、例えば、服飾店で使用されることがある。このとき、後姿の表示は、例えば、試着において特に有用である。

しかしながら、特許文献２の技術では、被写体が適切な後姿の再生速度を見つけ出す必要がある。すなわち、再生速度が不適切な場合に、確認に適した再生速度を見つけ出すまで、被写体は繰り返し再生をやり直す必要がある。

そこで、発明者らは、予めデジタルミラーに再生時間を設定し、撮像画像を再生時間に合わせて再生することで、再生速度を適応的に調整するという着想を得た。このようにすることで、確認に適した所定の再生時間に合わせて表示される後姿を、被写体が確認することができる。したがって、例えば、店員等が、後姿を確認しやすい再生時間を予め設定しておけば、被写体が再生速度の調整を行なわずとも、デジタルミラーの前において回転動作を行うだけで、適切な速度で再生される自身の後姿を確認することが可能となる。また、店員等が再生速度を設定する際に、被写体毎に、および回転動作毎に回転動作の所要時間が異なることを考慮に含める必要がなく、適切な再生時間さえ既知であれば、適切な速度で後姿の表示が可能となる。

＜実施の形態＞
以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本実施の形態に係る画像処理装置１００のブロック図である。

図１の画像処理装置１００は、被写体が画像処理装置１００の前で１回転すると、被写体が背面を画像処理装置１００に向けている半回転分の動作を動画として保存し、その後に被写体が画像処理装置１００に再生指示を行うと、保存した半回転分の動作全てを再生する。このような画像処理装置１００は、カメラ１０１と、回転検出部１０２と、動画保存部１０３と、再生モード決定部１０４と、回転時間測定部１０５と、再生時間設定部１０６と、再生速度決定部１０７と、動画再生部１０８と、画像出力部１０９と、モニタ１１０から構成される。

なお、説明の簡素化のために、被写体であると同時に後姿の確認を行う人物を「ユーザ」と呼び、後述する再生時間など画像処理装置１００を使用するための設定を行い、ユーザに画像処理装置１００を使用させる人物を「管理者」と呼ぶ。例えば、画像処理装置１００を設置しているアパレル店舗では、店員が管理者であり、試着を行う客がユーザである。

図２は、画像処理装置１００の外観を示した図である。図２に示すように、カメラ１０１と、モニタ１１０とはいずれもユーザを向くよう、同じ向きに近接配置されている。画像処理装置１００は、例えば、カメラ１０１と、動画保存部１０３と、再生時間設定部１０６と、モニタ１１０と、ＣＰＵ（不図示）と記憶部（不図示）とから構成される。記憶部は、例えばＥＥＰＲＯＭなどの不揮発性メモリにより実現され、ＣＰＵは記憶部に記憶されるプログラムを読み出して実行することにより、回転検出部１０２、再生モード決定部１０４、回転時間測定部１０５、再生速度決定部１０７、動画再生部１０８、画像出力部１０９の各機能を有し動作する。

＜各ブロックの説明＞
カメラ１０１は、撮像光学系（不図示）、撮像素子（不図示）、Ａ／Ｄ変換回路（不図示）などで構成される。撮像光学系は、フォーカス制御を行うフォーカスレンズ、シャッタおよび絞りによる露出制御部などで構成される。ズーム動作を行うズームレンズを備えても良い。撮像素子は、ＣＣＤセンサまたはＣＭＯＳセンサで構成される光電変換素子であり、撮像光学系により形成された被写体像を撮像して映像信号を出力する。Ａ／Ｄ変換回路は、撮像素子より出力されたアナログ信号である映像信号を、デジタル信号に変換する変換器である。Ａ／Ｄ変換回路から出力されるデジタルデータが、カメラ１０１の出力である撮像画像および撮像動画となる。

モニタ１１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬなどで構成される表示デバイスである。モニタ１１０は、画像出力部１０９から出力される表示画像を表示する。

回転検出部１０２は、カメラ１０１の撮像画像から顔領域を検出する顔検出を行い、さらに検出された顔に対して顔向き検出を行う。さらに、回転検出部１０２は、顔向き検出の結果から、撮像画像内のユーザが１回転したときの動作を検出し、回転動作の期間中に、録画開始点と、録画終了点とを出力する。顔の向きの検出は、例えば、特開２０１１−２３４２６９号公報に開示されているような、目鼻の陰影と顔の外形との時間変化を検出する既知技術を用いて、行うことができる。

顔の向きについて、図３を用いて説明する。図３は、ユーザと画像処理装置１００とを真上から見た図である。以下、顔の向きについて、ユーザが画像処理装置１００に対して正面を向いた状態を０°とし、ユーザが０°の状態と比較して右回り（時計回り）に何度回転しているかで被写体の向きを示す。すなわち、ユーザが真右を向いた状態（画像処理装置１００に顔の左半分を向けている状態）が９０°、ユーザが真後ろを向いた状態（画像処理装置１００に後頭部を向けている状態）が１８０°、ユーザが真左を向いた状態（画像処理装置１００に顔の右半分を向けている状態）が２７０°となる。

ここで、本実施の形態に係る画像処理装置１００は、上述したように、ユーザが背面を画像処理装置１００に向けている半回転分の動作を動画として保存する。したがって、回転検出部１０２は、顔の向きが９０°から２７０°の範囲である期間の始点と終点を、それぞれ録画開始点、録画終了点とする。このようにする理由は、前面を向いている半回転分（顔の向きが０°から９０°までの範囲、および２７０°から右回りで０°までの範囲）については、画像処理装置１００が鏡として動作しているだけでユーザが視認することができるからである。

回転動作を検出し、録画開始点および録画終了点を検出する方法について、ユーザが右回りで１回転する場合について説明する。まず、回転検出部１０２はユーザの顔の向きの検出を行い、０°を検出する。次に、回転検出部１０２は、９０°を検出すると、録画開始点として検出する。次に、回転検出部１０２は、２７０°を検出すると、録画終了点として検出する。さらに、被写体が正面を向くと、回転検出部１０２は再び０°を検出する。このとき、録画の対象となる、録画開始点から録画終了点までの区間は、ユーザが行った１回転のうち、背面を向いている半回転分（９０°〜２７０°）である。

なお、ユーザが左回りに１回転した場合は、顔の向きの検出順序は、０°（正面）→２７０°（真左）→９０°（真右）→０°（正面）となる。そのため、回転検出部１０２は、２７０°を検出すると録画開始点として検出し、９０°を検出すると録画終了点として検出する。よって、録画開始点から録画終了点までの区間は、背面を向いている半回転分（２７０°〜９０°）である。

動画保存部１０３は、カメラ１０１から撮像動画を受け付け、回転検出部１０２から、録画開始点、および録画終了点を受け付ける。そして、動画保存部１０３は、録画開始点をトリガとして、カメラ１０１から入力されたカメラ撮像動画を保存する処理を開始し、録画終了点をトリガとして、カメラ撮像動画の保存を終了する。動画保存部１０３は、例えばハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）などで実現される。

再生モード決定部１０４は、回転検出部１０２から、録画開始点および録画終了点、および再生開始情報を受け付け、モニタ１１０に表示すべき画像を示す動作モードを以下の方法で決定し、動作モードが遷移した際に、遷移後のモードを実現するための指示を動画再生部１０８と画像出力部１０９とに送る。動作モードは、後述するように、鏡モードと後姿再生モードの２種類である。ここで、再生開始情報とは、画像処理装置１００が後姿の再生を開始するための指示である。本実施の形態では、録画終了点の後に再びユーザが０°であることを回転検出部１０２が検出し、再生開始情報を再生モード決定部１０４に出力する。

再生モード決定部１０４による動作モードの決定方法について説明する。再生モード決定部１０４は、再生開始情報を得るまでは、画像処理装置１００の動作モードを鏡モードに決定する。この鏡モードにおいては、画像処理装置１００は、カメラ１０１が出力する撮像画像をリアルタイムでモニタ１１０に表示する。一方、再生モード決定部１０４は、録画開始点、録画終了点の順に得た後に再生開始情報が得られると、画像処理装置１００の動作モードを後姿再生モードに決定する。この後姿再生モードにおいては、画像処理装置１００は、動画保存部１０３に保存されている動画を再生し、モニタ１１０に表示する。再生モード決定部１０４は、後姿再生モードに決定してから再生時間設定部１０６に設定された再生時間だけ経過すると、動作モードを鏡モードに決定する。

回転時間測定部１０５は、録画開始点と、録画終了点とを回転検出部１０２から得て、録画開始点から録画終了点までの時間を計測する。すなわち、録画開始点を得ると計測を開始し、録画終了点を得ると計測を終了し、計測された時間を再生時間設定部１０６に出力する。ここで、上述したように、画像処理装置１００は保存した半回転分の動作全てを再生する。つまり、本実施の形態に係る特定区間は、録画開始点から録画終了点までの全区間である。したがって、回転時間測定部１０５が計測する時間は、特定区間の録画時間と一致する。

再生時間設定部１０６は、動画保存部１０３に保存されている動画の特定区間を再生表示する再生時間を保持している。再生時間は、画像処理装置１００の管理者によって事前に設定された、後姿の再生時間として適切な時間であり、例えば１０秒、１５秒、１７．５秒など、固定長の時間である。再生時間設定部１０６は、例えば、再生時間を保持するためのＥＥＰＲＯＭなどの不揮発性メモリと、再生時間を設定するためのタッチパネル等のヒューマンインタフェースとからなる。

再生速度決定部１０７は、再生時間設定部１０６が保持している再生時間と、回転時間測定部１０５が計測した特定区間の録画時間とから、動画保存部１０３に保存されている動画の再生速度を算出する。再生時間設定部１０６が保持している再生時間をＴｐ、回転速度計測部１０５が計測した特定区間の録画時間をＴｒとすると、再生速度比Ｒは、

から算出される。なお、再生速度比Ｒとは、録画時間と再生時間とが一致する基準速度（録画速度）に対する再生速度の比であり、再生速度比Ｒに従った再生を「Ｒ倍速再生」と呼ぶ。したがって、Ｔｐ＝Ｔｒである場合には、再生時間と録画時間とが一致するため、再生速度は元の速度（等速）であるＲ＝１．０となる。また、Ｒ＜１．０である場合はスロー再生となり、Ｒ＞１．０である場合には早送り再生となる。

動画再生部１０８は、再生モード決定部１０４から後姿再生モードへの遷移指示を受け取ると、再生速度決定部１０７が算出した再生速度比Ｒに従って、動画保存部１０３に保存されている動画を再生し、画像出力部１０９に出力する。ここで、スロー再生及び早送り再生について説明する。動画再生部１０８は、スロー再生を行う場合、動画を構成する各フレームを２度以上出力することにより、フレームの数を１／Ｒ倍とする。例えば、Ｒ＝０．５である場合には、動画再生部１０８は、動画を構成する各フレームを２度ずつ出力する。一方、動画再生部１０８は、早送り再生を行う場合、フレームを間引いて出力することにより、フレームの数を１／Ｒ倍とする。例えば、Ｒ＝２．０である場合には、動画再生部１０８は、動画を構成する各フレームを１つおきに出力する。

画像出力部１０９は、再生モード決定部１０４から再生モードの遷移指示を受け取って、モニタ１１０に出力する画像を切り替える。再生モードが鏡モードの場合は、カメラ１０１から入力される撮像画像をそのまま出力し、再生モードが後姿再生モードの場合は、動画再生部１０８が再生している動画を表示画像として出力する。

＜動作＞
図４は、画像処理装置１００の動作を示すフローチャートである。図４を用いて、画像処理装置１００の動作について、順に説明する。

まず、再生時間設定部１０６に、後姿の再生時間Ｔｐが設定される（Ｓ１１）。これは、例えば、画像処理装置１００の管理者が、後姿を確認できるために適した再生時間Ｔｐを設定することにより行われる。管理者が設定する再生時間Ｔｐは、例えば、１０秒である。

次に画像処理装置１００は、鏡モードで動作する（Ｓ１２）。すなわち、再生モード決定部１０４は動作モードを鏡モードに決定し、画像出力部１０９はカメラ１０１の撮像動画をそのままモニタ１１０に出力する。これにより、モニタ１１０にはカメラ１０１の撮像画像がリアルタイムで表示される。

次に、画像処理装置１００は、顔検出により、人物が存在するかどうかを判定する（Ｓ１３）。人物が検出されない場合（Ｓ１３でＮｏ）、画像処理装置１００は、後述する管理者終了指示が入力されたかどうかを判定する（Ｓ１９）。画像処理装置１００は、管理者終了指示を検出しない場合（Ｓ１９でＮｏ）、再度、顔検出により、人物が存在するかどうかを判定する（Ｓ１３）。

一方、画像処理装置１００は、顔検出により、人物が検出された場合（Ｓ１３でＹｅｓ）、次の動作を行う。すなわち、撮像動画を記録する旨の画面をモニタ１１０に表示し、検出された人物であるユーザに対し、撮影動画を記録することの許可を求める（Ｓ１４）。これは、プライバシーの観点から、ユーザの許可を得ずに撮像動画を記録することは好ましくないからである。具体的には、画像処理装置１００は、撮影動画の記録を許可する場合には特定のジェスチャをするよう要求する旨の画面をＳ１４で表示する。次に、画像処理装置１００は、ユーザの許可が得られたかどうかを検出する（Ｓ１５）。具体的には、ユーザが上述した特定のジェスチャが行われたかどうかの検出を行う。画像処理装置１００は、ユーザの許可が得られなかった場合（Ｓ１５でＮｏ）、Ｓ１３で人物が検出できなかった場合と同様、画像処理装置１００は、管理者終了指示が入力されたかどうかを判定する（Ｓ１９）。画像処理装置１００は、管理者終了指示を検出しない場合（Ｓ１９でＮｏ）、再度、顔検出により、人物が存在するかどうかを判定する（Ｓ１３）。Ｓ１５におけるユーザの許可が得られなかった場合とは、例えば、所定時間内に撮像動画の記録を許可するジェスチャを検出できなかった場合、ユーザが画像処理装置１００の前から立ち去り検出されなくなった場合、または、撮像動画の記録を拒否するジェスチャを検出した場合である。なお、ユーザが撮像動画の記録を拒否した場合に再度、Ｓ１３で人物が存在するかどうかを判定する場合、画像処理装置１００はＳ１３で、当該ユーザが立ち去り検出されなくなるまで、人物が検出されないと判定する、としてもよい。このようにすることで、撮像動画の記録を拒否したユーザは、画像処理装置１００を単なる鏡として使用することができる。また、当該ユーザが撮像動画の記録に同意して後姿を確認したい場合には、画像処理装置１００の前から立ち去った後に改めて画像処理装置１００の前に移動すればよい。

画像処理装置１００は、ユーザの撮像動画の記録許可が得られた場合（Ｓ１５でＹｅｓ）、回転検出部１０２により、ユーザの回転動作の検出を行う（Ｓ１６）。ユーザが回転動作を行わず、画像処理装置１００を向いたままの場合（Ｓ１６でＮｏ）、顔向きが０°付近を維持したままとなるので、回転動作は検出されない。そのため、再生モード決定部１０４は動作モードを切り替えず、鏡モードを維持する。画像処理装置１００は、後述するユーザ終了指示があるか否かを検出し（Ｓ１８）、検出しなかった場合は（Ｓ１８でＮｏ）、Ｓ１６に戻り回転動作検出を繰り返す。

一方、ユーザが回転動作を行う場合（Ｓ１６でＹｅｓ）、画像処理装置１００は回転動作の録画開始点から録画終了点までの撮像動画を保存して、特定区間を遅延再生することで、後姿再生動作を行う（Ｓ１７）。

Ｓ１７の後姿再生動作について、図５、図６を用いて説明する。図５は、ユーザが右回りで回転動作を行った場合の時間と顔の向きの関係である。図６は、Ｓ１７の詳細を示したシーケンス図である。

図５（ａ）は、動画保存時の顔の向きを示した図である。回転検出部１０２は、顔向き０°、９０°、２７０°、再び０°を順次検出する。回転検出部１０２は、時刻Ｔａに９０°を検出すると（Ｓ１０１）、録画開始点の通知を出力する（Ｓ１０２）。回転検出部１０２は、時刻Ｔｂに２７０°を検出すると（Ｓ１０５）、録画終了点の通知を出力する（Ｓ１０６）。さらに、回転検出部１０２は、時刻Ｔｅに再び顔向き０°を検出すると（Ｓ１２１）、再生開始情報を出力する（Ｓ１２２）。

動画保存部１０３は、回転検出部１０２からＳ１０２の録画開始点の通知を受け付けるとカメラ１０１の撮像動画を保存する処理を開始し（Ｓ１０３）、回転検出部１０２からＳ１０６の録画終了点の通知を受け付けると動画保存処理を終了する（Ｓ１０７）。この処理により、動画保存部１０３には時刻Ｔａから時刻Ｔｂまでの時間にカメラ１０１が撮像した動画が保存される。

回転時間測定部１０５は、回転検出部１０２からＳ１０２の録画開始点の通知を受け付けると時間の計測を開始し（Ｓ１０４）、回転検出部１０２からＳ１０６の録画終了点の通知を受け付けると時間の計測を終了する（Ｓ１０８）。回転時間測定部１０５は、計測時間を再生速度決定部１０７に出力する（Ｓ１１０）。この処理により、再生速度決定部１０７は、特定区間の録画時間として、時刻Ｔａから時刻Ｔｂまでの時間Ｔｒを受け取る。

再生速度決定部１０７は、回転時間測定部１０５から取得した特定区間の録画時間Ｔｒと、再生時間設定部１０６から取得した再生時間Ｔｐから、上述の式１を用いて再生速度比Ｒを算出し（Ｓ１１１）、動画再生部１０８に出力する（Ｓ１１２）。例えば、録画時間Ｔｒが８秒であり、再生時間Ｔｐが１０秒であれば、Ｒは０．８となる。

再生モード決定部１０４は、回転検出部１０２から、録画開始点と録画終了点とを取得し、さらに、回転検出部１０２からＳ１２２の再生開始情報を取得すると、画像処理装置１００の動作モードを後姿再生モードに切り替えるよう決定し（Ｓ１２３）、動画再生部１０８と画像出力部１０９とに、動作モードが後姿再生モードに遷移したことを通知する（Ｓ１２４）。

Ｓ１２４の通知を受けた動画再生部１０８は、動画保存部１０３から回転動作を撮像した動画を読み出し（Ｓ１２５）、再生速度決定部１０７が指定した再生速度比Ｒに従って当該動画を再生する（Ｓ１２６）。同様に、Ｓ１２４の通知を受けた画像出力部１０９は、カメラ１０１からの撮像動画のリアルタイム出力を中断し、動画再生部１０８が出力する動画をモニタ１１０に出力する（Ｓ１２７）。

以上の動作により、ユーザが１回転後に再び正面を向くと、モニタ１１０には、保存された回転動作時の後姿が予め設定された再生時間Ｔｐをかけて再生される。例えば、再生時間Ｔｐを１０秒とすると、録画時間Ｔｒが８秒であれば０．８倍速で、録画時間Ｔｒが１３秒であれば１．３倍速で、いずれの場合も回転動作時の後姿が予め設定された再生時間１０秒をかけてモニタ１１０に表示される。図５（ｂ）に、再生時の顔の向きを示す。

なお、ユーザが左回りに回転動作を行った場合は、回転検出部１０２は、顔向き０°、２７０°、９０°、再び０°を順次検出する。したがって、回転検出部１０２は、顔向き２７０°を録画開始点として、顔向き９０°を録画終了点として検出すればよく、それ以外は同様の動作で、回転動作時の後姿の再生を行うことができる。

再生が完了すると（Ｓ１３１）、再生モード決定部１０４は、画像処理装置１００の動作モードを鏡モードに切り替えるよう決定し（Ｓ１３２）、画像出力部１０９に鏡モードへの遷移を通知する（Ｓ１３３）。画像出力部１０９はカメラ１０１の撮像動画をそのままモニタ１１０に出力する（Ｓ１３４）。ここで、再生モード決定部１０４はＳ１３１の通知を受けず、各ブロックの説明の項目で述べたように、Ｓ１２４から再生時間Ｔｐだけ経過してからＳ１３２の動作を行っている。これは、Ｓ１２６の所要時間がＴｐであるため、Ｓ１２４から再生時間Ｔｐだけ経過したタイミングとＳ１３１のタイミングは同一となるからである。

Ｓ１７終了後の動作を、図４を再度参照しながら説明する。画像処理装置１００は、ユーザ終了指示があるかどうかを検知する（Ｓ１８）。ユーザ終了指示が検知されない場合（Ｓ１８でＮｏ）、Ｓ１６に戻り、回転動作を検出すると、繰り返し再生を行う。なお、画像保存部１０３が動画を保存しているときにＳ１７により新たに動画を保存する場合、画像保存部１０３は、保存している動画を別途使用することがなければ、保存されている動画を破棄してから新たな動画を保存してもよいし、新たな動画で古い動画を上書きしてもよい。

画像処理装置１００は、ユーザ終了指示を検知すると（Ｓ１８でＹｅｓ）、終了処理を実行する（Ｓ２０）。ここで、ユーザ終了指示とは、例えば、ユーザが画像処理装置１００の前から離れることである。

また、画像処理装置１００は、人物が検出されない場合（Ｓ１３でＮｏ）、またはユーザの許可が得られなかった場合（Ｓ１５でＮｏ）において、管理者終了指示を検知した場合（Ｓ１９でＹｅｓ）にも終了処理を実行する（Ｓ２０）。ここで、管理者終了指示とは、例えば、画像処理装置１００の管理者によるジェスチャである。

以下、Ｓ２０における終了処理の詳細について示す。画像処理装置１００は、動画保存部１０３に保存されている動画を消去する。動画の消去は、例えば、動画が保存されている領域全てを特定のデータ（”０”など）で上書きすることにより実施される。画像処理装置１００は、動画を消去した旨のメッセージをモニタ１１０に表示する。このようにすることで、画像処理装置１００は、保存データの破棄を明示的にユーザに提示し、プライバシーの観点で画像処理装置１００に対する使用の安心感を与えることができる。

なお、再生モード決定部１０４が録画終了点を取得後に再生開始情報を取得することなく録画開始点を取得した場合、画像処理装置１００は動画保存部１０３に保存されている動画を破棄し、Ｓ１７の処理をＳ１０１からやり直す。この場合、動画保存部１０３は、新たな動画の保存前に明示的に古い動画の破棄動作を行ってもよいし、新たな動画を上書きする形で古い動画を破棄してもよい。

また、再生モード決定部１０４が録画終了点を取得後に再生開始情報を取得することなく所定時間が経過した場合、画像処理装置１００は、ユーザ終了指示があったと見なしてＳ２０の終了処理を行う。

＜まとめ＞
かかる構成によれば、人物が画像処理装置の前で１回転して後姿の撮像動画を保存して、遅延再生することで後姿を確認するときに、後姿の再生速度が適切に調整することが可能となり、後姿の確認に対する利便性が高まる。

（実施の形態２）
図７は、実施の形態２の画像処理装置２００のブロック図である。図７において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

本実施の形態に係る画像処理装置２００は、動画保存部１０３に保存される回転動作を撮像した動画において、予め設定した顔向きの範囲のみを特定区間として再生することに特徴がある。

画像処理装置２００は、カメラ１０１、回転検出部２０２、動画保存部１０３、再生モード決定部１０４、回転時間測定部２０５、再生時間設定部１０６、再生速度決定部１０７、向き設定部２１１、特定区間推定部２１２、動画再生部２０８、画像出力部１０９、およびモニタ１１０を備える。

＜各ブロックの説明＞
回転検出部２０２は、回転検出部１０２の動作に加えて、後述する特定区間の推定のため、録画開始点および録画終了点における、ユーザの顔向きを特定区間推定部２１２に出力する。

回転時間測定部２０５は、計測した時間の出力先が特定区間推定部２１２であること以外は、回転時間測定部１０５と同じ動作を行う。

向き設定部２１１は、回転動作を撮像した動画において、特定区間を指定するためのユーザの顔向きを画像処理装置２００の管理者から取得して特定区間推定部２１２に設定する。ここで、特定区間とは、回転動作を撮像した動画のうち、後姿再生の対象とする部分のことである。本実施の形態において、特定区間は、後姿再生の対象とする部分を顔向きの範囲として管理者が設定する。例えば、管理者は、特定区間を、顔向き１５０°から２１０°の範囲であると決定し、向き設定部２１１に、始点の１５０°と終点の２１０°とを設定する。向き設定部２１１は、例えば、後姿再生の対象とする区間の始点と終点とのユーザの顔向きを保持するためのＥＥＰＲＯＭなどの不揮発性メモリと、再生開始点と再生終了点それぞれにおけるユーザの顔向きを設定するためのタッチパネル等のヒューマンインタフェースとからなる。

特定区間推定部２１２は、回転検出部２０２から録画開始点と録画終了点とのそれぞれにおけるタイミング情報およびユーザの顔向きを取得し、向き設定部２１１から後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを取得し、回転時間測定部２０５から録画開始点から録画終了点までの時間を取得する。さらに、特定区間推定部２１１は、特定区間の開始点（以下、再生開始点と呼ぶ）と特定区間の終了点（以下、再生終了点と呼ぶ）とを推定して、再生開始点と再生終了点とのタイミング情報を動画再生部２０８に、特定区間の録画時間を再生速度決定部１０７に出力する。

図８を用いて、再生開始点と再生終了点、および録画時間を推定する方法について説明する。特定区間推定部２１２は、回転動作におけるユーザの回転速度を一定であると仮定し、後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きから、再生開始点と再生終了点とを推定する。ここで、録画開始点、録画終了点、後姿再生の対象とする区間の始点と終点との時刻をそれぞれＴａ、Ｔｘ、Ｔｙ、Ｔｂとする。また、時刻Ｔａ、Ｔｘ、Ｔｙ、Ｔｂにおけるユーザの顔の向きを、それぞれ、Ａａ、Ａｘ、Ａｙ、Ａｂ（単位は全てｄｅｇｒｅｅ）とする。また、録画開始点Ｔａから録画終了点Ｔｂまでの計測時間をＴｃとすると、録画開始点と再生開始点との間の時間Ｔｘ−Ｔａは、

におけるＴｓとして算出される。なお、録画開始点と再生終了点との間の時間Ｔｙ−Ｔａは、（式２）のＡｘの値の代わりにＡｙの値を用いれば、同様にＴｓとして算出できる。例えば、録画開始点におけるユーザの顔向きＡａが９０°、録画終了点におけるユーザの顔向きＡｂが２７０°である場合に、後姿再生の対象とする区間の始点のユーザの顔向きＡｘが１５０°である場合には、録画開始点Ｔａから、Ｔｃ×（１５０−９０）／（２７０−９０）＝Ｔｃ×１／３だけ進んだ時刻を再生開始点Ｔｘとして推定する。同様に、後姿再生の対象とする区間の終点のユーザの顔向きが２１０°である場合には、録画開始点Ｔａから、Ｔｃ×（２１０−９０）／（２７０−９０）＝Ｔｃ×２／３だけ進んだ時刻を再生終了点Ｔｙとして推定する。

また、録画開始点Ｔａから録画終了点Ｔｂまでの時間に対する、特定区間の時間（＝Ｔｙ−Ｔｘ）の割合を示す時間比情報Ｒｐは、

で表される。例えば、録画開始点Ｔａにおけるユーザの顔向きＡａが９０°、録画終了点Ｔｂにおけるユーザの顔向きＡｂが２７０°であり、再生開始点を示すユーザの顔向きＡｘが１５０°、再生終了点を示すユーザの顔向きＡｙが２１０°である場合には、Ｒｐ＝（２１０−１５０）／（２７０−９０）＝１／３である。すなわち、特定区間推定部２１２は、回転時間測定部２０５より取得した計測時間ＴｃにＲｐを乗じた値Ｔｃ／３を特定区間の録画時間Ｔｒとして、再生速度決定部１０７に出力する。

動画再生部２０８は、上述したように特定区間推定部２１２より、再生開始点と再生終了点とのタイミング情報を取得する。再生モード決定部１０４が再生モードへの遷移を指示すると、動画再生部２０８は動画保存部１０３より回転動作の動画を取得し、当該動画のうち、再生開始点から再生終了点までの特定区間を再生する。

＜動作＞
図９は、画像処理装置２００の動作を示すフローチャートである。図９を用いて、画像処理装置２００の動作について、順に説明する。なお、図４と同じ動作については同じステップ番号を用い、詳細な説明を省略する。

まず、再生時間設定部１０６に、後姿の再生時間が設定される（Ｓ１１）。

次に、向き設定部２１１に、後姿再生の対象とする区間の始点と終点との顔向きが設定される（Ｓ３１）。以下、後姿再生の対象とする区間の始点と終点との顔向きが、それぞれ１５０°、２１０°の場合について説明する。

画像処理装置２００は、顔検出により、人物が存在するかどうかを判定する（Ｓ１２）。以降の動作については、後姿再生動作（Ｓ３２）を除いて画像処理装置１００の動作と同様であるので説明を省略し、Ｓ３２の後姿再生動作について説明する。

図１０は、Ｓ３２の詳細を示したシーケンス図である。なお、図６と同じ動作については同じステップ番号を用い、詳細な説明を省略する。

ユーザの回転向きが右回りの場合について説明する。回転検出部１０２は、顔向き０°、９０°、２７０°、再び０°を順次検出する。回転検出部１０２は、時刻Ｔａに９０°を検出すると（Ｓ１０１）、録画開始点を出力し（Ｓ１０２）、同時に録画開始点のタイミングと顔向き９０°とを特定区間推定部２１２に出力する（Ｓ２０１）。同様に、回転検出部１０２は、時刻Ｔｂに２７０°を検出すると（Ｓ１０５）、録画終了点を出力し（Ｓ１０６）、録画終了点のタイミングと顔向き２７０°とを特定区間推定部２１２に出力する（Ｓ２０２）。さらに、回転検出部１０２は、時刻Ｔｅに再び顔向き０°を検出すると（Ｓ１２１）、再生開始情報を出力する（Ｓ１２２）。

動画保存部１０３は、回転検出部１０２から録画開始点を受け付けると動画保存を開始し（Ｓ１０３）、録画終了点を受け付けると動画保存を終了する（Ｓ１０７）。

回転時間測定部２０５は、回転検出部１０２からＳ１０２の録画開始点を受け付けると時間計測を開始し（Ｓ１０４）、回転検出部１０２からＳ１０６の録画終了点を受け付けると時間計測を終了する（Ｓ１０８）。回転時間測定部２０５は測定した時間を特定区間推定部２１２に通知する（Ｓ２０４）。

特定区間推定部２１２は、録画開始点における顔向き、録画終了点における顔向き、および向き設定部２１１より取得した後姿再生の対象とする区間の始点と終点との顔向きを用いて、再生開始点および再生終了点、および回転時間測定部２０５の計測時間に対する特定区間の録画時間の比を推定する（Ｓ２０３）。上述のように、計測時間がＴｃである場合に、再生開始点は録画開始点からＴｃ×１／３の時刻、再生終了点は録画開始点からＴｃ×２／３の時刻、特定区間の録画時間はＴｃ×１／３である。特定区間推定部２１２は、回転時間測定部２０５から計測時間Ｔｃを取得して再生開始点および再生終了点のタイミング、および特定区間の録画時間を算出する（Ｓ２０５）。特定区間推定部２１２は特定区間の録画時間Ｔｒ＝Ｔｃ×１／３を再生速度決定部１０７に出力し（Ｓ２０６）、再生開始点および再生終了点を示すタイミング情報を動画再生部２０８に出力する（Ｓ２０７）。

再生速度決定部１０７、再生モード決定部１０４の動作は図６と同様であるため説明は省略する。

動画再生部２０８は、特定区間推定部２１２から取得した特定区間の情報を基に、動画保存部１０３から回転動作を撮像した動画のうち、特定区間に該当する部分を読み出し（Ｓ２０８）、再生速度決定部１０７が指定した再生速度比Ｒに従って、当該動画の特定区間を再生する（Ｓ２０９）。以降の動作は、図６と同様であるため説明は省略する。

＜まとめ＞
かかる構成によれば、動画保存部が保存した後姿の動画のうち、顔向きによって指定した特定区間のみを再生することが可能となるので、後姿のうち、特に確認を行いたい向きを表示することが可能となる。

（変形例１）
図１１は、変形例１に係る画像処理装置３００のブロック図である。図１１において、図１、図７と同じ構成要素については同じ符号を用い、説明を省略する。

本変形例に係る画像処理装置３００は、動画保存部１０３に保存される回転動作を撮像した動画を複数の特定区間に分け、複数のモニタを用いて、それぞれの特定区間を同時に再生することに特徴がある。

画像処理装置３００は、カメラ１０１、回転検出部２０２、動画保存部１０３、再生モード決定部１０４、回転時間測定部２０５、再生時間設定部１０６、再生速度決定部３０７、向き設定部３１１、特定区間推定部３１２、動画再生部３０８、画像出力部３０９、およびモニタＡ１１１、モニタＢ１１２、モニタＣ１１３を備える。

＜各ブロックの説明＞
モニタＡ１１１、モニタＢ１１２、モニタＣ１１３は、それぞれＬＣＤ、ＰＤＰ、有機ＥＬなどで構成される表示デバイスである。モニタＡ１１１、モニタＢ１１２、モニタＣ１１３は、それぞれ画像出力部３０９から出力される表示画像を表示する。また、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３は、同じ大きさのモニタであり、高さを合わせて左からモニタＡ１１１、モニタＢ１１２、モニタＣ１１３の順に並べられている。

向き設定部３１１は、回転動作を撮像した動画において、モニタごとの後姿再生の対象とする区間を指定するためのユーザの顔向きを取得して特定区間推定部３１２に設定する。すなわち、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれに対して、後姿再生の対象とする区間の始点と終点とにおけるユーザの顔向きを設定する。例えば、画像処理装置３００の管理者は、後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを、モニタＡ１１１に対しては９０°と１５０°、モニタＢ１１２に対しては１５０°と２１０°、モニタＣ１１３に対しては２１０°と２７０°を設定する。

特定区間推定部３１２は、回転検出部２０２から録画開始点と録画終了点とのそれぞれにおけるタイミング情報およびユーザの顔向きを取得し、向き設定部３１１から各モニタに対応する、後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを取得し、回転時間測定部２０５から録画開始点から録画終了点までの録画時間を取得する。特定区間推定部３１２は、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれに対して、再生開始点と再生終了点とを推定して、再生開始点と再生終了点とのタイミング情報を動画再生部３０８に、特定区間の録画時間を再生速度決定部３０７に出力する。

再生速度決定部３０７は、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれにおける特定区間の録画時間を特定区間推定部３１２から取得し、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれにおける再生速度比を算出して動画再生部３０８に出力する。

動画再生部３０８は、上述したように特定区間推定部３１２より、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれにおける再生開始点と再生終了点を取得する。再生モード決定部１０４が再生モードへの遷移を指示すると、動画再生部３０８は動画保存部１０３より回転動作の動画を取得し、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれの特定区間をそれぞれの再生速度比に従って再生する。

画像出力部３０９は、動画再生部３０８が再生する特定区間の動画それぞれを、対応するモニタそれぞれ、すなわちモニタＡ１１１、モニタＢ１１２、モニタＣ１１３に出力する。また、鏡モードの場合は、カメラ１０１から入力される撮像画像を、左１／３、中央１／３、右１／３に分割し、それぞれモニタＡ１１１、モニタＢ１１２、モニタＣ１１３に出力して表示する。

＜動作＞
画像処理装置３００の動作は、向き設定部３１１に設定される後姿再生の対象とする区間の始点と終点とのそれぞれにおける顔向き、特定区間推定部３１２が推定する再生開始点、再生終了点、および特定区間の録画時間、再生速度決定部３０７が生成する再生速度、動画再生部３０８が再生する動画の特定区間、のそれぞれが、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３それぞれに対応して３つずつ存在する以外、画像処理装置２００の動作と同一であるため詳細な説明を省略する。

例えば、上述のように後姿再生の対象とする区間の始点と終点とのそれぞれにおけるユーザの顔向きを、モニタＡ１１１に対しては９０°と１５０°、モニタＢ１１２に対しては１５０°と２１０°、モニタＣ１１３に対しては２１０°と２７０°を設定した場合、図１２に示すように、三面鏡のような動作となる。

このようにすることで、後姿の異なる角度から見た姿を同時に見ることができ、より利便性を高めることが可能となる。

＜本実施の形態に係るその他の変形例＞
（１）各実施の形態および各変形例では、画像処理装置１００、２００、または３００がユーザの回転動作を検出する方法として、顔の向きのみを用いる場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置１００は、ユーザの回転動作を検出する方法として、被写体であるユーザの人体の姿勢を検出してもよい。この場合、カメラ１０１に加えて、超音波やミリ波などを用いた距離検出手段を用いたり、あるいはカメラ１０１に代えてステレオカメラを用いたりすることで、例えば、特表２００９−５３６７３１号公報に開示されているような、デプスマップを生成し、デプスマップより体の輪郭を検出して各部位を検出し、姿勢を検出する既知技術を用いることができる。このようにすることで、ユーザがマスクをして鼻および口が隠れているなど、顔向き検出が困難な場合であってもユーザの向きを検出することができる。なお、向き設定部２１１または３１１、特定区間推定部２１２または３１２は、特定区間を示すための情報として、顔の向きに代えて体の向きを用いてよい。このようにすることで、例えば、ユーザがカメラ１０１に背面を向けており被写体の顔の向きが検出できない場合でも、ユーザの向きを取得することが可能となる。

あるいは、画像処理装置１００、２００、または３００は、顔の向きが検出できる場合には顔の向きを用いてユーザの回転動作を検出し、顔の向きが検出されない場合には体の向きを用いてユーザの回転動作を検出する、としてもよい。このようにすることで、被写体の顔の向きが検出できない場合でも、ユーザの向きを取得でき、かつ、顔の向きが検出できる場合には、デプスマップが不要な顔向き検出を用いて処理を単純化させることが可能となる。

（２）各実施の形態および各変形例では、ユーザの回転動作の向きが右回りである場合に、回転検出部１０２は、９０°を検出すると録画開始点を出力し、２７０°を検出すると録画終了点を出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。録画開始点、録画終了点として検出する顔の向きは、例えば、それぞれ８０°、２８０°など、右側と左側の任意の向きの組み合わせであってもよい。あるいは、ユーザの１回転の全域を録画対象としてもよく、録画開始点、録画終了点として検出する顔の向きは、いずれも０°であってもよい。

また、回転検出部１０２は、顔の向きが９０°で、かつ、顔の向きが前面から背面に遷移する時刻を録画開始点として検出する、としてもよい。例えば、顔の向きが８０°、９０°、１００°あるいは検出不可（背面）、と遷移する場合は９０°を録画開始点として検出するが、顔の向きが８０°、９０°、８０°、と遷移する場合は録画開始点を検出しない、としてもよい。このようにすることで、回転動作でないユーザの動きを、回転動作と誤認識することを回避することができる。同様に、回転検出部１０２は、顔の向きが２７０°で、かつ、顔の向きが背面から前面に遷移する時刻を録画終了点として検出する、としてもよい。

（３）各実施の形態および各変形例では、被写体がユーザである場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、モニタを見る人物と被写体とは異なる人物であってもよいし、被写体は動物、無機物等であってもよい。このようにすることで、容易に背面を確認できない被写体に対し、１回の回転動作で撮像した動画を適切な速度で再生することにより、確実に背面を確認することが可能となる。

（４）実施の形態２の変形例１において、再生速度決定部３０７は全てのモニタに対して同一の再生時間を用いる場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、再生時間設定部１０６はモニタごとに再生時間を設定し、回転速度決定部３０７はモニタごとに異なる再生時間を用いて再生速度を算出するものとしてもよい。

（５）各実施の形態および各変形例では、再生モード決定部１０４が、後姿再生モードに遷移してから再生時間だけ経過すると、鏡モードと判定する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、再生モード決定部１０４は再生時間設定部１０６から再生時間を取得せず、再生モードに遷移した後、動画再生部１０８から動画の再生終了情報を得て鏡モードと判定する、としてもよい。このようにすることで、再生モード決定部１０４は、特定区間の再生が完了したことを確認してから、鏡モードへの遷移を指示することができる。

あるいは、再生モード決定部１０４は、動画再生の終了後すぐに鏡モードと判定せず、画像保存部（不図示）が保存している後姿の静止画像、もしくは動画保存部１０３が保持している動画の特定フレームをモニタ１１０に所定時間表示するよう指示した後、鏡モードと判定してもよい。ここで、動画の特定フレームとは、例えば、録画開始点と録画終了点とのちょうど中間点の時刻に撮像されたフレームである。このようにすることで、ユーザは後姿の動画が再生された後も後姿を確認することが可能となる。

（６）実施の形態２および変形例１では、向き設定部２１１または３１１に、後姿再生の対象とする区間の始点と終点とのそれぞれにおける顔の向きを取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、向き設定部２１１が後姿再生の対象とする区間の始点の顔の向きを取得していない場合に、特定区間推定部２１２は、録画開始点を再生開始点とする、としてもよい。同様に、向き設定部２１１が後姿再生の対象とする区間の終点の再生終了点における顔の向きを取得していない場合に、特定区間推定部２１２は、録画終了点を再生終了点とする、としてもよい。

（７）実施の形態２および変形例１では、向き設定部２１１または３１１に、後姿再生の対象とする区間の始点と終点との顔の向きを取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、向き設定部２１１は、再生開始点および再生終了点それぞれを、録画開始点からの時間、あるいは録画開始点から録画終了点までの計測時間に対する録画開始点からの時間の割合で取得してもよい。

（８）実施の形態２および変形例１では、特定区間推定部２１２または３１２は、特定区間の録画時間を、回転時間計測部１０５の計測時間と、計測時間に対する特定区間の録画時間の割合を示す時間比情報Ｒｐを用いて算出する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、特定区間推定部２１２は、再生開始点のタイミング情報と、再生終了点のタイミング情報とから、特定区間の録画時間を算出するものとしてもよい。このようにすることで、例えば、再生開始点および再生終了点が、録画開始点からの時間で示されている場合にも本実施の形態が可能となる。

（９）変形例１では、画像出力部３０９が３つのモニタに接続される場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、モニタの数は３に限られず、２以上の任意の数であってよい。また、モニタの幅は同一でなくてもよく、鏡モード時においてはモニタの幅に合わせて画像出力部３０９が画像を分割してもよい。例えば、モニタＢ１１２の幅がモニタＡ１１１、モニタＣ１１３の幅の２倍である場合、モニタＡ１１１にカメラ１０１の画像のうち左端から１／４の領域、モニタＣ１１３にカメラ１０１の画像のうち右端から１／４の領域、モニタＢ１１２にカメラ１０１の画像のうち他のモニタに表示されない残りの領域を表示するとしてもよい。

あるいは、鏡モードの動作では、画像出力部３０９は１つのモニタにカメラ１０１の画像をそのまま出力し、他のモニタには何も出力しない、あるいはメニュー等を表示するとしてもよい。この場合、モニタのサイズは同一でなくてもよいし、モニタ同士が左右に接する位置関係でなくてもよい。

または、画像出力部３０９は単一のモニタ１１０と接続されていてもよい。この場合、画像出力部３０９は、鏡モードにおいては画像出力部１０９と同様にカメラ１０１の画像をそのまま出力し、再生モードにおいては、モニタ１１０の領域を分割して、動画再生部３０８が出力する複数の特定区間の再生画像を各領域に出力することにより、本変形例の実施が可能となる。

（１０）実施の形態２の変形例１では、向き設定部３１１が、モニタＡ１１１、モニタＢ１１２、モニタＣ１１３のそれぞれに対して、再生開始点および再生終了点それぞれにおける顔の向きを取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、向き設定部３１１は、モニタＡ１１１の後姿再生の対象とする区間の終点かつモニタＢ１１２の後姿再生の対象とする区間の始点、モニタＢ１１２の後姿再生の対象とする区間の終点かつモニタＣ１１３の後姿再生の対象とする区間の始点、の２か所における顔の向きを取得し、特定区間推定部２１２は、録画開始点をモニタＡ１１１の再生開始点、録画終了点をモニタＣ１１３の再生終了点としてもよい。このようにすることで、動画を重複なしにｎ個の特定区間（ｎは２以上の整数）に分割する場合に、（ｎ−１）個の分割点の情報のみを用いて、３面鏡を構成する鏡の数をｎ個に増やしたような動作を行うことが可能となる。

（１１）実施の形態２の変形例１では、動画保存部１０３に保存された動画を複数の特定区間に分割し、それぞれの特定区間を同時に再生する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、複数の特定区間それぞれに異なる再生時間を設定し、複数の特定区間を連続して１つのモニタで再生するとしてもよい。このとき、再生時間設定部１０６は特定区間ごとに再生時間を設定し、再生速度決定部３０７は特定区間ごとに再生速度を決定し、動画再生部３０８がそれぞれの特定区間を対応する再生速度に従って連続再生すればよい。例えば、上記（１０）のように、向き設定部３１１に、第１の区間と第２の区間の境界の顔向きとして１５０°、第２の区間と第３の区間の境界の顔向きとして２１０°を設定し、再生時間設定部１０６に、第１の区間、第２の区間、第３の区間の再生時間をそれぞれ１秒、８秒、１秒と設定する。このようにすることで、９０°〜１５０°の区間を１秒かけて再生し、次に１５０°〜２１０°の区間を８秒かけて再生し、２１０°〜２７０°の区間を１秒かけて再生することができる。この例によれば、特定区間全域を１０秒かけて見やすい速度で再生しながら、さらに注目したい１５０°〜２１０°の区間を８秒かけて低速度で確認することが可能となる。

あるいは、向き設定部３１１に、第１の区間を９０°〜１８０°、第２の区間を１８０°〜１８０°、第３の区間を１８０°〜２７０°と設定し、第１の区間、第２の区間、第３の区間の再生時間をそれぞれ４秒、２秒、４秒と設定してもよい。このようにすることにより、特に注目したい１８０°で２秒間、静止画を表示することが可能となる。

（１２）各実施の形態および各変形例では、回転検出部１０２は、録画終了点を検出した後、再度０°を検出すると再生開始情報を出力し、再生モード決定部１０４は録画開始点、録画終了点の順に受け付けた後、再生開始情報を受け付けると動作モードを後姿再生モードに決定する場合について説明したが、本発明は必ずしもこの場合に限定されない。再生モード決定部１０４は、例えば、録画開始点、録画終了点の順に受け付けた後、計測時間の１／２倍だけ待機した後に後姿再生モードに遷移するものとしてもよい。あるいは、再生モード決定部１０４は、例えば、録画開始点、録画終了点の順に受け付けた後、ユーザが画像処理装置１００を注視するジェスチャを行うと後姿再生モードに移行する、としてもよい。

（１３）各実施の形態および各変形例では、動画保存部１０３は、録画開始点と録画終了点をトリガとして、回転動作に係るカメラ撮像動画の保存を開始および終了する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、動画保存部１０３は、Ｓ１６の間ずっと動画を保存するものとしてもよい。この場合、例えば、回転検出部１０２が、動画保存部１０３に録画開始点と録画終了点とを出力せず、再生モード決定部１０４に録画開始点のタイミング情報と録画終了点のタイミング情報とを出力し、再生モード決定部１０４は、録画開始点から録画終了点までを特定区間とすることにより、実施の形態１の実施が可能である。また、回転検出部１０２が、動画保存部１０３に録画開始点と録画終了点とを出力せず、特定区間推定部２１２に録画開始点のタイミング情報と録画終了点のタイミング情報とを出力し、特定区間推定部２１２は、録画開始点と録画終了点とを用いて特定区間を決定することにより、実施の形態２または変形例１の実施が可能である。

（１４）各実施の形態および各変形例では、カメラ１０１は、図２のように、モニタ１１０の左側に配置されているものとしたが、本発明は必ずしもこの場合に限定されない。例えば、カメラ１０１はモニタ１１０の上部あるいは下部であってもよい。

また、カメラ１０１とモニタ１１０は同じ向きに近接配置されているものとしたが、例えば、画像処理装置１００、２００、３００はカメラ１０１の代わりに、カメラと接続され撮像画像を取得する画像取得部を有していてもよい。この場合、画像取得部と接続されるカメラはユーザを撮像できる任意の場所であってよい。

また、画像処理装置１００、２００、３００はモニタ１１０を備えず、画像出力部１０９は外部のモニタやプロジェクタ等に接続されるものとしてもよい。

（１５）各実施の形態および各変形例では、動画再生部１０８、２０８、３０８がスロー再生する場合に、動画を構成する同一のフレームを連続で２回以上出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、動画再生部１０８、２０８、３０８は、連続する２つのフレームから補間画像を作成し、補間画像を含めたフレームを連続して出力することで、スロー再生を行ってもよい。

（１６）各実施の形態および各変形例では、Ｓ１５においてジェスチャによりユーザから撮影動画の記録の許可または拒否を受け付ける場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置１００は、ユーザからの応答を受け付ける入力部を有し、当該入力部から撮影動画の記録の許可または拒否を受け付けてもよい。入力部は、例えば、タッチパネルで構成されるモニタ１１０のタッチパッドとして構成されていてもよい。

（１７）各実施の形態および各変形例では、Ｓ１４で撮影許可をユーザに要求し、Ｓ１５でユーザが撮影を許可した場合にのみＳ１６を実行する場合について説明したが、本発明は必ずしもこの場合に限定されない。画像処理装置１００は、ユーザの撮影許可を別途得ている場合には、Ｓ１４、Ｓ１５を実行することなく、Ｓ１３で人物が検出されるとＳ１６を実行するものとしてもよい。ユーザの撮影許可は、例えば、画像処理装置１００の管理者が口頭でユーザから得てもよいし、あるいは、画像処理装置１００の管理者が、撮影を許可するユーザのみに画像処理装置１００を使用させるとしてもよい。このようにすることで、ユーザが画像処理装置１００に撮影を許可する旨の操作を行う必要がなく、ユーザはより簡易な操作で画像処理装置１００を利用することが可能となる。

（１８）各実施の形態および各変形例では、Ｓ１８の処理の終了の検出において、ユーザが画像処理装置１００、２００、または３００の前から離れて、人物が検出されなくなったことをトリガとする場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置１００は、ユーザのジェスチャを検出して処理の終了のトリガとしてもよいし、または、タッチパネルで構成されたモニタ１１０に対するタッチ操作を処理の終了のトリガとしてもよい。

（１９）各実施の形態および各変形例では、鏡モードの動作において画像出力部１０９がカメラ１０１の撮像画像をそのままモニタ１１０に出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像出力部１０９は、カメラ１０１の撮像動画に左右反転処理を行ってモニタ１１０に出力してもよい。このようにすることで、モニタ１１０を鏡面と見なした場合と同じ画像をモニタ１１０に表示することができ、ユーザに、違和感を与えることなく画像処理装置１００、２００、または３００を鏡として使用させることが可能となる。

また、同様に、再生モードにおいて、動画再生部１０８が再生する動画の左右を反転させる処理を画像出力部１０９が行ってもよい。

あるいは、画像の左右反転処理は、カメラ１０１またはモニタ１１０が行うものとしてもよい。

（２０）各実施の形態および各変形例では、鏡モードの動作において画像出力部１０９がカメラ１０１の撮像画像をそのままモニタ１１０に出力する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置１００は、鏡モードで動作している間、特許第４５９８８４２号に開示されているような、仮想試着などの機能を提供してもよい。

（２１）各実施の形態および各変形例では、Ｓ１１で管理者が再生時間を設定するものとしたが、本発明は必ずしもこの場合に限定されない。例えば、再生時間設定部１０６は一度設定された再生時間をＳ２０の終了処理後も保持し、再生時間設定部１０６が再生時間を保持している場合にＳ１１を省くものとしてもよい。同様に、例えば、向き設定部２１１は、一度設定された顔向きを保持し、向き設定部２１１が顔向きを保持している場合にＳ３１を省くものとしてもよい。もしくは、再生時間設定部１０６、向き設定部２１１は、例えばハードウェアスイッチで実現され、管理者は再生時間、顔向き等を予め設定し、画像処理装置はＳ１１、Ｓ３１を実施しないとしてもよい。あるいは、再生時間設定部１０６、向き設定部２１１は、例えば、予め再生時間、または顔向きを記録したＲＯＭで構成されてもよい。このようにすることで、管理者が再生時間等を設定する手間を省くことができる。

また、再生時間はユーザが後姿再生時に設定、あるいは複数の再生時間候補から選択するとしてもよい。このようにすることで、例えば、服によって適切な再生時間が異なるような場合に、管理者が設定変更することなく適切な速度で後姿を確認することが可能となる。

（２２）各実施の形態および各変形例に係る画像処理装置は、その構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。例えば、カメラとモニタとを除く画像処理装置を１チップで実現してもよいし、回転検出部のみを１チップで実現し、再生モード決定部等を別のチップで実現してもよい。

集積回路で実現する場合、典型的には、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路、又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩、又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。

また、各実施の形態および各変形例に係る画像処理装置は、記憶媒体に書き込まれたプログラムと、プログラムを読み込んで実行するコンピュータとで実現されてもよい。記憶媒体は、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体であってもよい。また、本発明に係る画像処理装置は、ネットワークを経由してダウンロードされるプログラムと、プログラムをネットワークからダウンロードして実行するコンピュータとで実現されてもよい。このプログラムは、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、前記録画開始点以降の第１のタイミングから、前記録画終了点以前の第２のタイミングまでの特定区間について、録画時間を算出する時間算出ステップと、前記特定区間の再生に必要な時間が、前記録画時間に依存しない予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生ステップとからなる録画再生処理を実行させるプログラムである。

（２３）各実施の形態および各変形例の説明は本発明の例示に過ぎず、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。

＜補足＞
以下に、実施の形態に係る画像処理装置、画像処理方法およびプログラムの構成および効果について説明する。

（ａ）実施の形態に係る画像処理装置は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出部と、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存部と、前記録画開始点以降の第１のタイミングから、前記録画終了点以前の第２のタイミングまでの特定区間について、録画時間を算出する時間算出部と、前記録画時間と、前記録画時間に依存しない予め定められた再生時間とを用いて、前記動画の再生速度を決定する再生速度決定部と、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生部とを備え、前記再生速度決定部は、前記再生時間と、前記動画再生部が前記特定区間を再生する時間とが同一となるように、前記再生速度を決定することを特徴とする。

また、実施の形態に係る画像処理方法は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、前記録画開始点以降の第１のタイミングから、前記録画終了点以前の第２のタイミングまでの特定区間について、録画時間を算出する時間算出ステップと、前記特定区間の再生に必要な時間が、前記録画時間に依存しない予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生ステップとを含むことを特徴とする。

また、実施の形態に係る画像処理プログラムは、再生速度を調整して撮像した動画を再生する録画再生処理を実行するための画像処理プログラムであって、前記録画再生処理は、被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、前記録画開始点以降の第１のタイミングから、前記録画終了点以前の第２のタイミングまでの特定区間について、録画時間を算出する時間算出ステップと、前記特定区間の再生に必要な時間が、前記録画時間に依存しない予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、前記再生速度に従って、前記動画のうち前記特定区間を再生する動画再生ステップとを含むことを特徴とする。

これら上記の構成によれば、確認に適した再生時間に合わせて再生を行うことで、回転する被写体の背面を適切な速度で表示することが可能となる。

（ｂ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記再生速度決定部は、前記再生時間に対する前記録画時間の比を、前記動画の録画速度に対する再生速度の比とする、としてもよい。

このようにすることで、被写体の背面を確認に適した一定の再生速度で表示することが可能となる。

（ｃ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記回転検出部は、前記被写体の向きが右または左である時刻であって、当該時刻直前の前記被写体の向きが前面で当該時刻直後の前記被写体の向きが背面である時刻に録画開始点を出力し、前記被写体の向きが前記録画開始点における前記被写体の向きとは逆方向である時刻であって、当該時刻直前の前記被写体の向きが背面で当該時刻直後の前記被写体の向きが前面である時刻に録画終了点を出力する、としてもよい。

このようにすることで、被写体の回転以外の動きを回転動作と誤認識することを防ぐことができるとともに、遅延再生しなくても確認可能な被写体の前面を動画として保存せず、被写体の背面のみを再生対象とすることが可能となる。

（ｄ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記特定区間は、前記録画開始点から前記録画終了点までの全区間であり、前記時間算出部は、前記録画開始点から前記録画終了点までの時間を前記録画時間として計測する、としてもよい。

このようにすることで、録画時間を直接計測することが可能となり、より簡易な構成で本発明の実施が可能となる。

（ｅ）また、実施の形態に係る上記（ａ）の画像処理装置は、特定区間を推定するための被写体の向きと、前記録画開始点と前記録画終了点とにおける前記被写体の向きとを用いて、前記第１のタイミングまたは前記第２のタイミングを推定する特定区間推定部をさらに備える、としてもよい。

このようにすることで、直感的に、かつ、被写体の回転動作の所要時間に依存しない形式で、特定区間を推定するための被写体の向きを指定することが可能となる。

（ｆ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記回転検出部は、前記被写体を撮像した動画から前記被写体の顔の向きを検出し、検出された顔の向きを用いて前記録画開始点と前記録画終了点とを検出する、としてもよい。

このようにすることで、被写体が前面を向いている場合に、簡易な方法で被写体の向きを検出することが可能となる。

（ｇ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記回転検出部は、前記被写体を撮像した動画から前記被写体である人体の向きを検出し、検出された人体の向きを用いて前記録画開始点と前記録画終了点とを検出する、としてもよい。

このようにすることで、被写体が撮像手段に背面を向けている場合にも、被写体の向きを検出することが可能となる。

（ｈ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記再生速度決定部は、複数の特定区間のそれぞれに対して再生速度を決定し、前記動画再生部は、前記複数の特定区間を、前記再生速度決定部が決定したそれぞれの再生速度に従って同時に再生する、としてもよい。

このようにすることで、被写体の異なる角度から撮像した背面を同時に表示することができ、より利便性を高めることが可能となる。

（ｊ）また、実施の形態に係る上記（ａ）の画像処理装置は、前記再生時間の設定を受け付ける再生時間設定部をさらに備える、としてもよい。

このようにすることで、適切な再生速度が被写体または確認したい事項によって異なる場合において、被写体または確認したい事項ごとに適切な再生速度で再生することが可能となる

本発明にかかる画像処理装置は、速度を調整して、被写体の背面を撮像した画像を遅延表示する画像処理装置に有用である。

１００ 画像処理装置
１０１ カメラ
１０２ 回転検出部
１０３ 動画保存部
１０４ 再生モード決定部
１０５ 回転時間測定部
１０６ 再生時間設定部
１０７ 再生速度決定部
１０８ 動画再生部
１０９ 画像出力部
１１０ モニタ
２１１ 向き設定部
２１２ 特定区間推定部

Claims (9)

1. 被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出部と、
   前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存部と、
   前記録画開始点以降のタイミングから前記録画終了点以前のタイミングまでの区間を分割した、連続する複数の特定区間のそれぞれについて、録画時間を算出する時間算出部と、
   前記複数の特定区間のそれぞれについて、当該特定区間に対応する前記録画時間と、当該特定区間に対応する前記録画時間に依存しない、当該特定区間ごとに予め定められた再生時間とを用いて、前記動画の再生速度を決定する再生速度決定部と、
   当該特定区間に対応する前記再生速度に従って、前記動画のうち前記複数の特定区間を連続して再生する動画再生部と
   を備え、
   前記再生速度決定部は、連続する複数の特定区間のそれぞれに対して、当該特定区間に対応する前記再生時間と、前記動画再生部が当該特定区間を再生する時間とが同一となるように、前記再生速度を決定する
   ことを特徴とする画像処理装置。
2. 前記再生速度決定部は、前記複数の特定区間のそれぞれに対して、
   前記再生時間に対する前記録画時間の比を、前記動画の録画速度に対する再生速度の比とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記回転検出部は、
   前記被写体の向きが右または左である時刻であって、当該時刻直前の前記被写体の向きが前面で当該時刻直後の前記被写体の向きが背面である時刻に録画開始点を出力し、
   前記被写体の向きが前記録画開始点における前記被写体の向きとは逆方向である時刻であって、当該時刻直前の前記被写体の向きが背面で当該時刻直後の前記被写体の向きが前面である時刻に録画終了点を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の特定区間のうち１以上を推定するための被写体の向きと、前記録画開始点と前記録画終了点とにおける前記被写体の向きとを用いて、当該特定区間の開始タイミングまたは終了タイミングとを推定する特定区間推定部をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記回転検出部は、
   前記被写体を撮像した動画から前記被写体の顔の向きを検出し、検出された顔の向きを用いて前記録画開始点と前記録画終了点とを検出する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記回転検出部は、
   前記被写体を撮像した動画から前記被写体である人体の向きを検出し、検出された人体の向きを用いて前記録画開始点と前記録画終了点とを検出する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記複数の特定区間のそれぞれに対応する前記再生時間の設定を受け付ける再生時間設定部
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
8. 被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、
   前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、
   前記録画開始点以降のタイミングから前記録画終了点以前のタイミングまでの区間を分割した、連続する複数の特定区間のそれぞれについて、録画時間を算出する時間算出ステップと、
   前記複数の特定区間のそれぞれについて、当該特定区間の再生に必要な時間が、当該特定区間に対応する前記録画時間に依存しない、当該特定区間ごとに予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、
   当該特定区間に対応する前記再生速度に従って、前記動画のうち前記複数の特定区間を連続して再生する動画再生ステップと
   を含むことを特徴とする画像処理方法。
9. 再生速度を調整して撮像した動画を再生する録画再生処理をコンピュータに実行させるための画像処理プログラムであって、
   前記録画再生処理は、
   被写体の回転動作を検出している間に、録画開始点と録画終了点とを出力する回転検出ステップと、
   前記録画開始点から前記録画終了点までの、前記被写体の回転動作を撮像した動画を保存する動画保存ステップと、
   前記録画開始点以降のタイミングから前記録画終了点以前のタイミングまでの区間を分割した、連続する複数の特定区間のそれぞれについて、録画時間を算出する時間算出ステップと、
   前記複数の特定区間のそれぞれについて、当該特定区間の再生に必要な時間が、当該特定区間に対応する前記録画時間に依存しない、当該特定区間ごとに予め定められた再生時間となるように、前記動画の再生速度を決定する再生速度決定ステップと、
   当該特定区間に対応する前記再生速度に従って、前記動画のうち前記複数の特定区間を連続して再生する動画再生ステップと
   を含むことを特徴とする画像処理プログラム。

Images