JPWO2011024363A1 - 画像表示制御装置、画像表示制御方法及び集積回路 - Google Patents

Abstract

被写体の空間中の位置を検出し、画像データと対応付けて記憶し、画像の表示時には、撮像面に対し垂直な奥行き方向の被写体の位置と、撮像面に対し平行な水平方向の被写体の位置を、それぞれ表示デバイスの縦軸、横軸の座標に設定し、画像を表示する。これにより、表示される動画像の画像サイズよりも大きな表示可能領域を有する表示デバイスにおいて、被写体を撮影するカメラの撮像面に対し平行な被写体の動きだけでなく、撮像面に対し垂直な奥行き方向の動きをダイナミックに再現する。

Description

本発明は、表示デバイスを駆動する画像表示制御装置、画像表示制御方法、及び、画像表示制御装置で用いられる集積回路に関するものである。

従来、テレビジョン放送番組、デジタルスチルカメラやデジタルムービーなどで撮影された画像を表示する画像表示制御装置においては、映像を画面全体に表示するのが通常の使用態様であった。ところが、近年、画像表示制御装置が高解像度の大画面を有するようになるに伴い、撮影された画像よりも大きい表示可能領域内で、画像を移動させて表示する技術が提案されている。

例えば、特許文献１では、表示される画像から動きベクトルを画像処理により抽出し、動きベクトルの重み付け加算と平均化により、画像毎の主な動き情報を抽出する。或いは表示される画像がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）など動き情報を内部に格納した動画像フォーマットで記述されている場合、その動画像データから動きベクトルを抽出し、上述した手法により画像毎の主な動き情報を抽出する。そして、その動き情報に応じて表示画像の位置を表示可能領域内で移動させる技術が開示されている。ところが、この技術は、被写体の動きに合わせて画像の表示位置を移動させてしまうため、表示中に画像が画像表示領域から外れてしまい、画像を正しく表示することができなくなる課題があった。

特許文献２では、以上の課題を解決する技術が開示されている。具体的には、画像のシーンチェンジを検出し、シーンにおける移動の振れ幅の中心にある画像が表示可能領域の中心に表示されるように、そして、画像が表示可能領域内に表示されるように、表示可能領域内での移動量を縮小して移動させる技術が開示されている。

特開平１０−３０１５５６号公報 特開２００３−２５６８４６号公報

しかし、従来の技術では、表示画像の動きベクトルに応じて、表示位置を移動させるため、画像表示制御装置が表示する画像を撮影するカメラの撮影面に対して平行な方向への被写体の動きは再現できるが、そのカメラの光軸方向（奥行き方向）に関する被写体の動きは再現しづらい。この理由を図２３〜２５の具体例により詳細に説明する。

図２３は、画像表示制御装置が表示する画像を撮影するカメラの座標系と、その座標系において被写体が移動する例を示す。図中のＸ軸はカメラの撮像面の右方向、Ｙ軸は撮像面の下方向、Ｚ軸はカメラの光軸方向（つまり、奥行き方向）を示し、カメラはＸ軸が水平方向にＹ軸が鉛直下向きに固定されているものとする。また、点線で示したように被写体がカメラに向かって近づいて移動しており、点線上に黒丸で表示した各時点において、吹出しで示された画像が撮影されているものとする。なお、画像の左上隅にはそれぞれの画像を識別するための番号を付しており、後述する図２４、図２５において、同じ番号の画像はそれぞれ対応する画像であることを示す。

図２４は、このように取得した画像を従来技術で表示した画像である。図２３の例では画像上で被写体が拡大されることによる動きベクトルも生じるが、この動きベクトルの成分は多方向に分散されるので、特許文献１のように動きベクトルを重み付け加算し、平均をとると多くが相殺される。ゆえに、被写体のＸＹ方向への移動による動きベクトルが主に検出される。さらに、図２３の例では、被写体は飛び上がるなどの上下方向の動きを行っていないので、Ｙ方向の動き情報は画像から殆ど検出されない。

したがって、従来技術では、被写体はカメラに近づく移動もしているにもかかわらず、図２４に示すように、主に大画面の横方向（Ｘ方向）に画像が移動しているようにしか表示されない。ゆえに、従来技術では、被写体の動きを一部しか再現しておらず、表示のダイナミックさに欠ける問題があった。

それ故に、本発明の目的は、表示画像よりも大きい表示可能領域に対して、被写体の空間中の位置に応じた表示位置で画像の表示を行うことで、被写体の空間中の移動、特に奥行き方向への移動を再現することを目的とする。より具体的には、図２５に示すように、奥行き方向への移動を表示画像の上下方向への移動で表現することによって、被写体をダイナミックに表示することである。

上記目的を達成するために、本発明の画像表示制御装置は、表示デバイスを駆動する画像表示制御装置であって、動画像の画像データと、被写体を撮影するカメラを基準とした直交座標系により記述された被写体の位置情報をフレーム単位で対応付けて記憶するコンテンツ管理部と、前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の表示位置を決定する表示位置決定部と、前記表示位置決定部が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御部とを備える。

上記構成により、本発明は、被写体を撮影するカメラの撮像面に平行な被写体の動きだけでなく、カメラの撮像面に対し垂直な奥行き方向の動きも再現して表示することが可能になる。したがって、ユーザは、カメラの撮像面に対し垂直な奥行き方向の被写体の移動を認識することができる。

図１は、本発明の第１の実施形態における画像表示制御装置の構成を示すブロック図である。 図２は、入力画像における被写体の画像内位置の一例を示す。 図３は、表示デバイスの基準座標の一例を示す。 図４は、第１の実施形態における表示位置決定部１０６のフローチャートである。 図５は、表示画像における被写体の画像内位置と、表示画面上における表示画像の表示位置の一例を示す。 図６は、本発明の第１の実施形態における画像表示制御装置で図５の表示位置を修正して表示した画像の一例を示す。 図７は、被写体の位置を検出するために、測定した情報の一例を示す。 図８は、位置生成部１０３が生成した距離センサと角度センサから得られた被写体位置情報の一例を示す。 図９は、位置生成部１０３が生成したカメラ座標における被写体情報の一例を示す。 図１０は、画像解析部１０２が検出した被写体の画像内位置情報の一例を示す。 図１１は、仮表示位置２の一例を示す。 図１２は、表示位置の一例を示す。 図１３は、被写体が一部入力画像に含まれていない場合、画像の変わりにアイコンで被写体を表示した例を示す。 図１４は、手ブレなどにより画像中の被写体位置が急激に変化された状態で被写体が撮影された際の被写体の移動軌跡と入力画像の一例を示す。 図１５は、画像中の被写体位置を考慮せず、空間中の被写体位置に合わせて図１４の入力画像を表示した例を示す。 図１６は、画像中の被写体位置を考慮して、画像を表示した例を示す。 図１７は、本発明の第２の実施形態における画像表示制御装置の構成を示す。 図１８は、第２の実施形態における表示位置決定部１０６１のフローチャートを示す。 図１９は、第２の実施形態における表示位置決定部１０６１が別の動作を行う場合のフローチャートを示す。 図２０は、シーンの一部でズームされ、被写体が撮影された際の被写体の移動軌跡と入力画像の一例を示す。 図２１は、本発明の第１の実施形態における画像表示制御装置で図２０の入力画像を表示した画像の一例を示す。 図２２は、本発明の第２の実施形態における画像表示制御装置で図２０の入力画像を表示した画像の一例を示す。 図２３は、被写体が撮影された際の被写体の移動軌跡と入力画像の一例を示す。 図２４は、従来の発明における画像表示制御装置で図２３の入力画像を表示した画像の一例を示す。 図２５は、本発明の第１の実施形態における画像表示制御装置で図２３の入力画像を表示した画像の一例を示す。

（第１の実施形態）
以下、本発明の第１の実施形態における画像表示制御装置について、図面を参照しながら説明する。図１は本実施形態における画像表示制御装置の構成について説明するブロック図である。

本実施の形態における画像表示制御装置１００は、画像入力部１０１と、画像解析部１０２と、位置生成部１０３と、コンテンツ管理部１０４と、表示画面領域サイズ取得部１０５と、表示位置決定部１０６と、表示デバイス制御部１０７を備える。

画像入力部１０１は、動画像のストリームを入力し、符号化する。画像入力部１０１は、例えば、カメラなどを用いることができる。

画像解析部１０２は、画像入力部１０１の画像データを解析し、被写体の画像中の位置を検出する。この被写体は、人物、動物、車など動くものを指す。画像解析部１０２が画像データを解析するタイミングは、画像データの入力時でもよいし、中央処理装置がある一定時間以上アイドル状態であることを検知したときに、画像記憶部１０４１に記憶されている画像データを読み出して、画像データを解析してもよい。検出方法としては、例えば、被写体の顔パタンを予め学習することで、顔認識処理により画像データから被写体を検出する方法などが用いられる。また、ユーザに被写体のオブジェクトを指定させた後、他の画像においても同じオブジェクトを画像解析により抽出し、被写体の位置を特定する方法でもよい。このとき、被写体の顔だけでなく、被写体の服装の色や柄で、被写体を特定してもよい。このとき、画像解析部１０２が検出する被写体の位置は、顔を表示する領域の重心や、被写体のオブジェクトを表示する領域の重心の座標となる。

図２は、入力画像２００における被写体２０１の画像内位置を示す。画像の横方向をＵ_i軸、縦方向をＶ_i軸とする直交座標系で入力画像２００を表すと、画像サイズは、(Ｗ_i，Ｈ_i)と表される。ここで入力画像がＶＧＡサイズの場合、（６４０，４８０）となる。また、この例では、顔を表示する領域の重心を被写体２０１の位置としており、画像内位置は(Ｕ₁，Ｖ₁)のように表される。

位置生成部１０３は、後述する位置検出方法により検出された被写体の地理上の位置を入力し、被写体を撮影するカメラを基準とした座標系（以降、カメラ座標系と呼ぶ）での位置を生成する。そして、生成したカメラ座標系での被写体位置を被写体位置記憶部１０４３（後述）に出力する。被写体の地理上の位置を検出する位置検出方法は、例えば、距離センサと角度センサを利用し、被写体と画像表示制御装置の距離と角度を取得して位置を決定する方法、ＧＰＳを利用して位置を検出する方法、空間中に無線タグのリーダを予め配置しておいた上で無線タグにより位置を検出する手法などがある。

次に、カメラ座標系について説明する。この座標系は、図２３でも示したとおり、Ｘ軸をカメラの撮像面の右方向、Ｙ軸を撮像面の下方向、Ｚ軸をカメラの視線方向（つまり、奥行き方向）とする。ユーザは、カメラを通常水平方向に向けて撮影するので、Ｘ軸、Ｚ軸はほぼ水平面上にあると考えてよい。したがって、本実施の形態では、以降、Ｘ軸、Ｚ軸は水平面上にあるものとして説明する。また、ユーザは１つのシーンを撮影する場合、カメラをパンすることもある。この場合、ある基準方位をＺ軸の正方向と定め、それに垂直な水平面上の軸をＸ軸と定める。この基準方位とは例えば、北の方角でもよいし、記録開始時、記録終了時のカメラの光軸方向でもよい。

位置生成部１０３は、上述する位置検出手法により検出された被写体の位置情報が緯度経度などの異なる座標系での位置情報の場合、その座標系でのカメラの位置情報、カメラの光軸方向も別途求め、平行移動、回転を行って、カメラ座標系での被写体の位置情報を生成する。また、入力された被写体の位置情報がカメラを基準とした座標系であっても極座標系の場合、直交座標系であるカメラ座標系での被写体の位置情報を生成する。

コンテンツ管理部１０４は、画像記憶部１０４１と、画像内位置記憶部１０４２と、被写体位置記憶部１０４３を備える。画像記憶部１０４１は、画像入力部１０１により符号化された画像データを記憶する。画像内位置記憶部１０４２は、画像解析部１０２で検出された画像領域内における被写体の位置情報を画像データとフレーム単位で対応付けて記憶する。被写体位置記憶部１０４３は、位置生成部１０３により生成されたカメラ座標系での位置情報を画像データとフレーム単位で対応付けて記憶する。被写体位置記憶部１０４３は、後述する例にあるように、Ｘ座標、Ｚ座標の２次元の値で保存するとよい。

表示画面領域サイズ取得部１０５は、表示デバイスの画面サイズを取得する。この取得方法は、予め画像表示制御装置１００にプリセットされたデータを読み込むのでもよいし、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの各種インタフェースを通して、表示デバイス１０８（後述）から画面サイズを取得するのでもよい。この表示画面領域サイズは、図３に示すように、表示デバイスから表示される画像の横方向をＵ_d軸、縦方向をＶ_d軸とする直交座標系において(Ｗ_d，Ｈ_d)のように表される。例えば、スーパーハイビジョン規格の表示デバイスの場合、（７６８０，４３２０）となる。

表示位置決定部１０６は、画像内位置記憶部１０４２に記憶されている画像領域内における画像内位置情報と、被写体位置記憶部１０４３に記憶されている被写体のカメラ座標系での位置情報と、表示画面領域サイズ取得部１０５から取得した表示デバイスの画面サイズ情報とを利用して、表示デバイス１０８上での表示位置を決定する。表示位置決定部１０６の処理の詳細は後述する。

表示デバイス制御部１０７は、表示位置決定部１０６で決定した表示位置に、画像記憶部１０４１で記憶した画像データを表示する信号を表示デバイス１０８に送信する。表示デバイス１０８は、液晶、プラズマ、ブラウン管、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの各種表示デバイスを指す。なお、本実施例では、表示デバイス１０８を画像表示制御装置１００の外に持つ構成としたが、表示デバイス１０８を画像表示制御装置１００の構成要素に加えてもよい。

次に、本発明の表示位置決定部１０６の詳細な処理の流れについて説明する。図４は表示位置決定部１０６の表示位置を決定する処理のフローチャートを示す。

まず、表示位置決定部１０６は、被写体位置記憶部１０４３に記憶されている被写体位置のＸ座標、Ｚ座標の最大差分を算出する（Ｓａ１）。このＸ座標の最大差分、Ｚ座標の最大差分を以降Ｄ_x、Ｄ_zと表すこととする。また、この差分を算出する際に求まるＸ座標の最大値、最小値をそれぞれＸ_max、Ｘ_min、Ｚ座標の最大値、最小値をそれぞれＺ_max、Ｚ_minと表すことにする。

次に、表示位置決定部１０６は、表示画面領域サイズ取得部１０５が取得した表示画面の領域サイズ(Ｗ_d，Ｈ_d)と画像内位置記憶部１０４２に記憶されている画像内位置情報を取得する。そして、表示画面の有効領域サイズを算出する（Ｓａ２）。図５は、領域サイズが(Ｗ_d，Ｈ_d)である表示画面３００全体で、カメラ座標系における全ての被写体位置を表示できるように、被写体位置に該当するＵ_d、Ｖ_d座標を求め、その座標が被写体２０１の画像内位置となるように、各被写体の画像を表示した例である。図５では、入力画像２０３、２０４、２０５、２０６に対応する各被写体位置が、カメラ座標系において、Ｘ座標最小、Ｚ座標最大、Ｘ座標最大、Ｚ座標最小となる。これらの入力画像は、図５のように、表示画面３００の左隅、上端、右隅、下端に配置される。このように表示画面の領域全体に対して被写体の表示位置を決めると、表示画像２０３、２０４、２０５、２０６の左半分、上半分、右半分、下半分が欠けて表示されることになる。そこで、表示画面の領域サイズと画像内位置情報から、表示画面の有効領域を縮小することで、表示画像が欠ける問題を解決する。

具体的には、表示画像２０３の場合、図６に示すように、Ｕ_d軸の正方向にＵ₃だけ領域サイズを縮小し、開始位置のＵ_d座標をＵ₃とすることで、表示画像の左半分が欠けないようにできる。表示画像２０４の場合、Ｖ_d軸の正方向にＶ₄だけ領域サイズを縮小し、開始位置のＶ_d座標をＶ₄とすることで、表示画像の上半分が欠けないようにできる。表示画像２０５の場合、Ｕ_d軸の負方向に（Ｗ_i−Ｕ₅）だけ領域サイズを縮小することで、表示画像の右半分が欠けないようにできる。表示画像２０６の場合、Ｖ_d軸の負方向に（Ｈ_i−Ｖ₆）だけ領域サイズを縮小することで、表示画像の下半分が欠けないようにできる。

以上を一般化して考えると、以下のようになる。全ての入力画像Ｉ_j（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）について、カメラ座標系における被写体位置のＸ座標、Ｚ座標を（Ｘ_j，Ｚ_j）（ｊ＝１‥Ｎ）とし、画像内位置情報を(Ｕ_j，Ｖ_j) （ｊ＝１‥Ｎ）とする。有効領域サイズを算出する際には、まず、
｛Ｕ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、｛Ｗ_i−Ｕ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
｛Ｖ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、｛Ｈ_i−Ｖ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝
（ｊ＝１‥Ｎ）の最大値を算出する。これらの最大値をそれぞれ、
ＭＡＸ｛Ｕ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、
ＭＡＸ｛Ｗ_i−Ｕ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
ＭＡＸ｛Ｖ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、
ＭＡＸ｛Ｈ_i−Ｖ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝、
とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式により算出される。

また、Ｕ_j、（Ｗ_i−Ｕ_j）、Ｖ_j、（Ｈ_i−Ｖ_j）（ｊ＝１‥Ｎ）の最大値をそれぞれＭＡＸ｛Ｕ_j｝、ＭＡＸ｛Ｗ_i−Ｕ_j｝、ＭＡＸ｛Ｖ_j｝、ＭＡＸ｛Ｈ_i−Ｖ_j｝とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式によっても簡易的に算出される。

次に、表示位置決定部１０６は、ステップＳａ１で算出したＤ_x、Ｄ_zと、ステップＳａ２で算出した有効領域サイズ（Ｗ_e，Ｈ_e）から、Ｘ方向の縮小率Ｒ_x、Ｚ方向の縮小率Ｒ_zを以下の式により算出する（Ｓａ３）。

次に、表示位置決定部１０６は、ステップＳａ３で算出した縮小率と被写体位置情報４００を利用し、表示画面サイズに換算した仮表示位置１を求める（Ｓａ４）。この仮表示１（Ｕ_j1，Ｖ_j1）（ｊ＝１‥Ｎ）は以下の式により求められる。

次に、表示位置決定部１０６は、被写体位置のＸ座標、Ｚ座標の値から算出した表示位置に被写体の顔を配置するように、ステップＳａ４で算出した仮表示位置１（Ｕ_j1，Ｖ_j1）から、画像内位置情報の値を減算し、仮表示位置２（Ｕ_j2，Ｖ_j2）（ｊ＝１‥Ｎ）を以下の式により算出する（Ｓａ５）。

次に、表示位置決定部１０６は、表示位置が表示画面領域内に収まるように、仮表示位置２（Ｕ_j2，Ｖ_j2）のＵ_d座標、Ｖ_d座標の最小値が０になるように、全ての仮表示位置２について、Ｕ_d座標、Ｖ_d座標それぞれに同じ値を加算もしくは減算し、表示位置（Ｕ_jf，Ｖ_jf）（ｊ＝１‥Ｎ）を算出する（Ｓａ６）。この表示位置（Ｕ_jf，Ｖ_jf）とは、図６中の入力画像２０３〜２０６の原点（左上隅の画素）の位置をＵ_d座標、Ｖ_d座標で示した値である。

次に、本発明の第１の実施形態に係る実施例を詳細に説明する。図７は、距離センサと角度センサを利用し、被写体の位置を検出する際に、測定する情報の構成例７００を示す。画像表示制御装置１０１と被写体の距離をｄ、ある基準方位に対して被写体の位置が存在する角度をθとして計測する。基準方位は、北の方角でもよいし、記録開始時、終了時におけるカメラの光軸方向を基準としてもよい。図８は、構成例７００で計測した被写体との距離ｄと、角度θを示した計測データ８００を示す。

図９は、計測データ８００を利用し、カメラ座標系へ変換した被写体位置情報９００を示す。画像表示制御装置１０１と被写体の距離がｄ、角度がθであるので、被写体位置情報４００は、（ｄｓｉｎθ，ｄｃｏｓθ）と求めることができる。例えば、図８の基準時刻からの経過時間が１の場合、ｄ＝８．３、θ＝１４であるため、（９．０ｓｉｎ１４°，９．０ｃｏｓ１４°）＝（２．０１，８．０５）が被写体の位置情報となる。

図１０は、ＶＧＡサイズ（６４０ｘ４８０）の画像データを顔認識処理で解析し、画像内における被写体の位置を導き出した画像内位置情報５００の一例を示す。例えば、基準時刻からの経過時間が１の場合、画像データの（２８０，３６０）の位置に被写体の顔が存在することを意味する。

画像内位置記憶部１０４２が図１０のデータを、被写体位置記憶部１０４３が図９のデータを格納しているとき、表示位置決定部１０６は以下のように動作する。まず、図４のステップＳａ１において、Ｘ座標の最小値が２．０１、最大値が１０．９６となるため、Ｘ座標の最大差分Ｄ_xは８．９５となる。また、Ｚ座標の最小値が５．９７、最大値が１０．９６となるため、Ｚ座標の最大差分Ｄ_zは４．９９となる。

次に、表示画面の領域サイズを（７６８０，４３２０）とすると、ステップＳａ２において、[数３][数４]の簡易的な方式で有効領域サイズ（Ｗ_e，Ｈ_e）は以下のように算出される。
Ｗ_e＝７６８０−３００−(６４０−１１４)＝６８５４
Ｈ_e＝４３２０−３７２−（４８０−３５７）＝３８２５

次に、ステップＳａ３において、Ｘ方向の縮小率Ｒ_x、Ｚ方向の縮小率Ｒ_zが[数５][数６]により以下のように算出される。
Ｒ_x＝６８５４÷８．９５＝７６５．８
Ｒ_z＝３８２５÷４．９９＝７６６．５

次に、ステップＳａ４において、ステップＳａ３で算出した縮小率と被写体位置情報９００を利用し、表示画面サイズに換算した仮表示位置１（Ｕ_j1，Ｖ_j1）が求められる。例えば、基準時刻からの経過時間が１の場合、被写体位置情報は（２．０１，８．０５）であることから、仮表示位置１（Ｕ₁₁，Ｖ₁₁）は、［数７］［数８］により、以下のように算出される。
Ｕ₁₁＝（２．０１−２．０１）×７６５．８＝０．０
Ｖ₁₁＝（１０．９６−８．０５）×７６６．５＝２２３０．５

次に、ステップＳａ５において、仮表示位置２（Ｕ_j2，Ｖ_j2）が以下のように算出される。例えば、基準時刻からの経過時間が１の場合、画像内位置情報は（２８０，１２０）であることから、仮表示位置２（Ｕ₁₂，Ｖ₁₂）は［数９］［数１０］により、以下のようになる。
Ｕ₁₂＝０．０−２８０＝−２８０．０
Ｖ₁₂＝２２３０．５−３６０＝１８７０．５
図１１は、基準時刻からの経過時間が１から１０までの仮表示位置２を算出した結果を示す。

次に、ステップＳａ６において、表示位置（Ｕ_jf，Ｖ_jf）が以下のように算出される。例えば、基準時刻からの経過時間が１の場合、仮表示位置２のＵ_d座標、Ｖ_d座標の最小値はそれぞれ−２８０．０、−３７２．０であることから、表示位置（Ｕ_1f，Ｖ_1f）は以下のようになる。
Ｕ_1f＝−２８０．０＋２８０．０＝０
Ｖ_1f＝１８７０．５＋３７２．０＝２２４２．５
図１２は、基準時刻からの経過時間が１から１０までの表示位置を算出した結果を示す。

本発明の第１の実施形態の説明は以上であるが、カメラ座標系での被写体位置を直接検出する手段を画像表示制御装置１００が有する場合、その手段が位置生成部１０３に該当する。また、カメラ座標系での被写体位置を直接検出する手段が画像表示制御装置１００の外部にあり、画像表示制御装置１００と接続している場合は、外部の位置検出手段から位置情報を入力し、被写体位置記憶部１０４３に被写体の位置を書き込む手段が、位置生成部１０３に該当する。

さらに、被写体の動きが激しく、撮影中の一部においてカメラで被写体を捉えることができなかった場合、すなわち、被写体を撮影するカメラの撮影範囲外に被写体が存在する場合は、被写体とカメラの撮影範囲の位置関係が分かるように画像内位置情報として適当な値を割り当ててもよい。例えば、被写体がカメラの撮影範囲外の右側に存在する場合は（Ｗ_i，０）を、左側に存在する場合は（−１，０）を、上側に存在する場合は（０，−１）を、下側に存在する場合は（０，Ｈ_i）を設定することで、表示画像の位置と被写体が存在する位置関係を再現する。これにより、被写体が画像領域内外から画像領域内に入ってくるまでのシーンで、画像の表示位置が大きく変わるという状況を低減することができ、画像位置を滑らかに遷移させることができる。

被写体がカメラの撮影範囲外のどこに存在するのかを検出する方法としては、カメラの光軸方向を求め、鉛直方向に平行で光軸を含む面とカメラから被写体に向かう直線とのなす角θと、水平方向に平行で光軸を含む面とカメラから被写体に向かう直線とのなす角φを算出し、角度θ、φをもとにカメラの画角からどの方向に外れているか判定することで、検出することが可能である。或いは、被写体が画像から消滅する直前のフレーム中の被写体位置が画像のどちら側にあるかに基づき、検出してもよい。すなわち、この直前のフレームの被写体位置を（Ｕ_k，Ｖ_k）とすると、Ｕ_k、Ｗ_i−Ｕ_k、Ｖ_k、Ｈ_i−Ｖ_kの値のうち、いずれが最小になるかを求め、Ｕ_k最小のとき左側、Ｗ_i−Ｕ_k最小のとき右側、Ｖ_k最小のとき上側、Ｈ_i−Ｖ_k最小のとき下側に被写体が存在すると検出する。

また、前述の画像領域外に被写体が存在する場合、表示する画像には被写体が含まれていないため、撮影時の被写体の動きを再現することができない。そこで、被写体位置情報に該当する表示位置に、被写体を示すアイコンやキャラクターや顔画像などを表示し、被写体から見たカメラの撮影範囲の方向に撮影された画像を表示してもよい。この表示例を図１３に示す。図１３では、画像（５）が撮影された際に被写体が急に左方向に移動することにより、被写体の右側に画像（５）の撮影範囲が存在するためにアイコン１３００の右側に画像（５）を表示している。

この場合、[数９]及び[数１０]に使用される画像内位置情報は上述される（Ｗ_i，０）、（−１，０）などといった値を使用しない。図１３のように、アイコン等を表示する画像の大きさを横方向Ｕ_c（但し、Ｕ_c＜Ｗ_i）、縦方向Ｖ_c（但し、Ｖ_c＜Ｈ_i）とすると、（Ｕ_c/２，Ｖ_c/２）を画像内位置情報として用いる。また、[数１]から[数４]までの有効領域サイズを算出する際には、画面内情報の位置に応じて、以下のように処理を変更する。
画像内位置情報が（Ｗ_i，０）のとき、[数１]のＭＡＸ｛Ｕ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝もしくは[数３]のＭＡＸ｛Ｕ_j｝を算出するときに、アイコンを使用するフレームについてはＵ_jの代わりにＵ_j＋Ｗ_iを用いる。
画像内位置情報が（−１，０）のとき、[数１]のＭＡＸ｛Ｗ_i−Ｕ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝もしくは[数３]のＭＡＸ｛Ｗ_i−Ｕ_j｝を算出するときに、アイコンを使用するフレームについてはＷ_iの代わりにＷ_i＋Ｕ_cを用いる。
画像内位置情報が（０，−１）のとき、[数２]の ＭＡＸ｛Ｈ_i−Ｖ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝もしくは[数４]のＭＡＸ｛Ｈ_i−Ｖ_j｝を算出するときに、アイコンを使用するフレームについては、Ｈ_iの代わりにＨ_i＋Ｖ_cを用いる。
画像内位置情報が（０，Ｈ_i）のとき、[数２]のＭＡＸ｛Ｖ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝もしくは[数４]のＭＡＸ｛Ｖ_j｝を算出するときに、アイコンを使用するフレームについてはＶ_jの代わりに，Ｖ_j＋Ｈ_iを用いる。
さらに、被写体が撮影されてない時刻についての被写体位置の（Ｘ_j，Ｚ_j）も含めて[数１]から[数８]までの演算を行えば、被写体を示すアイコン等が表示画面から欠けることはない。

本実施形態によれば、上記の構成により、従来の画像表示制御装置では、被写体を撮影するカメラの撮像面に平行な動きしか被写体の動きを再現できなかったのに対し、カメラの撮像面に対し垂直な奥行き方向の動きを再現することが可能になる。例えば、正面方向から手前側に走ってくる被写体を表示した場合、従来の画像表示制御装置では、おおよそ固定位置に表示されるのに対し、上記の構成では、表示画面領域の上部から下部の方向へ移動しながら表示されることになる。

さらに、本実施形態によれば、画像領域内による被写体の位置を考慮して表示位置を決定しているので、被写体の動きを忠実に再現して被写体を表示することができる。例えば、図１４のように正面方向から手前側に走ってくる被写体を手ブレ等により表示位置がバラバラで撮影された場合、画像領域内による被写体の位置を考慮しないと、図１５のように被写体がジグザグに表示され、ユーザが画像を非常に見づらくなる。これに対し、本実施の形態では、図１６のように、被写体位置が実際の移動にあった形で滑らかに表示され、ユーザが画像を見やすくなる。

（第２の実施形態）
第１の実施形態では、被写体を撮影するカメラがズームを行わないことが前提の処理となっていた。ところが、被写体を撮影中にズームを行った動画像を、従来技術もしくは第１の実施形態の方法により表示すると、被写体が表示中に急に大きくなったり小さくなったりするため、それを視聴するユーザは違和感を覚える可能性がある。そこで、第２の実施形態では、被写体の大きさを固定、もしくはユーザが違和感を覚えない程度に拡大縮小し、表示する。

図１７は本発明の第２の実施形態における画像表示制御装置の構成について説明するブロック図である。図１７では、コンテンツ管理部１０４に新たにズーム値記憶部１０４４を有し、画像内位置記憶部１０４２に代えて画像内位置大きさ記憶部１０４５を有する。また、画像解析部１０２１、表示位置決定部１０６１と表示デバイス制御部１０７１は第１の実施形態と動作が一部異なるため、異なる符号を付している。残りの構成については第１の実施の形態と同じであるため、説明を省略する。

画像解析部１０２１は、画像入力部１０１の画像データを解析し、画像領域内における被写体を検出する。画像解析部１０２１が画像データを解析するタイミング、及び被写体の検出方法は第１の実施形態と同じでよい。画像解析部１０２１は、顔を表示する領域の重心や、被写体のオブジェクトを表示する領域の重心の座標を被写体位置として検出するばかりでなく、被写体の大きさも検出する。ここで、被写体の大きさとは、被写体の顔の高さ（縦の長さ）、被写体の顔の幅（横の長さ）、もしくは被写体のオブジェクトの高さ（縦の長さ）、被写体のオブジェクトの幅（横の長さ）のいずれかである。

ズーム値記憶部１０４４は、画像記憶部１０４１の各画像に対応して、それぞれの画像のズーム値を記憶する。画像内位置大きさ記憶部１０４５は、画像解析部１０２１で検出された画像領域内における被写体の位置情報及びその大きさを画像データとフレーム単位で対応付けて記憶する。

表示位置決定部１０６１は、ズーム値記憶部１０４４に記憶されている各画像のズーム値と、画像内位置大きさ記憶部１０４５に記憶されている画像領域内における画像内位置情報及び被写体の大きさと、被写体位置記憶部１０４３に記憶されている被写体のカメラ座標系での位置情報と、表示画面領域サイズ取得部１０５から取得した表示デバイスの画面サイズ情報を利用して、ズーム値記憶部１０４４に記憶されている各画像のズーム値を修正した修正ズーム値と、表示デバイス上での表示位置とを決定する。表示位置決定部１０６の処理の詳細は後述する。

表示デバイス制御部１０７１は、画像記憶部１０４１で記憶した画像データを修正ズーム値に合わせて拡大縮小し、表示位置決定部１０６で決定した表示位置に、拡大縮小した画像データを表示する信号を表示デバイス１０８に送信する。

次に、本発明の表示位置決定部１０６１の詳細な処理の流れについて説明する。図１８は表示位置決定部１０６１の処理のフローチャートを示す。

まず、表示位置決定部１０６１は、画像内位置大きさ記憶部１０４５に記憶されている被写体の大きさを抽出する（Ｓｂ１）。次に、被写体の大きさをもとに、各画像の修正ズーム値を算出する（Ｓｂ２）。ここで、各入力画像Ｉ_j（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）に写っている被写体の大きさをＬ_j（ｊ＝１‥Ｎ）とすると、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）は以下の式で算出される。

但し、Ｌ_bは、被写体の大きさの基準値であり、予め決められた値が画像表示制御装置に格納されていてもよいし、シーン毎に、Ｌ_jの平均値を算出し、その平均値をＬ_bとするのでもよい。

次に、表示位置決定部１０６１は、第１の実施形態と同様に、被写体位置記憶部１０４３に記憶されている被写体位置のＸ座標の最大差分Ｄ_x、Ｚ座標の最大差分Ｄ_zを算出する（Ｓａ１）。また、この差分を算出する際に求まるＸ座標の最大値、最小値をそれぞれＸ_max、Ｘ_min、Ｚ座標の最大値、最小値をそれぞれＺ_max、Ｚ_minと表すことにする。

そして、表示位置決定部１０６１は、第１の実施形態に利用した値に加えて、修正ズーム値を利用して、有効領域サイズ（Ｗ_e，Ｈ_e）を算出する。全ての入力画像Ｉ_j（ｊ＝１‥Ｎ）について、カメラ座標系における被写体位置のＸ座標、Ｚ座標を（Ｘ_j，Ｚ_j）（ｊ＝１‥Ｎ）とし、画像内位置情報を(Ｕ_j，Ｖ_j) （ｊ＝１‥Ｎ）、修正ズーム値をＭＳ_j（ｊ＝１‥Ｎ）とする。有効領域サイズを算出する際には、まず、
｛Ｕ_j/ＭＳ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、
｛（Ｗ_i−Ｕ_j）/ＭＳ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
｛Ｖ_j/ＭＳ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、
｛（Ｈ_i−Ｖ_j）/ＭＳ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝
（ｊ＝１‥Ｎ）の最大値を算出する。これらの最大値をそれぞれ、
ＭＡＸ｛Ｕ_j/ＭＳ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、
ＭＡＸ｛（Ｗ_i−Ｕ_j）/ＭＳ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
ＭＡＸ｛Ｖ_j/ＭＳ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、
ＭＡＸ｛（Ｈ_i−Ｖ_j）/ＭＳ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝、
とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式により算出される。

また、Ｕ_j/ＭＳ_j、（Ｗ_i−Ｕ_j）/ＭＳ_j、Ｖ_j/ＭＳ_j、（Ｈ_i−Ｖ_j）/ＭＳ_j（ｊ＝１‥Ｎ）の最大値をそれぞれＭＡＸ｛Ｕ_j/ＭＳ_j｝、ＭＡＸ｛（Ｗ_i−Ｕ_j）/ＭＳ_j｝、ＭＡＸ｛Ｖ_j/ＭＳ_j｝、ＭＡＸ｛（Ｈ_i−Ｖ_j）/ＭＳ_j｝とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式によっても簡易的に算出される。

次に、表示位置決定部１０６１は、第１の実施形態と同じ方法で、Ｘ方向の縮小率Ｒ_x、Ｚ方向の縮小率Ｒ_z、仮表示位置１（Ｕ_j1，Ｖ_j1）（ｊ＝１‥Ｎ）を求める（Ｓａ３、Ｓａ４）。

次に、表示位置決定部１０６１は、被写体位置のＸ座標、Ｚ座標の値から算出した表示位置に被写体の顔を配置するように、ステップＳａ４で算出した仮表示位置１（Ｕ_j1，Ｖ_j1）から、画像内位置情報の値を減算し、仮表示位置２（Ｕ_j2，Ｖ_j2）（ｊ＝１‥Ｎ）を以下の式により算出する（Ｓｂ４）。

最後に、表示位置決定部１０６１は、第１の実施形態と同じ方法で、表示位置（Ｕ_jf，Ｖ_jf）（ｊ＝１‥Ｎ）を算出する（Ｓａ６）。

また、本発明の表示位置決定部１０６１は、ユーザが表示画像に対して違和感を覚えない程度に、入力画像を拡大縮小する処理を行うことも可能である。図１９は、この場合における表示位置決定部１０６１の処理のフローチャートを示す。この処理は、図１８のステップＳｂ１、Ｓｂ２に代えて、ステップＳｃ１、Ｓｃ２を実行する点のみが相違するので、相違する処理についてのみ詳細に説明する。

まず、表示位置決定部１０６１は、シーン中のフレームのうち、修正ズーム値を算出する基準とするフレームを２つ選択する（Ｓｃ１）。ここで、各入力画像Ｉ_j（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）のうち、選択した２つのフレームをＩ_b1、Ｉ_b2（但し、ｂ１＜ｂ２）とする。なお、入力画像Ｉ_jに対応する被写体写体位置のＺ座標をＺ_j（ｊ＝１‥Ｎ）とすると、Ｚ_jが最小となるｊの値、最大となるｊの値を、ｂ１もしくはｂ２に割り当てると、誤差が小さくなるので好ましい。

次に、各画像の修正ズーム値を算出する（Ｓｂ２）。ここで、各入力画像Ｉ_j（ｊ＝１‥Ｎ）に写っている被写体の大きさをＬ_j（ｊ＝１‥Ｎ）、被写体を撮影するカメラのズーム値をＳ_j（ｊ＝１‥Ｎ）、カメラ座標系における被写体位置のＺ座標をＺ_j（ｊ＝１‥Ｎ）、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）とする。このとき、ズーム無しの被写体の大きさは被写体の大きさからズーム値を割った値となるので、入力画像Ｉ_b1、Ｉ_b2、Ｉ_jにおけるズーム無しの被写体の大きさは、それぞれＬ_b1/Ｓ_b1、Ｌ_b2/Ｓ_b2、Ｌ_j/ＭＳ_jとなる。さらに、ユーザが違和感を覚えない程度に拡大縮小するために、ズーム無しの顔の大きさはカメラと被写体との距離に比例して小さくなるとする。このとき、Ｉ_b1からＩ_b2へのズーム無しの顔の大きさの増加分（Ｌ_b2/Ｓ_b2−Ｌ_b1/Ｓ_b1）とＩ_b1からＩ_jへのズーム無しの顔の大きさの増加分（Ｌ_j/ＭＳ_j−Ｌ_b1/Ｓ_b1）との比と、Ｉ_b1からＩ_b2へのＺ座標の増加分（Ｚ_b2−Ｚ_b1）とＩ_b1からＩ_jへのＺ座標の増加分（Ｚ_j−Ｚ_b1）との比が等しくなるので、以下の関係式が成り立つ。

これより、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）は以下のように求められる。

以上のように、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）を算出すると、上述した方法で、表示位置（Ｕ_jf，Ｖ_jf）（ｊ＝１‥Ｎ）を算出する。

次に、本発明の第２の実施形態に係る実施例を詳細に説明する。図２０は、画像表示制御装置が表示する画像を撮影するカメラの座標系と、その座標系において被写体が移動する例を示す。図中のＸＹＺ軸はカメラ座標系でのＸＹＺ軸を示し、点線で示したように被写体がカメラに向かって近づいて移動しているものとする。そして、点線上に黒丸で表示した各時点において、吹出しで示された画像が撮影されているものとする。なお、画像の左上隅にはそれぞれの画像を識別するための番号を付しており、後述する図２１、２２の同じ番号の画像はそれぞれ対応する画像であることを示す。

図２０の例では、被写体の大きさを顔の高さ（縦の長さ）としており、画像中にＬ_j（ｊ＝１‥９）と表している。また、画像（２）は１．４倍ズーム、画像（３）は１．５倍ズームで撮影されているので、被写体の大きさが他の画像に比べて大きく表示されている。

図２１は、このように取得した画像を第１の実施形態の方法で表示した画像である。図２１で被写体が移動する際に画像（２）、（３）において被写体が急に拡大し、また画像（４）で被写体が急に縮小するため、これを視聴するユーザは違和感を覚える可能性がある。

図２２は、図２０のように取得した画像に対して、表示位置決定部１０６１が図１８の処理を実行して画像を拡大縮小して表示したものである。図２２の例では、被写体の大きさが全てＬ_bに統一されるように各画像を拡大縮小している。このため、各画像における被写体の大きさはほぼ同じになっている。したがって、これを視聴するユーザは、図２１の例ほど違和感を覚えないと考えられる。

本第２の実施形態によれば、上記の構成により、被写体を撮影中にズームを行っても、被写体の大きさを固定、もしくはユーザが違和感を覚えない程度に拡大縮小し、表示する。このため、ユーザは違和感を覚えずに画像を視聴することができる。

以上、本発明の実施の形態における画像表示制御装置を示したが、画像表示方法としてもよいし、画像表示プログラムを記録した記録媒体としてもよい。さらに、図１に示す画像入力部１０１、画像解析部１０２、位置生成部１０３、表示画面領域サイズ取得部１０５、表示位置決定部１０６、表示デバイス制御部１０７の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明は、テレビやテレビに画像を出力するための信号を発生する各種レコーダ、パーソナルコンピュータ、携帯電話、ＰＤＡなど、デジタルデータを扱う情報機器において適用可能である。特に、これらの機器の画面内で、撮影した映像を移動させて表示させる場合に有用である。

１００ 画像表示制御装置
１０１ 画像入力部
１０２ 画像解析部
１０３ 位置生成部
１０４ コンテンツ管理部
１０４１ 画像記憶部
１０４２ 画像内位置記憶部
１０４３ 被写体位置記憶部
１０４４ ズーム値記憶部
１０４５ 画像内位置大きさ記憶部
１０５ 表示画面領域サイズ取得部
１０６、１０６１ 表示位置決定部
１０７、１０７１ 表示デバイス制御部
１０８ 表示デバイス
２００、２０３、２０４、２０５、２０６ 入力画像
２０１ 入力画像内の被写体
３００ 表示画面
７００ 被写体位置検出時の構成例
８００ 被写体位置算出のための計測データ
９００ 被写体位置情報
１０００ 画像内位置情報
１１００ 仮表示位置２の算出結果
１２００ 表示位置の算出結果
１３００ アイコン

本発明は、表示デバイスを駆動する画像表示制御装置、画像表示制御方法、及び、画像表示制御装置で用いられる集積回路に関するものである。

従来、テレビジョン放送番組、デジタルスチルカメラやデジタルムービーなどで撮影された画像を表示する画像表示制御装置においては、映像を画面全体に表示するのが通常の使用態様であった。ところが、近年、画像表示制御装置が高解像度の大画面を有するようになるに伴い、撮影された画像よりも大きい表示可能領域内で、画像を移動させて表示する技術が提案されている。

例えば、特許文献１では、表示される画像から動きベクトルを画像処理により抽出し、動きベクトルの重み付け加算と平均化により、画像毎の主な動き情報を抽出する。或いは表示される画像がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）など動き情報を内部に格納した動画像フォーマットで記述されている場合、その動画像データから動きベクトルを抽出し、上述した手法により画像毎の主な動き情報を抽出する。そして、その動き情報に応じて表示画像の位置を表示可能領域内で移動させる技術が開示されている。ところが、この技術は、被写体の動きに合わせて画像の表示位置を移動させてしまうため、表示中に画像が画像表示領域から外れてしまい、画像を正しく表示することができなくなる課題があった。

特許文献２では、以上の課題を解決する技術が開示されている。具体的には、画像のシーンチェンジを検出し、シーンにおける移動の振れ幅の中心にある画像が表示可能領域の中心に表示されるように、そして、画像が表示可能領域内に表示されるように、表示可能領域内での移動量を縮小して移動させる技術が開示されている。

特開平１０−３０１５５６号公報 特開２００３−２５６８４６号公報

しかし、従来の技術では、表示画像の動きベクトルに応じて、表示位置を移動させるため、画像表示制御装置が表示する画像を撮影するカメラの撮像面に対して平行な方向への被写体の動きは再現できるが、そのカメラの光軸方向（奥行き方向）に関する被写体の動きは再現しづらい。この理由を図２３〜２５の具体例により詳細に説明する。

図２３は、画像表示制御装置が表示する画像を撮影するカメラの座標系と、その座標系において被写体が移動する例を示す。図中のＸ軸はカメラの撮像面の右方向、Ｙ軸は撮像面の下方向、Ｚ軸はカメラの光軸方向（つまり、奥行き方向）を示し、カメラはＸ軸が水平方向にＹ軸が鉛直下向きに固定されているものとする。また、点線で示したように被写体がカメラに向かって近づいて移動しており、点線上に黒丸で表示した各時点において、吹出しで示された画像が撮影されているものとする。なお、画像の左上隅にはそれぞれの画像を識別するための番号を付しており、後述する図２４、図２５において、同じ番号の画像はそれぞれ対応する画像であることを示す。

図２４は、このように取得した画像を従来技術で表示した画像である。図２３の例では画像上で被写体が拡大されることによる動きベクトルも生じるが、この動きベクトルの成分は多方向に分散されるので、特許文献１のように動きベクトルを重み付け加算し、平均をとると多くが相殺される。ゆえに、被写体のＸＹ方向への移動による動きベクトルが主に検出される。さらに、図２３の例では、被写体は飛び上がるなどの上下方向の動きを行っていないので、Ｙ方向の動き情報は画像から殆ど検出されない。

したがって、従来技術では、被写体はカメラに近づく移動もしているにもかかわらず、図２４に示すように、主に大画面の横方向（Ｘ方向）に画像が移動しているようにしか表示されない。ゆえに、従来技術では、被写体の動きを一部しか再現しておらず、表示のダイナミックさに欠ける問題があった。

それ故に、本発明の目的は、表示画像よりも大きい表示可能領域に対して、被写体の空間中の位置に応じた表示位置で画像の表示を行うことで、被写体の空間中の移動、特に奥行き方向への移動を再現することを目的とする。より具体的には、図２５に示すように、奥行き方向への移動を表示画像の上下方向への移動で表現することによって、被写体をダイナミックに表示することである。

上記目的を達成するために、本発明の画像表示制御装置は、表示デバイスを駆動する画像表示制御装置であって、動画像の画像データと、被写体を撮影するカメラを基準とした直交座標系により記述された被写体の位置情報をフレーム単位で対応付けて記憶するコンテンツ管理部と、前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の表示位置を決定する表示位置決定部と、前記表示位置決定部が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御部とを備える。

上記構成により、本発明は、被写体を撮影するカメラの撮像面に平行な被写体の動きだけでなく、カメラの撮像面に対し垂直な奥行き方向の動きも再現して表示することが可能になる。したがって、ユーザは、カメラの撮像面に対し垂直な奥行き方向の被写体の移動を認識することができる。

本発明の第１の実施形態における画像表示制御装置の構成を示すブロック図 入力画像における被写体の画像内位置の一例 表示デバイスの基準座標の一例 第１の実施形態における表示位置決定部１０６のフローチャート 表示画像における被写体の画像内位置と、表示画面上における表示画像の表示位置の一例 本発明の第１の実施形態における画像表示制御装置で図５の表示位置を修正して表示した画像の一例 被写体の位置を検出するために、測定した情報の一例 位置生成部１０３が生成した距離センサと角度センサから得られた被写体位置情報の一例 位置生成部１０３が生成したカメラ座標における被写体位置情報の一例 画像解析部１０２が検出した被写体の画像内位置情報の一例 仮表示位置２の一例 表示位置の一例 被写体が一部入力画像に含まれていない場合、画像の変わりにアイコンで被写体を表示した例 手ブなどにより画像中の被写体位置が急激に変化された状態で被写体が撮影された際の被写体の移動軌跡と入力画像の一例 画像中の被写体位置を考慮せず、空間中の被写体位置に合わせて図１４の入力画像を表示した例 画像中の被写体位置を考慮して、画像を表示した例 本発明の第２の実施形態における画像表示制御装置の構成を示すブロック図 第２の実施形態における表示位置決定部１０６１のフローチャート 第２の実施形態における表示位置決定部１０６１が別の動作を行う場合のフローチャート シーンの一部でズームされ、被写体が撮影された際の被写体の移動軌跡と入力画像の一例 本発明の第１の実施形態における画像表示制御装置で図２０の入力画像を表示した画像の一例 本発明の第２の実施形態における画像表示制御装置で図２０の入力画像を表示した画像の一例 被写体が撮影された際の被写体の移動軌跡と入力画像の一例 従来の発明における画像表示制御装置で図２３の入力画像を表示した画像の一例 本発明の第１の実施形態における画像表示制御装置で図２３の入力画像を表示した画像の一例

（第１の実施形態）
以下、本発明の第１の実施形態における画像表示制御装置について、図面を参照しながら説明する。図１は本実施形態における画像表示制御装置の構成について説明するブロック図である。

本実施の形態における画像表示制御装置１００は、画像入力部１０１と、画像解析部１０２と、位置生成部１０３と、コンテンツ管理部１０４と、表示画面領域サイズ取得部１０５と、表示位置決定部１０６と、表示デバイス制御部１０７を備える。

画像入力部１０１は、動画像のストリームを入力し、符号化する。画像入力部１０１は、例えば、カメラなどを用いることができる。

画像解析部１０２は、画像入力部１０１の画像データを解析し、被写体の画像中の位置を検出する。この被写体は、人物、動物、車など動くものを指す。画像解析部１０２が画像データを解析するタイミングは、画像データの入力時でもよいし、中央処理装置がある一定時間以上アイドル状態であることを検知したときに、画像記憶部１０４１に記憶されている画像データを読み出して、画像データを解析してもよい。検出方法としては、例えば、被写体の顔パタンを予め学習することで、顔認識処理により画像データから被写体を検出する方法などが用いられる。また、ユーザに被写体のオブジェクトを指定させた後、他の画像においても同じオブジェクトを画像解析により抽出し、被写体の位置を特定する方法でもよい。このとき、被写体の顔だけでなく、被写体の服装の色や柄で、被写体を特定してもよい。このとき、画像解析部１０２が検出する被写体の位置は、顔を表示する領域の重心や、被写体のオブジェクトを表示する領域の重心の座標となる。

図２は、入力画像２００における被写体２０１の画像内位置を示す。画像の横方向をＵ_i軸、縦方向をＶ_i軸とする直交座標系で入力画像２００を表すと、画像サイズは、(Ｗ_i，Ｈ_i)と表される。ここで入力画像がＶＧＡサイズの場合、（６４０，４８０）となる。また、この例では、顔を表示する領域の重心を被写体２０１の位置としており、画像内位置は(Ｕ₁，Ｖ₁)のように表される。

位置生成部１０３は、後述する位置検出方法により検出された被写体の地理上の位置を入力し、被写体を撮影するカメラを基準とした座標系（以降、カメラ座標系と呼ぶ）での位置を生成する。そして、生成したカメラ座標系での被写体位置を被写体位置記憶部１０４３（後述）に出力する。被写体の地理上の位置を検出する位置検出方法は、例えば、距離センサと角度センサを利用し、被写体と画像表示制御装置の距離と角度を取得して位置を決定する方法、ＧＰＳを利用して位置を検出する方法、空間中にＲＦＩＤタグのリーダを予め配置しておいた上でＲＦＩＤタグにより位置を検出する手法などがある。

次に、カメラ座標系について説明する。この座標系は、図２３でも示したとおり、Ｘ軸をカメラの撮像面の右方向、Ｙ軸を撮像面の下方向、Ｚ軸をカメラの視線方向（つまり、奥行き方向）とする。ユーザは、カメラを通常水平方向に向けて撮影するので、Ｘ軸、Ｚ軸はほぼ水平面上にあると考えてよい。したがって、本実施の形態では、以降、Ｘ軸、Ｚ軸は水平面上にあるものとして説明する。また、ユーザは１つのシーンを撮影する場合、カメラをパンすることもある。この場合、ある基準方位をＺ軸の正方向と定め、それに垂直な水平面上の軸をＸ軸と定める。この基準方位とは例えば、北の方角でもよいし、記録開始時、記録終了時のカメラの光軸方向でもよい。

位置生成部１０３は、上述する位置検出手法により検出された被写体の位置情報が緯度経度などの異なる座標系での位置情報の場合、その座標系でのカメラの位置情報、カメラの光軸方向も別途求め、平行移動、回転を行って、カメラ座標系での被写体の位置情報を生成する。また、入力された被写体の位置情報がカメラを基準とした座標系であっても極座標系の場合、直交座標系であるカメラ座標系での被写体の位置情報を生成する。

コンテンツ管理部１０４は、画像記憶部１０４１と、画像内位置記憶部１０４２と、被写体位置記憶部１０４３を備える。画像記憶部１０４１は、画像入力部１０１により符号化された画像データを記憶する。画像内位置記憶部１０４２は、画像解析部１０２で検出された画像領域内における被写体の位置情報を画像データとフレーム単位で対応付けて記憶する。被写体位置記憶部１０４３は、位置生成部１０３により生成されたカメラ座標系での位置情報を画像データとフレーム単位で対応付けて記憶する。被写体位置記憶部１０４３は、後述する例にあるように、Ｘ座標、Ｚ座標の２次元の値で保存するとよい。

表示画面領域サイズ取得部１０５は、表示デバイスの画面サイズを取得する。この取得方法は、予め画像表示制御装置１００にプリセットされたデータを読み込むのでもよいし、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの各種インタフェースを通して、表示デバイス１０８（後述）から画面サイズを取得するのでもよい。この表示画面領域サイズは、図３に示すように、表示デバイスから表示される画像の横方向をＵ_d軸、縦方向をＶ_d軸とする直交座標系において(Ｗ_d，Ｈ_d)のように表される。例えば、スーパーハイビジョン規格の表示デバイスの場合、（７６８０，４３２０）となる。

表示位置決定部１０６は、画像内位置記憶部１０４２に記憶されている画像領域内における画像内位置情報と、被写体位置記憶部１０４３に記憶されている被写体のカメラ座標系での位置情報と、表示画面領域サイズ取得部１０５から取得した表示デバイスの画面サイズ情報とを利用して、表示デバイス１０８上での表示位置を決定する。表示位置決定部１０６の処理の詳細は後述する。

表示デバイス制御部１０７は、表示位置決定部１０６で決定した表示位置に、画像記憶部１０４１で記憶した画像データを表示する信号を表示デバイス１０８に送信する。表示デバイス１０８は、液晶、プラズマ、ブラウン管、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの各種表示デバイスを指す。なお、本実施例では、表示デバイス１０８を画像表示制御装置１００の外に持つ構成としたが、表示デバイス１０８を画像表示制御装置１００の構成要素に加えてもよい。

次に、本発明の表示位置決定部１０６の詳細な処理の流れについて説明する。図４は表示位置決定部１０６の表示位置を決定する処理のフローチャートを示す。

まず、表示位置決定部１０６は、被写体位置記憶部１０４３に記憶されている被写体位置のＸ座標、Ｚ座標の最大差分を算出する（Ｓａ１）。このＸ座標の最大差分、Ｚ座標の最大差分を以降Ｄ_x、Ｄ_zと表すこととする。また、この差分を算出する際に求まるＸ座標の最大値、最小値をそれぞれＸ_max、Ｘ_min、Ｚ座標の最大値、最小値をそれぞれＺ_max、Ｚ_minと表すことにする。

次に、表示位置決定部１０６は、表示画面領域サイズ取得部１０５が取得した表示画面の領域サイズ(Ｗ_d，Ｈ_d)と画像内位置記憶部１０４２に記憶されている画像内位置情報を取得する。そして、表示画面の有効領域サイズを算出する（Ｓａ２）。図５は、領域サイズが(Ｗ_d，Ｈ_d)である表示画面３００全体で、カメラ座標系における全ての被写体位置を表示できるように、被写体位置に該当するＵ_d、Ｖ_d座標を求め、その座標が被写体２０１の画像内位置となるように、各被写体の画像を表示した例である。図５では、入力画像２０３、２０４、２０５、２０６に対応する各被写体位置が、カメラ座標系において、Ｘ座標最小、Ｚ座標最大、Ｘ座標最大、Ｚ座標最小となる。これらの入力画像は、図５のように、表示画面３００の左隅、上端、右隅、下端に配置される。このように表示画面の領域全体に対して被写体の表示位置を決めると、表示画像２０３、２０４、２０５、２０６の左半分、上半分、右半分、下半分が欠けて表示されることになる。そこで、表示画面の領域サイズと画像内位置情報から、表示画面の有効領域を縮小することで、表示画像が欠ける問題を解決する。

具体的には、表示画像２０３の場合、図６に示すように、Ｕ_d軸の正方向にＵ₃だけ領域サイズを縮小し、開始位置のＵ_d座標をＵ₃とすることで、表示画像の左半分が欠けないようにできる。表示画像２０４の場合、Ｖ_d軸の正方向にＶ₄だけ領域サイズを縮小し、開始位置のＶ_d座標をＶ₄とすることで、表示画像の上半分が欠けないようにできる。表示画像２０５の場合、Ｕ_d軸の負方向に（Ｗ_i−Ｕ₅）だけ領域サイズを縮小することで、表示画像の右半分が欠けないようにできる。表示画像２０６の場合、Ｖ_d軸の負方向に（Ｈ_i−Ｖ₆）だけ領域サイズを縮小することで、表示画像の下半分が欠けないようにできる。

以上を一般化して考えると、以下のようになる。全ての入力画像Ｉ_j（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）について、カメラ座標系における被写体位置のＸ座標、Ｚ座標を（Ｘ_j，Ｚ_j）（ｊ＝１‥Ｎ）とし、画像内位置情報を(Ｕ_j，Ｖ_j) （ｊ＝１‥Ｎ）とする。有効領域サイズを算出する際には、まず、
｛Ｕ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、｛Ｗ_i−Ｕ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
｛Ｖ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、｛Ｈ_i−Ｖ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝
（ｊ＝１‥Ｎ）の最大値を算出する。これらの最大値をそれぞれ、
ＭＡＸ｛Ｕ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、
ＭＡＸ｛Ｗ_i−Ｕ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
ＭＡＸ｛Ｖ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、
ＭＡＸ｛Ｈ_i−Ｖ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝、
とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式により算出される。

また、Ｕ_j、（Ｗ_i−Ｕ_j）、Ｖ_j、（Ｈ_i−Ｖ_j）（ｊ＝１‥Ｎ）の最大値をそれぞれＭＡＸ｛Ｕ_j｝、ＭＡＸ｛Ｗ_i−Ｕ_j｝、ＭＡＸ｛Ｖ_j｝、ＭＡＸ｛Ｈ_i−Ｖ_j｝とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式によっても簡易的に算出される。

次に、表示位置決定部１０６は、ステップＳａ１で算出したＤ_x、Ｄ_zと、ステップＳａ２で算出した有効領域サイズ（Ｗ_e，Ｈ_e）から、Ｘ方向の縮小率Ｒ_x、Ｚ方向の縮小率Ｒ_zを以下の式により算出する（Ｓａ３）。

次に、表示位置決定部１０６は、ステップＳａ３で算出した縮小率と被写体位置情報４００を利用し、表示画面サイズに換算した仮表示位置１を求める（Ｓａ４）。この仮表示１（Ｕ_j1，Ｖ_j1）（ｊ＝１‥Ｎ）は以下の式により求められる。

次に、表示位置決定部１０６は、被写体位置のＸ座標、Ｚ座標の値から算出した表示位置に被写体の顔を配置するように、ステップＳａ４で算出した仮表示位置１（Ｕ_j1，Ｖ_j1）から、画像内位置情報の値を減算し、仮表示位置２（Ｕ_j2，Ｖ_j2）（ｊ＝１‥Ｎ）を以下の式により算出する（Ｓａ５）。

次に、表示位置決定部１０６は、表示位置が表示画面領域内に収まるように、仮表示位置２（Ｕ_j2，Ｖ_j2）のＵ_d座標、Ｖ_d座標の最小値が０になるように、全ての仮表示位置２について、Ｕ_d座標、Ｖ_d座標それぞれに同じ値を加算もしくは減算し、表示位置（Ｕ_jf，Ｖ_jf）（ｊ＝１‥Ｎ）を算出する（Ｓａ６）。この表示位置（Ｕ_jf，Ｖ_jf）とは、図６中の入力画像２０３〜２０６の原点（左上隅の画素）の位置をＵ_d座標、Ｖ_d座標で示した値である。

次に、本発明の第１の実施形態に係る実施例を詳細に説明する。図７は、距離センサと角度センサを利用し、被写体の位置を検出する際に、測定する情報の構成例７００を示す。画像表示制御装置１００と被写体の距離をｄ、ある基準方位に対して被写体の位置が存在する角度をθとして計測する。基準方位は、北の方角でもよいし、記録開始時、終了時におけるカメラの光軸方向を基準としてもよい。図８は、構成例７００で計測した被写体との距離ｄと、角度θを示した計測データ８００を示す。

図９は、計測データ８００を利用し、カメラ座標系へ変換した被写体位置情報９００を示す。画像表示制御装置１００と被写体の距離がｄ、角度がθであるので、被写体位置情報４００は、（ｄｓｉｎθ，ｄｃｏｓθ）と求めることができる。例えば、図８の基準時刻からの経過時間が１の場合、ｄ＝８．３、θ＝１４であるため、（８．３ｓｉｎ１４°，８．３ｃｏｓ１４°）＝（２．０１，８．０５）が被写体の位置情報となる。

図１０は、ＶＧＡサイズ（６４０ｘ４８０）の画像データを顔認識処理で解析し、画像内における被写体の位置を導き出した画像内位置情報５００の一例を示す。例えば、基準時刻からの経過時間が１の場合、画像データの（２８０，３６０）の位置に被写体の顔が存在することを意味する。

画像内位置記憶部１０４２が図１０のデータを、被写体位置記憶部１０４３が図９のデータを格納しているとき、表示位置決定部１０６は以下のように動作する。まず、図４のステップＳａ１において、Ｘ座標の最小値が２．０１、最大値が１０．９６となるため、Ｘ座標の最大差分Ｄ_xは８．９５となる。また、Ｚ座標の最小値が５．９７、最大値が１０．９６となるため、Ｚ座標の最大差分Ｄ_zは４．９９となる。

次に、表示画面の領域サイズを（７６８０，４３２０）とすると、ステップＳａ２において、[数３][数４]の簡易的な方式で有効領域サイズ（Ｗ_e，Ｈ_e）は以下のように算出される。
Ｗ_e＝７６８０−３００−(６４０−１１４)＝６８５４
Ｈ_e＝４３２０−３７２−（４８０−３５７）＝３８２５

次に、ステップＳａ３において、Ｘ方向の縮小率Ｒ_x、Ｚ方向の縮小率Ｒ_zが[数５][数６]により以下のように算出される。
Ｒ_x＝６８５４÷８．９５＝７６５．８
Ｒ_z＝３８２５÷４．９９＝７６６．５

次に、ステップＳａ４において、ステップＳａ３で算出した縮小率と被写体位置情報９００を利用し、表示画面サイズに換算した仮表示位置１（Ｕ_j1，Ｖ_j1）が求められる。例えば、基準時刻からの経過時間が１の場合、被写体位置情報は（２．０１，８．０５）であることから、仮表示位置１（Ｕ₁₁，Ｖ₁₁）は、［数７］［数８］により、以下のように算出される。
Ｕ₁₁＝（２．０１−２．０１）×７６５．８＝０．０
Ｖ₁₁＝（１０．９６−８．０５）×７６６．５＝２２３０．５

次に、ステップＳａ５において、仮表示位置２（Ｕ_j2，Ｖ_j2）が以下のように算出される。例えば、基準時刻からの経過時間が１の場合、画像内位置情報は（２８０，１２０）であることから、仮表示位置２（Ｕ₁₂，Ｖ₁₂）は［数９］［数１０］により、以下のようになる。
Ｕ₁₂＝０．０−２８０＝−２８０．０
Ｖ₁₂＝２２３０．５−３６０＝１８７０．５
図１１は、基準時刻からの経過時間が１から１０までの仮表示位置２を算出した結果を示す。

次に、ステップＳａ６において、表示位置（Ｕ_jf，Ｖ_jf）が以下のように算出される。例えば、基準時刻からの経過時間が１の場合、仮表示位置２のＵ_d座標、Ｖ_d座標の最小値はそれぞれ−２８０．０、−３７２．０であることから、表示位置（Ｕ_1f，Ｖ_1f）は以下のようになる。
Ｕ_1f＝−２８０．０＋２８０．０＝０
Ｖ_1f＝１８７０．５＋３７２．０＝２２４２．５
図１２は、基準時刻からの経過時間が１から１０までの表示位置を算出した結果を示す。

本発明の第１の実施形態の説明は以上であるが、カメラ座標系での被写体位置を直接検出する手段を画像表示制御装置１００が有する場合、その手段が位置生成部１０３に該当する。また、カメラ座標系での被写体位置を直接検出する手段が画像表示制御装置１００の外部にあり、画像表示制御装置１００と接続している場合は、外部の位置検出手段から位置情報を入力し、被写体位置記憶部１０４３に被写体の位置を書き込む手段が、位置生成部１０３に該当する。

さらに、被写体の動きが激しく、撮影中の一部においてカメラで被写体を捉えることができなかった場合、すなわち、被写体を撮影するカメラの撮影範囲外に被写体が存在する場合は、被写体とカメラの撮影範囲の位置関係が分かるように画像内位置情報として適当な値を割り当ててもよい。例えば、被写体がカメラの撮影範囲外の右側に存在する場合は（Ｗ_i，０）を、左側に存在する場合は（−１，０）を、上側に存在する場合は（０，−１）を、下側に存在する場合は（０，Ｈ_i）を設定することで、表示画像の位置と被写体が存在する位置関係を再現する。これにより、被写体が画像領域内外から画像領域内に入ってくるまでのシーンで、画像の表示位置が大きく変わるという状況を低減することができ、画像位置を滑らかに遷移させることができる。

被写体がカメラの撮影範囲外のどこに存在するのかを検出する方法としては、カメラの光軸方向を求め、鉛直方向に平行で光軸を含む面とカメラから被写体に向かう直線とのなす角θと、水平方向に平行で光軸を含む面とカメラから被写体に向かう直線とのなす角φを算出し、角度θ、φをもとにカメラの画角からどの方向に外れているか判定することで、検出することが可能である。或いは、被写体が画像から消滅する直前のフレーム中の被写体位置が画像のどちら側にあるかに基づき、検出してもよい。すなわち、この直前のフレームの被写体位置を（Ｕ_k，Ｖ_k）とすると、Ｕ_k、Ｗ_i−Ｕ_k、Ｖ_k、Ｈ_i−Ｖ_kの値のうち、いずれが最小になるかを求め、Ｕ_k最小のとき左側、Ｗ_i−Ｕ_k最小のとき右側、Ｖ_k最小のとき上側、Ｈ_i−Ｖ_k最小のとき下側に被写体が存在すると検出する。

また、前述の画像領域外に被写体が存在する場合、表示する画像には被写体が含まれていないため、撮影時の被写体の動きを再現することができない。そこで、被写体位置情報に該当する表示位置に、被写体を示すアイコンやキャラクターや顔画像などを表示し、被写体から見たカメラの撮影範囲の方向に撮影された画像を表示してもよい。この表示例を図１３に示す。図１３では、画像（５）が撮影された際に被写体が急に左方向に移動することにより、被写体の右側に画像（５）の撮影範囲が存在するためにアイコン１３００の右側に画像（５）を表示している。

この場合、[数９]及び[数１０]に使用される画像内位置情報は上述される（Ｗ_i，０）、（−１，０）などといった値を使用しない。図１３のように、アイコン等を表示する画像の大きさを横方向Ｕ_c（但し、Ｕ_c＜Ｗ_i）、縦方向Ｖ_c（但し、Ｖ_c＜Ｈ_i）とすると、（Ｕ_c/２，Ｖ_c/２）を画像内位置情報として用いる。また、[数１]から[数４]までの有効領域サイズを算出する際には、画面内情報の位置に応じて、以下のように処理を変更する。
画像内位置情報が（Ｗ_i，０）のとき、[数１]のＭＡＸ｛Ｕ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝もしくは[数３]のＭＡＸ｛Ｕ_j｝を算出するときに、アイコンを使用するフレームについてはＵ_jの代わりにＵ_j＋Ｗ_iを用いる。
画像内位置情報が（−１，０）のとき、[数１]のＭＡＸ｛Ｗ_i−Ｕ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝もしくは[数３]のＭＡＸ｛Ｗ_i−Ｕ_j｝を算出するときに、アイコンを使用するフレームについてはＷ_iの代わりにＷ_i＋Ｕ_cを用いる。
画像内位置情報が（０，−１）のとき、[数２]の ＭＡＸ｛Ｈ_i−Ｖ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝もしくは[数４]のＭＡＸ｛Ｈ_i−Ｖ_j｝を算出するときに、アイコンを使用するフレームについては、Ｈ_iの代わりにＨ_i＋Ｖ_cを用いる。
画像内位置情報が（０，Ｈ_i）のとき、[数２]のＭＡＸ｛Ｖ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝もしくは[数４]のＭＡＸ｛Ｖ_j｝を算出するときに、アイコンを使用するフレームについてはＶ_jの代わりに，Ｖ_j＋Ｈ_iを用いる。
さらに、被写体が撮影されてない時刻についての被写体位置の（Ｘ_j，Ｚ_j）も含めて[数１]から[数８]までの演算を行えば、被写体を示すアイコン等が表示画面から欠けることはない。

本実施形態によれば、上記の構成により、従来の画像表示制御装置では、被写体を撮影するカメラの撮像面に平行な動きしか被写体の動きを再現できなかったのに対し、カメラの撮像面に対し垂直な奥行き方向の動きを再現することが可能になる。例えば、正面方向から手前側に走ってくる被写体を表示した場合、従来の画像表示制御装置では、おおよそ固定位置に表示されるのに対し、上記の構成では、表示画面領域の上部から下部の方向へ移動しながら表示されることになる。

さらに、本実施形態によれば、画像領域内による被写体の位置を考慮して表示位置を決定しているので、被写体の動きを忠実に再現して被写体を表示することができる。例えば、図１４のように正面方向から手前側に走ってくる被写体を手ブレ等により表示位置がバラバラで撮影された場合、画像領域内による被写体の位置を考慮しないと、図１５のように被写体がジグザグに表示され、ユーザが画像を非常に見づらくなる。これに対し、本実施の形態では、図１６のように、被写体位置が実際の移動にあった形で滑らかに表示され、ユーザが画像を見やすくなる。

（第２の実施形態）
第１の実施形態では、被写体を撮影するカメラがズームを行わないことが前提の処理となっていた。ところが、被写体を撮影中にズームを行った動画像を、従来技術もしくは第１の実施形態の方法により表示すると、被写体が表示中に急に大きくなったり小さくなったりするため、それを視聴するユーザは違和感を覚える可能性がある。そこで、第２の実施形態では、被写体の大きさを固定、もしくはユーザが違和感を覚えない程度に拡大縮小し、表示する。

図１７は本発明の第２の実施形態における画像表示制御装置の構成について説明するブロック図である。図１７では、コンテンツ管理部１０４に新たにズーム値記憶部１０４４を有し、画像内位置記憶部１０４２に代えて画像内位置大きさ記憶部１０４５を有する。また、画像解析部１０２１、表示位置決定部１０６１と表示デバイス制御部１０７１は第１の実施形態と動作が一部異なるため、異なる符号を付している。残りの構成については第１の実施の形態と同じであるため、説明を省略する。

画像解析部１０２１は、画像入力部１０１の画像データを解析し、画像領域内における被写体を検出する。画像解析部１０２１が画像データを解析するタイミング、及び被写体の検出方法は第１の実施形態と同じでよい。画像解析部１０２１は、顔を表示する領域の重心や、被写体のオブジェクトを表示する領域の重心の座標を被写体位置として検出するばかりでなく、被写体の大きさも検出する。ここで、被写体の大きさとは、被写体の顔の高さ（縦の長さ）、被写体の顔の幅（横の長さ）、もしくは被写体のオブジェクトの高さ（縦の長さ）、被写体のオブジェクトの幅（横の長さ）のいずれかである。

ズーム値記憶部１０４４は、画像記憶部１０４１の各画像に対応して、それぞれの画像のズーム値を記憶する。画像内位置大きさ記憶部１０４５は、画像解析部１０２１で検出された画像領域内における被写体の位置情報及びその大きさを画像データとフレーム単位で対応付けて記憶する。

表示位置決定部１０６１は、ズーム値記憶部１０４４に記憶されている各画像のズーム値と、画像内位置大きさ記憶部１０４５に記憶されている画像領域内における画像内位置情報及び被写体の大きさと、被写体位置記憶部１０４３に記憶されている被写体のカメラ座標系での位置情報と、表示画面領域サイズ取得部１０５から取得した表示デバイスの画面サイズ情報を利用して、ズーム値記憶部１０４４に記憶されている各画像のズーム値を修正した修正ズーム値と、表示デバイス上での表示位置とを決定する。表示位置決定部１０６の処理の詳細は後述する。

表示デバイス制御部１０７１は、画像記憶部１０４１で記憶した画像データを修正ズーム値に合わせて拡大縮小し、表示位置決定部１０６で決定した表示位置に、拡大縮小した画像データを表示する信号を表示デバイス１０８に送信する。

次に、本発明の表示位置決定部１０６１の詳細な処理の流れについて説明する。図１８は表示位置決定部１０６１の処理のフローチャートを示す。

まず、表示位置決定部１０６１は、画像内位置大きさ記憶部１０４５に記憶されている被写体の大きさを抽出する（Ｓｂ１）。次に、被写体の大きさをもとに、各画像の修正ズーム値を算出する（Ｓｂ２）。ここで、各入力画像Ｉ_j（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）に写っている被写体の大きさをＬ_j（ｊ＝１‥Ｎ）とすると、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）は以下の式で算出される。

但し、Ｌ_bは、被写体の大きさの基準値であり、予め決められた値が画像表示制御装置に格納されていてもよいし、シーン毎に、Ｌ_jの平均値を算出し、その平均値をＬ_bとするのでもよい。

次に、表示位置決定部１０６１は、第１の実施形態と同様に、被写体位置記憶部１０４３に記憶されている被写体位置のＸ座標の最大差分Ｄ_x、Ｚ座標の最大差分Ｄ_zを算出する（Ｓａ１）。また、この差分を算出する際に求まるＸ座標の最大値、最小値をそれぞれＸ_max、Ｘ_min、Ｚ座標の最大値、最小値をそれぞれＺ_max、Ｚ_minと表すことにする。

そして、表示位置決定部１０６１は、第１の実施形態に利用した値に加えて、修正ズーム値を利用して、有効領域サイズ（Ｗ_e，Ｈ_e）を算出する。全ての入力画像Ｉ_j（ｊ＝１‥Ｎ）について、カメラ座標系における被写体位置のＸ座標、Ｚ座標を（Ｘ_j，Ｚ_j）（ｊ＝１‥Ｎ）とし、画像内位置情報を(Ｕ_j，Ｖ_j) （ｊ＝１‥Ｎ）、修正ズーム値をＭＳ_j（ｊ＝１‥Ｎ）とする。有効領域サイズを算出する際には、まず、
｛Ｕ_j/ＭＳ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、
｛（Ｗ_i−Ｕ_j）/ＭＳ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
｛Ｖ_j/ＭＳ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、
｛（Ｈ_i−Ｖ_j）/ＭＳ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝
（ｊ＝１‥Ｎ）の最大値を算出する。これらの最大値をそれぞれ、
ＭＡＸ｛Ｕ_j/ＭＳ_j−Ｗ_d・（Ｘ_j−Ｘ_min）/Ｄ_x｝、
ＭＡＸ｛（Ｗ_i−Ｕ_j）/ＭＳ_j−Ｗ_d・（Ｘ_max−Ｘ_j）/Ｄ_x｝、
ＭＡＸ｛Ｖ_j/ＭＳ_j−Ｈ_d・（Ｚ_max−Ｚ_j）/Ｄ_z｝、
ＭＡＸ｛（Ｈ_i−Ｖ_j）/ＭＳ_j−Ｈ_d・（Ｚ_j−Ｚ_min）/Ｄ_z｝、
とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式により算出される（Ｓｂ３）。

また、Ｕ_j/ＭＳ_j、（Ｗ_i−Ｕ_j）/ＭＳ_j、Ｖ_j/ＭＳ_j、（Ｈ_i−Ｖ_j）/ＭＳ_j（ｊ＝１‥Ｎ）の最大値をそれぞれＭＡＸ｛Ｕ_j/ＭＳ_j｝、ＭＡＸ｛（Ｗ_i−Ｕ_j）/ＭＳ_j｝、ＭＡＸ｛Ｖ_j/ＭＳ_j｝、ＭＡＸ｛（Ｈ_i−Ｖ_j）/ＭＳ_j｝とすると、有効領域サイズ（Ｗ_e，Ｈ_e）は以下の式によっても簡易的に算出される。

次に、表示位置決定部１０６１は、第１の実施形態と同じ方法で、Ｘ方向の縮小率Ｒ_x、Ｚ方向の縮小率Ｒ_z、仮表示位置１（Ｕ_j1，Ｖ_j1）（ｊ＝１‥Ｎ）を求める（Ｓａ３、Ｓａ４）。

次に、表示位置決定部１０６１は、被写体位置のＸ座標、Ｚ座標の値から算出した表示位置に被写体の顔を配置するように、ステップＳａ４で算出した仮表示位置１（Ｕ_j1，Ｖ_j1）から、画像内位置情報の値を減算し、仮表示位置２（Ｕ_j2，Ｖ_j2）（ｊ＝１‥Ｎ）を以下の式により算出する（Ｓｂ４）。

最後に、表示位置決定部１０６１は、第１の実施形態と同じ方法で、表示位置（Ｕ_jf，Ｖ_jf）（ｊ＝１‥Ｎ）を算出する（Ｓａ６）。

また、本発明の表示位置決定部１０６１は、ユーザが表示画像に対して違和感を覚えない程度に、入力画像を拡大縮小する処理を行うことも可能である。図１９は、この場合における表示位置決定部１０６１の処理のフローチャートを示す。この処理は、図１８のステップＳｂ１、Ｓｂ２に代えて、ステップＳｃ１、Ｓｃ２を実行する点のみが相違するので、相違する処理についてのみ詳細に説明する。

まず、表示位置決定部１０６１は、シーン中のフレームのうち、修正ズーム値を算出する基準とするフレームを２つ選択する（Ｓｃ１）。ここで、各入力画像Ｉ_j（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）のうち、選択した２つのフレームをＩ_b1、Ｉ_b2（但し、ｂ１＜ｂ２）とする。なお、入力画像Ｉ_jに対応する被写体位置のＺ座標をＺ_j（ｊ＝１‥Ｎ）とすると、Ｚ_jが最小となるｊの値、最大となるｊの値を、ｂ１もしくはｂ２に割り当てると、誤差が小さくなるので好ましい。

次に、各画像の修正ズーム値を算出する（Ｓｃ２）。ここで、各入力画像Ｉ_j（ｊ＝１‥Ｎ）に写っている被写体の大きさをＬ_j（ｊ＝１‥Ｎ）、被写体を撮影するカメラのズーム値をＳ_j（ｊ＝１‥Ｎ）、カメラ座標系における被写体位置のＺ座標をＺ_j（ｊ＝１‥Ｎ）、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）とする。このとき、ズーム無しの被写体の大きさは被写体の大きさからズーム値を割った値となるので、入力画像Ｉ_b1、Ｉ_b2、Ｉ_jにおけるズーム無しの被写体の大きさは、それぞれＬ_b1/Ｓ_b1、Ｌ_b2/Ｓ_b2、Ｌ_j/ＭＳ_jとなる。さらに、ユーザが違和感を覚えない程度に拡大縮小するために、ズーム無しの顔の大きさはカメラと被写体との距離に比例して小さくなるとする。このとき、Ｉ_b1からＩ_b2へのズーム無しの顔の大きさの増加分（Ｌ_b2/Ｓ_b2−Ｌ_b1/Ｓ_b1）とＩ_b1からＩ_jへのズーム無しの顔の大きさの増加分（Ｌ_j/ＭＳ_j−Ｌ_b1/Ｓ_b1）との比と、Ｉ_b1からＩ_b2へのＺ座標の増加分（Ｚ_b2−Ｚ_b1）とＩ_b1からＩ_jへのＺ座標の増加分（Ｚ_j−Ｚ_b1）との比が等しくなるので、以下の関係式が成り立つ。

これより、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）は以下のように求められる。

以上のように、修正ズーム値ＭＳ_j（ｊ＝１‥Ｎ）を算出すると、上述した方法で、表示位置（Ｕ_jf，Ｖ_jf）（ｊ＝１‥Ｎ）を算出する。

次に、本発明の第２の実施形態に係る実施例を詳細に説明する。図２０は、画像表示制御装置が表示する画像を撮影するカメラの座標系と、その座標系において被写体が移動する例を示す。図中のＸＹＺ軸はカメラ座標系でのＸＹＺ軸を示し、点線で示したように被写体がカメラに向かって近づいて移動しているものとする。そして、点線上に黒丸で表示した各時点において、吹出しで示された画像が撮影されているものとする。なお、画像の左上隅にはそれぞれの画像を識別するための番号を付しており、後述する図２１、２２の同じ番号の画像はそれぞれ対応する画像であることを示す。

図２０の例では、被写体の大きさを顔の高さ（縦の長さ）としており、画像中にＬ_j（ｊ＝１‥９）と表している。また、画像（２）は１．４倍ズーム、画像（３）は１．３倍ズームで撮影されているので、被写体の大きさが他の画像に比べて大きく表示されている。

図２１は、このように取得した画像を第１の実施形態の方法で表示した画像である。図２１で被写体が移動する際に画像（２）、（３）において被写体が急に拡大し、また画像（４）で被写体が急に縮小するため、これを視聴するユーザは違和感を覚える可能性がある。

図２２は、図２０のように取得した画像に対して、表示位置決定部１０６１が図１８の処理を実行して画像を拡大縮小して表示したものである。図２２の例では、被写体の大きさが全てＬ_bに統一されるように各画像を拡大縮小している。このため、各画像における被写体の大きさはほぼ同じになっている。したがって、これを視聴するユーザは、図２１の例ほど違和感を覚えないと考えられる。

本第２の実施形態によれば、上記の構成により、被写体を撮影中にズームを行っても、被写体の大きさを固定、もしくはユーザが違和感を覚えない程度に拡大縮小し、表示する。このため、ユーザは違和感を覚えずに画像を視聴することができる。

以上、本発明の実施の形態における画像表示制御装置を示したが、画像表示方法としてもよいし、画像表示プログラムを記録した記録媒体としてもよい。さらに、図１に示す画像入力部１０１、画像解析部１０２、位置生成部１０３、表示画面領域サイズ取得部１０５、表示位置決定部１０６、表示デバイス制御部１０７の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明は、テレビやテレビに画像を出力するための信号を発生する各種レコーダ、パーソナルコンピュータ、携帯電話、ＰＤＡなど、デジタルデータを扱う情報機器において適用可能である。特に、これらの機器の画面内で、撮影した映像を移動させて表示させる場合に有用である。

１００ 画像表示制御装置
１０１ 画像入力部
１０２ 画像解析部
１０３ 位置生成部
１０４ コンテンツ管理部
１０４１ 画像記憶部
１０４２ 画像内位置記憶部
１０４３ 被写体位置記憶部
１０４４ ズーム値記憶部
１０４５ 画像内位置大きさ記憶部
１０５ 表示画面領域サイズ取得部
１０６、１０６１ 表示位置決定部
１０７、１０７１ 表示デバイス制御部
１０８ 表示デバイス
２００、２０３、２０４、２０５、２０６ 入力画像
２０１ 入力画像内の被写体
３００ 表示画面
７００ 被写体位置検出時の構成例
８００ 被写体位置算出のための計測データ
９００ 被写体位置情報
１０００ 画像内位置情報
１１００ 仮表示位置２の算出結果
１２００ 表示位置の算出結果
１３００ アイコン

Claims (8)

1. 被写体を撮影した動画像の画像データを表示デバイスに表示させる画像表示制御装置であって、
   被写体を撮影するカメラを基準とした直交座標系によって記述された被写体の位置情報を生成する位置生成部と、
   前記位置生成部が生成した被写体の位置情報を動画像のフレーム単位で記憶するコンテンツ管理部と、
   前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の各フレームの表示位置を決定する表示位置決定部と、
   前記表示位置決定部が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御部とを備える画像表示制御装置。
2. 前記画像表示制御装置は、さらに、
   表示デバイスから表示可能領域のサイズを取得する表示画面領域サイズ取得部と、
   動画像の各フレームにおける被写体の位置を特定する画像解析部と、を備え、
   前記コンテンツ管理部は、前記被写体の位置情報と、画像解析部が解析した動画像の各フレームにおける被写体の画像内位置情報とを、前記動画像のフレーム単位で対応付けて記憶し、
   前記表示位置決定部は、前記表示画面領域サイズ取得部から取得した表示可能領域のサイズと、前記直交座標系における前記被写体の位置の最大値、最小値を用いて、表示位置が表示可能領域の外に出ないように、位置情報と表示位置の対応関係を決定した上で、前記被写体の画像内位置情報を用いて、前記動画像の表示位置を補正することを特徴とする請求項１記載の画像表示制御装置。
3. 前記画像解析部は、前記動画像の各フレームにおける被写体の大きさを特定し、
   前記コンテンツ管理部は、前記動画像の画像データと、前記被写体の位置情報と、前記被写体の画像内位置情報と、前記画像解析部が解析した前記被写体の大きさ情報とをフレーム単位で対応付けて記憶し、
   前記表示位置決定部は、前記画像解析部が出力した被写体の大きさを用いて、表示される被写体の大きさが一定になるよう前記動画像の各フレームの拡大縮小率を算出し、
   前記表示デバイス制御部は、前記表示位置決定部が決定した表示位置に、前記表示位置決定部が決定した拡大縮小率で拡大縮小した動画像を表示する信号を表示デバイスに送信することを特徴とする請求項２記載の画像表示制御装置。
4. 前記画像解析部は、前記動画像の各フレームにおける被写体の大きさを特定し、
   前記コンテンツ管理部は、前記動画像の画像データと、前記被写体の位置情報と、前記被写体の画像内位置情報と、前記画像解析部が解析した前記被写体の大きさ情報と、前記動画像のズーム値をフレーム単位で対応付けて記憶し、
   前記表示位置決定部は、前記画像解析部が出力した被写体の大きさとズーム値を用いて、表示される被写体の大きさが被写体を撮影するカメラからの距離に応じて変化するよう前記動画像の各フレームの拡大縮小率を算出し、
   前記表示デバイス制御部は、前記表示位置決定部が決定した表示位置に、前記表示位置決定部が決定した拡大縮小率で拡大縮小した動画像を表示する信号を表示デバイスに送信することを特徴とする請求項２記載の画像表示制御装置。
5. 前記位置生成部は、さらに、被写体を撮影するカメラの撮影範囲と被写体の位置関係を検出する位置関係検出部を備え、
   前記画像解析部は、前記動画像内に被写体を検出できなかった場合、位置関係検出部から取得した位置関係情報をもとに、動画像データ領域外で、前記位置関係に対応する座標を被写体位置情報とすることを特徴とする請求項２、３、４のいずれかに記載の画像表示制御装置。
6. 前記表示デバイス制御部は、さらに、前記被写体の位置情報の示す位置にアイコンを表示する信号を表示デバイスに送信するアイコン表示制御部を備え、
   アイコン表示制御部は、前記画像解析部が動画像の各フレーム内に被写体を検出できなかった場合に、アイコンを表示する信号を送信することを特徴とする請求項５記載の画像表示制御装置。
7. 被写体を撮影した動画像の画像データを表示デバイスに表示させる画像表示方法であって、
   動画像の各フレームと、被写体を撮影するカメラを基準とした直交座標系により記述された位置情報とをフレーム単位で対応付けて記憶する記憶ステップと、
   前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の各フレームの表示位置を決定する表示位置決定ステップと、
   前記表示位置決定ステップが決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御ステップと、を含むことを特徴とする画像表示方法。
8. 被写体を撮影した動画像の画像データを表示デバイスに表示させる集積回路であって、
   動画像の各フレームと、被写体を撮影するカメラを基準とした直交座標系により記述された位置情報とをフレーム単位で対応付けて記憶するコンテンツ管理手段と、
   前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の各フレームの表示位置を決定する表示位置決定手段と、
   前記表示位置決定手段が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御手段と、を備えることを特徴とする集積回路。