JP4760892B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP4760892B2
JP4760892B2 JP2008264112A JP2008264112A JP4760892B2 JP 4760892 B2 JP4760892 B2 JP 4760892B2 JP 2008264112 A JP2008264112 A JP 2008264112A JP 2008264112 A JP2008264112 A JP 2008264112A JP 4760892 B2 JP4760892 B2 JP 4760892B2
Authority
JP
Japan
Prior art keywords
image
imaging
display
thumbnail
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008264112A
Other languages
English (en)
Other versions
JP2010093713A (ja
Inventor
浩司 鹿島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008264112A priority Critical patent/JP4760892B2/ja
Priority to US12/565,032 priority patent/US8422857B2/en
Priority to CN2009101793654A priority patent/CN101729781B/zh
Priority to CN201310337384.1A priority patent/CN103491331B/zh
Publication of JP2010093713A publication Critical patent/JP2010093713A/ja
Application granted granted Critical
Publication of JP4760892B2 publication Critical patent/JP4760892B2/ja
Priority to US13/800,482 priority patent/US9113134B2/en
Priority to US14/743,210 priority patent/US20150287436A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。
ビデオカメラなどの撮像装置で撮像及び録画された動画像を表示する映像表示方法として、通常再生表示とフィルムロール表示がある。通常再生表示は、録画された動画像の映像（撮像面ｘ、ｙ軸）を、先頭から時間軸ｔ通りに順次再生して表示する表示方法である。ユーザは、この通常再生表示された映像を見ることで、撮像内容を把握することができるが、その把握には時間を要する。その時間を短縮するために、動画像を早送り再生して表示する方法があるが、早送り再生しても、動画像全体の撮像内容を把握するためには、ある程度の時間を要することには変わりない。
一方、フィルムロール表示は、録画された動画像から所定の時間間隔で複数のフレーム画像を選択し、当該フレーム画像をサムネイル画像として時系列順に並べて表示する表示方法である（例えば特許文献１、２参照）。このフィルムロール表示では、一覧表示された任意のサムネイル画像が選択されると、そのサムネイル画像に対応する再生位置から動画像を通常再生表示することもできる。かかるフィルムロール表示では、上記通常再生表示と比べて、動画像全体の撮像内容をユーザに分かりやすく提示することができる。
特開２００７−１３４７７１号公報 特開２００８−１６６９８８号公報
しかしながら、上記フィルムロール表示では、サムネイル画像を抽出する時間間隔が短すぎると、ユーザは、多数のサムネイル画像を見なければならないので、撮像内容の把握に時間を要する。一方、該時間間隔が長すぎると、サムネイル画像相互の関連性が低くなり、ユーザは撮像内容を把握することが困難となる。また、フィルムロール表示では、サムネイル画像を２次元平面上に時系列に並べただけであるので、撮影時の撮像装置の位置や、撮像装置と被写体との相対的位置関係など、撮像状況を把握することができない。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影された動画像の内容及び撮像状況を把握しやすく表示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、撮像装置により撮像された動画像を記憶する記憶部と、前記動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間を表示する表示画像を生成する表示画像生成部と、を備え、前記記憶部は、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報を記憶し、前記表示画像生成部は、前記移動軌跡情報に基づいて、前記仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画する、表示制御装置が提供される。また、前記表示制御装置は、撮像装置の１回の連続した撮像動作により撮像された動画像を記憶する記憶部と、前記動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するとともに、前記サムネイル画像を撮像順に関連づける情報を描画し、前記３次元化モデル及び前記サムネイル画像を含む前記仮想３次元空間を俯瞰的に描画した俯瞰表示画像を生成する表示画像生成部と、前記俯瞰表示画像を表示部に表示させる表示制御部と、を備えてもよい。
前記記憶部は、前記動画像の付加情報として、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報を記憶しており、前記表示画像生成部は、前記移動軌跡情報に基づいて、前記仮想３次元空間において前記サムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するようにしてもよい。
前記サムネイル画像を撮像順に関連づける情報は、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡線であり、前記表示画像生成部は、前記移動軌跡情報に基づいて、前記仮想３次元空間において前記サムネイル画像を撮像順に結ぶように前記移動軌跡線を描画するようにしてもよい。
前記表示画像生成部は、前記サムネイル画像間を結ぶ前記移動軌跡線を、当該サムネイル画像間の前記動画像の内容又は撮像状況に応じて異なる線種で描画するようにしてもよい。
前記表示画像生成部は、少なくとも一部の前記サムネイル画像の描画位置に、当該サムネイル画像に代えて、当該サムネイル画像の内容又は撮像状況を表す代替画像を描画するようにしてもよい。
前記表示画像生成部は、前記仮想３次元空間における前記サムネイル画像の描画位置に応じて、描画する前記サムネイル画像の大きさを変化させ、描画される前記サムネイル画像の大きさが所定の大きさ以下となる場合に、当該サムネイル画像に代えて前記代替画像を描画するようにしてもよい。
前記表示画像生成部は、前記仮想３次元空間において、前記サムネイル画像に関するメタデータを当該サムネイル画像に関連づけて描画するようにしてもよい。
前記表示部に表示された前記俯瞰表示画像内の前記サムネイル画像又は前記３次元化モデルに対するユーザ操作に応じて、前記動画像を編集する画像編集部をさらに備えるようにしてもよい。
前記表示部に表示された前記俯瞰表示画像におけるアングルの指定に応じて、当該指定されたアングルから見た動画像を生成する画像編集部をさらに備えるようにしてもよい。
前記表示部に表示された前記俯瞰表示画像内から選択された前記３次元化モデルと同一又は類似の３次元化モデル、又は、当該３次元化モデルに対応するオブジェクトを含む画像を検索する画像検索部をさらに備えるようにしてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間を表示する表示画像を生成するステップと、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報に基づいて、前記仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するステップと、を含む、表示制御方法が提供される。また、前記表示制御方法は、撮像装置の１回の連続した撮像動作により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、前記サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するとともに、前記サムネイル画像を撮像順に関連づける情報を描画し、前記３次元化モデル及び前記サムネイル画像を含む前記仮想３次元空間を俯瞰的に描画した俯瞰表示画像を生成するステップと、前記俯瞰表示画像を表示部に表示させるステップと、を含むようにしてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間を表示する表示画像を生成するステップと、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報に基づいて前記仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するステップと、をコンピュータに実行させるためのプログラムが提供される。また、前記プログラムは、撮像装置の１回の連続した撮像動作により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、前記サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するとともに、前記サムネイル画像を撮像順に関連づける情報を描画し、前記３次元化モデル及び前記サムネイル画像を含む前記仮想３次元空間を俯瞰的に描画した俯瞰表示画像を生成するステップと、前記俯瞰表示画像を表示部に表示させるステップと、をコンピュータに実行させるようにしてもよい。
上記構成によれば、撮像装置の１回の連続した撮像動作により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像が、前記サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画される。さらに、前記サムネイル画像を撮像順に関連づける情報が描画される。この結果、前記３次元化モデル及び前記サムネイル画像を含む前記仮想３次元空間を俯瞰的に描画した俯瞰表示画像が生成される。さらに、前記俯瞰表示画像が表示部に表示される。よって、動画像の内容及び撮像状況を１つの画像で好適に表現した俯瞰表示画像を表示できる。
以上説明したように本発明によれば、撮影された動画像の内容及び撮像状況を把握しやすく表示することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．俯瞰表示の概要
２．第１の実施の形態（撮像装置による撮像時における俯瞰表示）
３．第２の実施の形態（情報処理装置による再生時における俯瞰表示）
＜１．俯瞰表示の概要＞
まず、図１を参照して、本発明の一実施形態にかかる俯瞰表示の概要について説明する。図１は、本実施形態にかかる俯瞰表示画像３を表示した表示装置１の例を示す。
本実施形態にかかる俯瞰表示は、撮像装置により撮像された映像（動画像）を表示装置１に表示する際に、ユーザがその映像の撮像内容や撮像状況を把握しやすくするための映像表示方式である。
図１に示すように、表示装置１の表示画面２には、俯瞰表示画像３が表示される。この俯瞰表示画像３は、撮像装置の１回の連続した撮像動作により撮像された動画像の内容を概略的に表す静止画像である。１回の連続した撮像動作とは、例えば、撮像装置の撮像開始ボタンが押されてから撮像終了ボタンが押されるまでの間に被写体の動画像を連続して撮像する動作であり、いわゆる「１ｒｅｃ」である。この１回の連続した撮像動作により、１つの撮像単位の動画像データが得られ、該１つの撮像単位の動画像データは、通常、１つのファイルとして記録媒体に記録される。俯瞰表示画像３は、当該１回の撮像動作により撮像された動画像データ全体の撮像内容及び撮像状況を把握するために用いられるインデックス画像として機能する。
具体的には、図１に示すように、俯瞰表示画像３は、撮像された動画像中に含まれるオブジェクト（物体）の３次元化モデル４と、該動画像から抽出された複数のサムネイル画像５とを含む仮想３次元空間６を俯瞰的に描画した画像である。仮想３次元空間６は、撮像装置により撮像された現実の３次元空間（撮像範囲内の被写体）を概略的に表現した空間である。この仮想３次元空間６には、撮像された動画像中に含まれるオブジェクトの３次元化モデル４が、現実の３次元空間と同等の位置に配置される。
オブジェクト（物体）は、撮像された動画像中に含まれる対象物（即ち、撮像範囲内に存在した一部の被写体）である。３次元化モデル４として表現されるオブジェクトは、例えば、物、人物、乗り物、建物など、任意の有体物であってよいが、仮想３次元空間６で分かりやすく表示されるためには、ある程度以上の大きさを有する物体であることが好ましい。かかるオブジェクトの３次元化モデル４は、仮想３次元空間６において、撮像された現実の３次元空間に存在したオブジェクトと同様の形状、位置及び向きで配置される。図１の俯瞰表示画像３の例では、仮想３次元空間６として小学校の体育館が表現されており、オブジェクトの３次元化モデル４として、撮像時に該体育館に存在した複数のテーブル４ａや舞台４ｂが表示されている。
さらに、俯瞰表示画像３の仮想３次元空間６には、動画像から抽出された複数のサムネイル画像５が、当該各サムネイル画像５を撮像したときの撮像装置の位置及び向きにそれぞれ描画されている。サムネイル画像５は、撮像装置により１回の連続した撮像動作で撮像及び録画された動画像データから抽出されたフレーム画像（静止画）である。動画像からサムネイル画像を抽出する手法としては、例えば、動画像から所定の時間間隔で所定枚数のサムネイル画像５を抽出してもよい。また、動画像から、撮像装置を移動させずに停止して撮像したときのサムネイル画像や、画質が綺麗なサムネイル画像を選択して、抽出するようにしてもよい。これにより、俯瞰表示画像３内に表示されるサムネイル画像５の枚数を適切な数に制限できる。従って、俯瞰表示画像３内に多数のサムネイル画像５が描画されるため、煩雑かつ冗長な表示となることを防止できる。
図１の例では、仮想３次元空間６に５枚のサムネイル画像５ａ、５ｂ、５ｃ、５ｄ、５ｅが撮像順に描画されている。これらのサムネイル画像５ａ〜ｅは、仮想３次元空間６に該サムネイル画像５ａ〜ｅを撮像したときの実際の撮像装置の位置及び向きに対応する位置及び向きで配置されている。例えば、動画像の先頭のサムネイル画像５ａ（１番目のサムネイル画像５ａ）は、撮像装置による撮影開始位置に対応する位置、即ち、仮想３次元空間６の手前左側に配置されている。また、該サムネイル画像５ａの向きは、サムネイル画像５ａを撮像したときの撮像装置の向き（該撮像開始位置から舞台の３次元化モデル４ｂに向かう方向）となっている。
また、仮想３次元空間６に描画されるサムネイル画像５の大きさは、遠近法に従って、仮想３次元空間６の手前側であれば相対的に大きく、奥側であれば相対的に小さくなるように描画されている。例えば、１番目のサムネイル画像５ａ及び５番目のサムネイル画像５ｅは、実際の撮像位置が手前側であるので、仮想３次元空間６の手前側に大きな画像で描画される。一方、３番目のサムネイル画像５ｃは、実際の撮像位置が最も奥側（舞台側）であるので、仮想３次元空間６の奥側に小さな画像で描画される。
このように、サムネイル画像５の位置、向き及び大きさが、該サムネイル画像５を実際に撮像したときの撮像装置の撮像位置及び撮像向きに対応するように、仮想３次元空間６において各サムネイル画像５が描画される。
さらに、仮想３次元空間６には、複数のサムネイル画像５間を相互に結ぶようにして、撮像装置の移動軌跡線７が描画される。この移動軌跡線７は、複数のサムネイル画像５を撮像順に関連づける情報の一例であり、実際に動画像を撮像したときの撮像装置の移動軌跡を表す線である。移動軌跡線７は、複数のサムネイル画像５を撮像順に時系列で結んでおり、実際の撮像装置の移動経路（即ち、撮像位置）に沿って描画される。かかる移動軌跡線７を描画することで、各サムネイル画像５の関連性と撮像位置をシンプルかつ的確に表示できる。よって、かかる移動軌跡線７により、ユーザは、各サムネイル画像５の撮像順と、動画像を撮像したときの撮像装置の移動軌跡を容易に把握できるようになる。なお、移動軌跡線７は、撮像装置に設けられた各種センサによって得られた撮像位置情報に基づいて描画されるが、詳細は後述する。
以上のように、俯瞰表示画像３では、撮像された動画像中に含まれるオブジェクトの３次元化モデル４を配置した仮想３次元空間６上に、該動画像から抽出された複数のサムネイル画像５が撮像時の撮像装置の位置及び向きに描画される。そして、かかるオブジェクトの３次元化モデル４とサムネイル画像５を含む仮想３次元空間６を俯瞰的に描画した俯瞰表示画像３が生成され、該俯瞰表示画像３が表示装置１の表示画面２に表示される。このように、俯瞰表示画像３は、仮想３次元空間６上で、実際に撮像された動画像のサムネイル画像５と、その動画像中に現れるオブジェクトの３次元化モデル４とを関連付けて俯瞰表示するものである。以下、この表示方式を「４次元時空俯瞰表示」と称する。
かかる４次元時空俯瞰表示される俯瞰表示画像３を見たユーザは、動画像データを撮像したときの撮影面ｘ，ｙ軸以外にも、奥行きｚ軸及び撮影時間t軸を同時に把握することが可能となる。つまり、ユーザは、俯瞰表示画像３における３次元化モデル４とサムネイル画像５の相互の位置関係や、サムネイル画像５の配置、向き及び大きさ、並びに、移動軌跡線７によって、動画像の内容のみならず、動画像を撮像したときの撮像状況も容易に把握できる。このように、動画像をインデックス表示するための俯瞰表示画像３により、ユーザは、その動画像をどこでどのように撮影したかを容易に把握できる。
なお、俯瞰表示画像３を表示する表示装置１としては、２次元表示ディスプレイ（ｘ,ｙ）又は３次元表示ディスプレイ（ｘ,ｙ,ｚ）のいずれであってもよい。
また、上記のようなオブジェクトの３次元化モデル４の生成方法としては、公知の任意の方法を利用可能であり、所定の方法に限定されるものではないが、例えば、次の方法（ａ）〜（ｄ）がある。
（ａ）撮影装置に搭載された各種センサを利用して３次元化モデル４を生成する方法
例えば、撮像時の撮像装置とオブジェクトとの距離を測定するための距離センサや、撮像時の撮像装置の移動軌跡又は姿勢を測定するための移動軌跡用センサを、撮像装置に設置する。移動軌跡用センサは、例えば、角速度センサ、加速度センサ、磁気センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどである。撮像装置又は情報処理装置などの表示制御装置は、かかる各種のセンサを用いて、動画像を撮像した時の撮像装置とオブジェクトとの距離、撮像装置の移動軌跡又は姿勢などを測定する。そして、表示制御装置は、この測定データ及び動画像データを解析することで、撮像された空間内に存在するオブジェクトの形状、位置、向きなどを推定し、その３次元化モデル４を生成する。
（ｂ）ソフトウェアを用いて動画像データから３次元化モデル４を自動抽出する方法
撮像装置又は情報処理装置などの表示制御装置に、３次元化モデル生成用のソフトウェア（プログラム）をインストールする。該ソフトウェアは、動画像データを解析して、動画像データが表す映像中に含まれるオブジェクトを特定及び抽出し、その形状、位置、大きさ等を推定して３次元化モデル４を生成する。なお、表示制御装置は、他の機器で同様にして生成された３次元化モデル４のデータを、該他の機器から記録媒体又はネットワークを介して取得してもよい。
（ｃ）人手による作業で３次元化モデル４を生成する方法
ユーザが、動画像データを再生表示した映像を見て、マニュアルで３次元化モデルを生成する。このマニュアルによる３次元化モデル４の生成は、撮像装置又は情報処理装置などの表示制御装置において行われてもよいし、他の機器で行われてもよい。後者の場合は、表示制御装置は、該他の機器から記録媒体又はネットワークを介して３次元化モデル４に関する情報を取得してもよい。
（ｄ）上記（ａ）〜（ｃ）の３次元化モデル４の組み合わせ
表示制御装置は、上記（ａ）〜（ｃ）などの各種手法で生成された３次元化モデル４を組み合わせて、仮想３次元空間６に配置する最終的な３次元化モデル４を生成してもよい。
以上、動画像中に含まれるオブジェクトの３次元化モデル４の生成方法の例を説明した。なお、仮想３次元空間６に描画される３次元化モデル４は、現実のオブジェクトを忠実に表現したものであってもよいし、或いは、現実のオブジェクトを単純化したり、不要なものを省略したりして、簡略化した３次元化モデル４であってもよい。例えば、俯瞰表示画像３において、３次元化モデル４をモノクロームでシンプルに表示してもよい。これにより、その３次元化モデル４の周辺に配置されるサムネイル画像５を際立たせて、該サムネイル画像５を見やすく表示できる。なお、俯瞰表示画像３において、仮想３次元空間６内に３次元化モデル４を全く描画しないで、サムネイル画像５のみを描画してもよい、また、３次元化モデル４を描画しないで、サムネイル画像５と、後述の移動軌跡線７又はメタデータ１６などを描画してもよい。
また、表示制御装置は、ユーザにより指定された動画像中の撮像時刻に応じて、俯瞰表示画像３上に表示される３次元化モデル４の描画位置を選択できる。例えば、３次元化モデル４ごとに、ある１時刻のみ、全時刻、周期的な時刻などを選択することで、それぞれの３次元化モデル４の描画位置や描画の有無を制御できる。
また、俯瞰表示画像３では、撮像位置の水平方向への移動だけでなく、鉛直方向の移動も表現可能であるが、俯瞰的に見るには不都合なオブジェクト（例えば床や天井など）の３次元化モデルについては、適切に描画が省略される。
また、表示制御装置は、上述した俯瞰表示画像３を俯瞰表示するときの基準となる視点（４次元時空俯瞰表示の視点）を、ユーザ選択に応じて任意に変更可能である。例えば、表示制御装置は、動画像を解析することによって、動画像全体の内容を把握するために最も適した視点を求め、ユーザにお勧めの視点として提示することができる。
ここで、図２及び図３を参照して、上記俯瞰表示画像３（図１）と、通常再生表示の画像８（図２）及びフィルムロール表示の画像９（図３）とを比較する、
図２に示すように、通常再生表示は、録画された動画像の映像（撮像面ｘ、ｙ軸）を、時間軸ｔ通りに順次再生して表示する通常の表示方法である。かかる通常再生表示では、再生中の画像８が１つだけ表示されるので、動画像全体の内容を把握するには時間がかかる。
また、図３に示すように、フィルムロール表示は、録画された動画像から所定の時間間隔で複数のサムネイル画像（フレーム画像）１１ａ〜ｅを抽出し、当該サムネイル画像１１ａ〜ｅを時系列順に並べて表示する表示方法である。かかるフィルムロール表示では、上記通常再生表示よりも撮像内容を把握し易い。しかし、サムネイル画像１１ａ〜ｅを抽出する時間間隔が短すぎると、複数のサムネイル画像１１ａ〜ｅが表示されて煩雑となり、撮像内容の把握に時間がかかる。一方、該時間間隔が長すぎると、サムネイル画像１１ａ〜ｅの関連性が低下するため、撮像内容を把握できない。
これに対し、図１に示したように、本実施形態にかかる俯瞰表示画像３では、撮像された動画像の撮影面ｘ，ｙ軸、奥行きｚ軸及び撮影時間t軸を同時に把握できるだけでなく、サムネイル画像５の撮像順や撮像位置、向きも把握できる。よって、ユーザは、その動画像をどこでどのように撮影したかを容易に把握でき、撮像内容及び撮像状況の把握に役立つ。
以上、４次元時空俯瞰表示を用いた俯瞰表示画像３の概要を説明した。以下に、上記俯瞰表示画像３を表示するための表示制御装置及び表示制御方法の好適な実施形態について説明する。
＜２．第１の実施形態＞
まず、本発明の第１の実施形態にかかる表示制御装置及び方法について説明する。
第１の実施形態は、図４に示すように、本発明の表示制御装置を撮像装置１０（例えばビデオカメラ）に適用した例である。そして、該撮像装置１０による撮像時におけるリアルタイム用途として、撮像装置１０が備える表示装置１３０に上記俯瞰表示画像３を表示する。例えば、撮像装置１０を用いて１ｒｅｃの動画像を撮像及び録画しながら、或いは、１ｒｅｃの動画像を撮像及び録画した後に、ユーザが、録画された動画像の内容を確認する際に、当該動画像データに関する俯瞰表示画像３を表示装置１３０に表示させる。
［撮像装置のハードウェア構成］
まず、図５を参照して、本実施形態にかかる撮像装置１０のハードウェア構成について詳細に説明する。図５は、本実施形態にかかる撮像装置１０のハードウェア構成を示すブロック図である。
図５に示すように、本実施形態にかかる撮像装置１０は、概略的には、撮像部１１０と、信号処理部１２０と、表示装置１３０と、記録デバイス１４０と、制御部１５０と、操作部１６０と、距離センサ１７０と、移動軌跡用センサ１７２と、を備える。
撮像部１１０は、被写体を撮像してアナログ画像信号を出力する。撮像部１１０は、撮像光学系１１１と、撮像素子１１２と、タイミングジェネレータ１１３と、光学部品駆動部１１４とを備える。
撮像光学系１１１は、フォーカスレンズ、ズームレンズ等の各種レンズや、不要な波長を除去する光学フィルタ、絞り等の光学部品からなる。被写体から入射された光は撮像光学系１１１における各光学部品を介して撮像素子１１２に導かれる。撮像素子１１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１１２は撮像光学系１１１を介して導かれた光を光電変換し、撮像画像としての電気信号（アナログ画像信号）を出力する。
撮像光学系１１１には、絞りの調整や、フォーカスレンズの移動などを行うための駆動機構であるアクチュエータ（図示せず。）が機械的に接続されている。そして、アクチュエータは、その駆動制御を行うための光学部分駆動部１１４に接続されている。光学部分駆動部１１４は、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１の指示に従って、撮像光学系１１１の光学部品の駆動を制御する。また、タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１１３は、ＣＰＵ１５１の指示に従って、撮像素子１１２に必要な動作パルスを生成する。例えば、ＴＧ７０は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１１２に供給する。このＴＧ７０により撮像素子１１２を駆動（電子シャッタ機能）させることが可能となる。
上記の撮像素子１１２が出力した画像信号は信号処理部１２０に入力される。信号処理部１２０は、撮像素子１１２から出力される画像信号に対して所定の信号処理を実行し、当該信号処理後の画像信号を表示装置表示装置１３０や記録デバイス１４０に出力する。信号処理部１２０は、アナログ信号処理部１２１、アナログ／デジタル（Ａ／Ｄ）変換部１２２、デジタル信号処理部１２３を備える。
アナログ信号処理部１２１は、画像信号を前処理する所謂アナログフロントエンドである。例えば、アナログ信号処理部１２１は、撮像素子１１２から出力される撮像画像としての電気信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。そして、アナログ信号処理部１２１は、これらの前処理を行った画像信号をＡ／Ｄ変換部１２２に出力する。Ａ／Ｄ変換部１２２は、入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部１２３に出力する。デジタルデジタル信号処理部１２３は、入力されたデジタル画像信号に対して、例えば、ガンマ補正処理やホワイトバランス処理等のデジタル信号処理を行って、撮像画像の映像信号を生成する。デジタル信号処理部１２３は、上記生成した撮像画像データの映像信号を表示装置１３０及び記録デバイス１４０に出力する。
表示装置１３０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどで構成される。表示装置１３０は、入力された各種の画像データを表示する。例えば、表示装置１３０は、信号処理部１２０から撮像中にリアルタイムで入力される撮像中の撮像画像データを表示する。これにより、ユーザは、撮像装置１０で撮像中の画像を見ながら撮影を行うことができる。また、記録デバイス１４０に記録されている撮像済みの画像データを再生したときに、表示装置１３０は、記録デバイス１４０から入力された再生画像データを表示する。これにより、ユーザは、記録デバイス１４０に記録されている撮像画像データの内容を確認することができる。なお、表示装置１３０は、上述した俯瞰表示画像３（図１参照。）を表示するが、詳細は後述する。
記録デバイス１４０は、上記のように撮像された画像データやそのメタデータなど、各種のデータを記録媒体に記録する。記録デバイス１４０は、光ディスクドライブ、ハードディスクドライブ（ＨＤＤ）など、任意の記録装置で構成できる。記録媒体は、例えば、光ディスクや、メモリカード等の半導体メモリ、ハードディスクなどのリムーバブルメディアを使用できる。光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等である。なお、記録媒体は撮像装置１０に内蔵されたものを用いてもよい。
制御部１００は、マイクロコントローラなどで構成され、撮像装置１０の全体の動作を制御する。制御部１００は、例えば、ＣＰＵ１５１、ＥＥＰＲＯＭ１５２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４を備える。なお、ＥＥＰＲＯＭは、「Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ」の略称である。
ＣＰＵ１５１は、上記撮像部１１０のＴＧ１１３や光学部品駆動部１１４を制御して、撮像部１１０による撮像処理を制御する。例えば、ＣＰＵ１５１は、上記撮像光学系１１１の絞りの調整、撮像素子１１２の電子シャッタースピードの設定、アナログ信号処理部１２１のＡＧＣのゲイン設定などにより、自動露光制御を行う。また、ＣＰＵ１５１は、上記撮像光学系１１１のフォーカスレンズの駆動などにより、被写体に対してレンズの焦点を自動的に合焦させオートフォーカス制御を行う。また、ＣＰＵ１５１は、記録デバイス１４０による撮像画像データの記録・再生処理を制御する。さらに、ＣＰＵ１５１は、表示装置１３０に各種の表示データを表示させるための表示制御を行う。なお、ＣＰＵ１５１は、上述した俯瞰表示画像３（図１参照。）の生成処理と、当該俯瞰表示画像３を表示装置１３０に表示させるための表示制御処理を実行するが、詳細は後述する。
制御部１００におけるＲＯＭ１５３には、上記ＣＰＵ１５１の各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ１５１は、該プログラムに基づいて動作して、ＲＡＭ１５４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、撮像装置に内蔵された記憶装置（例えばＲＯＭ１５３等）に予め格納しておくことができる。また、当該プログラムは、ＣＤ、ＤＶＤ、ブルーレイディスク、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介して撮像装置にダウンロードされてもよい。
操作部１６０、表示装置１３０は、ユーザインターフェースとして機能する。操作部１６０は、操作ボタン、タッチパネル等で構成され、ユーザ操作に応じて指示情報を制御部１００に出力する。なお、操作部１６０、表示装置１３０は、撮像装置１０とは別体の機器で構成されもよい。
距離センサ１７０は、撮像対象の被写体と撮像装置１０との距離を測定するためのセンサである。この距離センサ１７０によって、撮像装置１０による撮像中に、被写体として撮像範囲に含まれるオブジェクトと撮像装置１０との距離を測定できる。また、移動軌跡用センサ１７２は、撮像中の撮像装置１０の位置、移動軌跡、姿勢などを測定するためのセンサであり、例えば、角速度センサ、加速度センサ、磁気センサ、ＧＰＳセンサ等で構成される。これらの距離センサ１７０や移動軌跡用センサ１７２は、上記俯瞰表示画像３内の３次元化モデル４や移動軌跡線７を描画するために用いられるが、詳細は後述する。
［撮像装置の機能構成］
次に、図６を参照して、本実施形態にかかる撮像装置１０の機能構成について詳細に説明する。図６は、本実施形態にかかる撮像装置１０の機能構成を示すブロック図である。なお、図６では、本実施形態にかかる特徴である俯瞰表示画像３を表示するための機能部を概略的に示している。
図６に示すように、撮像装置１０は、記憶部２０と、撮像処理部４０と、前処理部５０と、表示画像生成部６０と、表示制御部７０と、表示装置１３０と、操作部１６０と、距離センサ１７０と、移動軌跡用センサ１７２とを備える。このうち、前処理部５０、表示画像生成部６０及び表示制御部７０は、例えば、撮像装置１０にインストールされたソフトウェアにより実現される。即ち、例えば図５に示したＣＰＵ１５１は、ＲＯＭ１５３等に格納されたプログラムに従って動作することによって、前処理部５０、表示画像生成部６０及び表示制御部７０として機能する。なお、該プログラムは、記憶媒体又はネットワークを介して撮像装置１０に提供できる。以下、各部について詳述する。
記憶部２０は、動画像データ２１、サムネイル画像情報２６などの各種情報２１〜３１を記憶する。記憶部２０は、例えば図５に示した記録デバイス１４０、ＥＥＰＲＯＭ１５２などで構成される。
撮像処理部４０は、被写体を撮像して動画像データ２１を得る。撮像処理部４０は、例えば図５に示した撮像部１１０及び信号処理部１２０などで構成される。撮像処理部４０は、撮像した動画像データ２１を記憶部２０に記録する。
前処理部５０は、図１に示したような俯瞰表示画像３を生成するために必要な各種の情報、データを生成する前処理を行う。前処理部５０は、距離推定部５１、台詞推定部５２、移動軌跡推定部５３、３次元形状推定部５４、サムネイル画像抽出部５５、代替画像生成部５６、撮影情報リンク部５７及び被写体推定部５８を有する。
距離推定部５１は、撮像装置１０とオブジェクトとの間の距離関係を推定する処理を行う。上述したように、撮像装置１０には、例えば、レーザー、音又はミリ波レーダー等を利用する距離センサ１７０が搭載されている。この距離センサ１７０は、撮像装置１０による撮像中に、被写体として撮像範囲に含まれるオブジェクトと撮像装置１０との距離を測定する。距離推定部５１は、距離センサ１７０により測定された距離情報と、動画像データ２１を解析した結果に基づき、撮像装置１０から撮像空間内に存在する複数のオブジェクトまでの距離や、オブジェクト相互の距離を推定する。そして、距離推定部５１は、推定した距離情報に基づき、撮像時における撮像装置１０及びオブジェクト相互の位置関係を表す距離マップ２２を生成し、該距離マップ２２を記憶部２０に保存する。なお、撮像装置から対象までの距離を測る方法として、複数のカメラ（撮像部）を用いたストレオ視（両眼立体視）による測距方法がある。距離推定部５１は、当該ストレオ視（両眼立体視）による測距方法を用いて、撮像装置１０から撮像空間内に存在する複数のオブジェクトまでの距離や、オブジェクト相互の距離を推定することも可能である。
台詞推定部５２は、動画像データ２１に付加されている音声データを解析することによって、動画像中で意味のある音声が録音されている画像位置（撮像時刻に対応する。）を検出する。意味のある音声とは、例えば、動画像の内容と関連する音声であり、例えば、人物が話した言葉（台詞）や、物体の効果音などであり、ノイズや環境音などの音声は除かれる。台詞推定部５２は、意味のある音声が録音されている画像位置を表す台詞情報２３を生成して、記憶部２０に保存する。なお、図５に示す撮像装置のブロック図では、撮像時の音声を取得するための音声取得部（マイクロフォンなど）の図示を省略しているが、撮像装置１０は、当該音声取得部を具備することができる。
移動軌跡推定部５３は、移動軌跡用センサ１７２の測定データや動画像データ２１の解析結果に基づいて、動画像を撮像したときの撮像装置１０の移動軌跡及び姿勢を推定する。上述したように、撮像装置１０には、距離センサ１７０が搭載されている。距離センサ１７０は、例えば、角速度センサ、加速度センサ、磁気センサ、ＧＰＳセンサ等である。角速度センサ、加速度センサは、撮像中に撮像装置１０が移動したときの角速度、加速度をそれぞれ検出する。磁気センサは、当該撮像装置１０の周囲の磁場を検出することで、撮像装置１０の向きを検出する。ＧＰＳセンサは、撮像装置１０の位置情報（緯度、経度）を検出する。移動軌跡用センサ１７２は、このように検出した撮像装置１０の角速度、加速度、磁場変動、撮像位置などの測定データを移動軌跡推定部５３に出力する。移動軌跡推定部５３は、かかる測定データと上記動画像データ２１を解析することによって、動画像を撮像したときの撮像装置１０の移動軌跡、姿勢を推定する。そして、移動軌跡推定部５３は、推定した撮像装置１０の移動軌跡、姿勢を表す移動軌跡情報２４を記憶部２０に保存する。
３次元形状推定部５４は、距離マップ２２及び撮像装置１０の移動軌跡情報２４に基づいて、動画像中に含まれているオブジェクト（例えば、図１のテーブル、舞台など）の３次元形状や位置を推定する。動画像中に含まれているオブジェクトとは、撮像時に撮像範囲内に被写体として存在していたオブジェクトである。そして、３次元形状推定部５４は、推定したオブジェクトの３次元形状や位置を表すオブジェクト情報２５を記憶部２５に記憶する。なお、３次元形状推定部５４は、上記推定したオブジェクトの３次元形状や位置に基づいて、それぞれのオブジェクトの３次元化モデル４を生成して、当該３次元化モデル情報を記憶部２０に保存してもよい。
サムネイル画像抽出部５５は、撮像装置１０により撮像された動画像データから、複数のサムネイル画像５を抽出する。サムネイル画像５は、その動画像の特徴画像を表すフレーム画像である。サムネイル画像抽出部５５は、動画像から所定の時間間隔で所定枚数のサムネイル画像５を自動的に抽出してもよいし、停止して撮像したときのサムネイル画像５や画質が綺麗なサムネイル画像５を選択して抽出してもよい。サムネイル画像抽出部５５は、抽出した複数のサムネイル画像５自体、或いは、その画像位置（撮像時刻）を表す情報を、サムネイル画像情報２６として記憶部２０に保存する。
代替画像生成部５６は、上記抽出されたサムネイル画像５の内容又は撮像状況などを表す代替画像を生成する。代替画像は、俯瞰表示画像３において、サムネイル画像５の代わりに表示される画像であり、例えば、アイコン、イラスト、静止画、テキストなどである。サムネイル画像５の撮像状況は、例えば、そのサムネイル画像５を撮像したときの撮像装置１０の向きや、ズーム、フォーカス、露出、画質等のカメラ設定値、撮像装置の移動速度、撮像装置１０の動作状態、手ぶれの状態などである。サムネイル画像５の内容（撮像内容）は、サムネイル画像５中に含まれる被写体に関する情報であり、例えば、被写体の名称、識別情報、動作、サイズ、撮影環境などである。代替画像生成部５６は、サムネイル画像５をアイコン化、イラスト化することによって、サムネイル画像５の内容を表すアイコン、イラスト（例えば、サムネイル画像５に写っている人物の顔のイラスト）を生成できる。代替画像生成部５６は、生成した代替画像２７を記憶部２０に保存する。
撮影情報リンク部５７は、撮像者情報３０及び撮像装置情報３１などを含む撮像情報と、動画像データ２１とを関連づけて撮像情報のリンク情報２８を生成する。撮像者情報３０は、動画像を撮像した人物に関する情報であり、例えば、当該人物の名前、識別情報、動作などを表す情報である。撮像機器情報３１は、動画像データ２１を撮像した撮像装置１０に関する情報であり、例えば、撮像装置１０のメーカー名、機種名、識別情報、カメラ設置値等の撮像条件、撮像装置１０の動作状態、映像の種類、画像のフォーマット、動作などを表す情報である。撮像者情報３０及び撮像機器情報３１は、操作部１６０に対するユーザ操作に基づいて生成されてもよいし、撮像装置１０が自動生成してもよい。
これらの撮像者情報３０及び撮像機器情報３１からなる撮像情報は、動画像データ２１を撮像したときの撮像状況を表す情報であり、動画像データ２１の識別情報又は属性情報として機能する。従って、かかる撮像情報を動画像データ２１に関連付けることで、動画像データを識別したり、動画像データ２１の内容をより的確に把握したりできるようになる。そこで、撮影情報リンク部５７は、撮像情報と動画像データ２１とを関連づけて撮像情報のリンク情報２８を生成し、記憶部２０に保存する。なお、撮像情報は、その内容に応じて、１ｒｅｃの動画像データ２１全体に関連づけられてもよいし、或いは、動画像データ２１の所定の画像単位（例えばフレーム単位）ごとに関連づけられてもよい。後者の場合、各サムネイル画像５にそれぞれ撮像情報を関連づけることができるので、俯瞰表示画像３において、サムネイル画像５とともに当該サムネイル画像５の内容又は撮像状況を表すメタデータを表示できるようになる（図１０参照。）。
被写体推定部５８は、動画像データ２１を解析して、撮像された動画像に含まれる被写体を推定し、被写体情報２９を生成する。被写体情報２９は、動画像に含まれる被写体の名称、動作、サイズ、撮像環境などである。被写体推定部５８は、生成した被写体情報２９を記憶部２０に保存する。
表示画像生成部６０は、上記動画像データ２１と、前処理部５０により生成された各種の情報、データ２２〜２９に基づいて、俯瞰表示画像３を生成する。具体的には、表示画像生成部６０は上記距離マップ２２、移動軌跡情報２４、オブジェクト情報２５などに基づいて、動画像データ２１中に含まれるオブジェクトの３次元化モデル４を配置した仮想３次元空間６を描画する。そして、表示画像生成部６０は移動軌跡情報２４及びサムネイル画像情報２６等に基づいて、仮想３次元空間６において、動画像データ２１から抽出された複数のサムネイル画像５を、その撮像位置にそれぞれ描画する。さらに、表示画像生成部６０は移動軌跡情報２４等に基づいて、当該サムネイル画像５を撮像順に関連づける移動軌跡線７を描画する。この結果、図１に示したように、３次元化モデル４及びサムネイル画像５を含む仮想３次元空間６を俯瞰的に描画した俯瞰表示画像３が生成される。
表示画像生成部３０は、移動軌跡情報２４に基づいて、各サムネイル画像５を撮像したときの撮像装置１０の位置（サムネイル画像５の撮像位置）及び向きを特定し、仮想３次元空間６において各サムネイル画像を当該撮像位置及び向きにそれぞれ描画する。このとき、表示画像生成部６０は、仮想３次元空間６におけるサムネイル画像５及び３次元化モデル４の描画位置に応じて、描画するサムネイル画像５及び３次元化モデル４の大きさを変化させる。例えば、サムネイル画像５の描画位置が仮想３次元空間６の奥側であれば、サムネイル画像５を小さく描画し、手前側であれば、サムネイル画像５を大きく描画する。これにより、斜め上方を視点として仮想３次元空間６を俯瞰表示して、撮像状況を把握し易いようにできる。
なお、表示画像生成部６０は、生成した俯瞰表示画像３を動画像データ２１に関連づけて、記憶部２０に保存してもよい。これにより、同一の動画像データ２１に関し、俯瞰表示画像３を再生成してなくて済むようになる。また、表示画像生成部６０は、台詞情報２３、代替画像２７、撮像情報のリンク情報２８又は被写体情報２９などに基づいて、各種の追加情報を俯瞰表示画像３に描画できるが、その詳細は後述する。
表示制御部７０は、表示画像生成部６０により生成された俯瞰表示画像３を表示するよう表示装置１３０（例えばＬＣＤ）を制御する。これにより、表示装置１３０が俯瞰表示画像３を表示するようになる。なお、表示制御部７０による表示制御、及び、表示画像生成部６０による俯瞰表示画像３の生成は、操作部１６０に対するユーザ操作に応じて実行されてもよいし、設定に応じて自動的に実行されてもよい。
［表示制御フロー］
次に、図７を参照して、本実施形態にかかる撮像装置１０において俯瞰表示画像３を表示する方法について説明する。図７は、本実施形態にかかる俯瞰表示画像３の表示方法を示すフローチャートである。
図７に示すように、まず、撮像装置１０のＣＰＵ１５１は、図６に示した記憶部２０に記憶されている動画像データ２１や、距離センサ１７０及び移動軌跡用センサ１７２の測定データなどを解析する（Ｓ１０）。これにより、図６に示したような各種の情報、データ２２〜２９が得られる。
次いで、ＣＰＵ１５１は、上記距離マップ２２、移動軌跡情報２４、オブジェクト情報２５などに基づいて、撮像された動画像中に存在する複数のオブジェクトの３次元化モデル４を生成する（Ｓ１２）。さらに、ＣＰＵ１５１は、動画像データ２１から、上記所定の抽出基準に従って、複数のサムネイル画像５を抽出する（Ｓ１４）。
その後、ＣＰＵ１５１は、Ｓ１２で生成されたオブジェクトの３次元化モデル４を、そのオブジェクトの実際の位置に対応する位置に配置した仮想３次元空間６を描画する（Ｓ１６）。次いで、ＣＰＵ１５１は、この仮想３次元空間６上に、Ｓ１４で抽出された複数のサムネイル画像５を、該サムネイル画像５を撮像したときの撮像装置１０の位置及び向きにそれぞれ描画する（Ｓ１８）。さらに、ＣＰＵ１５１は、移動軌跡情報２４等に基づいて、当該サムネイル画像５を撮像順に関連づける移動軌跡線７を描画する（Ｓ２０）。このようにして、１回の撮像動作で得られた動画像に関し、３次元化モデル４、サムネイル画像５及び移動軌跡線７を含む仮想３次元空間６を俯瞰的に描画した俯瞰表示画像３（図１参照。）を生成できる。
さらに、ＣＰＵ１５１は、必要に応じて、上記台詞情報２３、代替画像２７、撮像情報のリンク情報２８又は被写体情報２９などに基づいて、俯瞰表示画像３内に追加情報を描画する（Ｓ２２）。例えば、サムネイル画像５に代えて、アイコン、イラスト等の代替画像を描画したり、台詞が検出されたサムネイル画像５にマークを描画したり、サムネイル画像５のメタデータを描画したりしてもよい。
その後、ＣＰＵ１５１は、上記のように生成した俯瞰表示画像３のデータを、表示装置１３０に送信して、表示装置１３０に当該俯瞰表示画像３を表示させる（Ｓ２４）。この結果、図１に示したような俯瞰表示画像３が表示装置１３０に表示され、ユーザは、動画像の撮像内容及び撮像状況を好適に把握できる。
［俯瞰表示画像の表示例］
次に、図８〜図１４を参照して、本実施形態にかかる俯瞰表示画像３の表示例について説明する。なお、以下に説明する俯瞰表示画像３は、上述した撮像装置１０の表示画像生成部６０により生成され、表示制御部７０によって表示装置１３０に表示されるものである。
（１）俯瞰表示と通常再生表示の組合せ（図８）
図８に示すように、表示制御部７０は、上述した俯瞰表示画像３と、通常再生表示画像８とを組み合わせて表示する。ユーザが俯瞰表示画像３中の１つのサムネイル画像５ｃを選択すると、表示制御部７０は、当該選択されたサムネイル画像５ｃに対応する時刻から動画像データ２１を通常再生して、通常再生表示画像８を動画像として再生表示する。これにより、ユーザは、俯瞰表示画像３上で確認したいサムネイル画像５ｃを選択すると、その位置からの通常再生表示の動画像８を見ることができる。よって、撮像された動画像の内容をより的確に把握できる。
また、通常再生表示画像８において再生中の映像や撮像位置は、俯瞰表示画像３上において、他の箇所とは区別できるように表示される。図示の例では、通常再生表示中のサムネイル画像５ｃ上に、矢印状のポインタ１２が描画されている。このため、ユーザは、サムネイル画像５ｃ以降の映像を通常再生表示していることや、その再生位置を認知できる。
（２）俯瞰表示とフィルムロール表示の組合せ（図９）
図９に示すように、表示制御部７０は、上述した俯瞰表示画像３と、フィルムロール表示画像９とを組み合わせて表示する。俯瞰表示画像３のサムネイル画像５ａ〜ｅは、フィルムロール表示画像９のサムネイル画像１１ａ〜ｅとそれぞれ対応している。ユーザが俯瞰表示画像３中の１つのサムネイル画像５ｃを選択することで、表示制御部７０は、フィルムロール表示画像９において、当該選択されたサムネイル画像５ｃに対応するサムネイル画像１１ｃの位置から映像を再生表示する。このように、俯瞰表示画像３とフィルムロール表示画像９を組み合わせることによって、撮像された動画像の内容、特に、時間軸ｔの情報をより分かりやすく表示できる。
また、フィルムロール表示画像９において再生中の映像や撮影位置は、俯瞰表示画像３上において、他の箇所とは区別できるように表示される。図示の例では、俯瞰表示画像３のサムネイル画像５ａと、フィルムロール表示画像９中のサムネイル画像１１ｃがそれぞれ、枠１３、１４で囲まれている。このため、ユーザは、サムネイル画像５ｃ以降の映像を再生表示していることや、その撮像位置を認知できる
（３）俯瞰表示における代替画像、メタデータの表示（図１０）
図１０に示すように、表示制御部７０は、俯瞰表示画像３上に、サムネイル画像５に代えて、アイコン、イラスト、静止画像、テキストなど、サムネイル画像５の内容又は撮像状況を表す代替画像１５を表示することができる。サムネイル画像５又は代替画像１５のいずれを表示するかは、ユーザが任意に選択可能にしてもよいし、サムネイル画像５の大きさに応じて表示画像生成部６０が自動的に決定してもよい。
ここで、代替画像１５の具体例を説明する。例えば、代替画像１５ｂは、サムネイル画像５ｂ中の一部を拡大した静止画像（例えば、サムネイル画像５中の人物の顔のみを切りだした画像）である。また、代替画像１５ｃは、サムネイル画像５ｃの内容を単純化したイラスト（例えば、サムネイル画像５ｃの被写体（舞台）全体のイラスト）である。また、代替画像１５ｄは、撮像装置１０を表すアイコンである。このアイコンは、サムネイル画像５ｂを撮像したときの撮像装置１０の向きを表すように描画されることが好ましい。これにより、ユーザは、アイコンの代替画像１５ｃを見れば、その位置での撮像方向を容易に把握できる。また、代替画像１５としては、サムネイル画像５の内容を表現したテキスト（図示せず。）を表示してもよい。このような代替画像１５ｂ、１５ｃ、１５ｄにより、ユーザがサムネイル画像５の内容を容易に把握できるようになる。
また、俯瞰表示画像３上でサムネイル画像５が小さくなりすぎる場合に、サムネイル画像５に代えて、代替画像１５を表示するようにしてもよい。上述したように、俯瞰表示画像３では、サムネイル画像５を含む仮想３次元空間６は俯瞰的に表示される。このために、表示画像生成部６０は、仮想３次元空間６におけるサムネイル画像５及び３次元化モデル４の描画位置に応じて、描画するサムネイル画像５及び３次元化モデル４の大きさを変化させる。例えば、サムネイル画像５の描画位置が仮想３次元空間６の奥側であれば、サムネイル画像５を小さく描画し、手前側であれば、サムネイル画像５を大きく描画する。これにより、仮想３次元空間６を俯瞰表示して３次元的に表現できる。
しかし、図１に示したように、仮想３次元空間６の奥側に描画されるサムネイル画像５ｂ、５ｃ、５ｄは小さく表示されるため、その内容を把握しにくくなる場合がある。そこで、表示画像生成部６０は、描画されるサムネイル画像５ｂ、５ｃ、５ｄの大きさが所定の大きさ以下となる場合に、当該サムネイル画像５ｂ、５ｃ、５ｄに代えて、上記の代替画像１５ｂ、１５ｃ、１５ｄを自動的に描画する。これにより、俯瞰表示画像３では、小さいサムネイル画像５ｂ、５ｃ、５ｄの内容をシンプルに表現した代替画像１５ｂ、１５ｃ、１５ｄが表示される。従って、ユーザは、俯瞰表示画像３の手前側にある大きいサムネイル画像５ａ、５ｅと、奥側にある分かり易い代替画像１５ｂ、１５ｃ、１５ｄを見て、より容易に撮像内容及び撮像状況を把握できる。
次に、さらに図１０を参照して、サムネイル画像５に関するメタデータ１６の表示について説明する。図１０に示すように、表示制御部７０は、俯瞰表示画像３上に、サムネイル画像５に付随する各種のメタデータ１６を、サムネイル画像５に関連づけて表示する。当該メタデータ１６は、サムネイル画像５の撮像内容又は撮像条件などを表す情報である。例えば、メタデータ１６は、上述した撮像者情報３０（名前、動作など）、撮影機器情報３１（撮像装置１０のメーカー名、機種、識別情報、カメラ設定値、動作など）、被写体情報２９（被写体の名称、サイズ、動作、環境など）などである。図１０の例では、メタデータ１６として、撮像装置１０のメーカー名「メーカーＡ」、機種「ＡＢＣ１２３」、被写体の名称「息子と先生」が表示されている。上記の被写体推定部５８により動画像データ２１やサムネイル画像５を解析して、顔認識処理を行うことで、サムネイル画像５に含まれる被写体の人物を判別できる。これにより、サムネイル画像５のメタデータ１６として、サムネイル画像５内の被写体の名称を表示できる。以上のようなメタデータ１６をサムネイル画像５に関連づけて表示することで、ユーザは、より的確に映像内容や撮像状況を把握できる。
（４）俯瞰表示における移動軌跡線７の表示（図１１、図１２）
図１１に示すように、表示制御部７０は、俯瞰表示画像３において、サムネイル画像５の表示間隔を間引き、その代わりに、撮像装置１０の移動経路情報を表示する。撮像装置１０の移動経路情報は、例えば、複数のサムネイル画像５間を結ぶ移動軌跡線７を使用できる。移動軌跡線７は、仮想３次元空間６における撮像装置１０の移動軌跡を表す線であり、サムネイル画像５を撮像順に結ぶように表示される。この移動軌跡線７は、複数のサムネイル画像５を撮像順に関連づける情報の一例である。表示画像生成部６０は、例えば、上記移動軌跡用センサ１７２により得られた移動軌跡情報２４に基づいて、移動軌跡線７を描画する。このとき、表示画像生成部６０は、仮想３次元空間６においてサムネイル画像５間を移動軌跡線７により撮像順に結ぶようにして、実際の撮像時の撮像装置１０の移動軌跡に沿って移動軌跡線７を描画する。
例えば、移動軌跡線７ａは、サムネイル画像５ａとサムネイル画像５ｂを結び、当該サムネイル画像５ａからサムネイル画像５ｂまでの動画像を撮像したときの撮像装置１０の移動軌跡に沿って描かれる。同様にして、サムネイル画像５ｂと５ｃ間に移動軌跡線７ｂが、サムネイル画像５ｃと５ｄ間に移動軌跡線７ｃが、サムネイル画像５ｄと５ｅ間に移動軌跡線７ｄが描かれる。
このように、俯瞰表示画像３上に多数のサムネイル画像５を表示する代わりに、サムネイル画像５の表示間隔を間引き、サムネイル画像５間を繋ぐ移動軌跡線７（撮像装置１０の経路情報）を表示する。これにより、俯瞰表示画像３上で、冗長なサムネイル画像５や、撮像装置１０の移動中に撮像された見苦しいサムネイル画像５などを排除できるので、俯瞰表示画像３上にサムネイル画像５を分かりやすく表示できる。さらに、移動軌跡線７でサムネイル画像５を結ぶことによって、サムネイル画像５の撮像順（５ａ→５ｂ→５ｃ→５ｄ→５ｅ）を示し、サムネイル画像５相互の関連性を表すことができる。また、仮想３次元空間６において、３次元化モデル４間を縫う様に移動軌跡線７を直線、曲線又は折れ線で描くことにより、動画像を撮像したときの撮像装置１０の移動経路を的確に表現できる。かかる移動軌跡線７により俯瞰表示画像３上でサムネイル画像５を撮像順に関連づけることで、ユーザは、動画像の内容及び撮像状況を、より容易かつ的確に把握できる。
また、仮想３次元空間６上のどの撮像位置でサムネイル画像５を表示し、他の撮像位置で移動軌跡線７を表示するかは、俯瞰表示画像３の分かり易さに影響を与える。例えば、動画像データ２１から所定の時間間隔でサムネイル画像５を抽出した場合には、そのサムネイル画像５に画質が低いものが含まれている可能性がある。そこで、本実施形態では、動画像データ２１から複数のサムネイル画像５を抽出するときに、撮像装置１０を移動させずに停止して撮像したときの手ぶれのない良好なサムネイル画像５や、画質が綺麗なサムネイル画像５を選択して抽出する。これにより、俯瞰表示画像３上に、撮像シーンの基点となるサムネイル画像５（停止して撮像）や、良好な画質のサムネイル画像５を表示できるので、俯瞰表示画像３の分かり易さを向上できる。
次に、図１２を参照して、移動軌跡線７による撮像状況や映像内容の表現について説明する。俯瞰表示画像３上では、撮像装置１０の移動経路情報（例えば移動軌跡線７）を、撮像時の撮像装置１０の動作状況や映像内容に応じて、線種、テキスト等を用いて適切に表現してもよい。例えば、図１２に示すように、サムネイル画像５間を結ぶ移動軌跡線７は、当該サムネイル画像５間の動画像の内容又は撮像状況に応じて、異なる線種で描画されるようにしてもよい。移動軌跡線７の線種とは、例えば、線の形状（直線、点線、波線、ギザギザ線など)、線の色、線の太さ、線の点滅の有無などを含む。以下に、図１２の俯瞰表示画像３の例を参照して、動画像の内容又は撮像状況に応じて、移動軌跡線７の線種を変える例を説明する。
（ａ）撮影時の撮像装置１０の移動速度に応じて線種を変える例
図１２に示すように、サムネイル画像５ａとサムネイル画像５ｂの間には、実線の移動軌跡線７ｅと、点線の移動軌跡線７ｇが表示されている。点線の移動軌跡線７ｇは、その区間の動画像を撮像したときの撮像装置１０の移動速度を表す。例えば、点線が細かいほど、撮像装置１０の移動速度が遅いことを示す。また、実線の移動軌跡線７ｅは、その区間では、撮像装置１０が円滑に移動したことを示す。表示画像生成部６０は、撮像装置１０の移動軌跡や姿勢を表す移動軌跡情報２４（図６参照）に基づいて、各区間の撮像装置１０の移動速度を判定し、該撮像装置１０の移動速度に応じて移動軌跡線７の線種を変える。
（ｂ）映像の手ぶれ状態に応じて線種を変える例
図１２に示すように、サムネイル画像５ｄとサムネイル画像５ｅの間には、ギザギザ線の移動軌跡線７ｆが表示されている。ギザギザ線の移動軌跡線７ｆは、その区間で撮像された動画像の手ぶれ状態を表す。例えば、ギザギザ線のギザギザが大きいほど、手ぶれが大きいことを示す。表示画像生成部６０は、撮像装置１０の移動軌跡や姿勢を表す移動軌跡情報２４（図６参照。）に基づいて、各区間の動画像の手ぶれ状態を判定し、該手ぶれ状態に応じて移動軌跡線７の線種を変える。
（ｃ）映像中の被写体に応じて線種（線の色）を変える例
図示はしないが、移動軌跡線７の色によって、その区間の動画像中に写っている被写体を表現できる。例えば、移動軌跡線７が青色であればＡさんが写り、赤色であればＢさんが写り、青色と赤色のまだらであれば、ＡさんとＢさんが共に写っていることを示す。表示画像生成部６０は、動画像を解析（例えば顔認識）して得られた被写体情報２９（図６参照）に基づいて、各区間の動画像に含まれる被写体を判定し、該被写体に応じて移動軌跡線７の色を変えることができる。
（ｄ）映像中の被写体の重要度に応じて線種（線の太さ）を変える例
図示はしないが、移動軌跡線７の太さによって、その区間の動画像中に写っている被写体の重要度を表現できる。例えば、移動軌跡線７が太いほど、その区間の映像中に写っている被写体の重要度が高いことを示す。例えば、太い線はＣさんが写っていることを示す。表示画像生成部６０は、動画像を解析（例えば顔認識）して得られた被写体情報２９（図６参照）に基づいて、各区間の動画像に含まれる被写体を判定し、該被写体の重要度に応じて移動軌跡線７の太さを変える。被写体の重要度は、例えば、ユーザにより予め設定可能である。
（ｅ）撮像装置１０の動作内容に応じて線種（線の点滅）を変える例
図示はしないが、移動軌跡線７の表示態様（例えば点滅の有無）によって、その区間の動画像を撮像したときの撮像装置１０の動作を表現できる。例えば、移動軌跡線７が点滅していれば、その区間の撮像時に、撮像装置１０のレンズのズーム操作が行われたことを示す。表示画像生成部６０は、撮像時に取得された撮像機器情報３１（図６参照）に含まれるカメラ設置値に基づいて、各区間の撮像装置１０の動作内容を判定し、該動作内容に応じて移動軌跡線７の表示態様（点滅の有無など）を変える。
（ｆ）音声内容に応じて線種（線に付加される付加情報の有無）を変える例
図示はしないが、移動軌跡線７に例えば音符マーク「♪」のような付加情報が付加されているか否かによって、その区間の動画像中に意味のある音声が録音されているか否かを表現できる。例えば、音符マークが付加されていれば、ノイズや環境音以外の意味のある音声（例えば、人が喋った台詞など）が録音されていることを示す。表示画像生成部６０は、音声データを解析して得られた台詞情報２３（図６参照）に基づいて、各区間の音声内容を判定し、該音声内容に応じて移動軌跡線７に付加情報を付加する。
以上、図１２を参照して説明したように、俯瞰表示画像３において、複数のサムネイル画像５間の動画像の内容や撮像状況に応じて、移動軌跡線７の線種を変えて表示する。これにより、ユーザは、動画像の各撮像区間での映像内容や撮像状況を、容易かつ適切に把握できるようになる。
（５）俯瞰表示における複数の動画像の表示（図１３、図１４）
上記例では、１回の連続した撮像動作（１ｒｅｃ）により撮像及び録画された１つのファイルの動画像（１つの動画像ファイル）を、１つの俯瞰表示画像３で俯瞰表示する例について説明した。ここでは、異なる撮像装置１０で撮像された複数の動画像や、異なる時間に撮像された複数の動画像を、１つの俯瞰表示画像１７で表示する例について説明する。
図１３に示すように、表示制御部７０は、１つの俯瞰表示画像１７上に、相異なる複数の撮像装置１０（Ｃａｍｅｒａ１〜４）によって、同じ場所で撮像された複数の動画像のサムネイル画像５ｆ〜ｉを表示することができる。図示の例では、小学校の運動場で運動会が行われたときの模様を表す俯瞰表示画像１７が表示されている。この俯瞰表示画像３では、運動場のトラックの３次元化モデル４ｃを含む仮想３次元空間６が俯瞰的に表示されるとともに、この運動場で、異なる複数の撮像装置１０（Ｃａｍｅｒａ１〜４）により撮像された４つの動画像のサムネイル画像５ｆ〜ｉが表示されている。また、３つのサムネイル画像５ｆ〜ｈは、２００８年の運動会で撮像されたものであるが、１つのサムネイル画像５ｉは、同じ場所で行われた２００７年の運動会で撮像されたものである。
このように、同じ場所で撮像された複数の動画像については、撮像装置１０や撮像日時の異同にかかわらず、１つの俯瞰表示画像１７で同時にサムネイル画像５ｆ〜ｉを表示できる。これにより、１つの場所で、複数回の撮像動作を行って、複数の動画像を録画した場合でも、これら複数の動画像を撮像場所で関連づけて、１つの俯瞰表示画像３に関連づけて表示できる。従って、ユーザは、俯瞰表示画像１７において、録画した複数の動画像の内容や撮像状況を的確に把握できる。また、同じ場所で過去に録画した動画像との比較も可能になる。
さらに、表示制御部７０は、図１３に示す複数の動画像の俯瞰表示画像１７と、図１に示したような１つの動画像の俯瞰表示画像３を切り替えて表示することができる。例えば、ユーザが、図１３の俯瞰表示画像１７に表示された複数のサムネイル画像５ｆ〜ｉのうちから１つのサムネイル画像５ｆを選択したとする。すると、表示制御部７０は、図１３の俯瞰表示画像１７に代えて、当該選択されたサムネイル画像５ｆの動画像について、図１に示したような俯瞰表示画像３を表示する。これにより、ユーザは、図１３の俯瞰表示画像１７で複数の動画像ファイルの全体像を把握し、各動画像ファイルの詳細を図１の俯瞰表示画像３で確認できる。
また、図１４に示すように、表示制御部７０は、空間的に連続した位置で撮像された動画像に関する複数の俯瞰表示画像３ａ〜ｃを連結して、より広範囲な仮想３次元空間６を表す１つの俯瞰表示画像１８を表示することもできる。これにより、ユーザは、複数の動画像ファイルを、さらに容易に把握及び管理できるようになる。以上のような複数の動画像ファイルをまとめた複合的な俯瞰表示画像１７、１８により、複数のユーザが、異なる撮像装置１０を用いて、異なる時間に撮像した複数の動画像ファイルの要旨を、まとめて表示できる。よって、多数の動画像の把握及び管理が容易になる。
以上、図８〜図１４を参照して、本実施形態にかかる俯瞰表示画像３の表示例について説明した。本実施形態にかかる俯瞰表示画像３によれば、ユーザは、撮像装置１０で撮像された動画像全体の撮像内容及び撮像状況を、容易かつ的確に把握することが可能となる。
＜３．第２の実施形態＞
次に、本発明の第２の実施形態にかかる表示制御装置及び方法について説明する。
第２の実施形態は、図１５に示すように、本発明の表示制御装置を情報処理装置２００（例えばパーソナルコンピュータ：ＰＣ）に適用した例である。そして、記録媒体に記録された動画像の再生時におけるプレイバック用途として、情報処理装置２００の表示装置２０９に上記俯瞰表示画像３を表示する。例えば、情報処理装置２００にて、撮像装置１０により撮像及び録画された動画像データを視聴又は編集する際に、当該動画像データに関する俯瞰表示画像３を表示装置２０９に表示させる。さらに、第２の実施形態では、上記俯瞰表示画像３を用いた映像表示方法に、映像再生操作、映像編集、映像検索などの機能を組み合わせた映像再生編集システムが提供される。
［情報処理装置のハードウェア構成］
まず、図１６を参照して、本実施形態にかかる情報処理装置２００のハードウェア構成について説明する。図１６は、本実施形態にかかる情報処理装置２００のハードウェア構成を示すブロック図である。
図１６に示すように、情報処理装置２００は、例えば、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ホストバス２０４と、ブリッジ２０５と、外部バス２０６と、インタフェース２０７とを備える。さらに、情報処理装置２００は、入力装置２０８と、表示装置２０９と、ストレージ装置（ＨＤＤ）２１０と、ドライブ２１１と、接続ポート２１２と、通信装置２１３とを備える。このように情報処理装置２００は、例えば、汎用のコンピュータ機器（例えばＰＣ）を用いて構成できる。
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って動作し、情報処理装置２００内の各部を制御する。このＣＰＵ２０１は、ＲＯＭ２０２に記憶されているプログラム、或いは、ストレージ装置２１０からＲＡＭ２０３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶するとともに、ＣＰＵ２０１からストレージ装置２１０へのアクセスを軽減するためのバッファーとしても機能する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。
入力装置２０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー等の操作手段と、入力信号を生成してＣＰＵ２０１に出力する入力制御回路などから構成されている。表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等で構成される。また、スピーカ等の音声出力装置（図示せず。）も設けられる。
ストレージ装置２１０は、各種のデータを格納するための記憶装置であり、例えば、ＨＤＤなどの外付け型若しくは内蔵型のディスクドライブで構成される。このストレージ装置２１０は、記憶媒体であるハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。ドライブ２１１は、記憶媒体に対してデータを読み書きする駆動装置であり、情報処理装置２００に内蔵、或いは外付けされる。このドライブ２１１は、情報処理装置２００にローディングされた磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に対して、各種データを書き込み／読み出しする。
接続ポート２１２は、外部周辺機器を接続するためのポートであり、例えば、ＵＳＢ、ＩＥＥＥ１３９４等の接続端子を有する。接続ポート２１２は、インタフェース２０７、および外部バス２０６、ブリッジ２０５、ホストバス２０４等を介してＣＰＵ２０１等に接続されている。通信装置２１３は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。この通信装置２１３は、ネットワーク通信機能を備えた外部装置との間で、ネットワークを介して、各種データを送受信する。
例えば、情報処理装置２００は、ネットワーク通信機能を備えた撮像装置１０、その他の機器から、動画像データ２１及びその付随情報を、ネットワークを介して取得することができる。また、情報処理装置２００は、撮像装置１０により動画像データ２１及びその付随情報が記録された記録媒体を介して、当該データ等を取得することもできる。
［情報処理装置の機能構成］
次に、図１７を参照して、本実施形態にかかる情報処理装置２００の機能構成について詳細に説明する。図１７は、本実施形態にかかる情報処理装置２００の機能構成を示すブロック図である。なお、図１７では、本実施形態にかかる特徴である俯瞰表示画像３を表示するための機能部を概略的に示している。
図１７に示すように、情報処理装置２００は、記憶部２０と、前処理部５０と、表示画像生成部６０と、表示制御部７０と、画像処理部８０と、表示装置２０９と、入力装置２０８とを備える。このうち、前処理部５０、表示画像生成部６０、表示制御部７０及び画像処理部８０は、例えば、情報処理装置２００にインストールされたソフトウェアにより実現される。即ち、例えば図１６に示したＣＰＵ２０１は、ＲＯＭ２０２等に格納されたプログラムに従って動作することによって、前処理部５０、表示画像生成部６０、表示制御部７０及び画像処理部８０として機能する。なお、該プログラムは、記録媒体又はネットワークを介して情報処理装置２００に提供される。
また、第２の実施形態にかかる情報処理装置２００（図１７）は、上述した第１の実施形態に係る撮像装置１０（図５）と比べて、上記の撮像処理部４０、距離センサ１７０及び移動軌跡用センサ１７２を具備せず、画像処理部８０を具備している点で相違する。この相違点を除いては、第２の実施形態は第１の実施形態と略同一であるので、共通部分である記憶部２０、前処理部５０、表示画像生成部６０及び表示制御部７０についての重複説明は省略する。
図１７に示すように、情報処理装置２００は、撮像装置１０等の他の機器から、記録媒体又はネットワークなどを介して、動画像データ２１、撮像者情報３０、撮像機器情報３１、及びセンサ測定データ３２を取得し、記憶部２０に記憶する。センサ測定データ３２は、図６で説明した距離センサ１７０や移動軌跡用センサ１７２による測定データである。
前処理部５０は、第１の実施形態と同様にして、動画像データ２１やセンサ測定データ３２などの入力データに基づいて、各種の情報やデータ２２〜２９を生成する。なお、情報処理装置２００が、これらの情報やデータ２２〜２９を撮像装置１０等の外部機器から取得できる場合には、前処理部５０は不要である。
また、撮像装置１０からセンサ測定データ３２を得られない場合、前処理部５０の移動軌跡推定部５３は、動画像データ２１を解析して、撮像時の撮像装置１０の移動軌跡、姿勢などを推定してもよい。また、３次元形状推定部５４は、動画像データ２１を解析して、動画像データ２１が表す映像中に含まれるオブジェクトを特定及び抽出し、その３次元形状、位置等を推定してもよい。
表示画像生成部６０は、第１の実施形態と同様に俯瞰表示画像３を生成し、表示制御部７０は、当該俯瞰表示画像３を表示装置２０９に表示させる。
画像処理部８０は、入力装置２０８に対するユーザの入力操作に応じて、動画像データ２１等の画像を処理（編集、生成、検索など）する。画像処理部８０は、画像編集部８２と、画像検索部８４とを備える。
画像編集部８２は、表示装置２０９に表示された俯瞰表示画像３内のサムネイル画像５又は３次元化モデル４に対するユーザ操作に応じて、動画像データ２１を編集する。これにより、ユーザは、俯瞰表示画像３上で編集対象のサムネイル画像５や３次元化モデル４をドラッグアンドドロップするだけで映像編集できるので、編集作業が容易になる。かかる編集処理の詳細は後述する（図１８、図１９参照）。
また、画像編集部８２は、表示装置２０９に表示された俯瞰表示画像３に対するユーザ操作に応じて、動画像データ２１に基づいて画像を生成する。例えば、画像編集部８２は、俯瞰表示画像３においてユーザが動画像のアングルを指定すると、当該指定されたアングルに応じて、動画像データ２１を加工して、当該アングルから見た動画像データを生成する。かかるアングル変更処理の詳細は後述する（図２０参照）。
画像検索部８４は、表示装置２０９に表示された俯瞰表示画像３内からユーザにより選択された３次元化モデル４と同一又は類似の他の３次元化モデル４や、該３次元化モデル４を含む画像を検索する。画像検索部８４は、３次元化モデル４の形状のみならず、色やサイズを指定した検索も可能である。また、画像検索部８４は、複数の動画像データ２１間で、３次元化モデル４を用いた検索を実行することもできる。かかる検索処理の詳細は後述する（図２１参照）。
［俯瞰表示画像の表示例］
次に、図１８〜図２３を参照して、本実施形態にかかる俯瞰表示画像３の表示例について説明する。撮像装置１０やレコーダ等により録画された動画像を、情報処理装置２００を用いて視聴、編集、検索することは一般的になされている。以下では、かかる動画像の視聴や編集、検索に、俯瞰表示画像３を適用する表示例について説明する。
（１）画像を追加／削除する映像編集（図１８）
図１８に示すように、表示制御部７０は、ある動画像に関する俯瞰表示画像３とともに、追加画像を示すアイコン２２０、２２１や、シーンの選択や削除を示すアイコン２３０、２３１を、表示装置２０９に表示する。追加画像は、動画像又は静止画像のいずれであってもよい。
まず、既存の動画像に対する画像の追加編集について説明する。ユーザは、俯瞰表示画像３上のサムネイル画像５に対して、追加したいシーンの画像を示すアイコン２２０、２２１をドラッグアンドドロップすることで、動画像を編集することができる。編集後の動画像を再生する時には、追加されたシーンの画像が、その順序に従って再生される。
詳細には、図１８に示す例では、俯瞰表示画像３の左側に、オープンニングシーンの画像を示すアイコン２２０と、エンディングシーンの画像を示すアイコン２２１が表示されている。ユーザは、オープンニングシーンのアイコン２２０を先頭のサムネイル画像５ａの上にドラッグアンドドロップし、エンディングシーンのアイコン２２１を最後のサムネイル画像５ａの上にドラッグアンドドロップする。画像編集部８２は、かかるユーザ操作に応じて、サムネイル画像５ａ〜ｅで表される動画像の先頭にオープンニングシーンの画像を追加し、当該動画像の最後にエンディングシーンの画像を追加する。このように、ユーザは、俯瞰表示画像３上での簡単な操作により、映像編集を行うことができる。
次に、動画像内のシーンの選択や削除について説明する。ユーザは、俯瞰表示画像３上のサムネイル画像５を、シーンの選択や削除を示すアイコン２３０、２３１に対して、ドラッグアンドドロップすることで、動画像を編集することができる。編集後の動画像を再生する時には、選択されたシーンが再生され、削除されたシーンは再生されない。
詳細には、図１８に示す例では、俯瞰表示画像３の右側に、シーン選択を示すアイコン２３０と、シーン削除を示すアイコン２３１が表示されている。ユーザは、サムネイル画像５ｃを選択アイコン２３０にドラッグアンドドロップすることで、当該サムネイル画像５ｃを含むシーンを選択する。また、ユーザは、サムネイル画像５ｄを削除アイコン２３１にドラッグアンドドロップすることで、当該サムネイル画像５ｃを含むシーンを削除する。画像編集部８２は、かかるユーザ操作に応じて、サムネイル画像５ｃを含むシーンを残し、サムネイル画像５ｃを含むシーンを削除するように、元の動画像を編集する。かかるサムネイル画像５を用いたシーンの選択・削除では、当該サムネイル画像５を含む所定区間の動画像が選択・削除される。
このように、ユーザは、俯瞰表示画像３上での簡単な操作により、動画像の各シーンを選択・削除して、映像編集を行うことができる。また、編集後は、俯瞰表示画像３上で、削除されたシーンに対応する移動軌跡線７を点線にしたり、当該シーンのサムネイル画像５を半透明にしたりしてもよい。これにより、ユーザは、動画像のうちの一部のシーンが削除されたことを認識できる。
（２）３次元化モデルを用いた映像編集（図１９）
図１９に示すように、表示制御部７０は、ある動画像に関する俯瞰表示画像３とともに、３次元化モデル４の選択又は削除を示すアイコン２４０や、追加したい３次元化モデルのオブジェクトを示すアイコン２４１を、表示装置２０９に表示する。
まず、俯瞰表示画像３からの３次元化モデル４の削除を利用した映像編集について説明する。ユーザは、俯瞰表示画像３上の３次元化モデル４ｄを、３次元化モデルの削除を示すアイコン２４０に対して、ドラッグアンドドロップすることで、動画像を編集することができる。画像編集部８２は、かかるユーザ操作に応じて、削除された３次元化モデル４に対応するオブジェクトの画像部分を削除し、削除部分の周囲の画像や、前後の時間の画像を利用して、適切な画像を補完する。この結果、編集後の動画像を再生する時には、削除された３次元化モデル４ｄに対応するオブジェクト（図の例では、右奥のテーブル）の画像は表示されず、その空いた箇所には、周囲の時間、空間の情報を使った適切な画像が描画されて表示される。このように３次元化モデル４を利用して映像編集することで、撮影時に写ってしまった邪魔な人や物などを簡単に選択して削除できる。
次に、俯瞰表示画像３への３次元化モデル４の追加を利用した映像編集について説明する。ユーザは、俯瞰表示画像３上の任意の箇所に、追加したい３次元化モデルのオブジェクトを示すアイコン２４１をドラッグアンドドロップすることで、動画像を編集することができる。画像編集部８２は、かかるユーザ操作に応じて、追加された３次元化モデル４に対応するオブジェクトの画像（図示の例では、クリスマスツリー）を、指定された位置に描画する。この結果、編集後の動画像を再生する時には、追加された３次元化モデル４に対応する画像が、ドロップされた位置に描画され、当該画像が追加されることで隠れてしまう箇所の背景画像は描画されない。
次に、３次元化モデル４の移動を利用した映像編集について説明する。ユーザは、俯瞰表示画像３の任意の箇所に、俯瞰表示画像３中の任意の３次元化モデル４ａを、所望の位置にドラッグアンドドロップすることで、動画像を編集することができる。画像編集部８２は、かかるユーザ操作に応じて、移動された３次元化モデル４ａに対応するオブジェクト（図示の例では左上のテーブル）の画像を、元の位置では削除し、異動先の位置に描画する。画像編集部８２は、元の位置では、削除部分の周囲の画像や前後の時間の画像を利用して、適切な画像を補完する。この結果、編集後の動画像を再生する時には、移動された位置に３次元化モデル４ａのオブジェクトが描画され、元の位置には描画されない。
このように、ユーザは、俯瞰表示画像３上での簡単な操作により、３次元化モデル４を追加・削除・移動して、映像編集を行うことができる。
（３）アングル指定による映像編集（図２０）
図２０に示すように、ユーザは、俯瞰表示画像３上で、アングル指定矢印２５０を調整することで、動画像が撮像された時のアングル（矢印２５０）とは異なるアングル（矢印２５１）を指定することができる。アングルは、被写体を撮像するときのカメラアングル（視点）である。が画像編集部８２は、指定されたアングルに応じて、動画像データ２１を画像処理して、当該アングルから見た動画像データを生成する。この結果、映像再生時には、その指定されたアングルから見た動画像（通常再生表示画像８）が生成され、表示される。このように、ユーザは、俯瞰表示画像３を見ながら、所望するアングルを容易に指定でき、情報処理装置２００は当該アングルを視点とした動画像を生成して表示できる。これにより、違うアングルからの動画像を見ることで、ユーザは、動画像の内容及び撮像状況を、より的確に把握できる。
（４）３次元化モデルを用いた画像検索（図２１）
図２１に示すように、ユーザは、俯瞰表示画像３上の任意の３次元化モデル４ａを選択し、該３次元化モデル４ａと同一又は類似の３次元化モデル４ｅ〜４ｉを検索することができる。詳細には、まず、ユーザは、俯瞰表示画像３上の１つの３次元化モデル４ａを選択する。すると、画像検索部８４は、選択された３次元化モデル４ａを検索ウィンドウ２６１に表示する。ユーザが検索ボタン２６２を押下すると、画像検索部８４は、選択された３次元化モデル４ａと類似する３次元化モデル４ｅ〜４ｉを検索し、さらに、動画像全体の中から、当該検索された３次元化モデル４ｅ〜４ｉが表すオブジェクトを含む画像部分を検索する。これにより、ユーザは、所望のオブジェクト（被写体）が写っている映像を容易に検索できる。
さらに、３次元化モデル４の形状だけでなく、３次元化モデル４の色やサイズなどを指定して、類似する３次元化モデル４を含む画像を検索することもできる。さらに、複数の動画像にまたがって、３次元化モデル４を用いて類似画像を検索することも可能である。
また、ユーザは、俯瞰表示画像３上の任意の３次元化モデル４を選択し、該３次元化モデル４にメタ情報を付加することができる。画像検索部８４は、そのメタ情報に基づいて、関連する３次元化モデル４を検索し、その３次元化モデル４を含む画像を検索することができる。さらに、複数の動画像にまたがって、３次元化モデル４のメタ情報を用いて類似画像を検索することも可能である。
以上のように、俯瞰表示画像３は、動画像内のオブジェクトの３次元化モデル４を表示しており、この３次元化モデル４は、検索条件として好適に利用できる。３次元化モデル４を検索条件として、類似画像や関連画像を検索することで、ユーザは、所望の画像を容易かつ迅速に発見できる。
（５）移動体を含む被写体の俯瞰表示（図２２、図２３）
図２２は、移動体（例えば電車）を含む被写体を定点撮像した場合の俯瞰表示画像３を示す。ここで、移動体は、例えば、図示のような乗り物（例えば電車）、動物、人物などである。表示制御部７０は、移動体の３次元化モデル４ｊ及び他のオブジェクト（例えば高架橋）の３次元化モデル４ｋとともに、任意の撮影時刻での１つのサムネイル画像５ｊを含む俯瞰表示画像３を表示する。このとき、動画像中において時間の経過とともに移動体が移動するため、俯瞰表示画像３において、移動体の３次元化モデル４ｊを仮想３次元空間６内のどの位置に描画するかが問題となる。
図示の例では、表示画像生成部６０は、移動体の３次元化モデル４ｊを、ある撮像時刻における位置に描画し、その撮像時刻のサムネイル画像５ｊを描画している。この場合、表示画像生成部６０は、動画像全体に基づいて、当該撮像時刻のサムネイル画像５ｊには写っていない移動体の部分２７１も補完して、当該移動体の３次元化モデル４ｊを描画する。図２２の実線の楕円で囲んだ部分２７２が、移動体の３次元化モデル４ｊの補完された部分である。これにより、ユーザは、定点撮像された動画像の内容、特に、移動体の位置、大きさなどを好適に把握できる。
さらに、図２３に示すように、ユーザは、ポインタ２７３を用いて、俯瞰表示画像３上の移動体の３次元化モデル４ｊを選択し、該３次元化モデル４ｊをドラッグする（即ち、移動させる）ことで、通常再生表示画像８における再生時刻を制御することができる。
つまり、上記のように移動体を撮像した場合、動画像内における移動体の位置と再生時刻は関連性がある。そこで、表示制御部７０は、俯瞰表示画像３において、ユーザにより移動体の３次元化モデル４ｊが移動されると、当該３次元化モデル４ｊの位置や移動される向き、移動速度に応じて、通常再生表示画像８における再生時刻や、再生方向、再生速度を制御する。図２３の例では、３次元化モデル４ｊを右から左に移動させれば、正の再生方向で、通常再生表示画像８が再生される。このように、移動体の３次元化モデル４の移動と、通常再生表示を連動させることで、ユーザは、簡単な操作で所望の再生時刻、再生方向、再生速度で動画像を通常再生表示することができるので、その動画像の内容を好適に把握できる。
＜効果＞
以上、本発明の第１及び第２の実施形態にかかる俯瞰表示画像を表示するための表示制御装置及び表示方法について説明した。従来の通常再生表示（図２）やフィルムロール表示（図３）では、動画像の撮像内容の把握に時間と労力を要するだけでなく、撮像状況を把握できないという問題があった。
これに対して、本実施形態にかかる俯瞰表示画像３によれば、仮想３次元空間６上にオブジェクトの３次元化モデル４が現実の位置に描画されるとともに、複数のサムネイル画像５が撮像されたときの位置及び向きで描画される。さらに、サムネイル画像５を関連づける情報として、複数のサムネイル画像５間を撮像順に結ぶ移動軌跡線７が、撮像装置１０の移動軌跡に沿って描画される。そして、俯瞰表示画像３では、これらのサムネイル画像５及び３次元化モデル４を含む仮想３次元空間６が俯瞰的に表示され、撮像装置１０の移動経路、サムネイル画像５相互の関連性などにより、撮像内容及び撮像状況が分かりやすい。
従って、ユーザは、撮像された映像（動画像）の内容は勿論のこと、撮像状況も容易かつ瞬時に把握することが可能となる。従って、ユーザは、撮像装置１０により録画された複数の映像を、効率良く分類、整理、編集できる。よって、ユーザの手元には大量の映像がストックされ、ユーザがそれらを持て余しているような現状を打破することができる。
また、映像の内容把握に留まらず、映像編集においても、ドラッグアンドドロップといった簡単なユーザ操作により、映像の再生、検索、編集作業などを、非常に容易かつ短時間で実行できる。従って、今まで作業が大変だという理由で、編集作業を躊躇していたユーザも、手軽に利用できるようになる。
今後の撮像装置１０の進化の方向性として、３次元情報の取得機能が加わることは確実に予想されることであり、本実施形態にかかる映像表示方法は、当該機能との親和性も非常に高い。また、近年の情報処理装置や画像解析技術の進歩によって、映像から３次元情報を自動的に抽出する能力も上がってきている。従って、本実施形態にかかる映像表示方法は、撮影時に３次元情報が取得されていない従来の映像資産についても対応することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、表示制御装置を撮像装置１０（デジタルビデオカメラ）や情報処理装置２００（ＰＣ）に適用したがとしたが、本発明はかかる例に限定されない。例えば、本発明の表示制御装置は、デジタルスチルカメラ、監視カメラなどの各種の撮像装置や、カメラ付き携帯電話など、撮像機能を備えた任意の機器に適用することもできる。また、撮像機能を備えていなくても、映像再生機能を有する機器であれば、任意の電子機器に適用できる。例えば、ブルーレイディスク／ＤＶＤ／ＨＤＤプレーヤなどの映像記録再生装置、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯側映像プレーヤ、ゲーム機、テレビジョン受像器などである。
また、上記実施形態では、個人ユーザがパーソナルコンテンツを撮影する場合（セルフレコーディング映像）について説明したが、本発明の俯瞰表示方法は、放送番組や映像メディアの製作にも適用でき、本発明を適用できる分野は広範に渡る。
また、本発明の俯瞰表示画像３を表示する機器は、２次元モニタに限られない。例えば、３次元モニタを使用すれば、より立体的に俯瞰表示画像を表現できる。
また、上記実施形態では、サムネイル画像５を撮像順に関連づける情報として、移動軌跡線７を表示したが、本発明はかかる例に限定されない。例えば、当該情報として、サムネイル画像５の撮像順を表すテキスト情報を表示してもよいし、俯瞰表示画像３内でマーク、アイコンなどを撮像装置１０の移動経路に沿って移動するように表示させてもよい。
本発明の一実施形態にかかる俯瞰表示画像を表示した表示装置を示す図である。 同実施形態にかかる通常再生表示画像を表示した表示装置を示す図である。 同実施形態にかかるフィルムロール表示画像を表示した表示装置を示す図である。 本発明の第１の実施形態にかかる俯瞰表示画像を表示する撮像装置を示す図である。 同実施形態にかかる撮像装置のハードウェア構成を示すブロック図である。 同実施形態にかかる撮像装置の機能構成を示すブロック図である。 同実施形態にかかる俯瞰表示画像の表示方法を示すフローチャートである。 同実施形態にかかる俯瞰表示画像の表示例１を示す図である。 同実施形態にかかる俯瞰表示画像の表示例２を示す図である。 同実施形態にかかる俯瞰表示画像の表示例３を示す図である。 同実施形態にかかる俯瞰表示画像の表示例４を示す図である。 同実施形態にかかる俯瞰表示画像の表示例５を示す図である。 同実施形態にかかる俯瞰表示画像の表示例６を示す図である。 同実施形態にかかる俯瞰表示画像の表示例７を示す図である。 本発明の第２の実施形態にかかる俯瞰表示画像を表示する情報処理装置を示す図である。 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる俯瞰表示画像の表示例１を示す図である。 同実施形態にかかる俯瞰表示画像の表示例２を示す図である。 同実施形態にかかる俯瞰表示画像の表示例３を示す図である。 同実施形態にかかる俯瞰表示画像の表示例４を示す図である。 同実施形態にかかる俯瞰表示画像の表示例５を示す図である。 同実施形態にかかる俯瞰表示画像の表示例６を示す図である。
符号の説明
１、１３０、２０９ 表示装置
２ 表示画面
３、１７、１８ 俯瞰表示画像
４ ３次元化モデル
５ サムネイル画像
６ 仮想３次元空間
７ 移動軌跡線
８ 通常再生表示画像
９ フィルムロール表示画像
１０ 撮像装置
２０ 記憶部
２１ 動画像データ
４０ 撮像処理部
５０ 前処理部
６０ 表示画像生成部
７０ 表示制御部
８０ 画像処理部
８２ 画像編集部
８４ 画像検索部
１、１３０、２０９ 表示装置
１７０ 距離センサ
１７２ 移動軌跡用センサ
２００ 情報処理装置

Claims (12)

  1. 撮像装置により撮像された動画像を記憶する記憶部と、
    前記動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間を表示する表示画像を生成する表示画像生成部と、
    を備え、
    前記記憶部は、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報を記憶し、
    前記表示画像生成部は、前記移動軌跡情報に基づいて、前記仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画する、表示制御装置。
  2. 前記動画像は、前記撮像装置による１回の連続した撮像動作により撮像され、
    前記表示画像は、前記仮想３次元空間において、前記動画像から抽出された前記複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するとともに、前記サムネイル画像を撮像順に関連づける情報を描画し、前記３次元化モデル及び前記サムネイル画像を含む前記仮想３次元空間を俯瞰的に描画した俯瞰表示画像であり、
    前記記憶部は、前記動画像の付加情報として、前記移動軌跡情報を記憶する、請求項１に記載の表示制御装置。
  3. 前記サムネイル画像を撮像順に関連づける情報は、前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡線であり、
    前記表示画像生成部は、前記移動軌跡情報に基づいて、前記仮想３次元空間において前記サムネイル画像を撮像順に結ぶように前記移動軌跡線を描画する、請求項２に記載の表示制御装置。
  4. 前記表示画像生成部は、前記サムネイル画像間を結ぶ前記移動軌跡線を、当該サムネイル画像間の前記動画像の内容又は撮像状況に応じて異なる線種で描画する、請求項３に記載の表示制御装置。
  5. 前記表示画像生成部は、少なくとも一部の前記サムネイル画像の描画位置に、当該サムネイル画像に代えて、当該サムネイル画像の内容又は撮像状況を表す代替画像を描画する、請求項１に記載の表示制御装置。
  6. 前記表示画像生成部は、
    前記仮想３次元空間における前記サムネイル画像の描画位置に応じて、描画する前記サムネイル画像の大きさを変化させ、
    描画される前記サムネイル画像の大きさが所定の大きさ以下となる場合に、当該サムネイル画像に代えて前記代替画像を描画する、請求項５に記載の表示制御装置。
  7. 前記表示画像生成部は、前記仮想３次元空間において、前記サムネイル画像に関するメタデータを当該サムネイル画像に関連づけて描画する、請求項１に記載の表示制御装置。
  8. 前記表示部に表示された前記俯瞰表示画像内の前記サムネイル画像又は前記３次元化モデルに対するユーザ操作に応じて、前記動画像を編集する画像編集部をさらに備える、請求項２に記載の表示制御装置。
  9. 前記表示部に表示された前記俯瞰表示画像におけるアングルの指定に応じて、当該指定されたアングルから見た動画像を生成する画像編集部をさらに備える、請求項２に記載の表示制御装置。
  10. 前記表示部に表示された前記俯瞰表示画像内から選択された前記３次元化モデルと同一又は類似の３次元化モデル、又は、当該３次元化モデルに対応するオブジェクトを含む画像を検索する画像検索部をさらに備える、請求項２に記載の表示制御装置。
  11. 撮像装置により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間を表示する表示画像を生成するステップと、
    前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報に基づいて、前記仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するステップと、
    を含む、表示制御方法。
  12. 撮像装置により撮像された動画像中に含まれるオブジェクトの３次元化モデルを配置した仮想３次元空間を表示する表示画像を生成するステップと、
    前記動画像を撮像したときの前記撮像装置の移動軌跡を表す移動軌跡情報に基づいて、前記仮想３次元空間において、前記動画像から抽出された複数のサムネイル画像を、当該サムネイル画像を撮像したときの前記撮像装置の位置にそれぞれ描画するステップと、
    をコンピュータに実行させるためのプログラム。
JP2008264112A 2008-10-10 2008-10-10 表示制御装置、表示制御方法及びプログラム Expired - Fee Related JP4760892B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008264112A JP4760892B2 (ja) 2008-10-10 2008-10-10 表示制御装置、表示制御方法及びプログラム
US12/565,032 US8422857B2 (en) 2008-10-10 2009-09-23 Display control apparatus, display control method, and program
CN2009101793654A CN101729781B (zh) 2008-10-10 2009-10-10 显示控制设备和显示控制方法
CN201310337384.1A CN103491331B (zh) 2008-10-10 2009-10-10 显示控制设备、显示控制方法
US13/800,482 US9113134B2 (en) 2008-10-10 2013-03-13 Display control apparatus, display control method, and program
US14/743,210 US20150287436A1 (en) 2008-10-10 2015-06-18 Display control apparatus, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008264112A JP4760892B2 (ja) 2008-10-10 2008-10-10 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010093713A JP2010093713A (ja) 2010-04-22
JP4760892B2 true JP4760892B2 (ja) 2011-08-31

Family

ID=42131516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008264112A Expired - Fee Related JP4760892B2 (ja) 2008-10-10 2008-10-10 表示制御装置、表示制御方法及びプログラム

Country Status (3)

Country Link
US (3) US8422857B2 (ja)
JP (1) JP4760892B2 (ja)
CN (2) CN103491331B (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8044991B2 (en) * 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method
US8977528B2 (en) * 2009-04-27 2015-03-10 The Boeing Company Bonded rework simulation tool
US9108738B1 (en) 2009-05-19 2015-08-18 The Boeing Company Apparatus for refueling aircraft
US8568545B2 (en) * 2009-06-16 2013-10-29 The Boeing Company Automated material removal in composite structures
JP2011082688A (ja) * 2009-10-05 2011-04-21 Canon Inc 静止画抽出装置及び静止画抽出方法
JP2011188342A (ja) * 2010-03-10 2011-09-22 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2011132472A1 (ja) * 2010-04-22 2011-10-27 シャープ株式会社 電子機器、表示方法、および表示プログラムを記憶するコンピュータ読取可能な記録媒体
JP5562208B2 (ja) * 2010-11-01 2014-07-30 キヤノン株式会社 撮像装置及びその制御方法
JP5845801B2 (ja) * 2011-10-18 2016-01-20 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
JP6041535B2 (ja) * 2012-05-29 2016-12-07 株式会社トプコン 画像取得方法及び撮影装置
JP5984181B2 (ja) * 2012-09-11 2016-09-06 ポールトゥウィン・ピットクルーホールディングス株式会社 モーションキャプチャ装置及びそのプログラム
KR20140100784A (ko) * 2013-02-07 2014-08-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
JP6395522B2 (ja) * 2014-09-03 2018-09-26 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP6650689B2 (ja) * 2015-06-04 2020-02-19 キヤノン株式会社 サムネイル画像作成装置、３次元造形システム
CN105163021B (zh) * 2015-07-08 2019-01-29 成都西可科技有限公司 一种运动相机的视频标记方法
JP6634723B2 (ja) * 2015-07-30 2020-01-22 株式会社リコー 情報処理システム
WO2017134786A1 (ja) * 2016-02-04 2017-08-10 三菱電機株式会社 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
JP6084728B1 (ja) * 2016-04-08 2017-02-22 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP6742869B2 (ja) * 2016-09-15 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法
KR20180074369A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
US11482256B2 (en) 2017-01-16 2022-10-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video replaying
CN106657857B (zh) * 2017-01-16 2019-05-24 浙江大华技术股份有限公司 一种摄像机的录像回放方法、录像方法及其装置
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
JP2019050444A (ja) * 2017-09-07 2019-03-28 オリンパス株式会社 データ編集のためのインターフェイス装置、キャプチャ装置、画像処理装置、データ編集方法及びデータ編集プログラム
JP7316105B2 (ja) 2019-06-14 2023-07-27 日本放送協会 映像修正装置、及びプログラム
JP7326446B2 (ja) * 2019-07-19 2023-08-15 富士フイルム株式会社 画像表示装置、方法及びプログラム
CN110427724A (zh) * 2019-08-12 2019-11-08 深圳市艾伯信息科技有限公司 基于WebGL三维消防建筑模型可视化方法
WO2021132168A1 (ja) * 2019-12-26 2021-07-01 株式会社Ｎｔｔドコモ 画像表示装置
JP7171637B2 (ja) * 2020-03-11 2022-11-15 株式会社竹中工務店 画像表示システム、及び画像表示プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122638A (ja) * 1997-10-15 1999-04-30 Oki Electric Ind Co Ltd 画像処理装置および画像処理方法ならびに画像処理プログラムが記録されたコンピュータ読み取り可能な情報記録媒体
US6160553A (en) * 1998-09-14 2000-12-12 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided
US20040128317A1 (en) * 2000-07-24 2004-07-01 Sanghoon Sull Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images
US6882350B2 (en) * 2000-08-07 2005-04-19 Sony Corporation Information processing apparatus, information processing method, program storage medium and program
DE60119062T2 (de) * 2000-10-31 2006-11-30 Matsushita Electric Industrial Co., Ltd., Kadoma Navigationsvorrichtung
JP2003150620A (ja) * 2001-11-09 2003-05-23 Fujitsu Ltd 位置情報と時間情報を用いた対話的データ絞込み方法およびデータ検索装置
KR100478460B1 (ko) * 2002-05-30 2005-03-23 주식회사 아이큐브 멀티 컨텐츠 파일 무선 수신기와 그 수신기에서의 데이터출력방법
US6906643B2 (en) * 2003-04-30 2005-06-14 Hewlett-Packard Development Company, L.P. Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia
JP4168837B2 (ja) * 2003-06-03 2008-10-22 ソニー株式会社 情報生成装置、記録装置、再生装置、記録再生システムおよびその方法ならびにプログラム
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
JP2005210177A (ja) * 2004-01-20 2005-08-04 Pioneer Electronic Corp 記録再生装置及びダビング方法
AU2004240229B2 (en) * 2004-12-20 2011-04-07 Canon Kabushiki Kaisha A radial, three-dimensional, hierarchical file system view
US9082456B2 (en) * 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
JP2006309722A (ja) * 2005-03-31 2006-11-09 National Institute Of Information & Communication Technology 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム
JP4525558B2 (ja) 2005-11-08 2010-08-18 ソニー株式会社 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
US7823068B2 (en) * 2006-02-28 2010-10-26 Mark Anthony Ogle Cowtan Internet-based, dual-paned virtual tour presentation system with orientational capabilities and versatile tabbed menu-driven area for multi-media content delivery
JP4945236B2 (ja) * 2006-12-27 2012-06-06 株式会社東芝 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
JP2008166988A (ja) 2006-12-27 2008-07-17 Sony Corp 情報処理装置および方法、並びにプログラム
JP5092469B2 (ja) * 2007-03-15 2012-12-05 ソニー株式会社 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP5614037B2 (ja) * 2007-03-26 2014-10-29 株式会社ニコン 画像表示装置、および画像表示用プログラム
US8140996B2 (en) * 2007-04-17 2012-03-20 QNX Software Systems Limtied System for endless loop scrolling and display
US8732161B2 (en) * 2007-04-27 2014-05-20 The Regents Of The University Of California Event based organization and access of digital photos
US8922650B2 (en) * 2007-07-13 2014-12-30 Logitech Europe S.A. Systems and methods for geographic video interface and collaboration
JP4752827B2 (ja) * 2007-09-04 2011-08-17 ソニー株式会社 地図情報表示装置、地図情報表示方法、及びプログラム
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US7948502B2 (en) * 2008-05-13 2011-05-24 Mitac International Corp. Method of displaying picture having location data and apparatus thereof

Also Published As

Publication number Publication date
US20150287436A1 (en) 2015-10-08
US8422857B2 (en) 2013-04-16
CN101729781A (zh) 2010-06-09
US20100111501A1 (en) 2010-05-06
CN103491331B (zh) 2017-04-12
JP2010093713A (ja) 2010-04-22
US20130209062A1 (en) 2013-08-15
CN103491331A (zh) 2014-01-01
CN101729781B (zh) 2013-09-04
US9113134B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
JP4760892B2 (ja) 表示制御装置、表示制御方法及びプログラム
US10902676B2 (en) System and method of controlling a virtual camera
US9361010B2 (en) Imaging device, image processing method, and program thereof
JP4618166B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN101945212B (zh) 图像捕获设备、图像处理方法
JP3708854B2 (ja) メディア作品制作支援装置及びプログラム
CN101263706A (zh) 摄像装置、记录方法
US11818467B2 (en) Systems and methods for framing videos
KR20090131220A (ko) 영상 장치 및 그 제어 방법
JP2008131617A (ja) 映像処理装置
JP2006060652A (ja) デジタルスチルカメラ
JP2008199330A (ja) 動画像管理装置
WO2017022296A1 (ja) 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
JP2009267773A (ja) 映像編集装置、撮影装置および映像編集方法
JP5369776B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP2009118040A (ja) 画像検索装置および画像検索方法
JP2005184348A (ja) 映像処理装置および代表画像設定方法
JP5368614B2 (ja) 画像検索装置および画像検索方法
JP3426997B2 (ja) 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体
JP5665380B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体
JP2004241834A (ja) 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体
WO2022030275A1 (ja) 撮像装置、情報処理装置、情報処理方法、及びプログラム
JP4673916B2 (ja) 情報処理装置、情報処理方法及び情報処理用プログラム
JP2005175533A (ja) 映像処理装置および代表画像設定方法
JP2005175532A (ja) 映像処理装置および代表画像設定方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4760892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees