JP4262620B2

JP4262620B2 - 撮像装置および画像再生装置

Info

Publication number: JP4262620B2
Application number: JP2004089178A
Authority: JP
Inventors: 紳造松井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-03-25
Filing date: 2004-03-25
Publication date: 2009-05-13
Anticipated expiration: 2024-03-25
Also published as: JP2005277857A

Description

本発明は、被写体の像を光電変換することにより被写体を撮影し、撮影した画像を記録すると共に、画像を再生する画像記録再生装置に関する。また、画像記録再生装置において用いられる、被写体を撮影するための撮像装置、画像を記録する記録媒体、画像を再生する画像再生装置にも関する。

従来、複数の画像を表示する技術が開示されている。例えば、特許文献１には、全体画像の一部を他の画像に切り替える技術が記載されている。また、特許文献２には、インターネットからの情報として適宜に必要な部分画像を取り出して、この部分画像とインターディスク上の記憶固定された情報とを同期合成して表示させる技術が記載されている。
特開平５−３１４２２８号公報特開平１１−９８４６７号公報

しかし、撮像装置によって撮像された動画像の全体（全体画像）から一部の部分画像（切出し画像）を切り出し、全体の動画像と部分画像とを同期させて表示する技術の開示はなされていなかった。このため、例えば、複数の被写体を含む全体画像と、特定の被写体のみに注目した切出し画像とを両方表示させて鑑賞したいというユーザの要求に応えることができなかった。

本発明は、上述した問題点に鑑みてなされたものであって、動画像の全体画像とその一部分の切出し画像とを同期させて再生することができる画像記録再生装置、撮像装置、記録媒体および画像再生装置を提供することを目的とする。

本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報と、撮像領域における撮像状態に関する撮像領域情報とを生成する撮像手段と、前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する第１の位置情報を出力する注目点検出手段と、前記撮像手段によって生成された前記撮像情報および前記撮像領域情報と、前記第１の位置情報と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記撮像領域情報、前記第１の位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、を具備することを特徴とする撮像装置である。

請求項２に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報と、撮像領域における撮像状態に関する撮像領域情報とを生成する撮像手段と、前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する第１の位置情報を出力する注目点検出手段と、前記撮像領域情報と前記第１の位置情報とに基づいて、前記第１の位置情報に係る座標系と、前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第１の位置情報を、前記撮像手段に固有の座標系における第２の位置情報に変換する関係情報生成手段と、前記撮像手段によって生成された前記撮像情報と、前記第２の位置情報と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記第２の位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、を具備することを特徴とする撮像装置である。

請求項３に記載の発明は、請求項２に記載の撮像装置において、前記注目点検出手段および前記関係情報生成手段を複数具備することを特徴とする。

請求項４に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報と、撮像領域における撮像状態に関する撮像領域情報とを生成する撮像手段と、前記被写体の位置を連続的に検出し、該位置の連続的な変化に関する第１の位置情報を出力する注目点検出手段と、前記撮像領域情報と前記第１の位置情報とに基づいて、前記第１の位置情報に係る座標系と前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第１の位置情報を第２の位置情報に変換する関係情報生成手段と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報および前記第２の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、前記撮像情報と、前記切出し画像を示す切出し画像情報と、前記同期情報とを含み、前記撮像情報、前記切出し画像情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、を具備することを特徴とする撮像装置である。

請求項５に記載の発明は、請求項４に記載の撮像装置において、前記注目点検出手段、前記関係情報生成手段、前記画像切出し手段を複数具備することを特徴とする。

請求項６に記載の発明は、被写体を含み連続的に撮影された全体画像を示す撮像情報と、撮像領域における撮像状態を示す撮像領域情報と、前記被写体の連続的な位置の変化に関する第１の位置情報と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報とが記録された記録媒体から、前記撮像情報と前記撮像領域情報と前記第１の位置情報と前記同期情報とを読み出す読出手段と、前記撮像領域情報と前記第１の位置情報とに基づいて、前記第１の位置情報に係る座標系と、撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第１の位置情報を、前記撮像手段に固有の座標系における第２の位置情報に変換する関係情報生成手段と、前記第２の位置情報に基づいて、前記全体画像からの画像の切出し位置を算出する切出し位置算出手段と、前記切出し位置算出手段によって算出された前記切出し位置および前記同期情報に基づいて、前記全体画像中の各画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、前記撮像情報に基づいて、前記全体画像を再生するための全体画像信号を生成すると共に、前記切出し画像を示す切出し画像情報に基づいて、前記切出し画像を再生するための切出し画像信号を生成し、前記同期情報に基づいて、前記全体画像信号および前記切出し画像信号を出力する再生手段と、を具備することを特徴とする画像再生装置である。

本発明によれば、同期情報に基づいて切出し画像の切出しと全体画像および切出し画像の再生とを制御するようにしたので、動画像の全体画像とその一部分の切出し画像とを同期させて再生および表示することができるという効果が得られる。

以下、図面を参照し、本発明を実施するための最良の形態について説明する。まず、以下の全ての実施形態で用いられる用語を以下のように定義する。
注目対象：カメラで撮影し、画像を出力させたい対象物や人、あるいはその一部を示す。
注目点：注目対象に含まれる点、あるいは注目対象近傍の点であり、後述するＧＰＳセンサ等のセンサの検出対象を示す。これは点に限定されるものではなく、検出方法によっては所定の範囲を有する場合もある。

フィールド空間：注目対象が存在する空間であり、センサ等によって、注目対象が含まれる位置を示す位置情報を検出することができる空間（領域）を示す。
フィールド座標：フィールド空間内に存在する注目点等の位置を、フィールド空間内の所定の基準位置に対する相対的な位置の位置情報として特定することができる１つの座標系を示す。この座標系は、Ｘ，Ｙ，Ｚ軸で表現される座標系である。
撮像領域：カメラごとの撮像領域を示す。また、カメラの視野範囲にあり、さらに、カメラの光学系におけるピント調整の度合が所定レベル以上である領域を示す。原則として、カメラはフィールド空間内を撮影する。

カメラ座標：カメラの全撮像領域の画角を規定する線の交点を原点として、撮像方向を軸（ｋ軸）の１つとした座標系を示す。この座標系は、図３のｉ，ｊ，ｋ空間である。また、ここで、画角を規定する線とは、図３に示されるような、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの撮像素子の端の画素に結像する撮像領域を立体的に形づける線を示す。本実施形態においては、撮像素子平面の横方向に平行な軸ｉと、撮像素子平面の縦方向に平行な軸ｊと、撮像方向を示す軸ｋとの３つの軸によって表現される、撮像素子に固有の座標系を示す。

カメラ空間：カメラ座標を用いてカメラに対する位置を特定することができる空間を示す。
撮像素子平面座標：ＣＣＤなどの撮像素子が出力する画像データの横方向に関わる軸Ｘｃと縦方向に関わる軸Ｙｃとの２つの軸によって規定され、撮像素子の中心を原点とし、撮像素子に固有の座標系を示す。ただし、原点の位置は撮像素子の中心に限定されず、例えば左上の画素位置であってもよい。

図１は、本発明の第１の実施形態による画像記録再生装置の構成を示すブロック図である。図において、１は撮像装置であり、被写体を撮像して全体画像の動画像を撮像情報として生成する。２は撮像装置１によって生成された撮像情報を含む各種の情報を記録する記録媒体となるＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）である。３は表示装置（画像再生装置）であり、ＤＶＤ２から撮像情報である全体画像を読み出し、全体画像から画像を切り出して切出し画像を生成すると共に、全体画像を表示するための全体画像信号と切出し画像を表示するための切出し画像信号とを同期させて外部のモニター等に出力する。撮像装置１によって撮像される被写体は、予めＧＰＳ（ＧｌｏｂａｌＰｏｓｉｓｉｏｎｉｎｇＳｙｓｔｅｍ）センサ等の位置検出手段を装着しているものとする。

なお、ＤＶＤ２は、撮像装置１に対して着脱可能なフラッシュメモリやＣＤ−ＲＯＭ等の記録媒体であってもよい。また、表示装置３はモニター等の表示手段を備えた構成としてもよい。

撮像装置１において、１０１は注目点検出手段であり、被写体に装着されたＧＰＳセンサ等の位置検出手段から、注目点の位置を示す注目点位置情報を無線等により連続的に取得し、出力データ生成手段１０３へ出力する。この注目点位置情報は、前述したフィールド座標で記述される。１０２は撮像手段であり、ＣＣＤ等の撮像素子を備え、撮像時に被写体の像を光電変換し、画素ごとの連続的な画像を撮像情報として出力データ生成手段１０３へ出力する。また、撮像手段１０２は、撮像領域を特定可能な情報としてレンズ状態とカメラ撮影状態（カメラのフィールド座標における位置、方向および回転の情報）を示す撮像領域情報を出力データ生成手段１０３へ出力する。

出力データ生成手段１０３（データ生成手段）は、注目点検出手段１０１から出力された注目点位置情報と、撮像手段１０２から出力された撮像情報と撮像領域情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、撮像情報と注目点位置情報との時間的な関連を示す同期情報も含まれている。出力データ生成手段１０３は、これらの情報による情報群をＤＶＤ２へ記録する。

表示装置３において、３０１はデータ解読分離手段（読出手段）であり、ＤＶＤ２から情報群を読み出し、情報群から、撮像領域情報、注目点位置情報、撮像情報、および同期情報を分離し、各情報に対応した手段へ出力する。３０２は関係情報生成手段であり、データ解読分離手段３０１から出力された撮像領域情報および注目点位置情報に基づいて、フィールドの３次元空間の各位置とカメラ空間との関係を示す関係情報を生成する。後述するように、関係情報に基づいて、被写体のフィールド座標をカメラ空間におけるカメラ座標に変換することができ、さらにカメラ座標を撮像素子平面座標に変換することができる。したがって、画像内における注目点の画素位置を特定することができる。関係情報生成手段３０２は、生成した関係情報に基づいて、注目点の画素位置（撮像素子平面座標）を算出する。

３０３は切出し位置算出手段であり、関係情報生成手段３０２から出力された画素位置に基づいて、全体画像の中から切出し画像を切り出す位置を算出する。この場合、注目点を含む被写体のサイズに関するサイズ情報を予め記録し、このサイズ情報に基づいて切出しの大きさを決定してもよい。３０４は切り出し手段であり、データ解読分離手段３０１から出力された撮像情報と、切出し位置算出手段３０３から出力された切出し位置を示す情報と、同期制御手段３０５から出力された同期情報とに基づいて、全体画像の中から切出し画像を切り出す。切出し手段３０４は図示せぬバッファを備えており、入力される撮像情報を蓄積し、切出し位置を示す情報と同期して出力することができる。

同期制御手段３０５は、データ解読分離手段３０１から出力された同期情報に基づいて、画像出力手段３０６および３０７（再生手段）による画像データの出力タイミングを制御する。また、同期制御手段３０５は、切出し手段３０４による切出し画像の切出しが全体画像に同期して行われるように、切出し手段３０４を制御する。画像出力手段３０６はデータ解読分離手段３０１から出力された撮像情報に基づいて、全体画像を表示するための全体画像信号を生成し、外部の表示手段へ出力する。また、画像出力手段３０７は切出し手段３０４から出力された切出し画像に基づいて、切出し画像を表示するための切出し画像信号を生成し、外部の表示手段へ出力する。画像出力手段３０６および３０７は図示せぬバッファを備えており、入力される撮像情報あるいは切出し画像を蓄積することができ、全体画像と切出し画像との同期をとって出力することができる。

次に、本実施形態において、出力データ生成手段１０３によって出力されてＤＶＤ２に記録され、表示装置３によって解読されるデータの構造について説明する。図２はデータの構造を示す参考図である。出力データ生成手段１０３によって生成され、ＤＶＤ２に記録される情報群のデータ構造は図２（ａ）のようになっている。ＤＶＤ２に記録された場合のデータの先頭のアドレスをＡｄｒ−Ｘとして、各情報の先頭のアドレスが示されている。データの先頭は、各情報の先頭のアドレスを示すヘッダ情報である。ヘッダ情報には、撮像領域情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｄ、注目点位置情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｅ、撮像情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｆであることを示す情報が格納されている。

図２（ｂ）には、注目点位置情報の構造が示されている。先頭には、注目点位置情報の記録開始時刻Ｔ０が格納されている。続いて、情報の種別が注目点位置情報であることを示す種別情報が格納されている。続いて、注目点位置情報のサンプリングに関するサンプリング時間Δｔとサンプル数ｐとが、それぞれ格納されている。これらの後には、サンプリングされた注目点位置情報Ｍ１〜Ｍｐが格納されている。

図２（ｃ）には、撮像情報の構造が示されている。先頭には、撮像情報の記録開始時刻Ｔ０が格納されている。ここでは、注目点位置情報と撮像情報は同時に記録が開始されたものとする。続いて、情報の種別が撮像情報であることを示す種別情報が格納されている。続いて、撮像情報のサンプリング時間Δｔとサンプル数ｐとが、それぞれ格納されている。これらの後には、サンプリングされた撮像情報Ｇ１〜Ｇｐが格納されている。上記の記録開始時刻とサンプリング時間とによって、撮像情報と注目点位置情報との時間的な関連を示す同期情報が構成される。

次に、本実施形態による画像記録再生装置の動作を説明する。撮影時に、ユーザによって撮影動作が指示されると、撮像手段１０２は被写体の像を連続的に光電変換し、画素ごとの連続的な画像を示す撮像情報と、撮像領域を特定可能にするレンズ状態およびカメラ撮影状態を示す撮像領域情報とを出力データ生成手段１０３へ出力する。また、注目点検出手段１０１は、被写体に装着された位置検出手段から注目点位置情報を、無線等により取得し、出力データ生成手段１０３へ出力する。出力データ生成手段１０３は、注目点位置情報、撮像情報、および撮像領域情報に基づいて、前述したデータ構造の情報群を生成し、ＤＶＤ２へ記録する。

続いて、ユーザによってデータの再生および表示が指示されると、データ解読分離手段３０１はＤＶＤ２から情報群を読み出す。データ解読分離手段３０１はヘッダ情報を読み取り、各情報を分離し、分離した各情報を、各情報に対応した手段へ出力する。撮像情報は切出し手段３０４および画像出力手段３０６へ出力され、撮像領域情報および注目点位置情報は関係情報生成手段３０２へ出力される。また、同期情報（注目点位置情報および撮像情報のそれぞれの記録開始時刻およびサンプリング時間等の情報）は同期制御手段３０５へ出力される。

関係情報生成手段３０２は、撮像領域情報および注目点位置情報に基づいて、関係情報を生成し、この関係情報に基づいて、注目点の画素位置（撮像素子平面座標）を算出する。切出し位置算出手段３０３は、この画素位置に基づいて、切出し画像の切出し位置を算出し、切出し位置を示す情報を切出し手段３０４へ出力する。例えば、切出し位置算出手段３０３は、注目点の画素位置を中心として、所定の画像サイズを切り出すように指定する情報を切出し手段３０４へ出力する。

切出し手段３０４は、撮像情報と、切出し位置算出手段３０３から出力された切出し位置に関する情報とに基づいて、全体画像の中から切出し画像を切り出す。同期制御手段３０５は、同期情報中の記録開始時刻Ｔ０およびサンプリング時間Δｔに基づいて切出し手段３０４を制御し、切出し位置に関する情報と全体画像とを対応させる。全体画像を示す撮像情報は画像出力手段３０６に蓄積され、切出し画像は画像出力手段３０７へ出力される。同期制御手段３０５は、同期情報中の記録開始時刻Ｔ０およびサンプリング時間Δｔに基づいて、全体画像信号および切出し画像信号の出力タイミングを決定し、決定したタイミングで、画像出力手段３０６および３０７に対して出力を指示する。

同期制御手段３０５による出力タイミングの指定は以下のようになる。同期制御手段３０５は、同期情報に基づいて、全体画像信号および切出し画像信号の出力タイミングを決定する。同期制御手段３０５は、撮像情報の記録開始時刻および注目点位置情報の記録開始時刻を参照し、両者はＴ０で等しいため、最初の全体画像信号および切出し画像信号の出力タイミングを同一とする。注目点位置情報および撮像情報のサンプリング時間はΔｔで共に等しいので、同期制御手段３０５は、次の全体画像信号および切出し画像信号の出力タイミングをΔｔ経過後とする。以下、同様にして、全体画像信号および切出し画像信号の出力タイミングが決定される。すなわち、全体画像と切出し画像とが同じ時刻に撮像した画像で、かつ、その切出し画像を出力するための注目点位置情報もほぼ同時刻となるように同期することが好ましい。そのために、撮像情報である動画像の所定時刻の静止画とその所定時刻に最も近い時刻の注目点位置情報とによって、切出し画像を出力し、同じ所定時刻の静止画である全体画像と共に同期して出力するように出力タイミングを決定する。

次に、本実施形態において、注目点のフィールド座標を撮像素子平面座標に変換する手法（関係情報生成手段３０２の機能）について説明する。図３は、サッカー場をフィールド空間とした場合の、そのフィールド空間とカメラの撮像領域との相互関係を示している。カメラの撮像領域は、画角を規定する４本の線によって囲まれた空間領域である。画角を規定する４本の線の交点がカメラ座標の原点である。撮像装置１の撮像領域内には、選手Ａ，Ｂ，Ｃが存在している。

ｉ，ｊ，ｋ軸は、撮像装置１が撮影する方向および／または撮像装置１が撮影する画角を基準とするカメラ座標を示している。カメラの撮像領域における注目点の位置は、フィールドにおける注目点のフィールド座標と、関係情報とに基づいて算出される。関係情報は、フィールド座標をカメラ座標または撮像素子平面座標に変換するための対応関係をテーブルとしたテーブル情報、あるいはその関係を示す座標変換式、あるいはその式を表すパラメータなどである。

以下、図４を参照し、上記の座標変換を行う手法について説明する。図４には、画角を規定する線の交点位置を原点とし、カメラ方向をｋ軸、ＣＣＤ１０２Ａの撮像領域の横方向をｉ方向とするカメラ座標を算出するための３つのセンサの配置関係が示されている。また、カメラ座標における注目点とその注目点を撮像するＣＣＤ１０２Ａの画素との関係がカメラ座標で示されている。

図において、ＣＣＤ１０２Ａは、撮像手段１０２が備えるＣＣＤである。ＣＣＤ１０２Ａについては、図４中の画角を規定する線の延長線上（計算上の仮想的なＣＣＤ位置）に実際のサイズのものが配置されている。計算上の仮想的なＣＣＤ位置は、カメラ空間の原点Ｏから距離ｋ０の位置であるとする。１１０Ａはレンズである。１１７Ａ〜１１７Ｃは、撮像装置１に設けられたＧＰＳセンサ等の位置検出センサである。位置検出センサ１１７Ａ〜１１７Ｃは、各フィールド座標を検出する。

図示されるように、位置検出センサ１１７Ａのカメラ空間（図４のｉ軸、ｊ軸、およびｋ軸によって規定される空間）におけるカメラ座標は（０，Ｌ，０）であり、位置検出センサ１１７Ｂのカメラ座標は（０，Ｌ，−ｋ０）であり、位置検出センサ１１７Ｃのカメラ座標は（Ｍ，Ｌ，−ｋ０）である。また、注目点のカメラ座標は（ｋ２／ｋ０×ｐｔ，ｋ２／ｋ０×（−ｐｔ），ｋ２）である。なお、ｐｔはＣＣＤ１０２Ａの撮像平面における画素間ピッチである。

これらの位置検出センサ１１７Ａ〜１１７Ｃを図４に示されるような配置関係にすることにより、前述したテーブル情報または座標変換式等の関係情報を導くことができる。これにより、画角を規定する線の交点位置であるカメラ空間の原点Ｏがフィールドにおける位置として検出可能になる。さらに、カメラの撮影方向やその方向を中心とした撮像画像の回転が検出可能になる。

これにより、画角を規定する線の交点位置であるカメラ空間の原点Ｏと、撮影方向のｋ方向と、回転によって算出される画像の横方向であるｉ方向とを求め、その結果、画像の縦方向であるｊ方向を算出することができる。なお、撮像装置１において３つの位置検出用のセンサによって３箇所の位置情報が検出されるとして説明したが、それに限定されるわけではない。例えば、撮像装置１の１箇所の位置情報の検出や、別の撮像装置による撮像装置１の姿勢検出による方向検出、回転検出などを行ってもよい。また、図４における長さＬ，Ｍを含めた３つの位置検出センサ１１７Ａ〜１１７Ｃの配置関係は、撮像装置１内部のＲＯＭ等に予め記録されているものとする。

図４には、撮像素子平面の座標軸ＸｃおよびＹｃが示されている。図５に撮像素子平面の座標系を示す。図４のカメラ座標系における注目点（ｋ＝ｋ２となる点においてｋ軸に直交する平面上に存在している）は、図５に示されるような（Ｘｃ，Ｙｃ）で表される撮像素子平面座標上の位置に変換することができる。図４、図５において撮像素子は縦３画素、横３画素であるとして説明したが、それに限定されるわけではない。

撮像手段１０２は、レンズ状態とカメラ撮影状態（カメラの位置、方向および回転の情報）とに基づいて、フィールドの３次元空間の各位置とカメラ空間との関係を示す関係情報を生成する。位置検出センサ１１７Ａ〜１１７Ｃによって、そのフィールドにおける座標を検出することと、Ｌ，Ｍ，ｋ０の３つの既知情報と、各センサを結ぶ線が直交するなどの配置関係情報とに基づいて、図４中の原点やＣＣＤ１０２Ａの中心それぞれのフィールド座標を算出することができる。これにより、フィールド座標をカメラ座標の３次元空間に変換する［数１］で示される座標変換式（関係情報）を導くことができる。

図６は、注目点の位置座標よりフィールド座標、カメラ座標、撮像素子（ＣＣＤ１０２Ａ）の画素平面座標の順に変換して、画素位置を算出する手順を示すフローチャートである。図６に示されるように、注目点のフィールド座標（Ｘ，Ｙ，Ｚ）を［数１］で示される形式の式によってカメラ座標（ｉ，ｊ，ｋ）に変換する（ステップＳ６０１）。続いて、カメラ座標（ｉ，ｊ，ｋ）より撮像倍率αをα＝ｋ／ｋ０として算出する（ステップＳ６０２）。ここで、ｋは、原点から注目点を含むｋ軸に垂直な平面のｋ軸上の距離であり、具体的にはｋ１、ｋ２などである。続いて、撮像素子（ＣＣＤ１０２Ａ）の平面座標を（Ｘｃ×ｐｔ，Ｙｃ×ｐｔ，−ｋ０）として、画素を特定するＸｃおよびＹｃを算出する（ステップＳ６０３）。すなわち、Ｘｃ＝ｉ／α／ｐｔ、Ｙｃ＝１／α／ｐｔである。

図７は、図４の変形例を示している。関係情報を生成するためのキャリブレーションにおいて、位置検出センサ１１７Ａ〜１１７Ｄを、フィールド空間において、カメラの方向とは関係なく平行四辺形となるように配置し、それぞれのフィールド座標を検出する。例えば、サッカーグランドでの平行四辺形として、ゴールエリアの長方形の４隅に４つの位置検出センサ１１７Ａ〜１１７Ｄを配置すればよい。それによって、位置検出センサ１１７Ａ〜１１７Ｄによって得られるフィールド座標（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）と各センサのＣＣＤ１１１Ａに撮像される像位置と、ｋ０、ｐｔ、ＣＣＤ１１１Ａの縦、横の画素数とに基づいて、［数１］の変換行列を算出することができる。

なお、図７においては、位置検出センサ１１７Ａ〜１１７Ｄを、長方形となるように配置したが、一般的には、平行四辺形を形成するように配置すればよい。

図８は、図４の他の変形例を示している。先の図４においては、３つの位置検出センサ１１７Ａ〜１１７Ｃをカメラ内部に備え、それによって、カメラの撮影軸、画像の回転、原点のフィールド座標を算出するようにし、最終的には、前述した［数１］を導き出すようにしている。この変形例においては、それに限定するものではなく、［数１］を導く別の方法を図８において説明する。

この変形例においては、ＣＣＤ１１１Ａの真後ろに、フィールド座標位置を検出することができる位置検出センサ１１７Ａを配置し、撮像領域内の中心に位置検出センサ１１７Ｂを移動させ（位置検出センサ１１７Ｂを装着した人を移動させる）、位置検出センサ１１７Ｂの位置検出を行う。

位置検出センサ１１７Ａから位置検出センサ１１７Ｂの方向がカメラの方向であることが分かる。また、その位置検出センサ１１７Ａと位置検出センサ１１７Ｂとの間に原点Ｏがあることが分かり、予め設計によって既知である位置検出センサ１１７Ａから距離ｋ６だけ離れた位置を、画角を規定する線の交点位置である原点Ｏとして、そのフィールド位置座標を算出することができる。

続いて、カメラの画像の回転方向を知るために、位置検出センサ１１７Ｃを、撮像領域内の中心の横方向にある所定の画素位置に配置されるように移動させる（位置検出センサ１１７Ｃを装着した人を移動させる）。これにより、位置検出センサ１１７Ｃのフィールド座標のｉ方向の距離ｉ’と、撮像された撮像素子平面での距離Ｘｃ’×ｐｔとの比として倍率αを算出することができる。

なお、図８はｋ３＝ｋ４の場合であるが、図８で示されるｋ３とｋ４とが一致しなくても、位置検出センサ１１７Ｂの点を通りｋ軸に垂直でｉ軸に平行な線を導き出せるので、位置検出センサ１１７Ｃのカメラからの距離が特に限定されるものではない。さらに、位置検出センサ１１７Ｃは、ｋ軸とｉ軸とを含む面内に配置されているとしているが、それに限定されるわけではない。回転を規定するために、センサ１１７Ｃはｋ軸とｉ軸とを含む面内になくてもよく、撮像領域内にあればよい。以上により、原点、撮像方向、および画像の回転の３つがフィールド座標系において算出可能となり、［数１］を導くことができる。

次に、本発明の第２の実施形態について説明する。図９は、第２の実施形態による画像記録再生装置の構成を示すブロック図である。本実施形態においては、撮像装置１は、注目点位置情報をカメラ座標に変換し、撮像情報と共にＤＶＤ２に記録する。また、表示装置３は、ＤＶＤ２からカメラ座標を読み出し、カメラ座標に基づいて画像の切出し位置を算出する。図において、図１と同一の構成には同一の符号を付与し、説明を省略する。

撮像装置１において、１０４は関係情報生成手段であり、撮像手段１０２から出力された撮像領域情報および注目点検出手段１０１から出力された注目点位置情報に基づいて、注目点位置情報（フィールド座標）とカメラ座標とを関係付ける関係情報を生成し、この関係情報に基づいて、注目点位置情報が示すフィールド座標をカメラ座標に変換し、カメラ座標情報を生成する。出力データ生成手段１０３は、撮像情報とカメラ座標情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、これらの情報の時間的な関連を示す同期情報も含まれている。

表示装置３において、データ解読分離手段３０１は、ＤＶＤ２から情報群を読み出し、情報群から、カメラ座標情報、撮像情報、および同期情報を分離し、各情報に対応した手段へ出力する。切出し位置算出手段３０３は、データ解読分離手段３０１から出力されたカメラ座標を撮像素子平面座標に変換し、注目点の画素位置を算出すると共に、この画素位置に基づいて、切出し画像の切出し位置を算出する。

次に、本実施形態において、出力データ生成手段１０３によって出力されてＤＶＤ２に記録され、表示装置３によって解読されるデータの構造について説明する。図１０はデータの構造を示す参考図である。出力データ生成手段１０３によって生成され、ＤＶＤ２に記録される情報群のデータ構造は図１０（ａ）のようになっている。ヘッダ情報には、注目点のカメラ座標情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｄ、撮像情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｅであることを示す情報が格納されている。

図１０（ｂ）には、注目点のカメラ座標情報の構造が示されている。先頭には、カメラ座標情報の記録開始時刻Ｔ０が格納されている。続いて、情報の種別がカメラ座標情報であることを示す種別情報が格納されている。続いて、カメラ座標情報のサンプリングに関するサンプリング時間Δｔ×５とサンプル数ｑとが、それぞれ格納されている。これらの後には、サンプリングされた注目点位置情報Ｍ１〜Ｍｑが格納されている。図１０（ｃ）には、撮像情報の構造が示されている。この構造は図２（ｃ）と同一である。撮像情報のサンプリング時間はカメラ座標情報のサンプリング時間の５分の１であり、サンプル数ｐとｑとの間には、ｐ＝ｑ×５の関係がある。

同期制御手段３０５は、同期情報に基づいて、全体画像信号および切出し画像信号の出力タイミングを決定する。また、同期制御手段３０５は、切出し手段３０４による切出し画像の切出しが全体画像に同期して行われるように、切出し手段３０４を制御する。サンプリング時間に上記の関係があるため、同期制御手段３０５は、切出し位置算出手段３０３によって算出された１つの算出位置を５つの切出し画像の切出しに用いるように、切出し手段３０４を制御する。すなわち、切出し手段３０４は、最初の切出し位置を用いて、撮像情報Ｇ１〜Ｇ５が示す全体画像から切出し画像を切り出し、次の切り出し位置を用いて、撮像情報Ｇ６〜Ｇ１０が示す全体画像から切出し画像を切り出すという具合にして、切出し画像を切り出していく。

同期制御手段３０５による出力タイミングの指定は以下のようになる。同期制御手段３０５は、撮像情報の記録開始時刻およびカメラ座標情報の記録開始時刻を参照し、両者はＴ０で等しいため、最初の全体画像信号および切出し画像信号の出力タイミングを同一とする。カメラ座標情報および撮像情報のサンプリング時間は上記のように異なるが、切出し手段３０４によって、全体画像の画像数と同じ画像数の切出し画像が生成されるので、同期制御手段３０５は、以降の全体画像信号および切出し画像信号を共にΔｔの周期で出力する。

次に、本発明の第３の実施形態について説明する。図１１は、第３の実施形態による画像記録再生装置の構成を示すブロック図である。本実施形態においては、注目点が複数であり、撮像装置１は、各注目対象に対応した関係情報を生成する。また、表示装置３は、複数の関係情報に基づいて、全体画像から複数の切出し画像を切り出す。図において、図１および図９と同一の構成には同一の符号を付与し、説明を省略する。

図において、撮像装置１は、２つの注目点検出手段１０１Ａおよび１０１Ｂと、これらに対応した関係情報生成手段１０４Ａおよび１０４Ｂを備えている。注目点検出手段１０１Ａおよび１０１Ｂによって、２つの異なる注目点の注目点位置情報が取得される。これにより、例えば２人の被写体のそれぞれに装着された位置検出手段の位置を検出することができる。出力データ生成手段１０３は、撮像情報と２つのカメラ座標情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、これらの情報の時間的な関連を示す同期情報も含まれている。

表示装置３において、データ解読分離手段３０１は、ＤＶＤ２から情報群を読み出し、情報群から、２つのカメラ座標情報、撮像情報、および同期情報を分離し、各情報に対応した手段へ出力する。２つのカメラ座標情報に対応した切出し位置算出手段３０３Ａおよび３０３Ｂは、切出し位置を算出し、それぞれ切出し手段３０４Ａおよび３０４Ｂへ切出し位置を出力する。切出し手段３０４Ａおよび３０４Ｂは全体画像から各注目点を含む切出し画像を切り出し、画像出力手段３０７Ａおよび３０７Ｂへそれぞれ出力する。

次に、本実施形態において、出力データ生成手段１０３によって出力されてＤＶＤ２に記録され、表示装置３によって解読されるデータの構造について説明する。図１２はデータの構造を示す参考図である。出力データ生成手段１０３によって生成され、ＤＶＤ２に記録される情報群のデータ構造は図１２（ａ）のようになっている。ヘッダ情報には、注目点Ａのカメラ座標情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｄ、注目点Ｂのカメラ座標情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｅ、撮像情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｆであることを示す情報が格納されている。

図１２（ｂ）には、注目点Ａのカメラ座標情報の構造が示されている。先頭には、情報の種別がカメラ座標情報であることを示す種別情報が格納されている。続いて、各カメラ座標情報の記録時刻とカメラ座標情報とが交互に格納されている。ｉ番目（ｉ＝０，１，・・・ｑ）のカメラ座標情報の記録時刻ＴｉはＴｉ＝Ｔ０＋Δｗ×ｉであり、各カメラ座標情報に対して記録時刻が関係付けられている。注目点Ｂのカメラ座標情報の構造も同様である。図１２（ｃ）には、撮像情報の構造が示されている。この構造は図２（ｃ）と同一である。

同期制御手段３０５は、同期情報に基づいて、全体画像信号および切出し画像信号の出力タイミングを決定する。また、同期制御手段３０５は、切出し手段３０４Ａおよび３０４Ｂによる切出し画像の切出しが全体画像に同期して行われるように、切出し手段３０４Ａおよび３０４Ｂを制御する。

同期制御手段３０５は、同期情報に基づいて切出し手段３０４Ａおよび３０４Ｂを制御し、１つの全体画像から１つの切出し画像が切り出されるようにする。同期制御手段３０５は、撮像情報の記録開始時刻および最初のカメラ座標情報の記録時刻を参照し、両者はＴ０で等しいため、最初の全体画像から画像を切り出すように、切出し手段３０４Ａおよび３０４Ｂを制御する。以降は、サンプリング時間Δｔを加算することにより撮像情報の記録時刻を算出し、注目点ＡおよびＢのカメラ座標情報の記録時刻と比較する。同期制御手段３０５は、各撮像情報の記録時刻に最も近い記録時刻のカメラ座標情報を用いて画像を切り出すように、切出し手段３０４Ａおよび３０４Ｂを制御する。

これにより、全体画像の画像数と同じ画像数の２種類の切出し画像が生成される。同期制御手段３０５による出力タイミングの指定は以下のようになる。同期制御手段３０５は、撮像情報の記録開始時刻および最初のカメラ座標情報の記録時刻を参照し、両者はＴ０で等しいため、最初の全体画像信号および切出し画像信号の出力タイミングを同一とする。これ以降、同期制御手段３０５は、Δｔの周期で全体画像信号および２種類の切出し画像信号が出力されるように、画像出力手段３０６、画像出力手段３０７Ａおよび３０７Ｂを制御する。

次に、本発明の第４の実施形態について説明する。図１３は、第４の実施形態による画像記録再生装置の構成を示すブロック図である。本実施形態においては、撮像装置１は関係情報を生成すると共に、複数の切出し画像を切り出し、全体画像と複数の切出し画像とをＤＶＤ２に記録する。また、表示装置３はＤＶＤ２から情報群を読み出し、全体画像と複数の切出し画像とを分離する。図において、図１、図９、および図１１と同一の構成には同一の符号を付与し、説明を省略する。

撮像装置１において、１０５Ａおよび１０５Ｂは切出し位置算出手段であり、それぞれ関係情報生成手段１０４Ａおよび１０５Ｂから出力されたカメラ座標情報が示すカメラ座標を撮像素子平面座標に変換し、注目点の画素位置を算出すると共に、この画素位置に基づいて、切出し画像の切出し位置を算出する。１０６Ａおよび１０６Ｂは切出し手段であり、それぞれ切出し位置算出手段１０５Ａおよび１０５Ｂによって算出された切出し位置に基づいて、全体画像から切出し画像を切り出し、出力データ生成手段１０３へ出力する。出力データ生成手段１０３は、撮像情報と２つの切出し画像情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、これらの情報の時間的な関連を示す同期情報も含まれている。

同期制御手段１０７は、撮像情報に含まれる記録開始時刻およびサンプリング時間と、２種類の注目点位置情報に含まれる記録開始時刻およびサンプリング時間とに基づいて、切出し手段１０６Ａおよび１０６Ｂによる切出し画像の切出しを制御する。この制御の手法は、第１〜第３の実施形態における同期制御手段３０５による制御の手法と同様である。

表示装置３において、データ解読分離手段３０１は、ＤＶＤ２から情報群を読み出し、情報群から、撮像情報（全体画像）、２つの切出し画像、および同期情報を分離し、各情報に対応した画像出力手段３０６、３０７Ａ、および３０７Ｂへ出力する。

次に、本実施形態において、出力データ生成手段１０３によって出力されてＤＶＤ２に記録され、表示装置３によって解読されるデータの構造について説明する。図１４はデータの構造を示す参考図である。出力データ生成手段１０３によって生成され、ＤＶＤ２に記録される情報群のデータ構造は図１４（ａ）のようになっている。ヘッダ情報には、注目点Ａの切出し画像の先頭のアドレスがＡｄｒ−Ｘ＋Ｄ、注目点Ｂの切出し画像の先頭のアドレスがＡｄｒ−Ｘ＋Ｅ、撮像情報の先頭のアドレスがＡｄｒ−Ｘ＋Ｆであることを示す情報が格納されている。

図１４（ｂ）には、注目点Ａの切出し画像情報Ａの構造が示されている。先頭には、切出し画像情報Ａの記録開始時刻Ｔ０が格納されている。続いて、情報の種別が注目点Ａの切出し画像情報Ａであることを示す種別情報が格納されている。続いて、切出し画像情報Ａのサンプリングに関するサンプリング時間Δｔとサンプル数ｐとが、それぞれ格納されている。これらの後には、切出し画像情報Ｓ１−１〜Ｓ１−ｐが格納されている。図１４（ｃ）には、撮像情報の構造が示されている。この構造は図２（ｃ）と同一である。同期制御手段１０７による切出し手段１０６Ａおよび１０６Ｂの制御と、同期制御手段３０５による全体画像信号および２つの切出し画像信号の出力タイミングの制御は前述した第１〜第３の実施形態と同様である。

次に、本発明の第５の実施形態について説明する。本実施形態においては、第３の実施形態における表示装置３の変形例を示す。撮像装置１の構成は第３の実施形態と同一である。図１５は、第５の実施形態による表示装置３の構成を示すブロック図である。図において、３０８はＤＶＤ再生部であり、ＣＰＵ３１５の制御によって動作し、ＤＶＤの記録形式に従ってＤＶＤ２の内部に記録されているデータを読み出し、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３１４やＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）３１６に保存する。

３０９は表示制御部であり、ＣＰＵ３１５の制御に従って、表示部３１０に表示するデータ等を制御する。表示部３１０は、表示制御部３０９から出力された画像用の信号（全体画像信号および切出し画像信号）に基づいて、動画像を表示する液晶モニタ等である。３１１はキーボードであり、ユーザの入力に応じて文字やコマンドデータなどを入力する。３１２はマウスであり、表示部３１０に表示されるカーソルの動作と、記録されたデータの再生実行とを制御するための入力がユーザの操作によって行われる。

３１３はＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）であり、電源ＯＮ時の起動においてＣＰＵ３１５の動作を規定するプログラムや各種のパラメータを保存する。ＲＡＭ３１４は各種のデータを一時的に記憶する。ＣＰＵ３１５は表示装置３内の各部を制御する。ＣＰＵ３１５によって、第３の実施形態におけるデータ解読分離手段３０１、切出し位置算出手段３０３Ａおよび３０３Ｂ、切出し手段３０４Ａおよび３０４Ｂ、および同期制御手段３０５の機能が実現される。ＨＤＤ３１６はＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）に関するデータやアプリケーションプログラム等を保存する。上記の各部はバスＢに接続されている。３１７は電源であり、上記各部に対して給電を行う。

次に、アプリケーションプログラムによる表示装置３の動作を、図１６および図１７のフローチャートを用いて説明する。まず、各種の初期設定が行われ（ステップＳ１６０１）、表示部３１０にユーザ設定画面が表示される（ステップＳ１６０２）。図１８（ａ）はユーザ設定画面の表示例である。続いて、ＣＰＵ３１５は、キーボード３１１あるいはマウス３１２からのユーザの入力を監視し、全データ（全体画像および切出し画像）を表示する全データ表示モードがユーザによって選択されたかどうかを判定する（ステップＳ１６０３）。全データ表示モードが選択されなかった場合には、一部のデータを表示する他の処理を行う（ステップＳ１６０４）。

一方、全データ表示モードが選択された場合、ＣＰＵ３１５は、表示部３１０に表示された画面中のプレイボタンがユーザによって押されたかどうか判定する（ステップＳ１６０５）。プレイボタンが押されていない場合はステップＳ１６０３へ戻る。プレイボタンが押された場合は、ＣＰＵ３１５はＤＶＤ再生部３０８に対してデータの読み取りを指示する。ＤＶＤ３０８は、この指示に基づいて、ＤＶＤ２からデータを読み出す。ＣＰＵ３１５はこのデータをＤＶＤ再生部３０８から受け取り、ＲＡＭ３１４に保存する（ステップＳ１６０６）。

続いて、ＣＰＵ３１５は、ＲＡＭ３１４に保存したデータのヘッダ情報を読み出し（ステップＳ１６０７）、ヘッダ情報に従い、全体画像の撮像情報を予め決められたウィンドウＡのサイズと表示部３１０の解像度とに応じて、実際に表示部３１０に表示される画像のサイズに変換し、ＲＡＭ３１４内のｔｍｐＡエリアに保存する（ステップＳ１６０８）。

続いて、ＣＰＵ３１５は、ヘッダ情報に従い、注目点Ａのカメラ座標の時系列データをＲＡＭ３１４から読み出し、各画面の切出し位置を算出し、１画面ごとに切出し画像情報Ａを生成し、ＲＡＭ３１４内のｔｍｐＢエリアに保存する（ステップＳ１６０９）。この画像の切出しにおいて、ＣＰＵ３１５は撮像情報のｊ番目（ｊ＝０，１，２・・・）の画面の記録時刻Ｔ０＋ｊ×Δｔに最も近い記録時刻Ｔ０＋ｋ×Δｗに相当するｋ番目のカメラ座標を用いて切出し位置を算出し、ｊ番目の切出し画像を切り出す。

続いて、ＣＰＵ３１５は、ヘッダ情報に従い、注目点Ｂのカメラ座標の時系列データをＲＡＭ３１４から読み出し、各画面の切出し位置を算出し、１画面ごとに切出し画像情報Ｂを生成し、ＲＡＭ３１４内のｔｍｐＣエリアに保存する（ステップＳ１６１０）。この画像の切出しにおいても、ＣＰＵ３１５は撮像情報のｊ番目（ｊ＝０，１，２・・・）の画面の記録時刻Ｔ０＋ｊ×Δｔに最も近い記録時刻Ｔ０＋ｋ×Δｗに相当するｋ番目のカメラ座標を用いて切出し位置を算出し、ｊ番目の切出し画像を切り出す。

続いて、ＣＰＵ３１５は撮像情報が示す全体画像、上記の切出し画像情報ＡおよびＢをＲＡＭ３１４内の各ｔｍｐＡエリア、ｔｍｐＢエリア、およびｔｍｐＣエリアから読み出し、表示制御部３０９へ出力する。このとき、ＣＰＵ３１５は全体画像を表示部３１０のウィンドウＡにサンプリング時間Δｔの間隔で表示するように表示制御部３０９に指示する。また、ＣＰＵ３１５は切り出し画像情報Ａが示す切出し画像を表示部３１０のウィンドウＢにサンプリング時間Δｔの間隔で表示するように表示制御部３０９に指示すると共に、切出し画像情報Ｂが示す切出し画像を表示部３１０のウィンドウＣにサンプリング時間Δｔの間隔で表示するように表示制御部３０９に指示する。表示制御部３０９は、この指示に基づいて、全体画像信号および２つの切出し画像信号を、各ウィンドウの同期を取りながらΔｔの間隔で表示部３１０へ出力する。表示部３１０は、各ウィンドウに画像を表示する（ステップＳ１６１１）。

図１８（ｂ）は表示部３１０に表示される各ウィンドウＡ〜Ｃの例である。ウィンドウＡには全体画像が表示され、ウィンドウＢには、注目点Ａを含む切出し画像が表示され、ウィンドウＣには、注目点Ｂを含む切出し画像が表示される。

なお、記録媒体に記録される情報群の構造は上記の実施形態に限定されるわけではない。例えば、第２の実施形態におけるカメラ座標情報のサンプリング時間と撮像情報のサンプリング時間とが等しくてもよい。

なお、情報群中に含まれる同期情報としての撮像情報の記録開始時刻と、注目点位置情報、撮像領域情報、カメラ座標情報、または切出し画像の記録開始時刻とに関しては、それぞれの記録開始時刻を用意する必要はなく、撮像情報の記録開始時刻と、注目点位置情報、撮像領域情報、カメラ座標情報、または切出し画像の記録開始時刻との時間差がわかればよい。

なお、被写体の位置を検出する手法として、例えば、無線ＬＡＮやＲＦＩＤ（電波方式認識：ＲａｄｉｏＦｒｅｑｕｅｎｃｙ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ等を利用した電波や電磁波によって被写体の位置を検出するようにしてもよい。この場合には、被写体の影響が少なく、安定して被写体の位置を検出することができる。また、赤外線や超音波などの光や音を用いて被写体の位置を検出するようにしてもよい。

以上で説明したように、第１〜第５の実施形態によれば、全体画像を示す撮像情報と、注目点位置情報または注目点のカメラ座標情報または注目点を含む切出し画像情報と、同期情報とを分離可能な情報として構成すると共に、同期情報に基づいて切出し画像の切出しと全体画像および切出し画像の再生とを制御するようにしたので、動画像の全体画像とその一部分の切出し画像とを同期させて再生および表示することができる。これにより、ユーザが、全体の様子と、注目する被写体の様子とを同時あるいは選択的に見ることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態による画像記録再生装置の構成を示すブロック図である。同実施形態におけるデータ構造を示す参考図である。同実施形態におけるフィールド空間と撮像装置１の撮像領域との相互関係を示す参考図である。同実施形態における座標変換を説明するための参考図である。同実施形態における撮像素子平面の座標軸を示す参考図である。同実施形態においてフィールド座標から画素位置を算出する手順を示すフローチャートである。同実施形態における他の座標変換例を説明するための参考図である。同実施形態における他の座標変換例を説明するための参考図である。本発明の第２の実施形態による画像記録再生装置の構成を示すブロック図である。同実施形態におけるデータ構造を示す参考図である。本発明の第３の実施形態による画像記録再生装置の構成を示すブロック図である。同実施形態におけるデータ構造を示す参考図である。本発明の第４の実施形態による画像記録再生装置の構成を示すブロック図である。同実施形態におけるデータ構造を示す参考図である。本発明の第５の実施形態による表示装置３の構成を示すブロック図である。同実施形態による表示装置３の動作を示すフローチャートである。同実施形態による表示装置３の動作を示すフローチャートである。同実施形態における表示部３１０の表示例を示す参考図である。

符号の説明

１・・・撮像装置、２・・・ＤＶＤ、３・・・表示装置、１０１，１０１Ａ，１０１Ｂ・・・注目点検出手段、１０２・・・撮像手段、１０２Ａ・・・ＣＣＤ、１０３・・・出力データ生成手段、１０４，１０４Ａ，１０４Ｂ，３０２・・・関係情報生成手段、１０５Ａ，１０５Ｂ，３０３，３０３Ａ，３０３Ｂ・・・切出し位置算出手段、１０６Ａ，１０６Ｂ，３０４，３０４Ａ，３０４Ｂ・・・切出し手段、１０７，３０５・・・同期制御手段、１１０Ａ・・・レンズ、１１７Ａ，１１７Ｂ，１１７Ｃ，１１７Ｄ・・・位置検出センサ、３０１・・・データ解読分離手段、３０６，３０７，３０７Ａ，３０７Ｂ・・・画像出力手段、３０８・・・ＤＶＤ再生部、３０９・・・表示制御部、３１０・・・表示部、３１１・・・キーボード、３１２・・・マウス、３１３・・・ＲＯＭ、３１４・・・ＲＡＭ、３１５・・・ＣＰＵ、３１６・・・ＨＤＤ、３１７・・・電源。

Claims

被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報と、撮像領域における撮像状態に関する撮像領域情報とを生成する撮像手段と、
前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する第１の位置情報を出力する注目点検出手段と、
前記撮像手段によって生成された前記撮像情報および前記撮像領域情報と、前記第１の位置情報と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記撮像領域情報、前記第１の位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
を具備することを特徴とする撮像装置。
被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報と、撮像領域における撮像状態に関する撮像領域情報とを生成する撮像手段と、
前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する第１の位置情報を出力する注目点検出手段と、
前記撮像領域情報と前記第１の位置情報とに基づいて、前記第１の位置情報に係る座標系と、前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第１の位置情報を、前記撮像手段に固有の座標系における第２の位置情報に変換する関係情報生成手段と、
前記撮像手段によって生成された前記撮像情報と、前記第２の位置情報と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記第２の位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
を具備することを特徴とする撮像装置。
前記注目点検出手段および前記関係情報生成手段を複数具備することを特徴とする請求項２に記載の撮像装置。
被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報と、撮像領域における撮像状態に関する撮像領域情報とを生成する撮像手段と、
前記被写体の位置を連続的に検出し、該位置の連続的な変化に関する第１の位置情報を出力する注目点検出手段と、
前記撮像領域情報と前記第１の位置情報とに基づいて、前記第１の位置情報に係る座標系と前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第１の位置情報を第２の位置情報に変換する関係情報生成手段と、
前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報および前記第２の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、
前記撮像情報と、前記切出し画像を示す切出し画像情報と、前記同期情報とを含み、前記撮像情報、前記切出し画像情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
を具備することを特徴とする撮像装置。
前記注目点検出手段、前記関係情報生成手段、前記画像切出し手段を複数具備することを特徴とする請求項４に記載の撮像装置。
被写体を含み連続的に撮影された全体画像を示す撮像情報と、撮像領域における撮像状態を示す撮像領域情報と、前記被写体の連続的な位置の変化に関する第１の位置情報と、前記撮像情報と前記第１の位置情報との時間的な関連を示す同期情報とが記録された記録媒体から、前記撮像情報と前記撮像領域情報と前記第１の位置情報と前記同期情報とを読み出す読出手段と、
前記撮像領域情報と前記第１の位置情報とに基づいて、前記第１の位置情報に係る座標系と、撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第１の位置情報を、前記撮像手段に固有の座標系における第２の位置情報に変換する関係情報生成手段と、
前記第２の位置情報に基づいて、前記全体画像からの画像の切出し位置を算出する切出し位置算出手段と、
前記切出し位置算出手段によって算出された前記切出し位置および前記同期情報に基づいて、前記全体画像中の各画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、
前記撮像情報に基づいて、前記全体画像を再生するための全体画像信号を生成すると共に、前記切出し画像を示す切出し画像情報に基づいて、前記切出し画像を再生するための切出し画像信号を生成し、前記同期情報に基づいて、前記全体画像信号および前記切出し画像信号を出力する再生手段と、
を具備することを特徴とする画像再生装置。