JP4893364B2

JP4893364B2 - 情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体

Info

Publication number: JP4893364B2
Application number: JP2007045848A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-02-26
Filing date: 2007-02-26
Publication date: 2012-03-07
Anticipated expiration: 2025-03-22
Also published as: JP2007189728A

Description

本発明は、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体に関し、特に、ユーザにとって最適な画像を提供することができるようにする情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体に関する。

例えば、ビデオカメラにおいては、撮像によって得られた画像（画像データ）が、例えば、DV(Digital Video)方式やMPEG(Moving Picture Experts Group)方式で符号化され、テープやディスクなどの記録媒体に記録される。

また、ビデオカメラには、一般に、ズーム機能が設けられている。ズーム機能によれば、撮像によって得られる画像の画角（画像に映る範囲の画角）（倍率）を変更することができる。即ち、例えば、ユーザがズームイン操作を行って撮影すれば、被写体をクローズアップ（拡大）した狭い画角の画像を得ることができ、ユーザがズームアウト操作を行って撮影すれば、広い範囲が映った広角の画像を得ることができる。

ところで、従来のビデオカメラにおいては、撮像を行って画像を出力する撮像手段が１つしか設けられていないため、上述のようなズーム操作（ズームイン操作、ズームアウト操作）によって、画像の画角を変更することはできるが、異なる画角の画像を同時に得ることはできなかった。

そこで、２つの撮像手段を有し、例えば、画角の狭い画像と、画角の広い画像とを同時に得ることができるビデオカメラが提案されている（例えば、特許文献１参照）。

特開2004-282296号公報

ところで、ユーザは、ビデオカメラのファインダ等に表示された画像を確認しながら、所望の被写体を撮影する。従って、ある被写体を撮影している間に生じている他のシーン、つまり、ファインダ等に表示された画像に映っている範囲以外の範囲のシーン（例えば、撮像を行っている範囲以外の範囲で偶発的に起こった出来事など）は、すべて見逃していることになる。

また、ユーザが、ビデオカメラによって撮像した画像を再生して見たとしても、その画像に映っている範囲以外の範囲は、見ることができない。

以上のように、ユーザがビデオカメラによって撮影を行った場合には、そのユーザは、その撮影によって得られた画像に映っている範囲のシーン以外は見ることができず、従って、その画像が、必ずしも、ユーザにとって最適なものであるとは限らない。

本発明は、このような状況に鑑みてなされたものであり、ユーザにとって最適な画像を提供することができるようにするものである。

本発明の第１の側面の情報処理装置は、第１の画像を撮像する撮像手段と、ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出手段と、前記第１の画像は表示せず、前記第２の画像を表示する表示手段と、抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成手段と、前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御手段とを備える。
前記記録制御手段には、前記撮像手段による撮像が開始されてから撮像が終了するまでの間、前記第１の画像を前記記録部に記録させることができる。

本発明の第１の側面の情報処理方法は、第１の画像を撮像する撮像手段と、表示手段とを備える情報処理装置が、ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出ステップと、前記第１の画像は表示せず、前記第２の画像を前記表示手段に表示させる表示制御ステップと、抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成ステップと、前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御ステップとを含む。

本発明の第１の側面のプログラムは、第１の画像を撮像する撮像手段と、表示手段とを備える情報処理装置を制御するコンピュータに、ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出ステップと、前記第１の画像は表示せず、前記第２の画像を前記表示手段に表示させる表示制御ステップと、抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成ステップと、前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御ステップとを含む処理を実行させる。

本発明の第１の側面のプログラム記録媒体に記録されているプログラムは、第１の画像を撮像する撮像手段と、表示手段とを備える情報処理装置を制御するコンピュータに、ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出ステップと、前記第１の画像は表示せず、前記第２の画像を前記表示手段に表示させる表示制御ステップと、抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成ステップと、前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御ステップとを含む処理を実行させる。

本発明の第２の側面の情報処理装置は、記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御手段と、前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する抽出手段と、前記抽出画像を表示部に表示させる表示制御手段と、前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成手段とを備え、前記抽出手段は、前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する。
ユーザの操作に応じて、前記新たな再生パラメータを前記記録部に追加して記録する記録制御手段をさらに設けることができる。

本発明の第２の側面の情報処理方法は、情報処理装置が、記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御ステップと、前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する第１の抽出ステップと、前記抽出画像を表示部に表示させる表示制御ステップと、前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成ステップと、前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する第２の抽出ステップとを含む。

本発明の第２の側面のプログラムは、記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御ステップと、前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する第１の抽出ステップと、前記抽出画像を表示部に表示させる表示制御ステップと、前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成ステップと、前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する第２の抽出ステップとを含む処理を、コンピュータに実行させる。

本発明の第２の側面のプログラム記録媒体に記録されているプログラムは、記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御ステップと、前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する第１の抽出ステップと、前記抽出画像を表示部に表示させる表示制御ステップと、前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成ステップと、前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する第２の抽出ステップとを含む処理を、コンピュータに実行させる。

本発明の第１の側面においては、第１の画像が撮像され、ユーザの操作に応じて、前記第１の画像の一部の領域の画像が第２の画像として抽出され、前記第２の画像が表示され、抽出された領域を表す情報を少なくとも含む再生パラメータが、録画操作が行われてから停止操作が行われるまでの間生成され、前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータが記録部に記録される。

本発明の第２の側面においては、記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータが再生され、前記再生パラメータに基づいて、前記第１の画像から前記第２の画像が抽出画像として抽出され、前記抽出画像が表示部に表示され、前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータが操作開始から操作終了までの間生成され、前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像が抽出される。

本発明によれば、ユーザにとって最適な画像を提供することができる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。

撮影装置１は、例えば、いわゆるビデオカメラであり、ユーザの操作に応じて撮像を行って、その結果得られる画像（画像データ）と、画像を再生するときに用いられるパラメータである再生パラメータを、記録媒体４に記録する。

再生装置２は、記録媒体４に記録された画像と再生パラメータとを再生し、再生パラメータに基づいて、記録媒体４から再生した画像から、所定の領域（の画像）を抽出し、表示装置３に供給する。

表示装置３は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成され、再生装置２からの画像を表示する。

記録媒体４は、例えば、磁気テープや、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどで、撮影装置１および再生装置２に対して着脱可能になっている。なお、記録媒体４は、撮影装置１に内蔵させることができ、この場合、撮影装置１において、記録媒体４に記録された画像等を再生して、再生装置２に伝送することができる。また、記録媒体４は、再生装置２に内蔵させることができ、この場合、撮影装置１で得られた画像等は、撮影装置１から再生装置２に伝送し、再生装置２において記録媒体４に記録することができる。

次に、図２は、図１の撮影装置１の構成例を示している。

通常カメラ部１１は、一般的なビデオカメラが有する光学系や、光電変換素子（例えば、CCD(Charge Coupled Device) やCMOS(Complementary Metal Oxide Semiconductor)イメージャなど）などを内蔵し、コントローラ１７からの制御にしたがい、そこに入射する光を光電変換して、画像（データ）を出力する。

なお、通常カメラ部１１は、例えば、光学的なズーム機構を有しており、コントローラ１７は、操作部１５がズームイン操作またはズームアウト操作されると、そのズームイン操作またはズームアウト操作に応じて、通常カメラ部１１のズーム機構を制御する。通常カメラ部１１は、コントローラ１７からの制御にしたがって、内蔵する光学系を駆動し、これにより、狭いまたは広い画角の範囲を撮像し、その画角の画像を出力する。

ここで、通常カメラ部１１が撮像を行って出力する画像を、以下、適宜、通常画像という。

通常カメラ部１１が出力する通常画像は、通常信号処理部１２とコントローラ１７に供給されるようになっている。通常信号処理部１２は、通常カメラ部１１からの通常画像に対し、コントローラ１７からの制御にしたがった信号処理を施し、表示部１３に供給する。

ここで、通常信号処理部１２で行われる信号処理としては、例えば、ノイズリダクションや、手ぶれ補正などがある。通常信号処理部１２で行われる信号処理は、例えば、操作部１５を操作することによって設定することができ、コントローラ１７は、その設定に応じて、通常信号処理部１２を制御する。

表示部１３は、通常カメラ部１１で撮像されている画像（通常画像）を、ユーザが確認するためのモニタ（あるいは、ファインダ）で、通常信号処理部１２から供給される通常画像（通常信号処理部１２で信号処理された通常画像）を表示する。

広角カメラ部１４は、コントローラ１７からの制御にしたがい、そこに入射する光を光電変換して、画像（データ）を、コントローラ１７と記録部１８に出力する。

なお、広角カメラ部１４は、通常カメラ部１１が撮像する通常画像よりも広角で高解像度の画像であり、かつ通常画像に映っている範囲全体が少なくとも映っている画像（以下、適宜、大容量画像という）を出力するようになっており、そのような大容量画像を撮像することができる光学系や光電変換素子などを内蔵している。

ここで、通常画像よりも広角の画像を得る方法としては、例えば、広角カメラ部１４の光学系として、魚眼レンズなどの広角レンズを採用する方法や、広角カメラ部１４として、全方位カメラを採用する方法がある。その他、通常カメラ部１１と同様のカメラ部を複数用意して、各カメラ部を、撮像方向が少しずつ異なるように配置し、各カメラ部で得られる画像をつなぎ合わせることによっても、通常画像よりも広角の画像を得ることができる。

また、通常画像よりも高解像度の画像を得る方法としては、例えば、広角カメラ部１４の光電変換素子として、通常カメラ部１１の光電変換素子よりも画素が小さく、画素数が多い光電変換素子を採用する方法がある。

さらに、大容量画像を、通常画像に映っている範囲全体が少なくとも映っている画像とするには、通常カメラ部１１において最も広角の画像を撮像したときに、その画像に映っている範囲全体を、広角カメラ部１４でも、少なくとも撮像することができるように、通常カメラ部１１と広角カメラ部１４を、撮影装置１に配置するようにすれば良い。

なお、例えば、広角カメラ部１４として、全方位カメラを採用し、その全方位カメラによって広角の大容量画像を撮像した場合、その広角の大容量画像は、環状の画像（丸画像）になっているので、広角カメラ部１４は、その環状の画像を、遠視投影した画像（パノラマ画像）に変換して出力する。広角カメラ部１４において、魚眼レンズを用いて広角の大容量画像を得た場合も同様である。

また、大容量画像は、通常画像に比較して、できるだけ広角で高解像度の画像であることが望ましい。

操作部１５は、例えば、記録媒体４への画像の記録の開始や、その停止、さらには、通常カメラ部１１におけるズームインやズームアウトなどを指令するときに、ユーザによって操作され、その操作に対応した操作信号を、コントローラ１７に供給する。ここで、ズームインまたはズームアウトを指令する操作部１５の操作が、それぞれ、ズームイン操作またはズームアウト操作である。また、以下、適宜、ズームイン操作とズームアウト操作を、まとめて、ズーム操作という。

センサ１６は、例えば、加速度センサで、撮影装置１の動きの情報をセンシングし、コントローラ１７に供給する。

コントローラ１７は、CPU(Central Processing Unit)１７Ａ，RAM(Random Access Unit)１７Ｂ，EEPROM(Electrically Erasable Programmable Read Only Memory)１７Ｃなどで構成され、CPU１７Ａが、EEPROM１７Ｃに記憶されたプログラムを実行することにより、撮影装置１の各部を制御する。

即ち、CPU１７Ａは、EEPROM１７Ｃに記憶されたプログラムを、RAM１７Ｂにロードして実行し、これにより、各種の処理を行う。RAM１７Ｂは、CPU１７Ａが実行するプログラムや、CPU１７Ａの動作上必要なデータを一時記憶する。EEPROM１７Ｃは、CPU１７Ａが実行するプログラムや、撮像装置１の電源がオフされた後も保持しておく必要があるデータなどを記憶する。

なお、CPU１７Ａに実行させるプログラムは、EEPROM１７Ｃにあらかじめインストールしておく他、後述するリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）し、リムーバブル記録媒体１１１からEEPROM１７Ｃにインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、撮影装置１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、撮影装置１に有線で転送し、撮影装置１では、そのようにして転送されてくるプログラムを、図示せぬ通信I/F(Interface)で受信し、EEPROM１７Ｃにインストールすることができる。

ここで、以上のように、CPU１７Ａがプログラムを実行することにより、コントローラ１７は、通常カメラ部１１や、広角カメラ部１４、記録部１８などを制御する。

また、コントローラ１７は、広角カメラ部１４からの大容量画像から、通常カメラ部１１からの通常画像に映っている範囲が映っている領域（以下、適宜、通常画像に対応する領域という）を検出して、その領域を表す情報を少なくとも含む再生パラメータを生成し、記録部８１に出力する。

即ち、コントローラ１７は、通常画像と大容量画像とのマッチングを、通常画像のサイズを変えるとともに、通常画像とマッチングする大容量画像上の位置を変えながら行う。
そして、コントローラ１７は、通常画像と大容量画像とが最もマッチングする、通常画像のサイズと大容量画像上の位置、具体的には、例えば、通常画像の各画素と、その画素と同一位置の大容量画像の画素との画素値の絶対値差分の総和等が最小になる通常画像のサイズと大容量画像上の位置を求め、そのサイズと位置で特定される大容量画像の領域を、通常画像に対応する領域として検出する。

なお、コントローラ１７は、通常カメラ部１１と広角カメラ部１４との位置関係等から、大容量画像における通常画像に対応する領域のおおよその位置を求めるとともに、通常カメラ部１１のズーム機構の状態に基づいて、大容量画像における通常画像に対応する領域のおおよそのサイズを求め、そのおおよその位置とサイズを基準として、通常画像の位置とサイズを変えながら、通常画像と大容量画像とのマッチングを行う。

また、コントローラ１７では、センサ１６からの情報に基づいて、撮影装置１がパン(pan)、あるいはチルト(tilt)されたことを認識し、コントローラ１７が生成する再生パラメータには、大容量画像における通常画像に対応する領域の情報の他、撮影装置１がパン、あるいはチルトされたといった情報、さらには、通常カメラ部１１のズーム機構の状態を表す情報（例えば、倍率など）なども含めることができる。

記録部１８は、コントローラ１７の制御にしたがい、広角カメラ部１４からの大容量画像と、コントローラ１７からの再生パラメータを、記録媒体４に出力して記録する。

次に、図３のフローチャートを参照して、図２の撮影装置１の動作について説明する。

ユーザが、撮影装置１の操作部１５を操作して、電源をオンにすると、通常カメラ部１１と広角カメラ部１４が撮像を開始し、これにより、通常カメラ部１１は、撮像によって得られた通常画像の出力を開始し、広角カメラ部１４は、撮像によって得られた大容量画像の出力を開始する。

通常カメラ部１１が出力する通常画像は、通常信号処理部１２とコントローラ１７に供給され、広角カメラ部１４が出力する大容量画像は、コントローラ１７と記録部１８に供給される。通常信号処理部１２は、通常カメラ部１１からの通常画像に信号処理を施し、表示部１３に供給する。これにより、表示部１３では、通常画像が、いわゆるスルー画として表示される。ユーザは、例えば、表示部１３に表示された通常画像を見て、撮影しようとする対象を特定する。

その後、ステップＳ１において、コントローラ１７は、記録部１８を制御することにより、広角カメラ部１４が出力する大容量画像の、記録媒体４への記録（出力）を開始させ、ステップＳ２に進む。

ステップＳ２では、コントローラ１７は、操作部１５が、ユーザによって、録画（記録）を開始するように操作（録画操作）されたかどうかを判定する。ステップＳ２において、録画操作が行われていないと判定された場合、ステップＳ３に進み、コントローラ１７は、操作部１５が、ユーザによって、電源をオフにするように操作（電源オフ操作）されたかどうかを判定する。

ステップＳ３において、電源オフ操作がされていないと判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２において、録画操作が行われたと判定された場合、即ち、ユーザが、表示部１３に表示された通常画像を見て、その通常画像に映っているシーンを録画するために録画操作を行って撮影（録画）を開始した場合、ステップＳ４に進み、コントローラ１７は、通常カメラ部１１が出力する通常画像、および広角カメラ部１４が出力する大容量画像などを用いた再生パラメータの生成を開始する。

即ち、コントローラ１７は、広角カメラ部１４からの大容量画像から、通常カメラ部１１からの通常画像に対応する領域を検出し、その領域を表す情報と、通常信号処理部１２において通常画像に施されている信号処理の内容を表す情報等を含む再生パラメータを生成する。

その後、ステップＳ５に進み、コントローラ１７は、ステップＳ４で生成を開始した再生パラメータの、記録媒体４への記録を開始させる。即ち、コントローラ１７は、記録部１８を制御することにより、自身が生成する再生パラメータの、記録媒体４への記録（出力）を開始させる。

なお、ここでは、説明を簡単にするために、通常カメラ部１１が出力する通常画像と、広角カメラ部１４が出力する大容量画像とのフレームレートが同一であり、かつ、同一のタイミング（位相）で、通常画像と大容量画像のフレーム（の画像データ）が出力されるものとすると、再生パラメータは、フレームごとに生成され、そのフレームごとの再生パラメータが、記録媒体４に記録される。

ステップＳ５において再生パラメータの記録が開始されると、ステップＳ６に進み、コントローラ１７は、操作部１５が、ユーザによって、録画（記録）を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ６において、停止操作が行われていないと判定された場合、ステップＳ７に進み、コントローラ１７は、操作部１５が、ユーザによって電源オフ操作されたかどうかを判定する。

ステップＳ７において、電源オフ操作がされていないと判定された場合、ステップＳ６に戻り、以下、同様の処理が繰り返される。

また、ステップＳ６において、停止操作が行われたと判定された場合、ステップＳ８に進み、コントローラ１７は、ステップＳ４で開始した再生パラメータの生成と、ステップＳ５で開始した再生パラメータの記録とを停止する。そして、ステップＳ８からステップＳ２に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ３またはＳ７において、電源オフ操作がされたと判定された場合、ステップＳ９に進み、コントローラ１７は、記録部１８を制御することにより、ステップＳ１で開始した大容量画像の記録を停止させ、さらに、通常カメラ部１１と広角カメラ部１４による撮像を停止させて、処理を終了する。

以上のように、撮影装置１では、電源がオンにされている間、大容量画像が記録媒体４に記録され続ける。そして、録画操作が行われると、停止操作が行われるまで、さらに、再生パラメータの記録が行われる。

上述したように、大容量画像は、通常画像に映っている範囲全体が少なくとも映っている広角の画像であるから、通常画像に映っている範囲外の範囲も映っている。さらに、大容量画像は、録画操作がされる前であっても記録され、また、停止操作がされた後であっても記録される。

従って、撮影装置１によれば、ユーザが撮影（録画）したと認識しているシーン（通常画像に映っているシーン）は勿論、それ以外の多数のシーンが映っている大容量画像が、再生パラメータとともに、記録媒体４に記録される。

なお、撮影装置１では、通常画像には、通常信号処理部１２において、手ぶれ補正やノイズリダクション等の信号処理が施されるが、大容量画像には、そのような信号処理が施されない。従って、記録媒体４には、そのような信号処理が施されていない大容量画像が記録される。

また、撮影装置１では、録画操作がされから停止操作がされるまでの間は、記録媒体４に、大容量画像と再生パラメータとが記録されるが、大容量画像と再生パラメータとは、例えば、多重化して１つのファイル等として記録しても良いし、別々のファイル等として記録しても良い。

さらに、図３では、撮影装置１の電源がオンにされてからオフにされるまでの間、記録媒体４に大容量画像を記録するようにしたため、記録媒体４の容量が問題となりうるが、今後は、記録媒体４の超大容量化が見込まれるので、記録媒体４の容量は、それほど問題にはならないと考えられる。但し、それでも、記録媒体４の容量には限界があるので、例えば、撮影装置１の電源がオンにされてからオフにされるまでの間のうちの、録画操作がされた時刻の所定時間だけ前の時刻から、停止操作がされた時刻の所定時間だけ後の時刻までの大容量画像を、記録媒体４に記録するようにすることが可能である。これは、電源がオンされた後に記録された大容量画像のうちの、録画操作がされた時刻の所定時間だけ前の時刻より前に記録された部分を削除するとともに、停止操作がされてから所定時間だけ経過した後に記録された大容量画像（次の録画操作がされた時刻から所定時間だけ前の時刻以後に記録された大容量画像を除く）を削除することによって行うことができる。

次に、図４は、図１の再生装置２の構成例を示している。

記録再生部２１は、例えば、ユーザによる操作部２６の操作に応じて、記録媒体４から大容量画像および再生パラメータを再生して、大容量画像を画像抽出部２２に供給し、再生パラメータを再生パラメータ処理部２４に供給する。さらに、記録再生部２１は、再生パラメータ処理部２４から供給される再生パラメータを、記録媒体４に記録する。

画像抽出部２２は、再生パラメータ処理部２４から供給される再生パラメータに基づいて、記録再生部２１から供給される大容量画像から、少なくとも一部の領域の画像を抽出し、その抽出した画像（以下、適宜、抽出画像という）を、信号処理部２３に出力する。

即ち、再生パラメータは、大容量画像上の長方形状の領域を表す情報としての、例えば、その長方形状の領域の横および縦の長さと、大容量画像上における左上の点の座標とを含んでおり、画像抽出部２２は、再生パラメータに基づいて、そこに含まれる情報が表す長方形状の領域（以下、適宜、抽出ウインドウという）を特定する。そして、画像抽出部２２は、大容量画像から、抽出ウインドウ内の画像を、抽出画像として抽出し、信号処理部２３に供給する。

なお、図２の撮影装置１において、コントローラ１７が生成し、記録媒体４に記録された再生パラメータには、大容量画像における通常画像に対応する領域を表す情報が含まれているが、この再生パラメータについては、その情報が表す領域、つまり、大容量画像における通常画像に対応する領域が、抽出ウインドウとして特定される。

信号処理部２３は、再生パラメータ処理部２４から供給される再生パラメータに基づいて、画像抽出部２２から供給される抽出画像に信号処理を施し、表示装置３に供給する。
これにより、表示装置３では、信号処理部２３で信号処理が施された抽出画像が表示される。

再生パラメータ処理部２４は、記録再生部２１から供給される再生パラメータを、画像抽出部２２および信号処理部２３に供給する。また、再生パラメータ処理部２４は、ユーザによる操作部２６の操作に応じて、再生パラメータを生成し、画像抽出部２２および信号処理部２３に供給する。さらに、再生パラメータ処理部２４は、記録再生部２１から供給される再生パラメータ、または操作部２６の操作に応じて生成した再生パラメータを、再生パラメータ記憶部２５に供給して記憶させる。また、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記憶された再生パラメータを読み出し、記録再生部２１に供給して、記録媒体４に記録させる。

再生パラメータ記憶部２５は、再生パラメータ処理部２４から供給される再生パラメータを一時記憶する。操作部２６は、記録媒体４に記録された画像（大容量画像）の再生や編集などを指令するときに、ユーザによって操作され、その操作に対応した操作信号を、記録再生部２１または再生パラメータ処理部２４に供給する。

次に、図５を参照して、図４の画像抽出部２２の処理について説明する。

上述したように、撮影装置１では、ユーザが撮影（録画）したと認識している範囲のシーン（通常画像に映っているシーン）は勿論、それ以外の範囲のシーンが映っている大容量画像が、再生パラメータとともに、記録媒体４に記録される。

撮影装置１において、記録媒体４に記録される再生パラメータを、撮影時再生パラメータということとすると、撮影時再生パラメータには、大容量画像における通常画像に対応する領域を表す情報が含まれており、従って、その情報が表す領域を抽出ウインドウとして、図５に示すように、大容量画像から、抽出ウインドウ内の画像を抽出画像として抽出して表示することにより、通常画像と同一のシーンが映っている画像を表示することができる。

なお、ユーザが、撮影装置１をズームアウト操作して撮影を行った場合、その撮影によって得られる通常画像の画角は広くなるから、大容量画像における通常画像に対応する領域は、図５においてR₁で示すようにサイズの大きな領域になり、抽出ウインドウも、そのサイズが大きいものとなる。

また、ユーザが、撮影装置１をズームイン操作して撮影を行った場合、その撮影によって得られる通常画像の画角は狭くなるから、大容量画像における通常画像に対応する領域は、図５においてR₂で示すようにサイズの小さな領域になり、抽出ウインドウも、そのサイズが小さいものとなる。

以上のように、抽出ウインドウのサイズは一定であるとは限らないため、画像抽出部２２において、そのような抽出ウインドウを用いて、大容量画像から抽出される抽出画像の画素数は一定であるとは限らない。

一方、表示装置３は、所定の画素数の画像を表示するので、画像抽出部２２では、大容量画像から抽出した抽出画像を、表示装置３で表示可能な所定の画素数の画像に変換する必要がある。

ここで、ある画素数の抽出画像を、他の画素数の抽出画像に変換する画像変換処理としては、単純に、画素数を間引き、あるいは補間する処理があるが、その他、本件出願人が先に提案しているクラス分類適応処理がある。

クラス分類適応処理では、画像変換処理によって変換する前の画像を第１の画像とするとともに、その変換後の画像を第２の画像とすると、第２の画像の各画素を注目画素として、その注目画素のクラスごとに適切なタップ係数と、第１の画像とを用いて、注目画素（の画素値）が求められる。

即ち、クラス分類適応処理では、例えば、注目画素に対して空間的または時間的に近傍の位置にある第１の画像の画素の画素値を、注目画素の画素値を予測するのに用いる予測タップとして、その予測タップと、学習によって所定のクラスごとに求められる係数であるタップ係数とを用いた所定の予測演算によって、注目画素の画素値（の予測値）が求められる。

いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像の画素値ｙは、次の線形１次式によって求められることになる。

・・・（１）

但し、式（１）において、ｘ_nは、第２の画像の画素（の画素値）ｙについての予測タップを構成する、ｎ番目の第１の画像の画素の画素値を表し、ｗ_nは、ｎ番目の予測タップの画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、第１の画像のＮ個の画素（の画素値）ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

ここで、第２の画像の画素（の画素値）ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第２の画像の第ｋ番目の画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。

・・・（２）

いま、式（２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。

・・・（３）

但し、式（３）において、ｘ_n,kは、第２の画像の第ｋ番目の画素についての予測タップを構成するｎ番目の画素（の画素値）を表す。

式（３）（または式（２））の予測誤差ｅ_kを０とするタップ係数ｗ_nが、第２の画像の画素を予測するのに最適なものとなるが、第２の画像のすべての画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。

そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（４）

但し、式（４）において、Ｋは、第２の画像の画素ｙ_kと、その画素ｙ_kについての予測タップを構成する第１の画像の画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（タップ係数ｗ_nを求める学習に用いる学習用サンプルの数）を表す。

式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗ_nで偏微分したものを０とするｗ_nによって与えられる。

・・・（５）

そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。

・・・（６）

式（５）と（６）から、次式が得られる。

・・・（７）

式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。

・・・（８）

式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗ_nについて解くことができる。

クラス分類適応処理では、第１および第２の画像から、第２の画像の画素ｙ_kと、その画素ｙ_kについての予測タップを構成する第１の画像の画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットを、学習用サンプルとして多数用意し、その学習用サンプルを用いて、式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗ_nを、クラスごとに求める学習処理を、あらかじめ行っておき、そのタップ係数を用いた式（１）の予測演算を行うことによって、第１の画像が第２の画像に変換される。

即ち、学習処理では、第２の画像の各画素ｙ_kを注目画素として、その注目画素ｙ_kが、複数のクラスのうちのいずれかのクラスにクラス分類される。ここで、クラス分類は、例えば、注目画素ｙ_kに対して空間的または時間的に近傍の位置にある第１の画像の幾つかの画素の画素値の分布等に基づいて行われる。

さらに、学習処理では、クラスごとに、そのクラスに属する注目画素（の画素値）ｙ_kと、その注目画素ｙ_kについての予測タップを構成する第１の画像の画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとを用いて、式（８）の正規方程式がたてられ、学習用サンプルのすべてを用いた式（８）の正規方程式がクラスごとに得られると、そのクラスごとの正規方程式を解くことにより、クラスごとのタップ係数ｗ_nが求められる。

そして、クラス分類適応処理において、第２の画像のある画素（の画素値）を求めるときには、その画素を注目画素として、その注目画素を、学習処理における場合と同様にクラス分類することにより、注目画素が属するクラスが求められる。さらに、注目画素が属するクラスのタップ係数ｗ_nと、注目画素についての予測タップを構成する第１の画像の画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとを用いて、式（１）の予測演算が行われ、注目画素の画素値（の予測値）が求められる。

なお、学習処理において用いる第１の画像を、第２の画像の画素を間引いた画像とすることにより、クラス分類適応処理において、画像を、その画像よりも画素数の多い画像に変換するタップ係数ｗ_nを求めることができる。また、学習処理において用いる第２の画像を、第１の画像の画素を間引いた画像とすることにより、クラス分類適応処理において、画像を、その画像よりも画素数が少ない画像に変換するタップ係数ｗ_nを求めることができる。

その他、学習処理において用いる第１の画像を、第２の画像にノイズを付加した画像とすることにより、クラス分類適応処理において、画像を、その画像からノイズを除去した画像に変換するタップ係数ｗ_nを求めることができる。

従って、クラス分類適応処理によれば、学習処理によって求めておくタップ係数ｗ_nによって、画像の画素数の変換する他、ノイズ除去（ノイズリダクション）等の信号処理を行うことができる。

また、クラス分類適応処理は、撮影装置１において、上述した環状の画像を、遠視投影した画像に変換するのにも用いることができる。

画像抽出部２２は、大容量画像から抽出した抽出画像を、表示装置３で表示可能な所定の画素数の抽出画像に変換する画像変換処理を、例えば、上述のようなクラス分類適応処理を利用して行い、その結果得られる抽出画像を、信号処理部２３に供給する。

次に、図６のフローチャートを参照して、図４の再生装置２の動作について説明する。

ユーザが操作部２６を操作して、再生装置２の電源をオンにすると、ステップＳ２１において、再生パラメータ処理部２４は、再生装置２の動作モードが再生モードであるかどうかを判定する。

ここで、再生装置２の動作モードとしては、例えば、記録媒体４に記録された画像を再生する再生モードと、画像を編集する編集モードとがある。再生装置２の動作モードは、例えば、ユーザが操作部２６を操作することによって選択（設定）することができる。

ステップＳ２１において、再生装置２の動作モードが再生モードであると判定された場合、ステップＳ２２に進み、以下、再生モードの処理が行われる。

即ち、再生モードの処理では、ステップＳ２２において、再生パラメータ処理部２４は、記録媒体４に記録された画像を再生するのに用いるパラメータセットを選択する。

ここで、パラメータセットは、ある一連の再生パラメータのセットであり、撮影装置１で撮影された大容量画像が、記録媒体４に記録されている場合には、その大容量画像の撮影時に撮影装置１（のコントローラ１７（図２））で生成された一連の再生パラメータ（撮影時再生パラメータ）のセットであるパラメータセットが、少なくとも、記録媒体４に記録されている。

記録媒体４には、１以上のパラメータセットを記録することができ、ステップＳ２２では、その１以上のパラメータセットから、画像の再生に用いるパラメータセットが選択される。

即ち、例えば、記録媒体４において、パラメータセットが、ファイルとして記録されているとすると、再生パラメータ処理部２４は、記録再生部２１を制御することにより、記録媒体４に記録されているパラメータセットのファイル名を認識する。さらに、再生パラメータ処理部２４は、信号処理部２３を制御することにより、記録媒体４に記録されているパラメータセットのファイル名の一覧を、そのうちのいずれか１つの選択を促すメッセージとともに、表示装置３に表示させる。

ユーザが、表示装置３に表示されたファイル名の一覧を見て、操作部２６を操作することにより、ファイル名の一覧から、１つのファイル名を選択すると、ステップＳ２２において、再生パラメータ処理部２４は、そのファイル名によって特定されるパラメータセットを、画像の再生に用いるパラメータセット（以下、適宜、再生用セットという）として選択する。

その後、ステップＳ２２からステップＳ２３に進み、再生パラメータ処理部２４は、記録再生部２１を制御することにより、記録媒体４に記録された大容量画像と再生用セットの再生を開始させる。これにより、記録媒体４からは、大容量画像と再生用セットが再生され（読み出され）、大容量画像が、画像抽出部２２に供給されるとともに、再生用セットの再生パラメータが、再生パラメータ処理部２４に供給される。

ここで、撮影時再生パラメータについて説明したように、再生パラメータは、フレームごとに存在しうる。大容量画像の再生は、特に指定されない限り、再生パラメータが存在する時間的に最も前のフレームから開始される。

再生パラメータ処理部２４は、ステップＳ２３において再生用セットの再生パラメータの再生が開始され、これにより、記録再生部２１からの再生パラメータの供給が開始されると、その再生パラメータの、画像抽出部２２および信号処理部２３への供給を開始し、ステップＳ２４に進む。

ステップＳ２４では、画像抽出部２２は、記録再生部２１から供給される大容量画像からの、再生パラメータ処理部２４から供給される再生パラメータに基づく抽出画像の抽出を開始する。

即ち、記録再生部２１から画像抽出部２２に対しては、大容量画像が、例えばフレーム単位で供給され、画像抽出部２２は、記録再生部２１から供給される大容量画像のフレームを、順次、注目フレームとして、その注目フレームから抽出画像を抽出し、信号処理部２３に供給する。

具体的には、画像抽出部２２は、再生パラメータ処理部２４から供給される再生パラメータの中に、注目フレームに対する再生パラメータ（以下、適宜、対応パラメータという）が存在する場合、注目フレームから、対応パラメータに含まれる情報によって特定される抽出ウインドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、上述した画素数を変換する画像変換処理を行って、信号処理部２３に供給する。

また、画像抽出部２２は、再生パラメータ処理部２４から供給される再生パラメータの中に、注目フレームの対応パラメータが存在しない場合、注目フレームより前の、対応パラメータが存在するフレームのうちの、注目フレームに最も近いフレームの対応パラメータに基づいて、注目フレームから抽出画像を抽出する。

ステップＳ２４の処理後は、ステップＳ２５に進み、信号処理部２３は、画像抽出部２２から供給される抽出画像（のフレーム）に対する、再生パラメータ処理部２４から供給される再生パラメータ（対応パラメータ）に基づく信号処理を開始する。

即ち、信号処理部２３は、画像抽出部２２から供給される抽出画像に対して、再生パラメータ処理部２４から供給される再生パラメータに含まれる情報が表す内容の信号処理を施し、表示装置３に供給する。

以上のように、再生モードの処理では、再生用セットの再生パラメータに基づいて、大容量画像から抽出画像が抽出され、さらに、再生用セットの再生パラメータに基づいて、抽出画像に信号処理が施されるので、いわば、その再生用セットの再生パラメータに対応した画像コンテンツ（画像のストリーム）が、表示装置３に表示される。

従って、ステップＳ２２において、再生用セットとして、例えば、撮影時再生パラメータのパラメータセットが選択された場合には、通常画像と同様の画像、即ち、ユーザが撮影装置１によって撮影（録画）したと認識している範囲のシーンが映っており、通常画像の画質と同様の画像（撮影時に、撮影装置１の表示部１３に表示されていたのと同一の画像）が、表示装置３に表示される。

ステップＳ２５の処理後は、ステップＳ２６に進み、再生パラメータ処理部２４は、操作部２６が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ２６において、停止操作が行われていないと判定された場合、ステップＳ２６に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２５において、停止操作が行われたと判定された場合、ステップＳ２７に進み、再生パラメータ処理部２４は、記録再生部２１、画像抽出部２２、および信号処理部２３を制御することにより、ステップＳ２３で開始した大容量画像と再生パラメータの再生、ステップＳ２４で開始した抽出画像の抽出、およびステップＳ２５で開始した抽出画像に対する信号処理をすべて停止させる。そして、ステップＳ２１に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ２１において、再生装置２の動作モードが再生モードでないと判定された場合、ステップＳ２８に進み、再生パラメータ処理部２４は、再生装置２の動作モードが編集モードであるかどうかを判定する。

ステップＳ２８において、再生装置２の動作モードが編集モードでないと判定された場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２８において、再生装置２の動作モードが編集モードであると判定された場合、ステップＳ２９に進み、以下、編集モードの処理が行われる。

即ち、編集モードの処理では、ステップＳ２９において、再生パラメータ処理部２４は、編集の、いわば基準とする画像コンテンツを再生するのに用いるパラメータセット（再生用セット）を、例えば、ステップＳ２２における場合と同様に選択し、ステップＳ３０に進む。

ステップＳ３０では、再生パラメータ処理部２４は、ステップＳ２３における場合と同様に、記録再生部２１を制御することにより、記録媒体４に記録された大容量画像と再生用セットの再生を開始させる。これにより、記録媒体４からは、大容量画像と再生用セットが再生され（読み出され）、大容量画像が、画像抽出部２２に供給されるとともに、再生用セットの再生パラメータが、再生パラメータ処理部２４に供給される。

再生パラメータ処理部２４は、ステップＳ３０において再生用セットの再生パラメータの再生が開始され、これにより、記録再生部２１からの再生パラメータの供給が開始されると、その再生パラメータの、画像抽出部２２、信号処理部２３、および再生パラメータ記憶部２５への供給を開始し、ステップＳ３１に進む。

ステップＳ３１では、再生パラメータ記憶部２５は、再生パラメータ処理部２４から供給される再生パラメータの記憶を開始し、ステップＳ３２に進む。

ステップＳ３２では、画像抽出部２２は、ステップＳ２４における場合と同様に、記録再生部２１から供給される大容量画像からの、再生パラメータ処理部２４から供給される再生パラメータに基づく抽出画像の抽出を開始して、ステップＳ３３に進む。

即ち、画像抽出部２２は、記録再生部２１から供給される大容量画像のフレームから、再生パラメータ処理部２４から供給される再生パラメータに含まれる情報によって特定される抽出ウインドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、上述した画素数を変換する画像変換処理を行って、信号処理部２３に供給する。

ステップＳ３３では、信号処理部２３は、ステップＳ２５における場合と同様に、画像抽出部２２から供給される抽出画像に対する、再生パラメータ処理部２４から供給される再生パラメータに基づく信号処理を開始する。

以上のように、編集モードにおいては、再生パラメータを、再生パラメータ記憶部２５に記憶させる処理（ステップＳ３１の処理）が行われることを除けば、再生モードにおける場合と同様の処理が行われ、これにより、表示装置３において、再生用セットに対応する画像コンテンツが表示される。

編集モードでは、その後、ステップＳ３３からステップＳ３４に進み、再生パラメータ処理部２４は、ユーザが、編集を指令するように、操作部２６を操作したかどうかを判定する。

ステップＳ３４において、編集操作が行われていないと判定された場合、即ち、ユーザが、編集を指令するように、操作部２６を操作していないと判定された場合、ステップＳ３５をスキップして、ステップＳ３６に進む。

また、ステップＳ３４において、編集操作が行われたと判定された場合、即ち、ユーザが、編集を指令するように、操作部２６を操作したと判定された場合、ステップＳ３５に進み、再生パラメータ処理部２４は、その編集操作が行われたときに注目フレームであった大容量画像の注目フレームの対応パラメータとして、その編集操作に応じた再生パラメータ（新たな再生パラメータ）（以下、適宜、編集パラメータともいう）を生成し、記録再生部２１から供給される再生パラメータに代えて、画像抽出部２２、信号処理部２３、および再生パラメータ記憶部２５に供給する。

従って、この場合、画像抽出部２２では、大容量画像から、再生パラメータ処理部２４からの編集パラメータに含まれる情報によって特定される抽出ウインドウ内の画像が、抽出画像として抽出され、信号処理部２３では、画像抽出部２２から供給される抽出画像に対して、再生パラメータ処理部２４から供給される編集パラメータに含まれる情報が表す内容の信号処理を施し、表示装置３に供給する。その結果、表示装置３では、編集操作にしたがって編集された画像が表示される。

さらに、再生パラメータ記憶部２５では、再生パラメータ処理部２４から供給される編集パラメータが記憶される。

ここで、図７を参照して、編集操作について説明する。

図６のステップＳ２９において、再生用セットとして、例えば、撮影時再生パラメータのパラメータセットが選択された場合には、撮影時再生パラメータに基づいて、大容量画像から抽出画像が抽出され、さらに、その撮影時再生パラメータに基づいて、抽出画像に信号処理が施されるから、上述したように、通常画像（と同様の画像）が、表示装置３に表示される。

ところで、上述したように、大容量画像は、通常画像に映っている範囲のシーンを含む、通常画像よりも広角の画像であるから、通常画像に映っている範囲以外の範囲のシーンも映っている。

即ち、通常画像に、ある景色が映っているとすれば、大容量画像には、通常画像に映っている景色は勿論、通常画像に映っている景色を実際に見たならば見えるであろう景色であって、通常画像には映っていない景色も映っている。

従って、通常画像を撮影しているときに撮影装置１をパンまたはチルトしたならば、通常画像に映ったであろう景色が、大容量画像には映っており、編集操作としては、このような、いわば疑似的に、撮影装置１をパンまたはチルトするような操作が可能となっている。

例えば、いま、疑似的に、撮影装置１をパンまたはチルトするような編集操作を、それぞれ、疑似パン操作または疑似チルト操作ということとすると、編集操作として、疑似パン操作が行われた場合には、再生パラメータ処理部２４は、図７の上から１番目に示すように、対応パラメータによって特定される抽出ウインドウを、疑似パン操作に応じて水平方向に移動した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。また、編集操作として、疑似チルト操作が行われた場合には、再生パラメータ処理部２４は、図７の上から１番目に示すように、対応パラメータによって特定される抽出ウインドウを、疑似チルト操作に応じて垂直方向に移動した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。

画像抽出部２２では、このような編集パラメータに基づいて、大容量画像から抽出ウインドウ内の画像が抽出画像として抽出されるので、その抽出画像は、通常画像を撮影しているときに撮影装置１をパンまたはチルトしたならば通常画像に映ったであろう景色が映っているものとなる。

また、編集操作としては、その他、疑似的に、撮影装置１をズームアウト操作またはズームイン操作するような操作が可能となっている。

例えば、いま、疑似的に、撮影装置１をズームアウト操作またはズームイン操作するような編集操作を、それぞれ、疑似ズームアウト操作または疑似ズームイン操作ということとすると、編集操作として、疑似ズームアウト操作が行われた場合には、再生パラメータ処理部２４は、図７の上から２番目に示すように、対応パラメータによって特定される抽出ウインドウのサイズを、疑似ズームアウト操作に応じて拡大した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。また、編集操作として、疑似ズームイン操作が行われた場合には、再生パラメータ処理部２４は、図７の上から３番目（下から１番目）に示すように、対応パラメータによって特定される抽出ウインドウのサイズを、疑似ズームイン操作に応じて縮小した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。

画像抽出部２２では、このような編集パラメータに基づいて、大容量画像から抽出ウインドウ内の画像が抽出画像として抽出されるので、その抽出画像は、通常画像を撮影しているときに撮影装置１をズームアウト操作またはズームイン操作したならば通常画像に映ったであろう景色が映っているものとなる。

即ち、疑似ズームアウト操作によれば、抽出ウインドウが拡大されるので、画像抽出部２２では、その抽出ウインドウによって、大容量画像から広い範囲の画像が抽出画像として抽出され、その結果、撮影装置１をズームアウト操作して撮影したかのような広角の画像（抽出画像）が、表示装置３に表示される。また、疑似ズームイン操作によれば、抽出ウインドウが縮小されるので、画像抽出部２２では、その抽出ウインドウによって、大容量画像から狭い範囲の画像が抽出画像として抽出され、その結果、撮影装置１をズームイン操作して撮影したかのような画角の狭い画像（抽出画像）、つまり、被写体をクローズアップした画像が、表示装置３に表示される。

なお、抽出画像の画素数は、抽出ウインドウのサイズに応じて変化し、抽出ウインドウのサイズが小さいほど少なくなる。従って、疑似ズームイン操作によって抽出ウインドウが縮小されると、表示装置３に表示される抽出画像の解像度が劣化することになる。但し、上述したように、大容量画像は、通常画像よりも高解像度であり、抽出ウインドウがある程度縮小されても、その抽出ウインドウによって大容量画像から抽出される抽出画像の解像度を、ある程度（例えば、通常画像と同程度）以上に維持することができる解像度の画像になっている。

編集操作として、疑似パン操作や、疑似チルト操作、疑似ズームアウト操作が行われた場合には、表示装置３には、通常画像に映っていない範囲のシーンが映っている画像が表示される。従って、撮影装置１で撮影を行ったユーザは、その撮影中に見逃したシーンがあったとしても、大容量画像に映っていれば、見ることができる。

編集操作としては、上述したような抽出ウインドウを変更する操作の他、抽出画像に対して施す信号処理を指定する操作を行うことが可能となっている。

即ち、撮影装置１（図２）においては、大容量画像は、通常信号処理部１２が通常画像に施す信号処理が施されずに、記録媒体４に記録される。

そして、再生装置２において、再生用セットとして、撮影時再生パラメータのパラメータセットが選択された場合には、撮影時再生パラメータに基づいて、大容量画像から抽出画像が抽出され、さらに、その撮影時再生パラメータに基づいて、抽出画像に信号処理が施される。従って、抽出画像には、通常信号処理部１２が通常画像に施す信号処理と同一の信号処理が施され、その結果、通常画像と同様の画像が、表示装置３に表示される。

一方、ユーザが、抽出画像に対して施す信号処理を指定する編集操作を行うと、再生パラメータ処理部２４は、その編集操作に応じた信号処理の内容を表す情報を含む再生パラメータとしての編集パラメータを生成し、信号処理部２３に供給する。信号処理部２３は、再生パラメータ処理部２４から編集パラメータが供給されると、その編集パラメータに含まれる情報によって表される内容の信号処理を施す。

ここで、通常信号処理部１２で通常画像に施される信号処理としては、例えば、ノイズリダクションや手ぶれ補正などの様々な種類の信号処理（MPEG等の符号化処理も含む）があり、さらに、例えば、ノイズリダクションを行う信号処理にしても、様々な方法（アルゴリズム）のものがある。従って、通常信号処理部１２で行われる信号処理の種類が、ユーザにとって適切（最適）なものであるとは限らず、さらに、仮に、信号処理の種類が適切であったとしても、その方法が適切であるとは限らない。

そして、画像に対して、例えば、ノイズリダクションなどの信号処理が施された場合、そのノイズリダクションによって、画像に含まれるノイズ成分が除去される他、多少の信号成分が失われることがある。従って、撮影装置１において、広角カメラ部１４で撮像した大容量画像に信号処理を施して、記録媒体４に記録してしまうと、再生装置２では、記録媒体４に記録された大容量画像を対象としてしか信号処理を行うことができないため、撮影装置１で行われた信号処理によって多少の信号成分が失われた大容量画像を対象として信号処理をせざるを得ないことになる。

しかしながら、多少であっても、信号成分が失われた大容量画像を対象に信号処理を行うと、その信号処理結果には、その失われた信号成分に応じた影響が生じる。

そこで、撮影装置１では、再生装置２で行われる信号処理に、そのような影響が生じるのを防止するため、通常信号処理部１２が通常画像に施すような信号処理を施さずに、大容量画像を、記録媒体４に記録するようになっている。

従って、再生装置２では、撮影装置１の広角カメラ部１４で撮像された大容量画像の信号成分のすべてを有効に利用して信号処理を行うことが可能となる。

図６に戻り、ステップＳ３５において、編集パラメータが、画像抽出部２２、信号処理部２３、および再生パラメータ記憶部２５に供給された後は、ステップＳ３６に進み、再生パラメータ処理部２４は、操作部２６が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ３６において、停止操作が行われていないと判定された場合、ステップＳ３４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３６において、停止操作が行われたと判定された場合、ステップＳ３７に進み、再生パラメータ処理部２４は、記録再生部２１、画像抽出部２２、および信号処理部２３を制御することにより、ステップＳ３０で開始した大容量画像と再生パラメータの再生、ステップＳ３２で開始した抽出画像の抽出、およびステップＳ３３で開始した抽出画像に対する信号処理をすべて停止させるとともに、ステップＳ３１で開始した再生パラメータ記憶部２５における再生パラメータの記憶も停止させる。

そして、ステップＳ３７からＳ３８に進み、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記憶された再生パラメータの集合であるパラメータセットを、記録媒体４に新たに記録（保存）するかどうかを判定する。

即ち、再生パラメータ処理部２４は、信号処理部２３を制御することにより、新たなパラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置３に表示させ、その問い合わせメッセージに対して、ユーザが操作部２６を操作するのを待って、再生パラメータ記憶部２５に記憶された新たなパラメータセットを、記録媒体４に記録するかどうかを判定する。

ステップＳ３８において、再生パラメータ記憶部２５に記憶された新たなパラメータセットを、記録媒体４に記録すると判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記録するように、操作部２６を操作した場合、ステップＳ３９に進み、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記憶されている新たなパラメータセットを読み出し、さらに、記録再生部２１を制御することにより、その新たなパラメータセットを、記録媒体４に記録させ、ステップＳ４０に進む。

また、ステップＳ３８において、再生パラメータ記憶部２５に記憶された新たなパラメータセットを、記録媒体４に記録しないと判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記録しないように、操作部２６を操作した場合、ステップＳ３９をスキップして、ステップＳ４０に進み、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記録された新たなパラメータセットを削除（消去）して、ステップＳ２１に戻り、以下、同様の処理が繰り返される。

なお、編集モードの処理において記録媒体４に記録された新たなパラメータセットは、再生用セットとして選択することができ、従って、その新たなパラメータセットの再生パラメータに対応した画像コンテンツを、表示装置３に表示することが可能となる。

また、図６のフローチャートにしたがった処理は、操作部２６が、ユーザによって電源をオフにするように操作されると終了する。

以上のように、ユーザが編集操作を行うことにより、その編集操作に応じて、編集パラメータ（新たな再生パラメータ）が生成され、その編集パラメータに基づいて、抽出画像や信号処理が行われる。従って、ユーザにとって最適な画像を提供することができる。

さらに、記録媒体４に記録された大容量画像に対しては、複数のパラメータセットが存在しても良く、従って、ユーザは、様々な編集操作を行って、様々なパラメータセットを生成することにより、その様々なパラメータセットそれぞれに対応した、様々な画像コンテンツを制作することができる。

また、記録媒体４には、通常画像に施されるような信号処理が施されていない大容量画像が記録されているので、ユーザは、再生装置２において、編集操作を、いわゆる試行錯誤で行い、ユーザ自身にとって最適な画像コンテンツを得ることができる。

次に、再生装置２で行われる一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、図６のフローチャートにしたがった処理、あるいは図４のブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本実施の形態では、撮影装置１の広角カメラ部１４において、その広角カメラ部１４で撮像した広角の画像を、遠視投影した画像に変換するようにしたが、この変換は、撮影装置１ではなく、再生装置２で行うようにすることができる。

また、撮影装置１は、再生装置２と一体的に構成することが可能である。

さらに、本実施の形態では、記録媒体４への大容量画像の記録は、録画操作がされる前も、録画操作に対する停止操作がされた後も行われるので、即ち、大容量画像は、ユーザが録画がされていないと認識している時刻のシーンも含んでいるので、そのようなシーンを取り込むような編集操作も可能である。

また、本実施の形態では、通常画像と大容量画像のフレームレートを同一としたが、大容量画像のフレームレートは、通常画像のフレームレートよりも高フレームレートとすることが可能である。

さらに、本実施の形態では、撮影装置１において、通常カメラ部１１と広角カメラ部１４とを設け、通常画像と大容量画像との両方を撮像するようにしたが、撮影装置１は、通常カメラ部１１を設けずに構成し、広角カメラ部１４において、大容量画像だけを撮像するようにすることができる。この場合、撮影装置１（のコントローラ１７）では、ユーザによる撮影装置１のパン操作や、チルト操作、ズーム操作に応じて、抽出ウインドウを設定し、その抽出ウインドウによって、大容量画像から抽出画像を抽出して、その抽出画像に対して、通常信号処理部１２で信号処理を施して、表示部１３に供給することにより、表示部１３において、通常画像と同様の画像（抽出画像）を表示することができる。

また、本実施の形態では、撮影装置１において、大容量画像と再生パラメータを記録媒体４に記録するようにしたが、その他、例えば、大容量画像と再生パラメータとは、テレビジョン放送番組として、放送局から放送し、再生装置２で受信して記録媒体４に記録するようにすること等も可能である。

本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。撮影装置１の構成例を示すブロック図である。撮影装置１の動作を説明するフローチャートである。再生装置２の構成例を示すブロック図である。画像抽出部２２の処理を説明するための図である。再生装置２の動作を説明するフローチャートである。編集操作を説明するための図である。本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１撮影装置，２再生装置，３表示装置，４記録媒体，１１通常カメラ部，１２通常信号処理部，１３表示部，１４広角カメラ部，１５操作部，１６センサ，１７コントローラ，１７Ａ CPU，１７Ｂ RAM，１７Ｃ EEPROM，１８記録部，２１記録再生部，２２画像抽出部，２３信号処理部，２４再生パラメータ処理部，２５再生パラメータ記憶部，２６操作部，１０１バス，１０２ CPU，１０３ ROM，１０４ RAM，１０５ハードディスク，１０６出力部，１０７入力部，１０８通信部，１０９ドライブ，１１０入出力インタフェース，１１１リムーバブル記録媒体

Claims

第１の画像を撮像する撮像手段と、
ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出手段と、
前記第１の画像は表示せず、前記第２の画像を表示する表示手段と、
抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成手段と、
前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御手段と
を備える情報処理装置。
前記記録制御手段は、前記撮像手段による撮像が開始されてから撮像が終了するまでの間、前記第１の画像を前記記録部に記録する
請求項１に記載の情報処理装置。
第１の画像を撮像する撮像手段と、
表示手段と
を備える情報処理装置が、
ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出ステップと、
前記第１の画像は表示せず、前記第２の画像を前記表示手段に表示させる表示制御ステップと、
抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成ステップと、
前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御ステップと
を含む情報処理方法。
第１の画像を撮像する撮像手段と、
表示手段と
を備える情報処理装置を制御するコンピュータに、
ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出ステップと、
前記第１の画像は表示せず、前記第２の画像を前記表示手段に表示させる表示制御ステップと、
抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成ステップと、
前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御ステップと
を含む処理を実行させるためのプログラム。
第１の画像を撮像する撮像手段と、
表示手段と
を備える情報処理装置を制御するコンピュータに、
ユーザの操作に応じて、前記第１の画像の一部の領域の画像を第２の画像として抽出する抽出ステップと、
前記第１の画像は表示せず、前記第２の画像を前記表示手段に表示させる表示制御ステップと、
抽出した領域を表す情報を少なくとも含む再生パラメータを、録画操作が行われてから停止操作が行われるまでの間生成する再生パラメータ生成ステップと、
前記録画操作が行なわれるより所定の時間前から前記停止操作が行なわれてから所定の時間後までの間を少なくとも含む期間の前記第１の画像、および前記再生パラメータを記録部に記録する記録制御ステップと
を含む処理を実行させるためのプログラムが記録されているプログラム記録媒体。
記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御手段と、
前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する抽出手段と、
前記抽出画像を表示部に表示させる表示制御手段と、
前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成手段と
を備え、
前記抽出手段は、前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する
情報処理装置。
ユーザの操作に応じて、前記新たな再生パラメータを前記記録部に追加して記録する記録制御手段を
さらに備える請求項６に記載の情報処理装置。
情報処理装置が、
記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御ステップと、
前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する第１の抽出ステップと、
前記抽出画像を表示部に表示させる表示制御ステップと、
前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成ステップと、
前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する第２の抽出ステップと
を含む情報処理方法。
記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御ステップと、
前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する第１の抽出ステップと、
前記抽出画像を表示部に表示させる表示制御ステップと、
前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成ステップと、
前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する第２の抽出ステップと
を含む処理を、コンピュータに実行させるためのプログラム。
記録部に記録されている第１の画像、および、前記第１の画像の一部の領域の画像である第２の画像の領域を表す情報を少なくとも含む再生パラメータの再生を制御する再生制御ステップと、
前記再生パラメータに基づいて、前記第１の画像から前記第２の画像を抽出画像として抽出する第１の抽出ステップと、
前記抽出画像を表示部に表示させる表示制御ステップと、
前記抽出画像に対する疑似パン、疑似チルト、疑似ズームイン、または疑似ズームアウトの操作に応じて、新たな再生パラメータを操作開始から操作終了までの間生成する再生パラメータ生成ステップと、
前記新たな再生パラメータが生成された場合、前記新たな再生パラメータに基づいて、前記第１の画像から前記表示部に表示させる前記抽出画像を抽出する第２の抽出ステップと
を含む処理を、コンピュータに実行させるためのプログラムが記録されているプログラム記録媒体。