JP4556089B2 - 情報処理装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法に関し、特に、より少ない演算量で動きベクトルを検出することができるようにした、情報処理装置および方法に関する。
【０００２】
【従来の技術】
動きベクトルを検出する方法として、パターンマッチング法と勾配法が知られている。
【０００３】
パターンマッチング法においては、時間的に連続する２枚の画像を２枚のメモリにそれぞれ記憶し、それぞれの相関を演算し、最も高い相関が得られた画像のずれ量が動きベクトルとして検出される。
【０００４】
勾配法においては、時間的に連続する２枚の画像の所定の点の空間的変位と時間的変位の近似関係が求められ、この近似関係から、動きベクトルが算出される。
【０００５】
【発明が解決しようとする課題】
しかしながら、パターンマッチング法は、２枚の画像の相関を検出するのに多くのデータを処理しなければならない課題があった。
【０００６】
また、勾配法は、パターンマッチング法に比べ、データ処理量は短くてすむが、信頼性が低い課題があった。この信頼性を改善すべく、所定の点の近傍の複数の点を用いて繰り返し演算を行うようにすると、パターンマッチング法と同様に、データの処理量が多くなってしまう課題があった。
【０００７】
その結果、これらのいずれの方法も、簡単な構成の装置に適用することが困難である課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、少ない演算量で、動きベクトルを検出することができるようにするものである。
【０００９】
本発明の第１の情報処理装置は、投影された画像を光電変換する光電変換手段と、光電変換手段に、入力された第１の画像を投影する第１の投影手段と、入力された第２の画像の位置を、光学的に変更する位置変更手段と、位置変更手段により光学的に位置が変更された第２の画像を、第１の画像が投影された光電変換手段に、同時に重ねて投影する第２の投影手段と、光電変換手段より出力される、第１の画像と位置変更手段により光学的に位置が変更された第２の画像とを重ねた画像の信号に基づいて、第１の画像と第２の画像の動きを演算する演算手段とを備えることを特徴とする。
【００１０】
前記演算手段は、自己相関を演算することができる。
【００１１】
前記第１の画像は、レンズを介して取得した被写体からの画像とすることができる。
【００１２】
前記第１の画像を表示する画像表示手段をさらに備え、第１の投影手段は、画像表示手段に表示された第１の画像を光電変換手段に投影することができる。
【００１３】
前記第２の画像を表示する画像表示手段をさらに備え、第２の投影手段は、画像表示手段に表示された第２の画像を光電変換手段に投影することができる。
【００１４】
前記位置変更手段は、可動プリズムを含むようにすることができる。
【００１５】
前記第２の画像の移動範囲を決定する決定手段をさらに備え、決定手段は、第２の画像の移動の初期位置を、前のフレームにおける位置に基づいて決定することができる。
【００１６】
前記決定手段は、演算手段により演算された結果の信頼性を求め、信頼性に基づいて、第２の画像の移動範囲を拡大することができる。
【００１７】
前記決定手段は、演算手段により演算された結果の標準偏差に基づいて信頼性を求めることができる。
【００１８】
本発明の第１の情報処理方法は、情報処理装置の情報処理方法であって、情報処理装置は、光電変換手段と、第１の投影手段と、位置変更手段と、第２の投影手段と、演算手段とを備え、光電変換手段が、投影された画像を光電変換し、第１の投影手段が、光電変換手段に、入力された第１の画像を投影し、位置変更手段が、入力された第２の画像の位置を、光学的に変更し、第２の投影手段が、位置変更手段により光学的に位置が変更された第２の画像を、第１の画像が投影された光電変換手段に、同時に重ねて投影し、演算手段が、光電変換手段より出力される、第１の画像と位置変更手段により光学的に位置が変更された第２の画像とを重ねた画像の信号に基づいて、第１の画像と第２の画像の動きを演算するステップを含むことを特徴とする。
【００１９】
本発明の第２の情報処理装置は、投影された画像を光電変換する光電変換手段と、光電変換手段に、入力された第１の画像を投影する第１の投影手段と、入力された第２の画像の位置を、光学的に変更する位置変更手段と、位置変更手段により光学的に位置が変更された第２の画像を、第１の画像が投影された光電変換手段に、同時に重ねて投影する第２の投影手段と、光電変換手段より出力される、第１の画像と位置変更手段により光学的に位置が変更された第２の画像とを重ねた画像の信号に基づいて、第１の画像と第２の画像の関係を演算する演算手段と、演算手段により演算された関係と、第１の画像と第２の画像の動きとを関連づける関連づけ手段とを備えることを特徴とする。
【００２０】
本発明の第２の情報処理方法は、情報処理装置の情報処理方法において、情報処理装置は、光電変換手段と、第１の投影手段と、位置変更手段と、第２の投影手段と、演算手段と、関連づけ手段とを備え、光電変換手段が、投影された画像を光電変換し、第１の投影手段が、前記光電変換手段に、入力された第１の画像を投影し、位置変更手段が、入力された第２の画像の位置を、光学的に変更し、第２の投影手段が、位置変更手段により光学的に位置が変更された第２の画像を、第１の画像が投影された光電変換手段に、同時に重ねて投影し、演算手段が、光電変換手段より出力される、第１の画像と位置変更手段により光学的に位置が変更された第２の画像とを重ねた画像の信号に基づいて、第１の画像と第２の画像の関係を演算し、関連づけ手段が、演算手段により演算された関係と、第１の画像と第２の画像の動きとを関連づけるステップを含むことを特徴とする。
【００２１】
本発明の第１の情報処理装置および方法においては、第１の画像と光学的に位置が変更された第２の画像を同時に投影して得られた画像の出力に基づいて、第１の画像と第２の画像の動きが演算される。
【００２２】
本発明の第２の情報処理装置および方法においては、第１の画像と光学的に位置が変更された第２の画像を、ともに投影して得られる画像の出力に基づいて、第１の画像と第２の画像の動きを演算し、その関係と第１の画像と第２の画像の動きとの関連付けが行われる。
【００２３】
【発明の実施の形態】
図１は、本発明を適用した情報処理装置の構成例を表している。この構成例においては、LCD（Liquid Crystal Display）２に、現在のフレームの画像が表示される。LCD１２には、LCD２に表示されるフレームより過去のフレームの画像が表示される。LCD２の後方には光源１が配置され、光源１からの光がLCD２に照射され、LCD２の画像が、例えばCCD(Charge Coupled Device)等により構成される光電変換素子１３に投影される。
【００２４】
LCD１２の後方にも光源１１が配置され、光源１１より出射された光がLCD１２に照射され、LCD１２の画像が可動プリズム１４を介して光電変換素子１３に投影される。
【００２５】
可動プリズム１４は、例えばマイクロコンピュータ等により構成される制御部１５により駆動され、光電変換素子１３に対するLCD１２上の画像の表示位置を少しずつ移動させる。
【００２６】
図２は、図１の情報処理装置の電気的構成を表している。LCD２には、表示すべき画像に対応する信号が入力されている。この信号はまた、遅延素子として機能するメモリ２１を介してLCD１２に供給されている。メモリ２１により、例えば、１フレーム分の時間だけ遅延させるとすると、LCD２に表示されている画像に対して１フレーム分だけ過去のフレームの画像がLCD１２に表示されることになる。
【００２７】
次に、図３のフローチャートを参照して、図１と図２に示した情報処理装置の動作について説明する。
【００２８】
最初に、ステップＳ１において、LCD２とLCD１２に、動きを検出すべき２つのフレームの画像が表示される。すなわち、LCD１２には、メモリ２１を介して１フレーム分だけ遅延された画像信号が供給され、LCD２には、メモリ２１を介さないで、画像信号がリアルタイムで入力される。その結果、LCD２に所定のフレームの画像が表示されているタイミングにおいて、LCD１２には、その画像より１フレーム分だけ時間的に前の画像が表示される。
【００２９】
LCD２に表示された画像は、光電変換素子１３に投影される。同様に、LCD１２に表示された画像も、可動プリズム１４を介して光電変換素子１３に投影される。光電変換素子１３の出力は、制御部１５に供給される。
【００３０】
ステップＳ２において、制御部１５は、光電変換素子１３より供給された信号に基づいて、評価値計算を行う。
【００３１】
この評価値計算は、例えば、自己相関値を次式に基づいて演算することで行われる。
【００３２】
【数１】

【００３３】
上記式において、ｘは、基準となる画素の画素値を表し、ｙは、基準となる画素から位置をずらした画素の画素値を表す。
【００３４】
LCD２に表示された画像とLCD１２に表示された画像が同一である場合、光電変換素子１３上には、実質的に１枚の画像が投影されている状態であるので、自己相関値の値は、最も小さい値となる。
【００３５】
これに対して、LCD２に表示されている画像に対してLCD１２に表示されている画像が１フレーム分だけ時間的に前の画像であるので、１フレームの時間の間に画像が移動しているとすると、LCD２に表示されている画像とLCD１２に表示されている画像とは一致しない。その結果、光電変換素子１３は、いわば２枚の画像が二重に投影された状態となり、結果的に、光電変換素子１３上の画像はぼけた画像となる。その結果、自己相関値は、大きくなる。
【００３６】
ステップＳ３において、制御部１５は、ステップＳ２において、いま求められた自己相関値と、メモリ１５Ａに既に記憶されている自己相関値とを比較し、いま、計算された自己相関値の方が小さいか否かを判定する。いま、演算された自己相関値の方が小さい場合には、ステップＳ４に進み、制御部１５は、その小さい自己相関値の値を、それまでの記憶されている値に代えて、内蔵するメモリ１５Ａに記憶させる。このとき、そのときの可動プリズム１４の移動位置（回動角度）も記憶される。いま求められた自己相関値の方が、既に記憶されている自己相関値より大きいと判定された場合には、このステップＳ４の更新処理はスキップされる。
【００３７】
なお、自己相関値の式を変更して、自己相関が低い場合、その値が大きくなるようにすることもできる。この場合、より大きい自己相関値が記憶される。
【００３８】
次に、ステップＳ５に進み、制御部１５は、可動プリズム１４を、１ステップだけ水平方向または垂直方向に移動（回動）させる。その結果、光電変換素子１３上のLCD１２の表示画像の投影位置が、可動プリズム１４の回動方向に移動される。
【００３９】
次に、ステップＳ６に進み、制御部１５は、注目領域内における走査が終了したか否かを判定し、まだ終了していない場合、ステップＳ２に戻り、それ以降の処理を実行する。
【００４０】
以上のようにして、可動プリズム１４の位置が１ステップ分づつ移動される毎に、光電変換素子１３上の自己相関値が演算される動作が繰り返し行われる。その結果、制御部１５に内蔵されるメモリ１５Ａには、最小の自己相関値と、対応する可動プリズム１４の移動位置（回動角度）が記憶される。
【００４１】
ステップＳ６において注目領域内の走査が終了したと判定された場合、ステップＳ７に進み、制御部１５は、メモリ１５Ａに記憶されている変換テーブルを利用して、自己相関値が最小の値に対応する可動プリズム１４の動作量（移動位置（回動角度））を、LCD２とLCD１２に表示されている画像の動きベクトルに変換する演算を行う。
【００４２】
次に、制御部１５は、ステップＳ８において、フレーム内全ての注目領域内の走査が終了したか否かを判定し、まだ終了していない場合には、ステップＳ９に進み、次のブロック（または画素）に注目ブロック（または画素）を移動させる。その後、ステップＳ１に戻り、それ以降の処理が繰り返し実行される。
【００４３】
以上の処理が繰り返し実行されることで、フレーム内の全画素（または、全ブロック）についての動きベクトルが求められることになる。
【００４４】
ステップＳ８において、フレーム内全ての領域についての処理が終了したと判定された場合、ステップＳ１０に進み、全てのフレームの処理を終了したか否かを判定し、まだ処理していないフレームが残っていると判定された場合には、ステップＳ１１に進み、処理対象のフレームは次のフレームに移行され、ステップＳ１に戻り、それ以降の処理が繰り返し実行される。ステップＳ１０において、全てのフレームの処理が終了したと判定された場合、処理は終了される。
【００４５】
図４は、図２の制御部１５に内蔵されているメモリ１５Ａに記憶されている変換テーブルを生成する学習装置の構成例を表している。表示画像データがLCD４１に供給されるとともに、メモリ４２により、１フレーム分だけ遅延された後、LCD４３に供給される。LCD４１に表示された画像は、CCDなどよりなる光電変換素子４５に投影される。また、LCD４３に表示された画像も、可動プリズム４４を介して光電変換素子４５に投影される。
【００４６】
制御部４６は、可動プリズム４４の回動位置を制御するとともに、光電変換素子４５の出力に基づいて自己相関値を演算する。制御部４６にはまた、動き情報入力部４７から、自己相関値に対応させる動きベクトルが入力される。制御部４６は、可動プリズム４４の制御量（回動角度）と動き情報入力部４７より入力された動きベクトル量との対応関係を記述した変換テーブルを生成し、メモリ４８に供給し、記憶させる。
【００４７】
図５は、制御部４６の内部の構成例を表している。メモリ６１は、光電変換素子４５からの出力を記憶し、評価値算出部６２に出力する。評価値算出部６２は、メモリ６１より供給されたデータに基づいて評価値（自己相関値）を演算し、演算結果を最小値記憶部６４に出力する。
【００４８】
最小値記憶部６４には、可動プリズム制御部６３が、可動プリズム４４を駆動する制御量を供給している。最小値記憶部６４は、評価値算出部６２より供給される評価値が最小のものを選択し、記憶する。また、最小値記憶部６４は、その記憶した最小の評価値に対応する可動プリズム制御部６３からの制御量を読み出し、これを動きベクトル算出部６６に供給する。
【００４９】
メモリ６５には、可動プリズム４４の制御量を動きベクトルに変換するためのテーブルが記憶されている。動きベクトル算出部６６は、最小値記憶部６４より供給された可動プリズム４４の制御量に対応する動きベクトルを、メモリ６５のテーブルを参照することで算出し、出力する。
【００５０】
次に、図６のフローチャートを参照して、学習装置４０の動作について説明する。
【００５１】
ステップＳ２１において、LCD４１に表示された画像とLCD４３に表示された画像を、光電変換素子４５に投影する処理が行われる。
【００５２】
すなわち、図２を参照して説明した場合と同様に、LCD４１には、教師画像が表示され、これが光電変換素子４５に投影される。LCD４２には、メモリ４２を介して１フレーム分だけ遅延された教師画像が表示される。この表示画像も、可動プリズム４４を介して光電変換素子４５に投影される。光電変換素子４５は、投影された画像に対応する信号を制御部４６に出力する。
【００５３】
ステップＳ２２において、制御部４６は、光電変換素子４５より入力された画像データの評価値を計算する。すなわち、この例においては、評価値算出部６２は、メモリ６１を介して光電変換素子４５から供給される画像データの自己相関値を計算し、計算した結果を最小値記憶部６４に供給する。
【００５４】
ステップＳ２３において、最小値記憶部６４は、既に記憶されている自己相関値と、いま評価値算出部６２から供給されてきた自己相関値とを比較する。記憶されている自己相関値より、いま評価値算出部６２より供給された自己相関値の方が小さいと判定された場合、ステップＳ２４に進み、最小値記憶部６４は、既に記憶されている自己相関値に代えて、評価値算出部６２より新たに供給された自己相関値を最小の自己相関値として記憶する。すなわち、評価値メモリの内容が更新される。
【００５５】
ステップＳ２３において、いま演算された自己相関値が、既に記憶されている相関値より大きいと判定された場合、ステップＳ２４の処理はスキップされる。
【００５６】
次に、ステップＳ２５に進み、可動プリズム制御部６３は、可動プリズム４４を制御し、１ステップ分だけその位置を回動させる。ステップＳ２６において、評価値算出部６２は、注目領域内の全ての画素（またはブロック）の走査が終了したか否かを判定し、まだ終了していない場合には、ステップＳ２２に戻り、それ以降の処理を繰り返し実行する。
【００５７】
以上の処理が繰り返し実行されることで、最小値記憶部６４には、注目領域内の自己相関値が最小の可動プリズム４４の制御量が記憶される。
【００５８】
ステップＳ２６において、注目領域内の全ての画素（またはブロック）の走査が終了したと判定された場合、ステップＳ２７に進み、最小値記憶部６４は、最小の自己相関値に対応して記憶されている可動プリズム４４の制御量を、動きベクトル算出部６６に出力する。
【００５９】
メモリ６５のテーブルは、動き情報入力部４７から入力されたテーブルであり、いま、LCD２に表示されている画像とLCD１２に表示されている画像との動きベクトルが、予め他の方法により求められて記憶されたものである。ステップＳ２８において、動きベクトル算出部６６は、最小値記憶部６４より供給された最小の自己相関値に対応する可動プリズム４４の制御量に対応する動きベクトルをメモリ６５より読み出し、メモリ４８に供給し、記憶させる。
【００６０】
次に、ステップＳ２９に進み、メモリ６５に、まだ処理対象とされていない動きベクトルが記憶されているか否かが判定される。まだ、対象とされていない動きベクトルが存在する場合には、ステップＳ２１に戻り、それ以降の処理が繰り返し実行される。ステップＳ２９において、全ての動きベクトルに対する処理を終了したと判定された場合、処理は終了される。
【００６１】
以上のようにして、メモリ４８には、可動プリズム４４の制御量と動きベクトルとの対応関係を記述したテーブルが記憶される。このテーブルが、図２のメモリ１５Ａに記憶されることになる。
【００６２】
以上においては、電気信号として取り込んだ画像データをLCD２とLCD１２に表示させ、これを光電変換素子１３上に投影させることで、両者の動きを検出するようにしたが、被写体からの画像をリアルタイムで取り込んで、動きベクトルを検出することも可能である。図７は、この場合のビデオカメラの構成例を表している。
【００６３】
この構成例においては、ＬＣＤ１２、光電変換素子１３、可動プリズム１４、制御部１５、メモリ２１、およびハーフミラー４０１により構成される動き検出部１００が、ビデオカメラに組み込まれている。
【００６４】
レンズブロック１０１の光学系１１１を介して被写体からの光が入射されると、この光は、ハーフプリズム４０１により分割され、一方の光は、カメラブロック１０２のCCD１２１に入射され、他方の光は、動き検出部１００の光電変換素子１３に入射される。
【００６５】
CCD１２１により撮像された画像は、最終的にディスク１５１に供給され、記録される。
【００６６】
カメラブロック１０２のビデオＡ／Ｄコンバータ１２３より出力された画像データは、メモリ２１に供給され、記憶される。メモリ２１に記憶された画像データは、LCD１２に供給され、表示される。そして、LCD１２に表示された画像が、可動プリズム１４を介して、光電変換素子１３に投影される。
【００６７】
光電変換素子１３より出力された信号は、制御部１５に供給される。制御部１５は、光電変換素子１３より供給された信号に基づいて、上述したようにして、動きベクトルを検出し、検出した動きベクトルをビデオ信号処理部１０３のデータ処理／システムコントロール回路１３１に供給する。
【００６８】
レンズブロック１０１には、例えば実際には撮像レンズや絞りなどを含む光学系１１１が備えられている。また、このレンズブロック１０１には、光学系１１１に対してオートフォーカス動作を行わせるためのフォーカスモータや、ズームレンズの移動を行うためのズームモータなどが、モータ部１１２として備えられる。
【００６９】
カメラブロック１０２には、主としてレンズブロック１０１により撮影した画像光をデジタル画像信号に変換するための回路部が備えられる。
【００７０】
このカメラブロック１０２のＣＣＤ１２１に対しては、光学系１１１を透過した被写体の光画像が与えられる。ＣＣＤ１２１は光画像を光電変換することで撮像信号を生成し、サンプルホールド／ＡＧＣ(Automatic Gain Control)回路１２２に供給する。サンプルホールド／ＡＧＣ回路１２２は、ＣＣＤ１２１から入力された撮像信号をゲイン調整すると共に、サンプルホールド処理を施すことによって波形整形を行う。サンプルホールド／ＡＧＣ回路１２２の出力は、ビデオＡ／Ｄコンバータ１２３に供給され、デジタルの画像信号データに変換される。
【００７１】
ＣＣＤ１２１、サンプルホールド／ＡＧＣ回路１２２、ビデオＡ／Ｄコンバータ１２３における信号処理タイミングは、タイミングジェネレータ１２４にて生成されるタイミング信号により制御される。タイミングジェネレータ１２４は、データ処理／システムコントロール回路１３１において信号処理に利用されるクロックを入力し、このクロックに基づいて所要のタイミング信号を生成する。これにより、カメラブロック１０２における信号処理タイミングは、ビデオ信号処理部１０３における処理タイミングと同期される。
【００７２】
カメラコントローラ１２５は、カメラブロック１０２内に備えられる上記各機能回路部が適正に動作するように所要の制御を実行すると共に、レンズブロック１０１に対してオートフォーカス、自動露出調整、絞り調整、ズームなどのための制御を行う。
【００７３】
例えばオートフォーカス制御であれば、カメラコントローラ１２５は、所定のオートフォーカス制御方式に従って得られるフォーカス制御情報に基づいて、フォーカスモータの回転角を制御する。これにより、撮像レンズはジャストピント状態となるように駆動されることになる。
【００７４】
ビデオ信号処理部１０３は、記録時においては、カメラブロック１０２から供給されたデジタル画像信号、及びマイクロフォン２０２により集音したことで得られるデジタル音声信号について圧縮処理を施し、これら圧縮データをユーザ記録データとして後段のメディアドライブ部１０４に供給する。さらにカメラブロック１０２から供給されたデジタル画像信号とキャラクタ画像により生成した画像をビューファインダドライブ部２０７に供給し、ビューファインダ２０４に表示させる。
【００７５】
ビデオ信号処理部１０３はまた、再生時においては、メディアドライブ部１０４から供給されるユーザ再生データ（ディスク１５１からの読み出しデータ）、つまり圧縮処理された画像信号データ及び音声信号データについて復調処理を施し、これらを再生画像信号、再生音声信号として出力する。
【００７６】
なお本例において、画像信号データ（画像データ）の圧縮／伸張処理方式として、動画像についてはＭＰＥＧ(Moving Picture Experts Group)２が採用され、静止画像についてはＪＰＥＧ(Joint Photographic Coding Experts Group) が採用されている。また、音声信号デーのタ圧縮／伸張処理方式には、ＡＴＲＡＣ(Adaptve Transform Acoustic Coding) ２（商標）が採用されている。
【００７７】
ビデオ信号処理部１０３のデータ処理／システムコントロール回路１３１は、主として、ビデオ信号処理部１０３における画像信号データ及び音声信号データの圧縮／伸張処理に関する制御処理と、ビデオ信号処理部１０３を経由するデータの入出力を司るための処理を実行する。
【００７８】
また、データ処理／システムコントロール回路１３１を含むビデオ信号処理部１０３全体についての制御処理は、ビデオコントローラ１３６が実行する。このビデオコントローラ１３６は、例えばマイクロコンピュータ等を備えて構成され、カメラブロック１０２のカメラコントローラ１２５、及び後述するメディアドライブ部１０４のドライバコントローラ１４６と、例えば図示しないバスライン等を介して相互通信可能とされている。
【００７９】
ビデオ信号処理部１０３における記録時の基本的な動作として、データ処理／システムコントロール回路１３１には、カメラブロック１０２のビデオＡ／Ｄコンバータ１２３から供給された画像信号データが入力される。データ処理／システムコントロール回路１３１にはまた、動き検出部１００で検出された動きベクトルが供給される。データ処理／システムコントロール回路１３１は、入力された画像信号データを、動きベクトルに基づいて動き補償等の画像処理を施した後、ＭＰＥＧ２ビデオ信号処理回路１３３に供給する。
【００８０】
ＭＰＥＧ２ビデオ信号処理回路１３３は、例えばメモリ１３４を作業領域として利用しながら、入力された画像信号データについてＭＰＥＧ２のフォーマットに従って圧縮処理を施し、動画像としての圧縮データのビットストリーム（ＭＰＥＧ２ビットストリーム）を出力する。また、ＭＰＥＧ２ビデオ信号処理回路１３３は、例えば動画像としての画像信号データから静止画としての画像データを抽出してこれに圧縮処理を施す際には、ＪＰＥＧのフォーマットに従って静止画としての圧縮画像データを生成する。なお、ＪＰＥＧは採用せずに、ＭＰＥＧ２のフォーマットによる圧縮画像データとして、正規の画像データとされるＩピクチャ(Intra Picture) を静止画の画像データとして扱うことも考えられる。
【００８１】
ＭＰＥＧ２ビデオ信号処理回路１３３により圧縮符号化された画像信号データ（圧縮画像データ）は、例えば、バッファメモリ１３２に対して所定の転送レートにより書き込まれて一時保持される。
【００８２】
なおＭＰＥＧ２のフォーマットにおいては、周知のように、いわゆる符号化ビットレート（データレート）として、一定速度（ＣＢＲ；Constant Bit Rate）と、可変速度（ＶＢＲ；Variable Bit Rate）の両者がサポートされており、ビデオ信号処理部１０３はこれらに対応できるものとされる。
【００８３】
例えばＶＢＲによる画像圧縮処理を行う場合には、動き検出部１００は、画像データをマクロブロック単位により前後数十乃至数百フレーム内の範囲で動き検出を行って、動きありとされればこの検出結果を動きベクトル情報として、データ処理／システムコントロール回路１３１を介してＭＰＥＧ２ビデオ信号処理回路１３３に伝送する。
【００８４】
ＭＰＥＧ２ビデオ信号処理回路１３３は、圧縮符号化後の画像データをある所要のデータレートとするように、動きベクトル情報をはじめとする所要の情報を利用しながら、マクロブロックごとの量子化係数を決定する。
【００８５】
音声圧縮エンコーダ／デコーダ１３５には、Ａ／Ｄコンバータ１６４（表示／画像／音声入出力部１０６内）を介して、例えばマイクロフォン２０２により集音された音声がデジタルによる音声信号データとして入力される。
【００８６】
音声圧縮エンコーダ／デコーダ１３５は、前述のようにＡＴＲＡＣ２のフォーマットに従って入力された音声信号データに対する圧縮処理を施す。この圧縮音声信号データもまた、データ処理／システムコントロール回路１３１によってバッファメモリ１３２に対して所定の転送レートによる書き込みが行われ、ここで一時保持される。
【００８７】
上記のようにして、バッファメモリ１３２には、圧縮画像データ及び圧縮音声信号データが蓄積可能とされる。バッファメモリ１３２は、主として、カメラブロック１０２あるいは表示／画像／音声入出力部１０６とバッファメモリ１３２との間のデータ転送レートと、バッファメモリ１３２とメディアドライブ部１０４との間のデータ転送レートの速度差を吸収するための機能を有する。
【００８８】
バッファメモリ１３２に蓄積された圧縮画像データ及び圧縮音声信号データは、記録時であれば、順次所定タイミングで読み出しが行われて、メディアドライブ部１０４のＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１に伝送される。ただし、例えば再生時においてバッファメモリ１３２に蓄積されたデータの読み出しと、この読み出したデータをメディアドライブ部１０４からデッキ部１０５に供給し、磁気ヘッド１５４と光学ヘッド１５３を介してディスク１５１に記録するまでの動作は、間欠的に行われても構わない。
【００８９】
このようなバッファメモリ１３２に対するデータの書き込み及び読み出し制御は、例えば、データ処理／システムコントロール回路１３１によって実行される。
【００９０】
ビデオ信号処理部１０３における再生時の動作としては、概略的に次のようになる。再生時には、ディスク１５１から光学ヘッド１５３により読み出され、ＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１（メディアドライブ部１０４内）の処理によりＭＤ−ＤＡＴＡ２フォーマットに従ってデコードされた圧縮画像データ、圧縮音声信号データ（ユーザ再生データ）が、データ処理／システムコントロール回路１３１に伝送されてくる。
【００９１】
データ処理／システムコントロール回路１３１は、例えば入力した圧縮画像データ及び圧縮音声信号データを、一旦バッファメモリ１３２に蓄積させる。そして、例えば再生時間軸の整合が得られるようにされた所要のタイミング及び転送レートで、バッファメモリ１３２から圧縮画像データ及び圧縮音声信号データの読み出しを行い、圧縮画像データについてはＭＰＥＧ２ビデオ信号処理回路１３３に供給し、圧縮音声信号データについては音声圧縮エンコーダ／デコーダ１３５に供給する。
【００９２】
ＭＰＥＧ２ビデオ信号処理回路１３３は、入力された圧縮画像データについて伸張処理を施して、データ処理／システムコントロール回路１３１に伝送する。
データ処理／システムコントロール回路１３１は、この伸張処理された画像信号データを、ビデオＤ／Ａコンバータ１６１（表示／画像／音声入出力部１０６内）に供給する。
【００９３】
音声圧縮エンコーダ／デコーダ１３５は、入力された圧縮音声信号データについて伸張処理を施して、Ｄ／Ａコンバータ１６５（表示／画像／音声入出力部１０６内）に供給する。
【００９４】
表示／画像／音声入出力部１０６においては、ビデオＤ／Ａコンバータ１６１に入力された画像信号データは、ここでアナログ画像信号に変換され、表示コントローラ１６２及びコンポジット信号処理回路１６３に対して分岐して入力される。
【００９５】
表示コントローラ１６２は、入力された画像信号に基づいて、表示パネル部３２０における表示部１０６Ａを駆動する。これにより、表示部１０６Ａにおいて再生画像の表示が行われる。また、表示部１０６Ａにおいては、ディスク１５１から再生して得られる画像の表示だけでなく、当然のこととして、レンズブロック１０１及びカメラブロック１０２からなるカメラ部により撮影して得られた撮像画像も、ほぼリアルタイムで表示出力させることが可能である。
【００９６】
また、再生画像及び撮像画像の他、機器の動作に応じて所要のメッセージをユーザに知らせるための文字やキャラクタ等によるメッセージ表示も行われる。このため、例えばビデオコントローラ１３６の制御によって、所要の文字やキャラクタ等が所定の位置に表示されるように、データ処理／システムコントロール回路１３１は、ビデオＤ／Ａコンバータ１６１に出力すべき画像信号データに対して、所要の文字やキャラクタ等の画像信号データを合成する処理を実行する。つまり、本例では、ビデオコントローラ１３６とデータ処理／システムコントロール回路１３１とが、キャラクタジェネレータと、オンスクリーンディスプレイの機能を有する。
【００９７】
表示部１０６Ａ（表示パネル部３２０）は回動機構３３０により２方向に回動可能に本体に対して支持されているが、回動機構３３０からは現在の回動位置状態を示す位置検出信号が、マスターコントローラであるビデオコントローラ１３６に対して出力される。この位置検出信号は表示部１０６Ａに対する反転表示制御の際に用いられる。なお、この位置検出信号を得るための構成は、ロータリエンコーダを設ける等各種考えられる。
【００９８】
コンポジット信号処理回路１６３は、ビデオＤ／Ａコンバータ１６１から供給されたアナログ画像信号をコンポジット信号に変換して、ビデオ出力端子Ｔ１に出力する。例えば、ビデオ出力端子Ｔ１を外部モニタ装置と接続すれば、ビデオカメラで再生した画像を外部モニタ装置により表示させることが可能となる。
【００９９】
また、音声圧縮エンコーダ／デコーダ１３５からＤ／Ａコンバータ１６５に入力された音声信号データは、ここでアナログ音声信号に変換され、ヘッドフォン／ライン端子Ｔ２に対して出力される。また、Ｄ／Ａコンバータ１６５から出力されたアナログ音声信号は、アンプ１６６を介してスピーカ２０５に対しても分岐して出力され、これにより、スピーカ２０５からは、再生音声等が出力されることになる。
【０１００】
メディアドライブ部１０４は、主として、記録時にはＭＤ−ＤＡＴＡ２フォーマットに従って記録データをディスク記録に適合するようにエンコードしてデッキ部１０５に伝送し、再生時においては、デッキ部１０５においてディスク１５１から読み出されたデータについてデコード処理を施すことで再生データを得て、ビデオ信号処理部１０３に対して伝送する。
【０１０１】
このメディアドライブ部１０４のＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１は、記録時においては、データ処理／システムコントロール回路１３１から記録データ（圧縮画像データ＋圧縮音声信号データ）が入力され、この記録データについて、ＭＤ−ＤＡＴＡ２フォーマットに従った所定のエンコード処理を施し、このエンコードされたデータを一時バッファメモリ１４２に蓄積する。そして、ＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１は、所要のタイミングで読み出しを行いながらこのデータをデッキ部１０５に伝送する。
【０１０２】
再生時においては、ＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１は、ディスク１５１から読み出され、ＲＦ信号処理回路１４４、二値化回路１４３を介して入力されたデジタル再生信号について、ＭＤ−ＤＡＴＡ２フォーマットに従ったデコード処理を施して、再生データとしてビデオ信号処理部１０３のデータ処理／システムコントロール回路１３１に対して伝送する。
【０１０３】
なお、この際においても、ＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１は、必要があれば再生データを一旦バッファメモリ１４２に蓄積し、ここから所要のタイミングで読み出したデータをデータ処理／システムコントロール回路１３１に伝送出力する。このような、バッファメモリ１４２に対する書き込み／読み出し制御はドライバコントローラ１４６が実行する。
【０１０４】
なお、例えばディスク１５１の再生時において、外乱等によってサーボ等が外れて、ディスクからの信号の読み出しが不可となったような場合でも、バッファメモリ１４２に対して読み出しデータが蓄積されている期間内にディスクに対する再生動作を復帰させるようにすれば、再生データとしての時系列的連続性を維持することが可能となる。
【０１０５】
ＲＦ信号処理回路１４４は、ディスク１５１からの読み出し信号について所要の処理を施すことで、例えば、再生データとしてのＲＦ信号、デッキ部１０５に対するサーボ制御のためのフォーカスエラー信号、トラッキングエラー信号等のサーボ制御信号を生成する。ＲＦ信号は、上記のように二値化回路１４３により２値化され、デジタル信号データとしてＭＤ−ＤＡＴＡ２エンコーダ／デコーダ１４１に入力される。
【０１０６】
また、生成された各種サーボ制御信号はサーボ回路１４５に供給される。サーボ回路１４５は、入力したサーボ制御信号に基づいて、デッキ部１０５における所要のサーボ制御を実行する。
【０１０７】
ＭＤ−ＤＡＴＡ１フォーマットに対応するエンコーダ／デコーダ１４７は、ビデオ信号処理部１０３から供給された記録データを、ＭＤ−ＤＡＴＡ１フォーマットに従ってエンコードしてディスク１５１に記録したり、或いは、ディスク１５１からの読み出しデータがＭＤ−ＤＡＴＡ１フォーマットに従ってエンコードされているものである場合、そのデコード処理を行って、ビデオ信号処理部１０３に伝送出力する。つまり本例のビデオカメラは、ＭＤ−ＤＡＴＡ２フォーマットとＭＤ−ＤＡＴＡ１フォーマットとについて互換性が得られるように構成されている。
【０１０８】
ドライバコントローラ１４６は、メディアドライブ部１０４を総括的に制御するための機能回路部とされる。
【０１０９】
デッキ部１０５は、ディスク１５１を駆動するための機構からなる部位とされる。ここでは図示しないが、デッキ部１０５においては、装填されるべきディスク１５１が着脱可能とされ、ユーザの作業によって交換が可能なようにされた機構を有している。また、ここでのディスク１５１は、ＭＤ−ＤＡＴＡ２フォーマット、あるいはＭＤ−ＤＡＴＡ１フォーマットに対応する光磁気ディスクである。
【０１１０】
デッキ部１０５においては、装填されたディスク１５１は、スピンドルモータ１５２によって、ＣＬＶにより回転駆動される。このディスク１５１に対しては記録／再生時に光学ヘッド１５３によってレーザ光が照射される。
【０１１１】
光学ヘッド１５３は、記録時には記録トラックをキュリー温度まで加熱するための高レベルのレーザ出力を行ない、また再生時には磁気カー効果により反射光からデータを検出するための比較的低レベルのレーザ出力を行なう。このため、光学ヘッド１５３には、ここでは詳しい図示は省略するがレーザを出力するレーザダイオード、偏光ビームスプリッタや対物レンズ等からなる光学系、及び反射光を検出するためのディテクタが搭載されている。光学ヘッド１５３に備えられる対物レンズは、例えば２軸機構によってディスク半径方向及びディスクに接離する方向に変位可能に保持されている。
【０１１２】
また、ディスク１５１を挟んで光学ヘッド１５３と対向する位置には磁気ヘッド１５４が配置されている。磁気ヘッド１５４は記録データによって変調された磁界をディスク１５１に印加する動作を行なう。
【０１１３】
さらに、図示しないが、デッキ部１０５においては、スレッドモータ１５５により駆動されるスレッド機構が備えられている。このスレッド機構が駆動されることにより、上記光学ヘッド１５３全体及び磁気ヘッド１５４はディスク半径方向に移動可能とされている。
【０１１４】
操作部１０７は操作子を有し、これらの操作子によるユーザの各種操作情報は例えばビデオコントローラ１３６に供給される。ビデオコントローラ１３６は、ユーザー操作に応じた必要な動作が各部において実行されるようにするための操作情報、制御情報をカメラコントローラ１２５、ドライバコントローラ１４６に対して供給する。
【０１１５】
外部インターフェース１０８は、当該ビデオカメラと外部機器とでデータを相互伝送可能とするために設けられており、例えば図のように、Ｉ／Ｆ端子Ｔ３とビデオ信号処理部間に対して設けられる。なお、外部インターフェース１０８はここでは特に限定されるものではないが、例えばＩＥＥＥ１３９４等が採用される。
【０１１６】
例えば、外部のデジタル画像機器と本例のビデオカメラをＩ／Ｆ端子Ｔ３を接続した場合、ビデオカメラで撮影した画像（音声）を外部デジタル画像機器に録画することが可能となる。また、外部デジタル画像機器にて再生した画像（音声）データ等を、外部インターフェース１０８を介して取り込むことにより、ＭＤ−ＤＡＴＡ２（或いはＭＤ−ＤＡＴＡ１）フォーマットに従ってディスク１５１に記録することも可能となる。更には、例えばキャプションの挿入などに利用する文字情報としてのファイルも取り込んで記録することが可能となる。
【０１１７】
電源ブロック１０９は、内蔵のバッテリにより得られる直流電源あるいは商用交流電源から生成した直流電源を利用して、各機能回路部に対して所要のレベルの電源電圧を供給する。電源ブロック１０９による電源オン／オフは、上述したメインダイヤル３００の操作に応じてビデオコントローラ１３６が制御する。
【０１１８】
図８は、図７のメモリ１５Ａに記憶されるテーブルを学習し、生成する学習装置４０の構成例を示している。図８において、図４における場合と対応する部分には、対応する符号を付してある。
【０１１９】
図８における学習装置４０の基本的構成は、図４における学習装置と同様であるが、図８の例においては、被写体からの画像が、レンズ５０１を介してハーフミラー５０２に入射されている。そして、ハーフミラー５０２により、２分割された光の一方は、光電変換素子４５に投影され、他方は、光電変換素子５０３に投影される。
【０１２０】
光電変換素子５０３は、投影された画像に対応する信号をメモリ４２に出力する。メモリ４２は、１フレーム分だけ入力された信号を遅延して、LCD４３に出力し、表示させる。
【０１２１】
以上のようにして、図８の学習装置４０においても、図４に示した学習装置４０と基本的に同様の処理により、メモリ４８に、可動プリズム４４と動きベクトルとの対応テーブルが学習され、記憶される。
【０１２２】
図７の例においては、動き検出部１００において、ハーフミラー４０１により、被写体からの画像を分割して、動き検出部１００の光電変換素子１３に投影させるようにしたが、動き検出部１００を、図２に示されるように構成することも可能である。この場合、図９に示されるように、カメラブロック１０２のビデオA/Dコンバータ１２３の出力が、LCD２に供給され、表示されるとともに、メモリ２１を介してLCD１２に供給され、表示される。従って、図２を参照して説明した場合と同様に、動き検出部１００において、動きベクトルを検出することが可能である。
【０１２３】
図３のステップＳ５において、可動プリズム１４をデフォルトとして、予め設定されている基準位置から１ステップずつ移動させるようにしたが、前のフレームにおける処理の結果に基づく位置を、次のフレームの処理の初期の位置として、その位置から可動プリズム１４を移動させるようにしてもよい。このとき、可動プリズム１４の位置は、動きベクトルを検出することができなかった場合には、基準位置にセットされる。
【０１２４】
また可動プリズム１４の振れ幅は、一定の幅ではなく、過去の動きベクトルの変化率に基づく幅に設定するようにしてもよい。
【０１２５】
このとき、可動プリズム１４の振れ幅は、最初は大きく設定し、徐々に小さくなるようにしてもよい。これにより、最初は粗検索が行われ、次第に微検索が行われ、結果的に、短い時間で検索を終了させることができる。
【０１２６】
図１０は、前のフレームの結果を可動プリズム１４の位置の初期位置とするとともに、可動プリズム１４の振れ幅を、過去のフレームの動きベクトルの変化率からが予測するようにした場合における制御部１５の構成例を表している。
【０１２７】
この構成例においては、光電変換素子１３から出力された画像データがメモリ４０１に供給され、記憶される。評価値算出部４０２は、メモリ４０１に記憶された画像データを読み出し、評価値を算出する。可動プリズム制御信号発生部４０３は、プリズム制御信号を可動プリズム１４に出力し、可動プリズム１４を所定の位置に駆動する。評価値プリズム制御量保存メモリ４０４は、評価値算出部４０２が算出した評価値のうちの、最小の評価値に対応する可動プリズム制御信号発生部４０３が出力したプリズム制御信号（プリズム制御量）を、その評価値に対応して記憶する。
【０１２８】
動きベクトル算出部４０６は、保存メモリ４０４に記憶された評価値とプリズム制御量に基づいて動きベクトルを算出する。このとき、ベクトル算出用校正データメモリ４０５に記憶されている校正データが利用される。
【０１２９】
動きベクトル算出部４０６により算出された動きベクトルは、出力ベクトル蓄積用メモリ４０７に蓄積される。探索範囲決定部４０８は、出力ベクトル蓄積用メモリ４０７に蓄積されている過去のフレームの動きベクトルに基づいて、可動プリズム１４の振れ幅（探索範囲）を予測し、その予測した範囲で、可動プリズム制御信号発生部４０３を制御する。また、探索範囲決定部４０８は、保存メモリ４０４に保存されている評価値に基づいて、予測された動きベクトルの信頼性を判定し、その判定結果に基づいて、探索範囲を拡大する処理を行う。
【０１３０】
次に、図１１のフローチャートを参照して、図１０の制御部１５の動作について説明する。
【０１３１】
ステップＳ４１において、探索範囲決定部４０８は、注目画素とその周辺の画素の過去のフレームの動きベクトルの検出結果から、可動プリズム１４の探索範囲を決定する。すなわち、探索範囲決定部４０８は、出力ベクトル蓄積用メモリ４０７に蓄積されている１フレーム前の動きベクトルを基に、最も小さい評価値が得られた（最も高い相関が得られた）ときの可動プリズム１４の位置を中心とする、その近傍の範囲を、今回の可動プリズム１４の探索範囲として決定する。
探索範囲決定部４０８は、この決定された探索範囲に基づいて、可動プリズム制御信号発生部４０３を制御する。
【０１３２】
また、探索範囲決定部４０８は、探索範囲を決定するために過去のフレームの動きベクトルの（ｘ，ｙ）の成分の分散を演算し、さらにその分散から、標準偏差を演算する。標準偏差の値が大きい場合には、最小の評価値が得られる可動プリズム１４の位置は、大きく異なっている（バラツイている）可能性が高い。そこでこの場合には、探索範囲決定部４０８は、探索範囲を広くする。これに対して、標準偏差の値が小さい場合には、可動プリズム１４の移動範囲が小さい範囲内において、最小の評価値が得られる可能性が高いので、探索範囲は狭い範囲に設定される。
【０１３３】
このように、探索範囲を決定することで、より迅速な探索が可能となる。
【０１３４】
このように、可動プリズム１４の探索範囲と、探索を開始する初期位置を、直前のフレームの探索結果に基づいて決定することにより、常に、予め設定されている基準位置（パーク位置）から探索を開始する場合に較べて、より迅速に、最小の評価値を求めることが可能になる。
【０１３５】
可動プリズム制御信号発生部４０３は、この探索範囲に基づいて、プリズム制御信号を生成し、可動プリズム１４を駆動する。
【０１３６】
メモリ４０１には、光電変換素子１３より出力された画像データが入力され、記憶される。評価値算出部４０２は、その可動プリズム１４のその駆動位置に基づく評価値をステップＳ４２において算出する。
【０１３７】
探索範囲決定部４０８は、ステップＳ４３において、ステップＳ４１で決定した探索範囲内の全ての探索が終了したか否かを判定し、まだ終了していない場合には、ステップＳ４２に戻り、それ以降の処理を繰り返し実行する。すなわち、可動プリズム１４が新たな位置に移動され、その位置における評価値が求められる動作が繰り返される。
【０１３８】
評価値プリズム制御量保存メモリ４０４は、ステップＳ４２の処理で、評価値が得られる度に、その評価値が最小の評価値であるか否かを判定し、最小の評価値と、それに対応する可動プリズム１４の制御量を記憶する。
【０１３９】
ステップＳ４３において、探索範囲内の全ての探索が終了したと判定された場合、ステップＳ４４に進み、探索範囲決定部４０８は、動きベクトルを取得し、取得した動きベクトルが信頼できるものであるか否かを判定する。
【０１４０】
すなわち、探索された範囲内の最小の評価値に対応する可動プリズム１４の制御量が、動きベクトル算出部４０６に供給される。動きベクトル算出部４０６は、その制御量に対応する動きベクトルを、ベクトル算出用校正データメモリ４０５に記憶されている校正データに基づいて算出する。
【０１４１】
この動きベクトルは、探索範囲決定部４０８に供給される。探索範囲決定部４０８は、いま求めた動きベクトルが信頼できるものであるか否かを、対応する評価値に基づいて判定する。
【０１４２】
例えば、その動きベクトルが対応する評価値の値が、予め設定されている基準値より大きい場合には、その評価値が、例え最小値であったとしても、充分小さい値ではないので、探索範囲決定部４０８は、その動きベクトル（評価値）は、信頼できる値ではないと判定する。逆に、その評価値の値が基準値より小さい場合には、求められた動きベクトルは信頼できるものと判定される。
【０１４３】
この他、例えば、探索範囲決定部４０８は、評価値の最小値と２番目の最小値との差を演算し、その差が基準値より大きいか否かに基づいて信頼性を判定することもできる。その差が、基準値より大きいとき、評価値は最小値である可能性が高い。そこで、この場合、信頼性があると判定される。これに対して、この差の値が基準値より小さい場合には、最小値ではなく、極小値である可能性がある。そこで、この場合には、信頼性がないと判定される。
【０１４４】
求めた動きベクトルが信頼できるものである場合には、ステップＳ４５に進み、動きベクトル算出部４０６は、動きベクトルを出力する。この動きベクトルは、出力ベクトル蓄積用メモリ４０７にも供給され、記憶される。
【０１４５】
ステップＳ４４において、求められた動きベクトルが信頼できないと判定された場合、ステップＳ４６に進み、探索範囲決定部４０８は、ステップＳ４１の処理で決定された探索範囲をさらに拡大する。そして、ステップＳ４７において、探索範囲決定部４０８は、拡大された探索範囲に基づいて、可動プリズム制御信号発生部４０３を制御し、可動プリズム１４を移動させる。
【０１４６】
そして、ステップＳ４７において、評価値算出部４０２は、その新たに移動された可動プリズム１４の位置に基づく評価値を算出する。
【０１４７】
ステップＳ４８において、探索範囲決定部４０８は、拡大された探索範囲内の全ての探索が終了したか否かを判定し、終了していなければステップＳ４７に戻り、再び、評価値を求める処理を実行する。
【０１４８】
上述した場合と同様にして、評価値プリズム制御量保存メモリ４０４は、探索範囲内の最小の評価値を求めると、これを動きベクトル算出部４０６に供給し、動きベクトルに変換させる。
【０１４９】
ステップＳ４８において、拡大された探索範囲内の全ての探索が終了したと判定された場合、ステップＳ４９に進み、探索範囲決定部４０８は、動きベクトル算出部４０６から動きベクトルを出力させる。この動きベクトルは、出力ベクトル蓄積用メモリ４０７に供給され、記憶される。
【０１５０】
このように、最初に探索範囲を狭い範囲に設定する場合には、迅速に最小の評価値が求められる可能性があるが、信頼性が低い場合には、求めた動きベクトルは、正しい動きベクトルではない可能性があるので、より探索範囲を広げて、再び探索を行うことで、正確な動きベクトルの検出が可能となる。
【０１５１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５３】
【発明の効果】
以上の如く、本発明の第１の情報処理装置および方法によれば、第１の画像と光学的に位置が変更された第２の画像を同時に投影して得られた画像の出力に基づいて、第１の画像と第２の画像の動きを演算するようにしたので、少ないデータ量で動きを検出することが可能となる。
【０１５４】
本発明の第２の情報処理装置および方法によれば、第１の画像と光学的に位置が変更された第２の画像を、ともに投影して得られる画像の出力に基づいて、第１の画像と第２の画像の動きを演算し、その関係と第１の画像と第２の画像の動きとを関連付けるようにしたので、簡単かつ確実に、第１の画像と第２の画像の動きを検出するのに必要なテーブルを生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した情報処理装置の構成を示す図である。
【図２】図１の装置の電気的構成を示すブロック図である。
【図３】図１と図２に示す装置の処理を説明するフローチャートである。
【図４】図２のメモリに記憶するテーブルを学習し生成する装置の構成例を示すブロック図である。
【図５】図４の制御部の構成例を示すブロック図である。
【図６】図４の装置の動作を説明するフローチャートである。
【図７】本発明を適用したビデオカメラの構成例を示すブロック図である。
【図８】図７の動き検出部において用いられるテーブルを学習し生成する装置の構成例を示すブロック図である。
【図９】本発明を適用したビデオカメラのさらに他の構成例を示すブロック図である。
【図１０】図２の制御部の他の構成例を示すブロック図である。
【図１１】図１０の制御部の動作を説明するフローチャートである。
【符号の説明】
１ 光源， ２ LCD， １１ 光源， １２ LCD， １３ 光電変換素子，
１４ 可動プリズム， １５ 制御部， ２１ メモリ

Claims (12)

1. 投影された画像を光電変換する光電変換手段と、
   前記光電変換手段に、入力された第１の画像を投影する第１の投影手段と、
   入力された第２の画像の位置を、光学的に変更する位置変更手段と、
   前記位置変更手段により光学的に位置が変更された前記第２の画像を、前記第１の画像が投影された前記光電変換手段に、同時に重ねて投影する第２の投影手段と、
   前記光電変換手段より出力される、前記第１の画像と前記位置変更手段により光学的に位置が変更された前記第２の画像とを重ねた画像の信号に基づいて、前記第１の画像と前記第２の画像の動きを演算する演算手段と
   を備える情報処理装置。
2. 前記演算手段は、自己相関を演算する
   請求項１に記載の情報処理装置。
3. 前記第１の画像は、レンズを介して取得した被写体からの画像である
   請求項１に記載の情報処理装置。
4. 前記第１の画像を表示する画像表示手段をさらに備え、
   前記第１の投影手段は、前記画像表示手段に表示された前記第１の画像を前記光電変換手段に投影する
   請求項１に記載の情報処理装置。
5. 前記第２の画像を表示する画像表示手段をさらに備え、
   前記第２の投影手段は、前記画像表示手段に表示された前記第２の画像を前記光電変換手段に投影する
   請求項１に記載の情報処理装置。
6. 前記位置変更手段は、可動プリズムを含む
   請求項１に記載の情報処理装置。
7. 前記第２の画像の移動範囲を決定する決定手段をさらに備え、
   前記決定手段は、前記第２の画像の移動の初期位置を、前のフレームにおける位置に基づいて決定する
   請求項１に記載の情報処理装置。
8. 前記決定手段は、前記演算手段により演算された結果の信頼性を求め、前記信頼性に基づいて、前記第２の画像の移動範囲を拡大する
   請求項７に記載の情報処理装置。
9. 前記決定手段は、前記演算手段により演算された結果の標準偏差に基づいて前記信頼性を求める
   請求項８に記載の情報処理装置。
10. 情報処理装置の情報処理方法において、
    前記情報処理装置は、
    光電変換手段と、
    第１の投影手段と、
    位置変更手段と、
    第２の投影手段と、
    演算手段と
    を備え、
    前記光電変換手段が、投影された画像を光電変換し、
    前記第１の投影手段が、前記光電変換手段に、入力された第１の画像を投影し、
    前記位置変更手段が、入力された第２の画像の位置を、光学的に変更し、
    前記第２の投影手段が、前記位置変更手段により光学的に位置が変更された前記第２の画像を、前記第１の画像が投影された前記光電変換手段に、同時に重ねて投影し、
    前記演算手段が、前記光電変換手段より出力される、前記第１の画像と前記位置変更手段により光学的に位置が変更された前記第２の画像とを重ねた画像の信号に基づいて、前記第１の画像と前記第２の画像の動きを演算する
    ステップを含む情報処理方法。
11. 投影された画像を光電変換する光電変換手段と、
    前記光電変換手段に、入力された第１の画像を投影する第１の投影手段と、
    入力された第２の画像の位置を、光学的に変更する位置変更手段と、
    前記位置変更手段により光学的に位置が変更された前記第２の画像を、前記第１の画像が投影された前記光電変換手段に、同時に重ねて投影する第２の投影手段と、
    前記光電変換手段より出力される、前記第１の画像と前記位置変更手段により光学的に位置が変更された前記第２の画像とを重ねた画像の信号に基づいて、前記第１の画像と前記第２の画像の関係を演算する演算手段と、
    前記演算手段により演算された前記関係と、前記第１の画像と前記第２の画像の動きとを関連づける関連づけ手段と
    を備える情報処理装置。
12. 情報処理装置の情報処理方法において、
    前記情報処理装置は、
    光電変換手段と、
    第１の投影手段と、
    位置変更手段と、
    第２の投影手段と、
    演算手段と、
    関連づけ手段と
    を備え、
    前記光電変換手段が、投影された画像を光電変換し、
    前記第１の投影手段が、前記光電変換手段に、入力された第１の画像を投影し、
    前記位置変更手段が、入力された第２の画像の位置を、光学的に変更し、
    前記第２の投影手段が、前記位置変更手段により光学的に位置が変更された前記第２の画像を、前記第１の画像が投影された前記光電変換手段に、同時に重ねて投影し、
    前記演算手段が、前記光電変換手段より出力される、前記第１の画像と前記位置変更手段により光学的に位置が変更された前記第２の画像とを重ねた画像の信号に基づいて、前記第１の画像と前記第２の画像の関係を演算し、
    前記関連づけ手段が、前記演算手段により演算された前記関係と、前記第１の画像と前記第２の画像の動きとを関連づける
    ステップを含む情報処理方法。

Images