JP3845968B2 - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP3845968B2 JP3845968B2 JP22506097A JP22506097A JP3845968B2 JP 3845968 B2 JP3845968 B2 JP 3845968B2 JP 22506097 A JP22506097 A JP 22506097A JP 22506097 A JP22506097 A JP 22506097A JP 3845968 B2 JP3845968 B2 JP 3845968B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing system
- image processing
- area
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ＣＣＤの画素数よりも多画素の静止画を得られるようにした画像処理システムに関する。
【０００２】
【従来の技術】
ディジタル方式のカメラ一体型ビデオテープレコーダでは、例えばＣＣＤを撮像素子として用い、動画を撮影して得られたビデオ信号をディジタルビデオデータとして磁気テープに記録する。このようなカメラ一体型ビデオテープレコーダにおいて、撮影領域を縦横にゆっくり動かしながら複数のフィールド画像（またはフレーム画像）を記録し、記録された複数のフィールド画像を合成することが考えられる。これにより、動画撮影時の１フィールドの画像よりも広い面積範囲の静止画像を得ることができる。
【０００３】
すなわち、撮影領域を少しずつ移動させて記録を行ない、撮影開始点から連続的にフィールド画像が得られるようにする。そして、記録されたフィールド画像に対して、位置的に隣接するフィールド画像の重複部分を抽出し、この重複部分に対して所定の演算を行なうことによって、それぞれのフィールド画像をシームレスに合成して、全体として１枚の静止画像を得るような画像処理を行なう。このような画像処理は、例えばパーソナルコンピュータによるソフトウェア処理により行なわれる。
【０００４】
【発明が解決しようとする課題】
ところで、より大きな静止画像を得ようとした場合には、縦横に何度も方向を変えて撮影を行なうことになる。例えば、撮影開始位置から右方向に撮影領域を徐々にずらしながら撮影し、所望の横幅まで達したらさらに上方向に、撮影領域が既に撮影した領域と重なるように移動させる。続けて左方向に移動させる。撮影領域の左端が撮影開始点まで達したら、さらに上方向に移動させる。この操作が繰り返される。
【０００５】
従来のカメラ一体型ビデオテープレコーダでは、ビューファインダに対して、レンズ系で撮影可能な領域より広範囲な領域を表示することができなかった。また、ビューファインダに対して撮影領域の軌跡を表示するようにもされていなかった。そのため、このような撮影を行なった場合、フィールド画像の重複していない、撮影漏れの部分が生じてしまうことがあるという問題点があった。撮影漏れの部分が生じると、全体として１枚の静止画像を合成する場合に不具合が生じる。
【０００６】
したがって、この発明の目的は、全体として１枚の静止画を得るように撮影領域を移動させて撮影を行なう場合に、撮影漏れの部分が生じないような画像処理システムを提供することにある。
【０００８】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、再生時に、複数のフィールド画像またはフレーム画像から１つの静止画を合成することができるように、記録手段による記録媒体への記録時に、複数のフィールド画像またはフレーム画像を撮影領域が重複するように連続的に撮影するようにされた画像処理システムにおいて、第１の撮影領域を有するフィールド画像またはフレーム画像を出力する撮影手段と、第１の撮影領域より広い第２の撮影領域を設定する撮影領域設定手段と、第２の撮影領域の全体を表示領域に対して表示させると共に、フィールド画像またはフレーム画像を第１および第２の撮影領域の大きさの比率に応じて縮小させて表示領域に対して表示させる表示手段と、撮影手段から出力されたフィールド画像またはフレーム画像の動き検出を行なう動き検出手段と、動き検出手段による動き検出結果を用いてフィールド画像またはフレーム画像の圧縮符号化を行なう圧縮符号化手段と、撮影中に第１の撮影領域が移動した際に、移動と並行して、動き検出結果に基づき合成に必要な情報を生成すると共に、移動前のフィールド画像またはフレーム画像と移動後のフィールド画像またはフレーム画像とをシームレスに合成する合成手段とを備え、合成された画像を表示手段に対して表示させることを特徴とする画像処理システムである。
【０００９】
上述したように、この発明では、撮影時にフィールドが重複するように連続的に撮影され記録された画像データを再生し、重複部分に基づき１つの静止画を合成するようにされているために、フィールド画像よりも多画素で構成される、サイズの大きな静止画を得ることができる。
【００１０】
また、この発明では、撮影時にフィールド画像（またはフレーム画像）に対応する第１の撮影領域より広い第２の撮影領域がモニタ手段に表示され、フィールド画像が第１および第２の撮影領域の大きさの比率に応じて縮小されてモニタ手段に表示され、撮影中に第１の撮影領域が移動した際に移動前のフィールド画像と移動後のフィールド画像とがシームレスに合成されモニタ手段に対して表示されるため、第２の撮影領域に対して既に撮影された領域を知ることができ、静止画を合成する際に漏れのない撮影を行なうことができる。
【００１１】
【発明の実施の形態】
以下、この発明の実施の一形態について説明する。この発明では、動画撮影による１フィールドの画像領域より広範囲をビューファインダに表示するようにすると共に、ビュイーファインダに対して、撮影中に、撮影が行なわれていない未撮影領域と、既に撮影された既撮影領域とを区別して表示するようにしている。そして、撮影され記録された画像を再生し、再生された画像データに対して所定の画像処理を施すことにより、複数フィールドからなる画像データを合成して１枚の静止画を得る。
【００１２】
なお、以下の説明において、例えば通常の動画撮影で得られる、ＣＣＤの画素数で規定される撮影領域を、動画領域と称する。また、全体として１枚の静止画像を得るために、この動画領域よりも広範囲を撮影することを、多画素静止画撮影と称する。
【００１３】
この実施の一形態では、ユーザがこの多画素静止画撮影を制御するために、カメラ一体型ビデオテープレコーダに対して、多画素静止画撮影を行なうモードと通常の動画撮影を行なうモードとの切り替えを行なう撮影モード切り替えキー、多画素静止画撮影の開始／終了の指示を行なうスタート／ストップキー、多画素静止画撮影中の動画表示／全体表示の切り替えを行なう表示切替キー、および多画素静止画撮影の際の撮影範囲やスタート位置の設定キーといった、各種設定キーが設けられる。
【００１４】
図１〜図８は、この発明によるカメラ一体型ビデオテープレコーダにおけるビューファインダ内の表示の一例を示し、この実施の一形態による多画素静止画撮影について、概略的に説明する。先ず、カメラ一体型ビデオテープレコーダの撮影モードを多画素静止画撮影モードに設定する。スタートキーを押す前に、所定の方法により、サイズ，最小重複率，および撮影開始位置とを設定する。この例では、目的の静止画のサイズを動画領域に対して縦３倍および横２倍に、多画素静止画撮影の撮影開始位置は、この縦横３×２倍の範囲の中央に、それぞれ設定する。
【００１５】
サイズの設定方法には、様々な方法が考えられる。この例では、被写体を平面と見做し、縦および横の倍率を与えることで目的の静止画のサイズを設定している。また、被写体を円筒面の内側と見做し、水平の角度と縦の倍率とを与えるようにできる。例えば、横幅９０°，縦３倍などと設定される。さらに、被写体を球面の内側と見做し、経度と緯度とを与えるようにもできる。例えば、横幅９０°，縦幅６０°などと設定される。さらにまた、カメラで以て具体的に静止画のサイズ設定を行なうようにもできる。例えば、カメラを撮影したい範囲の左上隅に向けて左上設定キーを押し、続けて撮影範囲の右下隅に向けて右下設定キーを押す。
【００１６】
また、撮影開始位置の設定も、中央に設定した上述の例に限定されない。例えば、左上隅，右上隅に撮影開始位置を設定することができる。サイズ設定を、上述したように左上隅，右下隅と設定した場合には、右上隅に撮影開始位置を設定すると、より自然に多画素静止画撮影を行なうことができる。
【００１７】
なお、最小重複率は、位置的に隣接する２つの動画領域において、互いに重複する必要のある割合であり、動画領域の面積比で表される。この最小重複率の下限値は、最終的に画像処理を行なうソフトウェアによって決められる。この例では、最小重複率が３０％として設定されている。
【００１８】
カメラを被写体に向け、ビューファインダを覗くと、図１に示されるように、設定サイズの縦横比に対応した静止画領域１００が表示される。そして、この静止画領域１００に対して、ＣＣＤによって取り込まれた動画領域１０１が設定サイズに応じて縮小され、撮影開始位置に対応して中央に表示される。その画像の周囲は、例えば青色で埋められた未撮影領域１０２とされる。この状態で、スタートキーを押さずにカメラの方向を変えると、中央の動画領域１０１の表示内容が変わるだけである。
【００１９】
撮りたい被写体の中央に向いてスタートキーを押すと、撮影が開始される。撮影された画像データは、例えば、所定の方式で動き検出をされ得られた動きベクトルとＤＣＴ(Discrete Cosine Transform) とを用いて圧縮符号化され、磁気テープなどの記録媒体に記録される。それと共に、撮影された画像データは、所定の画像処理を行なうためにフレームメモリに記憶される。なお、これら撮影に関係する信号処理については、後述する。スタートキーを押し続けることによって、多画素静止画撮影が継続される。
【００２０】
ここでカメラをゆっくり右へ向け、撮影領域を移動させる。すると、図２および図３に連続的に示されるように、動画領域１０１が静止画領域１００内を移動する。動画領域１０１の画像データは、移動に伴いフレームメモリに記憶されると共に、圧縮符号化され磁気テープに対して記録される。先に撮影された画像データは、フレームメモリから読み出され、既撮影画像１０３として静止画領域１００内に表示される。このように、一度でもＣＣＤに取り込まれた映像は、静止画平面に記憶されていく。撮影がなされていない未撮影領域１０２は、青色表示のままである。なお、未撮影領域１０２の表示は、青色に限らず、他の色でもよい。
【００２１】
なお、フレームメモリへの画像データの記憶は、撮影領域が互いに隣接した動画領域の重複部分のデータが混合されてなされる。この混合は、所定の方法に基づき設定可能なパラメータに基づき演算されることで行なわれる。このパラメータを、例えば０≦α≦１であるようなαとすると、α：１−αの割合で混合される。α＝０のときには、重複部分が最新のデータに置き替えられる。α＝１のときには、重複部分において、最初のデータだけが有効とされる。また、０＜α＜１のときには、重複部分中で、動きのある部分が徐々に消えていくように混合される。
【００２２】
このようにデータを混合して記憶させることで、リアルタイムでシームレスに合成された画像をビューファインダ内に表示させることができる。パラメータαの設定は、例えばカメラ一体型ビデオテープレコーダに設けられた所定のキー操作で以て行なわれる。
【００２３】
また、動画領域の重複部分は、上述の圧縮符号化の際に行なわれる動き検出の結果に基づいて求めることができる。この動き検出の結果をフィールド毎に記憶しておくことで、時間的に離れて撮影された動画領域同士の位置関係を知ることができ、これにより、これらの動画領域同士の重複関係を知ることができる。
【００２４】
続けて、ビューファインダの表示に未撮影領域１０２が無くなるまで、カメラを縦横にゆっくり動かす。図４は、図３の状態からカメラを上方に向けた例であり、この状態からカメラをさらに左に動かすと、ビューファインダの表示は、図５のようになる。
【００２５】
ところで、カメラを横にゆっくり移動している間は、横に隣接する画像については明らかに十分な重複領域が確保される。しかしながら、例えば図４および図５を用いて上述したような、上へ行き、左へ行くように移動させた場合、上下に隣接するフィールド画像において十分な重複領域がとれない場合がある。この例を図６に示す。
【００２６】
後にシームレスに静止画の合成を行なうためには、重複率が最小重複率（この例では３０％）以上になるように撮影する必要がある。現在の動画領域１０１の周囲に既撮影の静止画像である既撮影画像１０３が存在し、動画領域１０１と既撮影画像１０３との間で、重複率が設定した最小重複率を確保できていないときは、図６のように、重複不十分部分１０４に対して未撮影領域１０２の表示がなされる。図６の例では、横方向のフィールドに対しては、最小重複率が確保されているが、縦方向のフィールドに対しては、確保されていない。その確保されていない重複不十分部分１０４が未撮影領域１０２の表示とされる。
【００２７】
一方、撮影中に、最初に設定した縦横３×２倍のサイズを広げたいときがある。例えば、図７に示されるように、動画領域１０１の所定量（例えば半分）以上が静止画領域１００からはみ出たとき、はみ出た動画領域１０５が表示されるように、画サイズが自動的に４倍×２倍に変化され、全体がさらに縮小され、図８に示されるように静止画領域１００’の表示がなされる。
【００２８】
動画領域１０１が静止画領域１００からはみ出たときの処理は、この方法に限定されない。例えば、静止画領域１００内の表示をスクロールするようにしてもよい。すなわち、はみ出た動画領域１０５を表示させるために、静止画領域１００内の表示全体を下方にスクロールさせる。こうすることによって、画像の縮小率は不変のままで、全体のサイズを広げることができる。但し、この場合、当初画面の下方に表示されていた画像は、見えなくなる。
【００２９】
また、撮影中に動画領域１０１を詳細に見たいときがある。このときは、所定の操作によって表示モードを動画表示モードに切り替えることによって、ビューファインダ内に動画領域１０１だけを一杯に表示させることができる。例えば、スタートキーを更に強く押すという操作によってこの表示モードの切り替えがなされる。この表示に切り替えることで、フォーカスやアイリスの調整を行なうことができる。元の全体表示モードに戻すためには、例えば再びスタートキーを軽く押す。
【００３０】
このようにして、青色の未撮影領域１０２が無くなったら、多画素静止画撮影を終了させる。これは、例えばスタートキーから指を離すことによってなされる。なお、静止画領域１００に対して未撮影領域１０２が残っていても、多画素静止画撮影を終了させることができる。この場合でも、後のソフトウェア処理で、既撮影分の画像データの１枚の静止画像への合成は、可能である。
【００３１】
図９および図１０は、このような多画素静止画撮影を行なうための、カメラ一体型ビデオテープレコーダの構成の一例を示す。図９において、レンズ系１は、アイリス，フォーカス，ズームなどの光学系の調節を行なうことができる。これらの調節は、レンズ系駆動回路１６によってそれぞれ制御される。この制御は、後述するシステムコントローラ１８の制御に基づき自動で行なわれる。光学系の調節は、これに限らず手動で以て行なうことも可能である。この制御に基づき、レンズ系駆動回路１６から制御情報が出力される。この例では、アイリス，フォーカス，ズームのそれぞれの値が出力される。この制御情報は、システムコントローラ１８に供給される。
【００３２】
レンズ系１を介して被写体画像がＣＣＤ(Charge Coupled Device) ２に照射される。照射された被写体画像は、ＣＣＤ２によって電気信号に変換される。なお、図示しないが、ＣＣＤ２は、所定の信号処理回路を有し、この変換された電気信号をさらにディジタル画像データに変換して出力する。ＣＣＤ２の画素数が動画領域の画像サイズに対応する。ＣＣＤ２からは、フィールド単位で画像データが出力される。
【００３３】
ＣＣＤ２からの画像データは、圧縮符号化回路３に供給されると共に、画像処理回路１７に供給される。圧縮符号化回路３に対して動き検出回路５が接続される。この動き検出回路５は、時系列的に隣接するフィールドの画像データを比較することで動きベクトルを求め、それにより画像データの動き検出を行なう。圧縮符号化回路３では、この動きベクトルならびにＤＣＴ(Discrete Cosine Transform) などを用いて、供給された画像データの圧縮符号化を行なう。
【００３４】
圧縮符号化回路３で圧縮符号化された画像データは、記録信号処理回路６に供給される。記録信号処理回路６は、エラー訂正符号化回路や記録イコライザ，記録アンプなどを有する。画像データは、例えばリード・ソロモン符号を用いた積符号によりエラー訂正符号化され、記録イコライザおよび記録アンプなどを介して、記録に適した信号に変換される。
【００３５】
記録信号処理回路６には、画像データと共に、上述のレンズ系駆動回路１６から出力されたレンズ系の制御情報、すなわち、アイリス値，フォーカス値，ズーム値も供給される。さらに、記録信号処理回路６には、上述した動き検出回路５から、動き検出結果に基づく動き情報が供給される。これらレンズ系の制御情報および動き情報は、画像データに対するサブコードデータとされる。このサブコードデータは、エラー訂正符号化回路において、画像データと共にエラー訂正符号化が行なわれる。
【００３６】
記録信号処理回路６の出力が記録ヘッド７に供給され、例えばヘリカルスキャン方式で以て磁気テープ８に記録される。再生は、同様にして、再生ヘッド９によって磁気テープ８に記録された信号が読み出されることによってなされる。読み出された信号が再生信号処理回路１０に供給される。
【００３７】
なお、この例では、記録媒体として磁気テープを用いているが、これはこの例に限定されるものではない。相応の容量を有し、ディジタル信号を記録可能な記録媒体であれば、他の記録媒体を用いることが可能である。例えば、ハードディスク，光磁気ディスク，ＤＶＤ(Digital Versatile Disc)，半導体メモリを記録媒体として用いることができる。
【００３８】
再生信号処理回路１０は、再生アンプ，再生イコライザ，エラー訂正回路などを有する。再生ヘッド９から供給された信号は、再生アンプや再生イコライザを介してディジタル処理に適した信号に変換され、エラー訂正回路に供給される。エラー訂正回路で記録時に施されたエラー訂正符号が復号化される。復号化されたデータが伸長回路１２に供給され、記録時の圧縮符号化を解かれ、再生画像データとされ出力される。伸長回路１２の出力がスイッチ回路１３の端子ＰＢに供給される。
【００３９】
なお、再生信号処理回路１０の出力から、上述のサブコードデータだけを取り出すことができる。取り出されたサブコードデータは、データ出力端１１に導出される。
【００４０】
再生時には、このスイッチ回路１３において端子ＰＢが選択され、再生画像データがビデオ出力端子１５に対して導出される。また、それと共に、再生画像データは、ビューファインダ１４に供給される。再生時にスイッチ回路１３で端子ＰＢを選択することによって、磁気テープ８からの再生画像をビューファインダ１４に表示させることができる。また、記録時にスイッチ回路１３で端子ＰＢを選択することによって、磁気テープ８に記録された画像を確認することができる。
【００４１】
なお、システムコントローラ１８は、ＣＰＵおよびＲＡＭやＲＯＭなどから構成され、このカメラ一体型ビデオテープレコーダの動作を制御する。キー入力部１９には、上述した各種設定キーが配置される。例えば、キー入力部１９に対して、多画素静止画撮影を行なうモードと通常の動画撮影を行なうモードとの切り替えを行なう撮影モード切り替えキー、多画素静止画撮影の開始／終了の指示を行なうスタート／ストップキー、多画素静止画撮影中の動画表示／全体表示の切り替えを行なう表示切替キー、および多画素静止画撮影の際の撮影範囲やスタート位置の設定キーが設けられる。これに限らず、他の設定キーや操作キーをこのキー入力部１９に配置してもよい。これら各種設定キーによる設定情報がキー入力部１９からシステムコントローラ１８に対して供給され、例えばＲＡＭに記憶される。
【００４２】
ところで、上述したように、ＣＣＤ２から出力された画像データは、画像処理回路１７に供給される。供給された画像データは、画像処理回路１７で所定の処理を施され、スイッチ回路１３の端子ＲＥＣに供給される。記録時に、スイッチ回路１３で端子ＲＥＣを選択することによって、撮影画像をビューファインダ１４に表示させることができる。
【００４３】
次に、画像処理回路１７での処理について説明する。画像処理回路１７には、ＣＣＤ２の画素数に対応した、例えばＣＣＤ２の画素数の２倍の容量のフレームメモリ３０が接続される。画像処理回路１７に対して、ＣＣＤ２から出力された画像信号が供給されると共に、動き検出回路５による動き検出結果、すなわち動き情報が供給される。さらに、キー入力部１９で設定された各種設定情報に基づく制御信号がシステムコントローラ１８から画像処理回路１７に対して供給される。図１〜図８を用いて説明したようなビューファインダ１４の表示は、システムコントローラ１８の制御に基づき行なわれる、画像処理回路１７によるフレームメモリ３０に対するアドレス制御などにより実現される。
【００４４】
例えば、キー入力部１９で設定されたサイズ設定情報に基づき、フレームメモリ３０の対応する領域が初期値で埋められる。この初期値は、例えば未撮影領域１０２を示す青色のデータとされる。このとき、この領域は、図１〜図８に示されるような、設定サイズの縦横比に対応した静止画領域１００に対応する。
【００４５】
また、画像処理回路１７に供給された、ＣＣＤ２からの画像データが例えば間引きによって縮小され、動画領域１０１が形成される。フレームメモリ３０において、動画領域１０１のデータは、スタート位置設定キーで設定された位置情報に基づくアドレスに記憶される。
【００４６】
さらに、画像処理回路１７には、ＣＣＤ２から出力された画像データと共に、動き検出回路５から動き検出結果、すなわち動き情報が供給される。多画素静止画撮影を行なうためにカメラを移動させた場合、この動き情報として例えば動きベクトルが出力される。この動きベクトルによって、画像データのフレームメモリ３０におけるアドレスが求められる。すなわち、動きベクトルを累積していくことで、動画領域１０１の移動の軌跡を知ることができる。
【００４７】
それと共に、画像処理回路１７では、既に撮影されフレームメモリ３０に記憶された画像データと最新の画像データとの、１動画領域毎の重複部分が求められると共に、重複率が計算される。重複部分の画像データは、上述した、予め設定されたパラメータαに基づき、α：１−αの割合で混合されてフレームメモリ３０に記憶される。
【００４８】
重複部分において、重複率が予め設定された最小重複率に満たない場合には、上述したように、その部分が重複不十分部分１０４としてビューファインダ１４内に表示される。この重複不十分部分１０４の表示は、例えば、最新の画像データにおける、該当する部分のデータがフレームメモリ３０に記憶されないように、データをマスクすることでなされる。この場合には、重複不十分部分１０４がフレームメモリ３０に初期値として記憶された、青色表示とされる。
【００４９】
図６の例では、カメラの移動は、動画領域１０１がビューファインダ１４内を左側から右側へと移動するようになされている。したがって、水平方向では十分に重複部分が稼げるが、垂直方向では時間的な連続性が少ないため、重複率が小さい部分が存在する。水平方向の、最小重複率を満足している重複部分は、重複されて表示されているが、垂直方向の、最小重複率を満足していない部分は、重複不十分部分１０４として青色表示とされる。
【００５０】
また、ＣＣＤ２の画素数，サイズ設定情報，およびスタート位置設定情報，ならびに動きベクトルの累積値から、最新の画像データが静止画領域１００の表示領域をはみ出しているかどうかを容易に判断することができる。最新の画像データが静止画領域１００からはみ出しているとされた場合、静止画領域１００に対して最新の画像データの全体が表示可能なように、サイズ設定情報が適宜変更される。それと共に、画像データ１０１の縮小率も変更される。
【００５１】
また、最新の画像データが静止画領域１００からはみ出しているとされた場合の、静止画領域１００内の表示のスクロールも、同様にして行なうことができる。すなわち、最新の画像データが静止画領域１００をはみ出した量が求められ、その結果に応じてフレームメモリ３０からの読み出しアドレスを変更する。スクロールを行なう場合には、フレームメモリ３０は、例えばＣＣＤ２の画素数の４以上の容量を有することが望ましい。
【００５２】
なお、図１０に一例が示されるように、このカメラ一体型ビデオテープレコーダに、例えばジャイロセンサからなる角速度センサ２０を設けるようにしてもよい。角速度センサ２０には、カメラ一体型ビデオテープレコーダに搭載されている、所謂手振れ防止機能のためのセンサを用いることができる。角速度センサ２０の出力を積分回路２１で積分して動き情報を得る。混合回路２２で、この角速度センサ２０により得られた動き情報と、動き検出回路５から得られる動き情報とを混合して、画像処理回路１７に対して供給する。
【００５３】
角速度センサ２０の出力を動き情報として用いることで、平坦な被写体を撮影する際や、暗がりでの撮影時などのような、動き検出回路５がうまく働かないような場合でも、撮影画像の相対的な位置を知ることができ、動画領域１０１の移動の軌跡をビューファインダ１４内に表示させることができる。
【００５４】
この図１０に示される例において、動き検出回路５からの出力と角速度センサ２０からの出力とを適宜切り替えるようにすることも可能である。すなわち、被写体の平坦部分などで動き検出回路５による動きベクトルが正しく得られない場合には、角速度センサ２０の出力に基づく動き情報を使用し、動き検出回路５によって正しく動き情報が得られる場合には、より精度の高い、動き検出回路５の出力を使用する。この切り替えは、例えば混合回路２２に対して、システムコントローラ１８からの制御信号を与えることによってなされ、手動および自動での切り替えが可能とされる。
【００５５】
なお、このように撮影され記録された画像データは、再生され、所定の画像処理を行なうための機器、例えば対応する画像処理ソフトウェアが搭載されたパーソナルコンピュータに供給される。また、この画像データの供給と共に、データ出力端１１からサブコードデータが出力される。このサブコードデータも、画像データと共に、パーソナルコンピュータに対して供給される。供給された画像データに対して、画像処理ソフトウェアによって合成処理が行なわれ、シームレス処理がなされる。このとき、サブコードデータとして供給された、動き情報やズーム，アイリス，フォーカスといった各種撮影情報などを用いることで、より精度の高い合成処理を行なうことができる。
【００５６】
例えば、サブコードデータに含まれる動き情報に基づき各フィールドの画像データの位置関係を知ることができる。これにより、各画像データ間の重複部分が求められ、この重複部分に対して所定の演算を行なうことによって、各画像データの合成を自動的に行なうことができる。また、サブコードデータに含まれる
ズーム，アイリス，フォーカスといった光学系の各種情報に基づき、画像補正を行ない、各画像データを均質にした上での静止画の合成を、自動的に行なうことが可能とされる。
【００５７】
例えば、ズーム情報に基づき、画像データの平面への変換や、円筒面，球面への変換を確実に行なうことができる。また、アイリス情報に基づき、各画像データの明度補正を確実に行なうことができる。さらに、同じ撮影領域内でもフォーカスの異なる画像データが得られることがある。フォーカス情報に基づき、最も鮮明な画像データを画素単位で選択することが可能とされ、これにより焦点深度の深い画像を得ることができる。
【００５８】
【発明の効果】
以上説明したように、この発明によれば、撮影中に、ビューファインダあるいは外部モニタ内に未撮影部と既撮影部とが明確に区別されて表示される。そのため、より大きな静止画を得るために、動画領域よりも広い範囲を連続的に撮影する場合にも、未撮影部分が残らないようにすることができる効果がある。
【００５９】
また、この発明によれば、撮影時の光学系の制御情報や、フィールド画像の動き情報がサブコードデータとして画像データとともに記録されるため、記録されたデータを再生し合成する際に、より高精度でシームレス処理を行なうことができる効果がある。
【図面の簡単な説明】
【図１】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図２】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図３】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図４】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図５】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図６】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図７】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図８】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図９】この実施の一形態によるカメラ一体型ビデオテープレコーダの構成の一例を示すブロック図である。
【図１０】この実施の一形態によるカメラ一体型ビデオテープレコーダの構成の一例を示すブロック図である。
【符号の説明】
２・・・ＣＣＤ、３・・・圧縮符号化回路、５・・・動き検出回路、６・・・記録信号処理回路、１１・・・データ出力端、１４・・・ビューファインダ、１６・・・レンズ系駆動回路、１７・・・画像処理回路、１８・・・システムコントローラ、１９・・・キー入力部、２０・・・角速度センサ
【発明の属する技術分野】
この発明は、ＣＣＤの画素数よりも多画素の静止画を得られるようにした画像処理システムに関する。
【０００２】
【従来の技術】
ディジタル方式のカメラ一体型ビデオテープレコーダでは、例えばＣＣＤを撮像素子として用い、動画を撮影して得られたビデオ信号をディジタルビデオデータとして磁気テープに記録する。このようなカメラ一体型ビデオテープレコーダにおいて、撮影領域を縦横にゆっくり動かしながら複数のフィールド画像（またはフレーム画像）を記録し、記録された複数のフィールド画像を合成することが考えられる。これにより、動画撮影時の１フィールドの画像よりも広い面積範囲の静止画像を得ることができる。
【０００３】
すなわち、撮影領域を少しずつ移動させて記録を行ない、撮影開始点から連続的にフィールド画像が得られるようにする。そして、記録されたフィールド画像に対して、位置的に隣接するフィールド画像の重複部分を抽出し、この重複部分に対して所定の演算を行なうことによって、それぞれのフィールド画像をシームレスに合成して、全体として１枚の静止画像を得るような画像処理を行なう。このような画像処理は、例えばパーソナルコンピュータによるソフトウェア処理により行なわれる。
【０００４】
【発明が解決しようとする課題】
ところで、より大きな静止画像を得ようとした場合には、縦横に何度も方向を変えて撮影を行なうことになる。例えば、撮影開始位置から右方向に撮影領域を徐々にずらしながら撮影し、所望の横幅まで達したらさらに上方向に、撮影領域が既に撮影した領域と重なるように移動させる。続けて左方向に移動させる。撮影領域の左端が撮影開始点まで達したら、さらに上方向に移動させる。この操作が繰り返される。
【０００５】
従来のカメラ一体型ビデオテープレコーダでは、ビューファインダに対して、レンズ系で撮影可能な領域より広範囲な領域を表示することができなかった。また、ビューファインダに対して撮影領域の軌跡を表示するようにもされていなかった。そのため、このような撮影を行なった場合、フィールド画像の重複していない、撮影漏れの部分が生じてしまうことがあるという問題点があった。撮影漏れの部分が生じると、全体として１枚の静止画像を合成する場合に不具合が生じる。
【０００６】
したがって、この発明の目的は、全体として１枚の静止画を得るように撮影領域を移動させて撮影を行なう場合に、撮影漏れの部分が生じないような画像処理システムを提供することにある。
【０００８】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、再生時に、複数のフィールド画像またはフレーム画像から１つの静止画を合成することができるように、記録手段による記録媒体への記録時に、複数のフィールド画像またはフレーム画像を撮影領域が重複するように連続的に撮影するようにされた画像処理システムにおいて、第１の撮影領域を有するフィールド画像またはフレーム画像を出力する撮影手段と、第１の撮影領域より広い第２の撮影領域を設定する撮影領域設定手段と、第２の撮影領域の全体を表示領域に対して表示させると共に、フィールド画像またはフレーム画像を第１および第２の撮影領域の大きさの比率に応じて縮小させて表示領域に対して表示させる表示手段と、撮影手段から出力されたフィールド画像またはフレーム画像の動き検出を行なう動き検出手段と、動き検出手段による動き検出結果を用いてフィールド画像またはフレーム画像の圧縮符号化を行なう圧縮符号化手段と、撮影中に第１の撮影領域が移動した際に、移動と並行して、動き検出結果に基づき合成に必要な情報を生成すると共に、移動前のフィールド画像またはフレーム画像と移動後のフィールド画像またはフレーム画像とをシームレスに合成する合成手段とを備え、合成された画像を表示手段に対して表示させることを特徴とする画像処理システムである。
【０００９】
上述したように、この発明では、撮影時にフィールドが重複するように連続的に撮影され記録された画像データを再生し、重複部分に基づき１つの静止画を合成するようにされているために、フィールド画像よりも多画素で構成される、サイズの大きな静止画を得ることができる。
【００１０】
また、この発明では、撮影時にフィールド画像（またはフレーム画像）に対応する第１の撮影領域より広い第２の撮影領域がモニタ手段に表示され、フィールド画像が第１および第２の撮影領域の大きさの比率に応じて縮小されてモニタ手段に表示され、撮影中に第１の撮影領域が移動した際に移動前のフィールド画像と移動後のフィールド画像とがシームレスに合成されモニタ手段に対して表示されるため、第２の撮影領域に対して既に撮影された領域を知ることができ、静止画を合成する際に漏れのない撮影を行なうことができる。
【００１１】
【発明の実施の形態】
以下、この発明の実施の一形態について説明する。この発明では、動画撮影による１フィールドの画像領域より広範囲をビューファインダに表示するようにすると共に、ビュイーファインダに対して、撮影中に、撮影が行なわれていない未撮影領域と、既に撮影された既撮影領域とを区別して表示するようにしている。そして、撮影され記録された画像を再生し、再生された画像データに対して所定の画像処理を施すことにより、複数フィールドからなる画像データを合成して１枚の静止画を得る。
【００１２】
なお、以下の説明において、例えば通常の動画撮影で得られる、ＣＣＤの画素数で規定される撮影領域を、動画領域と称する。また、全体として１枚の静止画像を得るために、この動画領域よりも広範囲を撮影することを、多画素静止画撮影と称する。
【００１３】
この実施の一形態では、ユーザがこの多画素静止画撮影を制御するために、カメラ一体型ビデオテープレコーダに対して、多画素静止画撮影を行なうモードと通常の動画撮影を行なうモードとの切り替えを行なう撮影モード切り替えキー、多画素静止画撮影の開始／終了の指示を行なうスタート／ストップキー、多画素静止画撮影中の動画表示／全体表示の切り替えを行なう表示切替キー、および多画素静止画撮影の際の撮影範囲やスタート位置の設定キーといった、各種設定キーが設けられる。
【００１４】
図１〜図８は、この発明によるカメラ一体型ビデオテープレコーダにおけるビューファインダ内の表示の一例を示し、この実施の一形態による多画素静止画撮影について、概略的に説明する。先ず、カメラ一体型ビデオテープレコーダの撮影モードを多画素静止画撮影モードに設定する。スタートキーを押す前に、所定の方法により、サイズ，最小重複率，および撮影開始位置とを設定する。この例では、目的の静止画のサイズを動画領域に対して縦３倍および横２倍に、多画素静止画撮影の撮影開始位置は、この縦横３×２倍の範囲の中央に、それぞれ設定する。
【００１５】
サイズの設定方法には、様々な方法が考えられる。この例では、被写体を平面と見做し、縦および横の倍率を与えることで目的の静止画のサイズを設定している。また、被写体を円筒面の内側と見做し、水平の角度と縦の倍率とを与えるようにできる。例えば、横幅９０°，縦３倍などと設定される。さらに、被写体を球面の内側と見做し、経度と緯度とを与えるようにもできる。例えば、横幅９０°，縦幅６０°などと設定される。さらにまた、カメラで以て具体的に静止画のサイズ設定を行なうようにもできる。例えば、カメラを撮影したい範囲の左上隅に向けて左上設定キーを押し、続けて撮影範囲の右下隅に向けて右下設定キーを押す。
【００１６】
また、撮影開始位置の設定も、中央に設定した上述の例に限定されない。例えば、左上隅，右上隅に撮影開始位置を設定することができる。サイズ設定を、上述したように左上隅，右下隅と設定した場合には、右上隅に撮影開始位置を設定すると、より自然に多画素静止画撮影を行なうことができる。
【００１７】
なお、最小重複率は、位置的に隣接する２つの動画領域において、互いに重複する必要のある割合であり、動画領域の面積比で表される。この最小重複率の下限値は、最終的に画像処理を行なうソフトウェアによって決められる。この例では、最小重複率が３０％として設定されている。
【００１８】
カメラを被写体に向け、ビューファインダを覗くと、図１に示されるように、設定サイズの縦横比に対応した静止画領域１００が表示される。そして、この静止画領域１００に対して、ＣＣＤによって取り込まれた動画領域１０１が設定サイズに応じて縮小され、撮影開始位置に対応して中央に表示される。その画像の周囲は、例えば青色で埋められた未撮影領域１０２とされる。この状態で、スタートキーを押さずにカメラの方向を変えると、中央の動画領域１０１の表示内容が変わるだけである。
【００１９】
撮りたい被写体の中央に向いてスタートキーを押すと、撮影が開始される。撮影された画像データは、例えば、所定の方式で動き検出をされ得られた動きベクトルとＤＣＴ(Discrete Cosine Transform) とを用いて圧縮符号化され、磁気テープなどの記録媒体に記録される。それと共に、撮影された画像データは、所定の画像処理を行なうためにフレームメモリに記憶される。なお、これら撮影に関係する信号処理については、後述する。スタートキーを押し続けることによって、多画素静止画撮影が継続される。
【００２０】
ここでカメラをゆっくり右へ向け、撮影領域を移動させる。すると、図２および図３に連続的に示されるように、動画領域１０１が静止画領域１００内を移動する。動画領域１０１の画像データは、移動に伴いフレームメモリに記憶されると共に、圧縮符号化され磁気テープに対して記録される。先に撮影された画像データは、フレームメモリから読み出され、既撮影画像１０３として静止画領域１００内に表示される。このように、一度でもＣＣＤに取り込まれた映像は、静止画平面に記憶されていく。撮影がなされていない未撮影領域１０２は、青色表示のままである。なお、未撮影領域１０２の表示は、青色に限らず、他の色でもよい。
【００２１】
なお、フレームメモリへの画像データの記憶は、撮影領域が互いに隣接した動画領域の重複部分のデータが混合されてなされる。この混合は、所定の方法に基づき設定可能なパラメータに基づき演算されることで行なわれる。このパラメータを、例えば０≦α≦１であるようなαとすると、α：１−αの割合で混合される。α＝０のときには、重複部分が最新のデータに置き替えられる。α＝１のときには、重複部分において、最初のデータだけが有効とされる。また、０＜α＜１のときには、重複部分中で、動きのある部分が徐々に消えていくように混合される。
【００２２】
このようにデータを混合して記憶させることで、リアルタイムでシームレスに合成された画像をビューファインダ内に表示させることができる。パラメータαの設定は、例えばカメラ一体型ビデオテープレコーダに設けられた所定のキー操作で以て行なわれる。
【００２３】
また、動画領域の重複部分は、上述の圧縮符号化の際に行なわれる動き検出の結果に基づいて求めることができる。この動き検出の結果をフィールド毎に記憶しておくことで、時間的に離れて撮影された動画領域同士の位置関係を知ることができ、これにより、これらの動画領域同士の重複関係を知ることができる。
【００２４】
続けて、ビューファインダの表示に未撮影領域１０２が無くなるまで、カメラを縦横にゆっくり動かす。図４は、図３の状態からカメラを上方に向けた例であり、この状態からカメラをさらに左に動かすと、ビューファインダの表示は、図５のようになる。
【００２５】
ところで、カメラを横にゆっくり移動している間は、横に隣接する画像については明らかに十分な重複領域が確保される。しかしながら、例えば図４および図５を用いて上述したような、上へ行き、左へ行くように移動させた場合、上下に隣接するフィールド画像において十分な重複領域がとれない場合がある。この例を図６に示す。
【００２６】
後にシームレスに静止画の合成を行なうためには、重複率が最小重複率（この例では３０％）以上になるように撮影する必要がある。現在の動画領域１０１の周囲に既撮影の静止画像である既撮影画像１０３が存在し、動画領域１０１と既撮影画像１０３との間で、重複率が設定した最小重複率を確保できていないときは、図６のように、重複不十分部分１０４に対して未撮影領域１０２の表示がなされる。図６の例では、横方向のフィールドに対しては、最小重複率が確保されているが、縦方向のフィールドに対しては、確保されていない。その確保されていない重複不十分部分１０４が未撮影領域１０２の表示とされる。
【００２７】
一方、撮影中に、最初に設定した縦横３×２倍のサイズを広げたいときがある。例えば、図７に示されるように、動画領域１０１の所定量（例えば半分）以上が静止画領域１００からはみ出たとき、はみ出た動画領域１０５が表示されるように、画サイズが自動的に４倍×２倍に変化され、全体がさらに縮小され、図８に示されるように静止画領域１００’の表示がなされる。
【００２８】
動画領域１０１が静止画領域１００からはみ出たときの処理は、この方法に限定されない。例えば、静止画領域１００内の表示をスクロールするようにしてもよい。すなわち、はみ出た動画領域１０５を表示させるために、静止画領域１００内の表示全体を下方にスクロールさせる。こうすることによって、画像の縮小率は不変のままで、全体のサイズを広げることができる。但し、この場合、当初画面の下方に表示されていた画像は、見えなくなる。
【００２９】
また、撮影中に動画領域１０１を詳細に見たいときがある。このときは、所定の操作によって表示モードを動画表示モードに切り替えることによって、ビューファインダ内に動画領域１０１だけを一杯に表示させることができる。例えば、スタートキーを更に強く押すという操作によってこの表示モードの切り替えがなされる。この表示に切り替えることで、フォーカスやアイリスの調整を行なうことができる。元の全体表示モードに戻すためには、例えば再びスタートキーを軽く押す。
【００３０】
このようにして、青色の未撮影領域１０２が無くなったら、多画素静止画撮影を終了させる。これは、例えばスタートキーから指を離すことによってなされる。なお、静止画領域１００に対して未撮影領域１０２が残っていても、多画素静止画撮影を終了させることができる。この場合でも、後のソフトウェア処理で、既撮影分の画像データの１枚の静止画像への合成は、可能である。
【００３１】
図９および図１０は、このような多画素静止画撮影を行なうための、カメラ一体型ビデオテープレコーダの構成の一例を示す。図９において、レンズ系１は、アイリス，フォーカス，ズームなどの光学系の調節を行なうことができる。これらの調節は、レンズ系駆動回路１６によってそれぞれ制御される。この制御は、後述するシステムコントローラ１８の制御に基づき自動で行なわれる。光学系の調節は、これに限らず手動で以て行なうことも可能である。この制御に基づき、レンズ系駆動回路１６から制御情報が出力される。この例では、アイリス，フォーカス，ズームのそれぞれの値が出力される。この制御情報は、システムコントローラ１８に供給される。
【００３２】
レンズ系１を介して被写体画像がＣＣＤ(Charge Coupled Device) ２に照射される。照射された被写体画像は、ＣＣＤ２によって電気信号に変換される。なお、図示しないが、ＣＣＤ２は、所定の信号処理回路を有し、この変換された電気信号をさらにディジタル画像データに変換して出力する。ＣＣＤ２の画素数が動画領域の画像サイズに対応する。ＣＣＤ２からは、フィールド単位で画像データが出力される。
【００３３】
ＣＣＤ２からの画像データは、圧縮符号化回路３に供給されると共に、画像処理回路１７に供給される。圧縮符号化回路３に対して動き検出回路５が接続される。この動き検出回路５は、時系列的に隣接するフィールドの画像データを比較することで動きベクトルを求め、それにより画像データの動き検出を行なう。圧縮符号化回路３では、この動きベクトルならびにＤＣＴ(Discrete Cosine Transform) などを用いて、供給された画像データの圧縮符号化を行なう。
【００３４】
圧縮符号化回路３で圧縮符号化された画像データは、記録信号処理回路６に供給される。記録信号処理回路６は、エラー訂正符号化回路や記録イコライザ，記録アンプなどを有する。画像データは、例えばリード・ソロモン符号を用いた積符号によりエラー訂正符号化され、記録イコライザおよび記録アンプなどを介して、記録に適した信号に変換される。
【００３５】
記録信号処理回路６には、画像データと共に、上述のレンズ系駆動回路１６から出力されたレンズ系の制御情報、すなわち、アイリス値，フォーカス値，ズーム値も供給される。さらに、記録信号処理回路６には、上述した動き検出回路５から、動き検出結果に基づく動き情報が供給される。これらレンズ系の制御情報および動き情報は、画像データに対するサブコードデータとされる。このサブコードデータは、エラー訂正符号化回路において、画像データと共にエラー訂正符号化が行なわれる。
【００３６】
記録信号処理回路６の出力が記録ヘッド７に供給され、例えばヘリカルスキャン方式で以て磁気テープ８に記録される。再生は、同様にして、再生ヘッド９によって磁気テープ８に記録された信号が読み出されることによってなされる。読み出された信号が再生信号処理回路１０に供給される。
【００３７】
なお、この例では、記録媒体として磁気テープを用いているが、これはこの例に限定されるものではない。相応の容量を有し、ディジタル信号を記録可能な記録媒体であれば、他の記録媒体を用いることが可能である。例えば、ハードディスク，光磁気ディスク，ＤＶＤ(Digital Versatile Disc)，半導体メモリを記録媒体として用いることができる。
【００３８】
再生信号処理回路１０は、再生アンプ，再生イコライザ，エラー訂正回路などを有する。再生ヘッド９から供給された信号は、再生アンプや再生イコライザを介してディジタル処理に適した信号に変換され、エラー訂正回路に供給される。エラー訂正回路で記録時に施されたエラー訂正符号が復号化される。復号化されたデータが伸長回路１２に供給され、記録時の圧縮符号化を解かれ、再生画像データとされ出力される。伸長回路１２の出力がスイッチ回路１３の端子ＰＢに供給される。
【００３９】
なお、再生信号処理回路１０の出力から、上述のサブコードデータだけを取り出すことができる。取り出されたサブコードデータは、データ出力端１１に導出される。
【００４０】
再生時には、このスイッチ回路１３において端子ＰＢが選択され、再生画像データがビデオ出力端子１５に対して導出される。また、それと共に、再生画像データは、ビューファインダ１４に供給される。再生時にスイッチ回路１３で端子ＰＢを選択することによって、磁気テープ８からの再生画像をビューファインダ１４に表示させることができる。また、記録時にスイッチ回路１３で端子ＰＢを選択することによって、磁気テープ８に記録された画像を確認することができる。
【００４１】
なお、システムコントローラ１８は、ＣＰＵおよびＲＡＭやＲＯＭなどから構成され、このカメラ一体型ビデオテープレコーダの動作を制御する。キー入力部１９には、上述した各種設定キーが配置される。例えば、キー入力部１９に対して、多画素静止画撮影を行なうモードと通常の動画撮影を行なうモードとの切り替えを行なう撮影モード切り替えキー、多画素静止画撮影の開始／終了の指示を行なうスタート／ストップキー、多画素静止画撮影中の動画表示／全体表示の切り替えを行なう表示切替キー、および多画素静止画撮影の際の撮影範囲やスタート位置の設定キーが設けられる。これに限らず、他の設定キーや操作キーをこのキー入力部１９に配置してもよい。これら各種設定キーによる設定情報がキー入力部１９からシステムコントローラ１８に対して供給され、例えばＲＡＭに記憶される。
【００４２】
ところで、上述したように、ＣＣＤ２から出力された画像データは、画像処理回路１７に供給される。供給された画像データは、画像処理回路１７で所定の処理を施され、スイッチ回路１３の端子ＲＥＣに供給される。記録時に、スイッチ回路１３で端子ＲＥＣを選択することによって、撮影画像をビューファインダ１４に表示させることができる。
【００４３】
次に、画像処理回路１７での処理について説明する。画像処理回路１７には、ＣＣＤ２の画素数に対応した、例えばＣＣＤ２の画素数の２倍の容量のフレームメモリ３０が接続される。画像処理回路１７に対して、ＣＣＤ２から出力された画像信号が供給されると共に、動き検出回路５による動き検出結果、すなわち動き情報が供給される。さらに、キー入力部１９で設定された各種設定情報に基づく制御信号がシステムコントローラ１８から画像処理回路１７に対して供給される。図１〜図８を用いて説明したようなビューファインダ１４の表示は、システムコントローラ１８の制御に基づき行なわれる、画像処理回路１７によるフレームメモリ３０に対するアドレス制御などにより実現される。
【００４４】
例えば、キー入力部１９で設定されたサイズ設定情報に基づき、フレームメモリ３０の対応する領域が初期値で埋められる。この初期値は、例えば未撮影領域１０２を示す青色のデータとされる。このとき、この領域は、図１〜図８に示されるような、設定サイズの縦横比に対応した静止画領域１００に対応する。
【００４５】
また、画像処理回路１７に供給された、ＣＣＤ２からの画像データが例えば間引きによって縮小され、動画領域１０１が形成される。フレームメモリ３０において、動画領域１０１のデータは、スタート位置設定キーで設定された位置情報に基づくアドレスに記憶される。
【００４６】
さらに、画像処理回路１７には、ＣＣＤ２から出力された画像データと共に、動き検出回路５から動き検出結果、すなわち動き情報が供給される。多画素静止画撮影を行なうためにカメラを移動させた場合、この動き情報として例えば動きベクトルが出力される。この動きベクトルによって、画像データのフレームメモリ３０におけるアドレスが求められる。すなわち、動きベクトルを累積していくことで、動画領域１０１の移動の軌跡を知ることができる。
【００４７】
それと共に、画像処理回路１７では、既に撮影されフレームメモリ３０に記憶された画像データと最新の画像データとの、１動画領域毎の重複部分が求められると共に、重複率が計算される。重複部分の画像データは、上述した、予め設定されたパラメータαに基づき、α：１−αの割合で混合されてフレームメモリ３０に記憶される。
【００４８】
重複部分において、重複率が予め設定された最小重複率に満たない場合には、上述したように、その部分が重複不十分部分１０４としてビューファインダ１４内に表示される。この重複不十分部分１０４の表示は、例えば、最新の画像データにおける、該当する部分のデータがフレームメモリ３０に記憶されないように、データをマスクすることでなされる。この場合には、重複不十分部分１０４がフレームメモリ３０に初期値として記憶された、青色表示とされる。
【００４９】
図６の例では、カメラの移動は、動画領域１０１がビューファインダ１４内を左側から右側へと移動するようになされている。したがって、水平方向では十分に重複部分が稼げるが、垂直方向では時間的な連続性が少ないため、重複率が小さい部分が存在する。水平方向の、最小重複率を満足している重複部分は、重複されて表示されているが、垂直方向の、最小重複率を満足していない部分は、重複不十分部分１０４として青色表示とされる。
【００５０】
また、ＣＣＤ２の画素数，サイズ設定情報，およびスタート位置設定情報，ならびに動きベクトルの累積値から、最新の画像データが静止画領域１００の表示領域をはみ出しているかどうかを容易に判断することができる。最新の画像データが静止画領域１００からはみ出しているとされた場合、静止画領域１００に対して最新の画像データの全体が表示可能なように、サイズ設定情報が適宜変更される。それと共に、画像データ１０１の縮小率も変更される。
【００５１】
また、最新の画像データが静止画領域１００からはみ出しているとされた場合の、静止画領域１００内の表示のスクロールも、同様にして行なうことができる。すなわち、最新の画像データが静止画領域１００をはみ出した量が求められ、その結果に応じてフレームメモリ３０からの読み出しアドレスを変更する。スクロールを行なう場合には、フレームメモリ３０は、例えばＣＣＤ２の画素数の４以上の容量を有することが望ましい。
【００５２】
なお、図１０に一例が示されるように、このカメラ一体型ビデオテープレコーダに、例えばジャイロセンサからなる角速度センサ２０を設けるようにしてもよい。角速度センサ２０には、カメラ一体型ビデオテープレコーダに搭載されている、所謂手振れ防止機能のためのセンサを用いることができる。角速度センサ２０の出力を積分回路２１で積分して動き情報を得る。混合回路２２で、この角速度センサ２０により得られた動き情報と、動き検出回路５から得られる動き情報とを混合して、画像処理回路１７に対して供給する。
【００５３】
角速度センサ２０の出力を動き情報として用いることで、平坦な被写体を撮影する際や、暗がりでの撮影時などのような、動き検出回路５がうまく働かないような場合でも、撮影画像の相対的な位置を知ることができ、動画領域１０１の移動の軌跡をビューファインダ１４内に表示させることができる。
【００５４】
この図１０に示される例において、動き検出回路５からの出力と角速度センサ２０からの出力とを適宜切り替えるようにすることも可能である。すなわち、被写体の平坦部分などで動き検出回路５による動きベクトルが正しく得られない場合には、角速度センサ２０の出力に基づく動き情報を使用し、動き検出回路５によって正しく動き情報が得られる場合には、より精度の高い、動き検出回路５の出力を使用する。この切り替えは、例えば混合回路２２に対して、システムコントローラ１８からの制御信号を与えることによってなされ、手動および自動での切り替えが可能とされる。
【００５５】
なお、このように撮影され記録された画像データは、再生され、所定の画像処理を行なうための機器、例えば対応する画像処理ソフトウェアが搭載されたパーソナルコンピュータに供給される。また、この画像データの供給と共に、データ出力端１１からサブコードデータが出力される。このサブコードデータも、画像データと共に、パーソナルコンピュータに対して供給される。供給された画像データに対して、画像処理ソフトウェアによって合成処理が行なわれ、シームレス処理がなされる。このとき、サブコードデータとして供給された、動き情報やズーム，アイリス，フォーカスといった各種撮影情報などを用いることで、より精度の高い合成処理を行なうことができる。
【００５６】
例えば、サブコードデータに含まれる動き情報に基づき各フィールドの画像データの位置関係を知ることができる。これにより、各画像データ間の重複部分が求められ、この重複部分に対して所定の演算を行なうことによって、各画像データの合成を自動的に行なうことができる。また、サブコードデータに含まれる
ズーム，アイリス，フォーカスといった光学系の各種情報に基づき、画像補正を行ない、各画像データを均質にした上での静止画の合成を、自動的に行なうことが可能とされる。
【００５７】
例えば、ズーム情報に基づき、画像データの平面への変換や、円筒面，球面への変換を確実に行なうことができる。また、アイリス情報に基づき、各画像データの明度補正を確実に行なうことができる。さらに、同じ撮影領域内でもフォーカスの異なる画像データが得られることがある。フォーカス情報に基づき、最も鮮明な画像データを画素単位で選択することが可能とされ、これにより焦点深度の深い画像を得ることができる。
【００５８】
【発明の効果】
以上説明したように、この発明によれば、撮影中に、ビューファインダあるいは外部モニタ内に未撮影部と既撮影部とが明確に区別されて表示される。そのため、より大きな静止画を得るために、動画領域よりも広い範囲を連続的に撮影する場合にも、未撮影部分が残らないようにすることができる効果がある。
【００５９】
また、この発明によれば、撮影時の光学系の制御情報や、フィールド画像の動き情報がサブコードデータとして画像データとともに記録されるため、記録されたデータを再生し合成する際に、より高精度でシームレス処理を行なうことができる効果がある。
【図面の簡単な説明】
【図１】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図２】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図３】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図４】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図５】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図６】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図７】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図８】この発明によるビューファインダ内の表示の一例を示す略線図である。
【図９】この実施の一形態によるカメラ一体型ビデオテープレコーダの構成の一例を示すブロック図である。
【図１０】この実施の一形態によるカメラ一体型ビデオテープレコーダの構成の一例を示すブロック図である。
【符号の説明】
２・・・ＣＣＤ、３・・・圧縮符号化回路、５・・・動き検出回路、６・・・記録信号処理回路、１１・・・データ出力端、１４・・・ビューファインダ、１６・・・レンズ系駆動回路、１７・・・画像処理回路、１８・・・システムコントローラ、１９・・・キー入力部、２０・・・角速度センサ
Claims (15)
- 再生時に、複数のフィールド画像またはフレーム画像から１つの静止画を合成することができるように、記録手段による記録媒体への記録時に、上記複数のフィールド画像またはフレーム画像を撮影領域が重複するように連続的に撮影するようにされた画像処理システムにおいて、
第１の撮影領域を有するフィールド画像またはフレーム画像を出力する撮影手段と、
上記第１の撮影領域より広い第２の撮影領域を設定する撮影領域設定手段と、
上記第２の撮影領域の全体を表示領域に対して表示させると共に、上記フィールド画像またはフレーム画像を上記第１および第２の撮影領域の大きさの比率に応じて縮小させて上記表示領域に対して表示させる表示手段と、
上記撮影手段から出力された上記フィールド画像またはフレーム画像の動き検出を行なう動き検出手段と、
上記動き検出手段による動き検出結果を用いて上記フィールド画像またはフレーム画像の圧縮符号化を行なう圧縮符号化手段と、
上記撮影中に上記第１の撮影領域が移動した際に、該移動と並行して、上記動き検出結果に基づき上記合成に必要な情報を生成すると共に、上記移動前のフィールド画像またはフレーム画像と上記移動後のフィールド画像またはフレーム画像とをシームレスに合成する合成手段と
を備え、
上記合成された画像を上記表示手段に対して表示させる
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記表示手段に対して、上記第２の撮影領域中で上記撮影手段により上記撮影されていない領域には、未撮影領域であることを示す表示を行なう
ことを特徴とする画像処理システム。 - 請求項２に記載の画像処理システムにおいて、
特定の色を表示することによって上記未撮影領域であることを示す表示を行なう
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記撮影手段から出力された上記フィールド画像またはフレーム画像を記憶する記憶手段をさらに備え、
上記第２の撮影領域中で上記撮影手段により上記撮影された領域のフィールド画像またはフレーム画像は、上記記憶手段に対して上記記憶される
ことを特徴とする画像処理システム。 - 請求項４に記載の画像処理システムにおいて、
上記撮影手段により重複されて上記撮影された領域では、上記重複の度に、古い画像データと新しい画像データとが所定の比率で混合されて上記記憶手段に対して記憶される
ことを特徴とする画像処理システム。 - 請求項５に記載の画像処理システムにおいて、
上記所定の比率は、ユーザにより設定可能とされた
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記フィールド画像またはフレーム画像は、上記圧縮符号化手段により上記圧縮符号化されて上記記録手段により上記記録媒体へ記録されると共に、上記動き検出結果に基づく動き情報が上記フィールド画像またはフレーム画像に伴うサブコードデータとして上記記録手段により上記記録媒体に記録される
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記フィールド画像またはフレーム画像は、上記圧縮符号化手段により上記圧縮符号化されて上記記録手段により上記記録媒体へ記録されると共に、上記撮影手段による撮影情報が上記フィールド画像またはフレーム画像に伴うサブコードデータとして上記記録手段により上記記録媒体に記録される
ことを特徴とする画像処理システム。 - 請求項８に記載の画像処理システムにおいて、
上記撮影情報は、オートアイリスによるアイリス値である
ことを特徴とする画像処理システム。 - 請求項８に記載の画像処理システムにおいて、
上記撮影情報は、オートフォーカスによるフォーカス値である
ことを特徴とする画像処理システム。 - 請求項８に記載の画像処理システムにおいて、
上記撮影情報は、ズーム倍率値である
ことを特徴とする画像処理システム。 - 請求項２に記載の画像処理システムにおいて、
隣接するフィールド画像またはフレーム画像の重複部分で、重複率が予め設定された最小重複率に満たないときには、上記重複部分が上記未撮影領域として表示される
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記第１の撮影領域が上記第２の撮影領域を越えて移動した場合には、上記表示領域に対して上記移動した上記第１の撮影領域が表示されるように上記第２の撮影領域を調整する
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記第１の撮影領域が上記第２の撮影領域を越えて移動した場合には、上記表示領域に対して上記移動した上記第１の撮影領域が表示されるように上記第２の撮影領域内の画像をスクロールする
ことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
上記表示手段に対する上記表示は、上記第２の撮影領域の全体の表示と上記第１の撮影領域のみの表示とを切り替え可能とした
ことを特徴とする画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22506097A JP3845968B2 (ja) | 1997-08-21 | 1997-08-21 | 画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22506097A JP3845968B2 (ja) | 1997-08-21 | 1997-08-21 | 画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1169293A JPH1169293A (ja) | 1999-03-09 |
| JP3845968B2 true JP3845968B2 (ja) | 2006-11-15 |
Family
ID=16823420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22506097A Expired - Fee Related JP3845968B2 (ja) | 1997-08-21 | 1997-08-21 | 画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3845968B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007266667A (ja) * | 2006-03-27 | 2007-10-11 | Nec Electronics Corp | カメラ付き携帯機器、その制御方法及びその撮影支援方法 |
| JP4980779B2 (ja) | 2007-04-13 | 2012-07-18 | 富士フイルム株式会社 | 撮影装置、方法およびプログラム |
| JP5166966B2 (ja) * | 2008-05-15 | 2013-03-21 | ソニーモバイルコミュニケーションズ， エービー | カメラ装置、合成画像作成支援装置、合成画像作成支援方法、及び合成画像作成支援プログラム |
| JP2010199971A (ja) * | 2009-02-25 | 2010-09-09 | Casio Computer Co Ltd | 撮像装置、撮像方法、及びプログラム |
| JP5163676B2 (ja) * | 2010-03-19 | 2013-03-13 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
| JP4985808B2 (ja) | 2010-03-19 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、及びプログラム |
| KR101723642B1 (ko) | 2011-01-31 | 2017-04-19 | 삼성전자주식회사 | 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법 |
| JP5665013B2 (ja) * | 2011-04-06 | 2015-02-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5209098B2 (ja) * | 2011-09-16 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5209099B2 (ja) * | 2011-09-16 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5209100B2 (ja) * | 2011-09-16 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5209097B2 (ja) * | 2011-09-16 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5522545B2 (ja) * | 2011-10-18 | 2014-06-18 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
| JP5655804B2 (ja) * | 2012-03-16 | 2015-01-21 | カシオ計算機株式会社 | 撮像装置、及びプログラム |
| JP5637400B2 (ja) * | 2012-03-30 | 2014-12-10 | カシオ計算機株式会社 | 撮像装置、及びプログラム |
| JP5209139B2 (ja) * | 2012-09-05 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5209138B2 (ja) * | 2012-09-05 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5892211B2 (ja) * | 2014-08-06 | 2016-03-23 | カシオ計算機株式会社 | 撮像装置、及びプログラム |
-
1997
- 1997-08-21 JP JP22506097A patent/JP3845968B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1169293A (ja) | 1999-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3845968B2 (ja) | 画像処理システム | |
| US8350892B2 (en) | Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program | |
| US7978239B2 (en) | Digital camera using multiple image sensors to provide improved temporal sampling | |
| JP4525561B2 (ja) | 撮像装置、画像処理方法、並びにプログラム | |
| JP4479829B2 (ja) | 撮像装置及び撮像方法 | |
| US8000558B2 (en) | Thumbnail generating apparatus and image shooting apparatus | |
| JP4938615B2 (ja) | 動画像記録再生装置 | |
| JP2000101895A (ja) | 画像信号撮像装置および方法 | |
| JP3931393B2 (ja) | カメラ一体型ビデオレコーダおよび撮影方法 | |
| JP2003179798A (ja) | デジタルカメラ | |
| JP3928222B2 (ja) | 画像信号撮像および記録装置および方法 | |
| US7667741B2 (en) | Device and method for taking picture while recording moving picture | |
| JP2001028699A (ja) | 電子カメラ | |
| JP5126392B2 (ja) | 再生制御装置及び再生制御方法並びにプログラム | |
| JPH11168685A (ja) | 画像処理方法 | |
| JPH06133221A (ja) | 撮像装置 | |
| JPH1146317A (ja) | ビデオカメラ | |
| JP2000299800A (ja) | 撮像方法及び装置並びに記憶媒体 | |
| JP2001045500A (ja) | 電子カメラ | |
| JPH0759095A (ja) | デジタル画像信号の伝送装置及び受信装置 | |
| JPH0738858A (ja) | デジタル画像信号の伝送装置及び受信装置 | |
| JPH0746533A (ja) | デジタル画像信号の記録装置 | |
| JP2009021893A (ja) | 撮像装置及び撮像方法 | |
| JPH03272289A (ja) | 電子スチルカメラ | |
| JP2007213386A (ja) | 画像処理装置、画像処理プログラム、および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060814 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |