JPH11168685A

JPH11168685A - 画像処理方法

Info

Publication number: JPH11168685A
Application number: JP9333998A
Authority: JP
Inventors: Noriyuki Yamashita; 紀之山下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-12-04
Filing date: 1997-12-04
Publication date: 1999-06-22

Abstract

(57)【要約】【課題】手持ち撮影で記録した動画像から複数の静止
画を取り込む場合に、最も動きの少ない画像を選択す
る。【解決手段】カメラ一体型ビデオレコーダからパーソ
ナルコンピュータに供給されたフィールド画像データ
は、ＨＤＤ３５に書き込むと共に、復元され、モニタ３
８の画面の表示領域４１に表示される。この表示領域４
１には、４０枚の画像が左側から詰めて表示される。隣
り合う画像から移動ベクトルが求められ、求められた移
動ベクトルの絶対値は、棒グラフ４２として表示され
る。二次元表示領域４３は、棒グラフ４２に基づいて、
画像が二次元平面に並べられる。二次元表示領域４３に
並べられた画像の左下隅を連ねた線を折れ線グラフ４４
とする。棒グラフ４２、二次元表示領域４３、折れ線グ
ラフ４４、先鋭度から「必要な画像のリスト」に取り込
む画像が決定される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタル方式の
カメラ一体型ビデオレコーダで獲得した画像をパーソナ
ルコンピュータに取り込み、特に動きのために解像度が
悪くなっている画像を取り込まないようにした画像処理
方法である。

【０００２】

【従来の技術】ディジタル方式のカメラ一体型ビデオテ
ープレコーダでは、例えばＣＣＤを撮像素子として用
い、動画を撮影して得られたビデオ信号をディジタルビ
デオデータとして磁気テープに記録する。このようなカ
メラ一体型ビデオテープレコーダにおいて、撮影領域を
縦横にゆっくり動かしながら複数のフィールド画像を記
録し、記録された複数のフィールド画像を合成すること
が考えられる。これにより、動画撮影時の１フィールド
の画像よりも広い面積範囲の静止画像を得ることができ
る。

【０００３】すなわち、撮影領域を少しずつ移動させて
記録を行ない、撮影開始点から連続的にフィールド画像
が得られるようにする。そして、記録されたフィールド
画像に対して、位置的に隣接するフィールド画像の重複
部分を抽出し、この重複部分に対して所定の演算を行な
うことによって、それぞれのフィールド画像をシームレ
スに合成して、全体として１枚の静止画像を得るような
画像処理を行なう。このような画像処理は、例えばパー
ソナルコンピュータによるソフトウェア処理により行な
われる。

【０００４】このような撮影方法を応用することで、カ
メラ一体型ビデオテープレコーダでもってパノラマ画像
を得ることができる。撮影者は、カメラを水平方向に移
動させながら撮影を行なう。例えば、撮影者の周囲３６
０°を連続的に撮影する。得られた画像を、重複部分に
適当な処理を加えながらフィールド毎につなぐことで、
横長のパノラマ画像を得ることができる。この画像処理
は、例えばパーソナルコンピュータ上のソフトウェアで
行なうことができる。

【０００５】具体的には、動画用のカメラ一体型ビデオ
レコーダでレンズを望遠にして静止している被写体を、
方向をゆっくり変えながら撮影すると少しずつ位置のず
れた複数枚の画像を記録することができる。

【０００６】

【発明が解決しようとする課題】このような撮影方法で
パノラマ画像を得ようとする場合、実際には、カメラを
かなりゆっくり移動させる必要がある。すなわち、例え
ば水平画素数が６４０個の画像を、フィールド単位で５
％の移動率（フィールド間の重複率では、９５％）で右
に移動させた場合には、１／６０秒で３２画素分移動す
ることになる。このとき、シャッター速度が１／１２０
秒ならば、フィールド毎に１６画素分のブレを生じ、解
像度を著しく損なってしまう。

【０００７】ブレを最小限に抑えることで、この解像度
の低下を避けることができる。しかしながら、上述の撮
影条件で、例えばブレを１画素以内に抑えようとした場
合、シャッター速度を１６倍速くして１／１９２０秒以
下にするか、移動率を１／１６の０．３％以下にしてゆ
っくり移動させ撮影を行なう方法が考えられる。

【０００８】これらの方法のうち、シャッター速度を速
くすると感度が低下するため、かなり明るい被写体でな
いと撮影された画像が暗くなってしまい、使用に耐えな
いという問題点があり、また被写体がさほど明るくない
ためにシャッター速度が遅い場合、ちょっとした方向の
変化や手振れで１画素を大きく超えるブレを生じ、解像
度を著しく損なってしまう問題があった。

【０００９】また、カメラ一体型ビデオレコーダをゆっ
くり移動させることで、このような問題が生じないよう
にできるが、その場合、重複率が上がり、非常に無駄な
部分が多くなる問題があった。実際には、撮影された全
ての画像から画素数の多い１枚の画像を生成するために
は１００枚以上の全ての画像が必要なわけではなく、３
０％程度の重複した数枚〜１０数枚の画像があればよ
い。従来、これら数枚〜１０数枚の画像は、カメラ一体
型ビデオレコーダの再生画像を見ながら選択されてい
た。しかしながら、再生画像を見ながら選択するのは、
時間がかかり、熟練を要するという問題があった。

【００１０】従って、この発明の目的は、短時間で熟練
を要しないで簡単に、取り込まれた画像の中から最も動
きの少ない画像を選択することができる画像処理方法を
提供することにある。

【００１１】

【課題を解決するための手段】請求項１に記載の発明
は、多数の画像から動きの少ない画像を選択する画像処
理方法において、時間的に連続する複数の画像を記憶手
段に蓄えるステップと、時間的に連続する画像を詰めて
表示するステップと、隣り合う画像間の動きの量をグラ
フで表示するステップと、詰めて表示された画像の中か
らグラフに基づいて動きの量が比較的少ない、１または
複数の画像を選択し、決定するステップと、決定されな
かった画像を記憶手段から削除するステップとからなる
ことを特徴とする画像処理方法である。

【００１２】カメラ一体型ビデオレコーダから供給され
たフィールド画像データをパーソナルコンピュータにお
いて、ビットマップ形式のファイルに復元し、ＨＤＤに
記録すると共に、モニタに詰めて表示し、第（ｎ−１）
フレームと第ｎフレームとから移動ベクトルを求め、そ
の移動ベクトルを棒グラフで表示し、その棒グラフに基
づいて画像を並べ、その画像の左下隅を連ねた線を折れ
線グラフとし、「必要な画像のリスト」に取り込むため
に選択した画像の尖鋭度を表示し、棒グラフ、折れ線グ
ラフ、尖鋭度および画像の左下隅を連ねた重複関係から
「必要な画像のリスト」に取り込む画像が選択されるこ
とによって、最も動きの少ない画像が選択される。そし
て、取り込まれた画像は、連続番号が付され、新しいフ
ォルダにまとめられ、その他のフィールド画像データ
は、ＨＤＤから削除される。また、取り込まれた画像の
位置関係を示すデータは、ファイルに書き込まれる。

【００１３】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１は、この発明を適用
することができるカメラ一体型ビデオレコーダの構成の
一例を示す。図１において、レンズ系１は、アイリス、
フォーカス、ズームなどの光学系の調節を行なうことが
できる。これらの調節は、レンズ系駆動回路１６によっ
てそれぞれ制御される。この制御は、後述するシステム
コントローラ１８の制御に基づき自動で行なわれる。光
学系の調節は、これに限らず手動で以て行なうことも可
能である。この制御に基づき、レンズ系駆動回路１６か
ら制御情報が出力される。この例では、アイリス、フォ
ーカス、ズームのそれぞれの値が出力される。この制御
情報は、システムコントローラ１８に供給される。

【００１４】レンズ系１を介して被写体画像がＣＣＤ(C
harge Coupled Device) ２に照射される。照射された被
写体画像は、ＣＣＤ２によって電気信号に変換される。
なお、図示しないが、ＣＣＤ２は、所定の信号処理回路
を有し、この変換された電気信号をさらにディジタル画
像データに変換して出力する。ＣＣＤ２の画素数が動画
領域の画像サイズに対応する。ＣＣＤ２からは、フィー
ルドのタイミングで画像データが出力される。

【００１５】ＣＣＤ２の出力は、スイッチ回路１３の端
子ＲＥＣに供給されると共に、圧縮符号化回路３に供給
される。圧縮符号化回路３に対して動き検出回路５が接
続される。この動き検出回路５は、時系列的に隣接する
フィールド画像データを比較することで動きベクトルを
求め、それによりフィールド画像データの動き検出を行
なう。圧縮符号化回路３では、この動きベクトルならび
にＤＣＴ(Discrete Cosine Transform) などを用いて、
供給されたフィールド画像データの圧縮符号化を行な
う。圧縮符号化の方式としては、ＭＰＥＧ(Moving Pict
ure Experts Group)２を用いることができる。

【００１６】動き検出回路５の出力は、平均値算出回路
２２に供給され、フィールド全体の動きベクトルの平均
値が算出される。この動きベクトルの平均値は、後述す
る記録信号処理回路６およびシステムコントローラ１８
に対して供給される。

【００１７】なお、撮影時（記録時）にスイッチ回路１
３において端子ＲＥＣを選択することによって、ＣＣＤ
２で撮影中の画像をビューファインダ１４に対して表示
させることができる。また、この画像は、ビデオ出力端
子１５に対して導出させ、外部のビデオモニタなどで表
示させることもできる。

【００１８】一方、圧縮符号化回路３で圧縮符号化され
た画像データは、記録信号処理回路６に供給される。記
録信号処理回路６は、エラー訂正符号化回路や記録アン
プ、記録方式に適合した変調回路などを有する。画像デ
ータは、例えばリード・ソロモン符号を用いた積符号に
よりエラー訂正符号化され、所定の変調回路および記録
アンプなどを介して、記録に適した信号に変換される。

【００１９】記録信号処理回路６には、画像データと共
に、上述のレンズ系駆動回路１６から出力されたレンズ
系の制御情報、すなわち、アイリス値、フォーカス値、
ズーム値も供給される。さらに、記録信号処理回路６に
は、動き情報として、上述した動き検出回路５の出力に
基づく１フィールドの動きベクトルの平均値が供給され
る。これらレンズ系の制御情報および動き情報は、フィ
ールド画像データに対するサブコードデータとされる。
このサブコードデータは、エラー訂正符号化回路におい
て、画像データと共にエラー訂正符号化が行なわれる。

【００２０】これらのデータを記録する記録媒体８とし
ては、相応の容量を有し、ディジタル信号を記録可能な
記録媒体であれば、様々な種類のものについて適用させ
ることができる。例えば、ＭＤ(Mini Disc) などの光磁
気ディスク、ＤＶＤ(DigitalVersatile Disc)、半導体
メモリ、ハードディスクといった記録媒体を用いること
ができる。勿論、磁気テープをこの記録媒体８として用
いることも可能である。

【００２１】記録媒体８としてＭＤを用いた場合、画像
データおよびサブコードデータからなる記録データは、
記録信号処理回路６において、例えばＥＦＭ(Eight to
Fourteen Modulation)により変調が施され、図示されな
い磁気ヘッド駆動回路に供給される。そして、磁気ヘッ
ド駆動回路では、変調処理された記録データに応じて、
図示されない磁気ヘッドに対して磁気ヘッド駆動信号を
供給する。つまり、ＭＤに対して磁気ヘッドによるＮま
たはＳの磁界印加を実行させる。また、このとき、図示
されない光学ヘッドによって、記録レベルのレーザ光が
出力される。レーザ光の制御は、例えば、後述するシス
テムコントローラ１８によって行なうことができる。

【００２２】また、記録媒体８として磁気テープを用い
た場合、記録信号処理回路６の出力が図示されない記録
ヘッドに供給され、例えばヘリカルスキャン方式で以て
磁気テープからなる記録媒体８に記録される。再生は、
同様にして、図示されない再生ヘッドによって記録媒体
８に記録された信号が読み出されることによってなされ
る。読み出された信号が再生信号処理回路１０に供給さ
れる。

【００２３】再生信号処理回路１０は、再生アンプ、記
録方式に対応した復調回路、エラー訂正回路などを有す
る。記録媒体８から再生された信号は、再生アンプなど
を介してディジタル処理に適した信号に変換され、エラ
ー訂正回路に供給される。エラー訂正回路で記録時に施
されたエラー訂正符号が復号化される。復号化されたデ
ータが伸長回路１２に供給され、記録時の圧縮符号化を
解かれ、再生画像データとされ出力される。伸長回路１
２の出力がスイッチ回路１３の端子ＰＢに供給される。

【００２４】なお、再生信号処理回路１０の出力から、
上述のサブコードデータだけを取り出すことができる。
取り出されたサブコードデータは、データ出力端子１１
に導出される。

【００２５】再生時には、このスイッチ回路１３におい
て端子ＰＢが選択され、再生画像データがビデオ出力端
子１５に対して導出される。また、それと共に、再生画
像データは、ビューファインダ１４に供給される。再生
時にスイッチ回路１３で端子ＰＢを選択することによっ
て、記録媒体８からの再生画像をビューファインダ１４
に表示させることができる。

【００２６】なお、システムコントローラ１８は、ＣＰ
ＵおよびＲＡＭやＲＯＭなどから構成され、このカメラ
一体型ビデオレコーダの動作を制御する。キー入力部１
９には、このカメラ一体型ビデオレコーダの種々の設定
を行なうスイッチが設けられる。また、キー入力部１９
には、撮影の開始および終了を指示するためのスタート
／ストップキーが設けられる。スタート／ストップキー
は、押されることによって撮影が開始され、押されてい
る間は撮影が続行される。キーを離すことで、撮影が中
断または終了される。

【００２７】これら各種設定キーによる設定情報がキー
入力部１９からシステムコントローラ１８に対して供給
され、例えばＲＡＭに記憶される。また、このシステム
コントローラ１８は、図示しないが、所定の時間を設定
することが可能なタイマを有する。

【００２８】さらに、上述したように、システムコント
ローラ１８に対して、平均値算出回路２２から出力され
た動きベクトルの平均値が供給される。これは、現フィ
ールドが前フィールドに対してどれだけ動いたかを示す
値であり、例えば水平方向および垂直方向の移動量ｘお
よびｙからなる。この移動量ｘおよびｙは、記録信号処
理回路６へ供給され、サブコードデータとされる。

【００２９】このカメラ一体型ビデオレコーダに対し
て、例えばジャイロセンサからなる角速度センサ２０が
設けられる。この角速度センサ２０には、カメラ一体型
ビデオレコーダに搭載されている、所謂手振れ防止機能
のためのセンサを用いることができる。角速度センサ２
０の出力を積分回路２１で積分して動き情報を得る。こ
の動き情報は、システムコントローラ１８に対して供給
される。

【００３０】角速度センサ２０の出力を動き情報として
用いることで、平坦な被写体を撮影する際や、画像や暗
がりでの撮影時などのような、動き検出回路５がうまく
働かないような場合でも、撮影画像の相対的な位置を知
ることができる。なお、この角速度センサ２０ならびに
積分回路２１は、省略可能である。同様に、角速度セン
サ２０による出力だけを用いて相対位置を求めることも
可能である。この場合、動き検出回路５および平均値算
出回路２２は、省略可能である。

【００３１】この図１に示される例において、動き検出
回路５からの出力と角速度センサ２０からの出力とを適
宜切り替えるようにすることも可能である。すなわち、
被写体の平坦部分などで動き検出回路５による動きベク
トルが正しく得られない場合には、角速度センサ２０の
出力に基づく動き情報を使用し、動き検出回路５によっ
て正しく動き情報が得られる場合には、より精度の高
い、動き検出回路５の出力を使用する。また、これに限
らず、例えば画像データのパターン検出を行なうこと
で、自動切り替えとすることも可能である。

【００３２】なお、このように撮影され記録されたフィ
ールド画像データは、再生され、所定の画像処理を行な
うための機器、例えば対応する画像処理ソフトウェアが
搭載されたパーソナルコンピュータに供給される。ま
た、このフィールド画像データの供給と共に、データ出
力端子１１からサブコードデータが出力される。このサ
ブコードデータも、フィールド画像データと共に、パー
ソナルコンピュータに対して供給される。供給されたフ
ィールド画像データに対して、画像処理ソフトウェアに
よって、例えばシームレスな合成処理が行なわれ、パノ
ラマ画像を得ることができる。このとき、サブコードデ
ータとして供給された、動き情報やズーム、アイリス、
フォーカスといった各種撮影情報などを用いることで、
より精度の高い合成処理を行なうことができる。

【００３３】例えば、サブコードデータに含まれる動き
情報に基づき各フィールド画像データの位置関係を知る
ことができる。これにより、各フィールド画像データ間
の重複部分が求められる。また、サブコードデータに含
まれる、ズーム、アイリス、フォーカスといった光学系
の各種情報に基づき、画像補正を行ない、各フィールド
画像データを均質にした上での静止画の合成を、自動的
に行なうことが可能とされる。

【００３４】例えば、ズーム情報に基づき、フィールド
画像データの平面への変換や、円筒面、球面への変換を
確実に行なうことができる。また、アイリス情報に基づ
き、各フィールド画像データの明度補正を確実に行なう
ことができる。さらに、同じ撮影領域内でもフォーカス
の異なるフィールド画像データが得られることがある。
フォーカス情報に基づき、最も鮮明なフィールド画像デ
ータを画素単位で選択することが可能とされ、これによ
り焦点深度の深い画像を得ることができる。

【００３５】このような構成を有するカメラ一体型ビデ
オレコーダを用いて、撮影者は、キー入力部１９に設け
られた、パノラマ撮影ＯＮ／ＯＦＦの設定スイッチをＯ
Ｎとして、スタート／ストップキーを押すことにより、
パノラマ撮影を開始する。記録されたフィールド画像デ
ータを、例えば上述したような所定の画像処理ソフトウ
ェアが搭載されたパーソナルコンピュータに転送して、
シームレス処理を行なうことで、１枚のパノラマ画像を
完成させることができる。

【００３６】図２は、パーソナルコンピュータの概略的
構成の一例を示す。ＣＰＵ３１は、パーソナルコンピュ
ータ全体の制御を行い、ＣＰＵ３１からのコマンドデー
タや外部インタフェース（Ｉ／Ｆ）３９を介して供給さ
れる、例えばフィールド画像データを伝送するためのバ
ス３２、そのバス３２には、ＲＯＭ３３、ＲＡＭ３４、
ハードディスクドライブ（ＨＤＤ）３５、フロッピーデ
ィスクドライブ（ＦＤＤ）３６、キーボード（Ｋ／Ｂ）
３７、モニタ３８、外部インタフェース３９が接続され
る。

【００３７】上述したカメラ一体型ビデオレコーダの記
録媒体８から再生されたフィールド画像データとサブコ
ードデータとが外部インタフェース３９を介してパーソ
ナルコンピュータに供給される。供給されたフィールド
画像データとサブコードデータとは、ＨＤＤ３５へ供給
され、記録される。上述したように、サブコードデータ
として、動き情報やズーム、アイリス、フォーカスとい
った各種撮影情報などが供給される。

【００３８】ここで、パーソナルコンピュータにおい
て、最も動きの少ないフィールド画像データを選択する
アルゴリズムの一実施形態のフローチャートを図３に示
す。まず、ステップＳ１では、ｎに０が代入される。ス
テップＳ２では、第ｎフレームのフィールド画像データ
がカメラ一体型ビデオレコーダからパーソナルコンピュ
ータへ入力され、ビットマップ形式のファイルに復元さ
れ、ＨＤＤ３５に書き込まれると共に、モニタ３８の左
端に表示される。ステップＳ３では、ｎがインクリメン
トされる。ステップＳ４では、第ｎフレームのフィール
ド画像データが入力され、ビットマップ形式のファイル
に復元され、ＨＤＤ３５に書き込まれると共に、モニタ
３８の左端から少し右にずらして表示される。

【００３９】このときのモニタ３８の画面を図４に示
す。表示領域４１に示すようにフィールド画像データ
は、左端から順番に詰めて表示される。この表示領域４
１の下には、そのフィールド画像データがｎ番目のフレ
ームであることがわかるように、一例として１０番ごと
に番号が表示される。また、この表示領域４１には、４
０枚のフィールド画像データが入力され、表示された一
例である。

【００４０】ステップＳ５では、第（ｎ−１）フレーム
から第ｎフレームへの移動ベクトルが求められる。ステ
ップＳ６では、求められた移動ベクトルの絶対値が図４
中の棒グラフ４２としてモニタ３８に表示される。ステ
ップＳ７では、この棒グラフ４２に従って図４中の二次
元表示領域４３で示すようにフィールド画像データを２
次元の平面上に並べ、左下隅を連ねた線が折れ線グラフ
４４で表示される。このとき、画角との対比がわかるよ
うに二次元表示領域４３には、画枠が表示される。

【００４１】ステップＳ８では、全てのフィールド画像
データ、または４０枚のフィールド画像データが表示さ
れたか否かが判断され、全てまたは４０枚のフィールド
画像データが表示されたと判断された場合、ステップＳ
９へ制御が移り、全てまたは４０枚のフィールド画像デ
ータが表示されていないと判断された場合、ステップＳ
３へ制御が戻る。ステップＳ９では、ユーザが表示領域
４１に表示されている４０枚の中から必要なフィールド
画像データが指定され、その他のフィールド画像データ
が画面から消去される。そして、このフローチャートは
終了する。

【００４２】次に、上述したステップＳ９の詳細なアル
ゴリズムの一実施形態を図５のフローチャートを用いて
説明する。ステップＳ１１では、第１フレームのフィー
ルド画像データをマウスなどのポインティングデバイス
でクリックすると、９０％以上隠れていた画像が図６に
示すように、表示領域４１に重なるように、選択表示領
域４５に全部表示され、そのフレームと前後のフレーム
と合わせて３枚が大きく表示され、そして、クリックさ
れた第１フレームが緑の枠で囲まれる。この複数の候補
画像の中から１枚の画像が「必要な画像のリスト」とし
て決定される。そして、フレーム番号、棒グラフ４２、
二次元表示領域４３および折れ線グラフ４４も第１フレ
ームに該当する部分が緑で表示される。選択表示領域４
５の上側にフレーム番号０００、００１、００２が表示
される。（図６には、フレーム番号の一例として０２
４、０２５、０２６が示されている。）また、表示され
ている３枚の画像が表示されているエリアの尖鋭度４６
が表示される。この尖鋭度４６は、例えば０〜１００ま
での範囲をグラフで表示し、尖鋭度が高い場合、１００
に近くなり、尖鋭度が低い場合、０に近くなる。

【００４３】ステップＳ１２では、選択表示領域４５に
表示されたフィールド画像データを「必要な画像のリス
ト」に取り込むか否かが判断され、「必要な画像のリス
ト」に取り込む場合、ステップＳ１３に制御が移り、取
り込まない場合、ステップＳ１５へ制御が移る。ステッ
プＳ１３では、「必要な画像のリスト」に取り込む画像
の内部をダブルクリックする。ステップＳ１４では、ダ
ブルクリックにより決定されたフィールド画像データの
フレーム番号が「必要な画像のリスト」に追加される。
図６中のリスト４７に示すように、ダブルクリックによ
り決定されたフィールド画像データのフレーム番号が表
示される。そして、フレームの枠、フレーム番号、棒グ
ラフ４２、二次元表示領域４３および折れ線グラフ４４
の決定されたフィールド画像データに該当する部分の表
示が緑から赤に変わる。

【００４４】ステップＳ１５では、別の画像（第ｎフレ
ーム）をクリックすると、９０％以上隠れていた画像が
図６に示すように、表示領域４１に重なるように、選択
表示領域４５に全部表示され、そのフレームと前後のフ
レームと合わせて３枚が大きく表示され、そしてクリッ
クされた第ｎフレームが緑の枠で囲まれる。そして、棒
グラフ４２、二次元表示領域４３および折れ線グラフ４
４も第ｎフレームに該当する部分が緑で表示される。選
択表示領域４５の上側にフレーム番号ｎ−１、ｎ、ｎ＋
１が表示される。また、表示されている３枚の画像が表
示されているエリアの尖鋭度４６が表示される。

【００４５】ステップＳ１６では、選択表示領域４５に
表示されたフィールド画像データを「必要な画像のリス
ト」に取り込むか否かが判断され、「必要な画像のリス
ト」に取り込む場合、ステップＳ１７に制御が移り、取
り込まない場合、ステップＳ１９へ制御が移る。ステッ
プＳ１７では、「必要な画像のリスト」に取り込む画像
の内部をダブルクリックする。ステップＳ１８では、ダ
ブルクリックにより決定されたフィールド画像データの
フレーム番号が「必要な画像のリスト」に追加される。
図６中のリスト４７に示すように、ダブルクリックによ
り選択されたフィールド画像データのフレーム番号が表
示される。そして、フレームの枠、フレーム番号、棒グ
ラフ４２、二次元表示領域４３および折れ線グラフ４４
の決定されたフィールド画像データに該当する部分の表
示が緑から赤に変わる。

【００４６】ここで、ユーザは、このフィールド画像デ
ータを取り込むか否かを判断する場合、前フィールド画
像データに対する移動量の大きさを棒グラフ４２から読
み取ることができ、より動きの少ないフレームがそばに
ある場合、そのフィールド画像データに変更することが
できる。また、同様のシーンの場合、尖鋭度４６の数値
を比べ、尖鋭度の最も高いフィールド画像データを選択
するようにしても良い。

【００４７】また、直前に取り込んだ画像からどのよう
な位置関係にあるか、という問題も折れ線グラフ４４か
ら読み取ることができ、シームレス画像を作ることを意
識するならば重複関係がどうなっているかも判断しなが
ら、フィールド画像データを決定することができる。こ
のようにして、決定されたフィールド画像データは、
「必要な画像のリスト」に追加され、リスト４７にフレ
ーム番号が表示されると共に、これらのフィールド画像
データを二次元平面に、移動ベクトル（棒グラフ４２）
に従って並べたフィールド画像データが図６中の二次元
表示決定領域４８に表示される。

【００４８】ステップＳ１９では、このようにしてフィ
ールド画像データの「必要な画像のリスト」への取り込
む処理が進み、表示領域４１に表示されている４０枚の
フレームの半分を過ぎたら古いデータ、すなわちフレー
ム番号０００〜０１９のフィールド画像データを画面か
ら消去し、新しいデータを入力し（すなわち、上述した
ステップＳ３〜ステップＳ８の制御を行い）、左へスク
ロールする。

【００４９】ステップＳ２０では、こうして「必要な画
像のリスト」に決定された各フィールド画像データの重
複関係を示す図を表示し、重複率の少ない部分には、黄
色点滅表示で注意を促す。ステップＳ２１では、「必要
な画像のリスト」が出来上がったか否かが判断され、出
来上がったと判断された場合、ステップＳ２２へ制御が
移り、出来上がっていないと判断された場合、ステップ
Ｓ１５へ戻る。ステップＳ２２では、モニタ３８の画面
に「その他の画像を消去しますか」を表示し、「Ｙｅ
ｓ」が選択された場合、「必要な画像のリスト」に取り
込まれた画像以外の画像がハードディスクドライブ３５
から削除される。

【００５０】ステップＳ２３では、モニタ３８の画面に
「必要な画像のフォルダを作り、連続番号にします」を
表示し、「Ｙｅｓ」が選択された場合、「必要な画像の
リスト」に取り込まれた画像に連続する新しいフレーム
番号が付され、新しく作られたフォルダにまとめて保存
される。さらに、各フィールド画像データの位置関係を
示すデータが、例えばposition.txtのファイルに書かれ
る。このファイルは、シームレス合成処理のときに使用
される。

【００５１】ここで、「必要な画像のリスト」にフィー
ルド画像データを取り込むときに、その画像を拡大縮小
する一実施形態について、説明する。まず、拡大縮小に
ついて、上述したステップＳ１７において、フィールド
画像データを「必要な画像のリスト」に取り込むか否か
を決定するとき、画像の大切な部分の尖鋭度がどれくら
いあるかを精密に見たいときがある。このようなとき、
キーボード３７の［＋］キーを押しながら画像の内部を
クリックすると、そのクリックした点を中心として拡大
され、同時にその画像の前後の画像のその部分も拡大さ
れる。このとき、拡大される前後の画像は、画像の座標
ではなく、動きベクトルを考慮した位置で拡大を行うた
め、全く同じ画像が拡大表示される。また、このときの
尖鋭度４６は、表示されているエリア内の尖鋭度であ
る。さらに画像を拡大したい場合、キーボード３７の
［＋］キーを押しながら画像の内部をクリックすると、
１ステップ毎に拡大される。

【００５２】そして、キーボード３７の［０］キーを押
しながら拡大された画像の内部をクリックすると元のサ
イズに戻る。同時にその画像の前後の画像も元のサイズ
に戻る。また、何ステップか拡大した後にキーボード３
７の［−］キーを押しながら拡大された画像の内部をク
リックすると１ステップずつ縮小される。

【００５３】この一実施形態では、尖鋭度は、グラフで
表示したが、それに限らず数値で表示しても良い。

【００５４】この一実施形態では、カメラ一体型ビデオ
レコーダにより画像の取得が行われているが、これに限
らず種々の取得方法で得られた画像を用いることができ
る。

【００５５】上述したカメラ一体型ビデオレコーダの記
録媒体８としてＭＤを媒体に用いた一例であるが、光デ
ィスクを媒体に用いても良い。

【００５６】この一実施形態により得られた画像は、イ
ンターネットでダウンロードするようなファイルとして
用いることも可能である。

【００５７】

【発明の効果】この発明に依れば、短時間で熟練を要せ
ず簡単に、動画の中から最も動きの少ないフレームを選
択することができることによって、気に入った静止画を
取り出すことができる。

【図面の簡単な説明】

【図１】この発明を適用することができるカメラ一体型
ビデオレコーダの構成の一例を示すブロック図である。

【図２】この発明を適用することができるパーソナルコ
ンピュータの概略的構成である。

【図３】この発明の最も動きの少ないフィールド画像デ
ータを選択するアルゴリズムの一実施形態のフローチャ
ートである。

【図４】この発明が適用される画面表示の一例の略線図
である。

【図５】この発明の必要なフレームを指定し、その他を
消去するアルゴリズムの一実施形態のフローチャートで
ある。

【図６】この発明が適用される画面表示の一例の略線図
である。

【符号の説明】

４１・・・表示領域、４２・・・棒グラフ、４３・・・
二次元表示領域、４４・・・折れ線グラフ、４５・・・
選択表示領域、４６・・・尖鋭度、４７・・・リスト、
４８・・・二次元表示決定領域

Claims

【特許請求の範囲】

【請求項１】多数の画像から動きの少ない画像を選択
する画像処理方法において、時間的に連続する複数の画像を記憶手段に蓄えるステッ
プと、上記時間的に連続する画像を詰めて表示するステップ
と、隣り合う画像間の動きの量をグラフで表示するステップ
と、上記詰めて表示された画像の中から上記グラフに基づい
て上記動きの量が比較的少ない、１または複数の画像を
選択し、決定するステップと、決定されなかった画像を上記記憶手段から削除するステ
ップとからなることを特徴とする画像処理方法。
【請求項２】請求項１において、上記動きの量に従って上記画像を２次元平面内に配置す
るようにしたことを特徴とする画像処理方法。
【請求項３】請求項１において、上記記憶手段に蓄えられる画像は、撮像手段をゆっくり移動させて取得したフィールド単位
の画像データであることを特徴とする画像処理方法。
【請求項４】請求項１において、重複関係を認識し、シームレス合成処理に支障がでる場
合には、警告を表示するようにしたことを特徴とする画
像処理方法。
【請求項５】請求項１において、上記選択された画像と、上記選択された画像の前後の画
像とを候補画像として大きく表示することを特徴とする
画像処理方法。
【請求項６】請求項５において、上記選択され大きく表示された画像の枠と、上記選択さ
れた画像に該当する番号と、上記選択された画像に該当
するグラフと、上記二次元平面に配置され上記選択され
た画像の枠とが非選択の画像に関するものと異なる色で
表示されるようにしたことを特徴とする画像処理方法。
【請求項７】請求項５において、上記大きく表示された３つの画像の尖鋭度をそれぞれ表
す表示を行うようにしたことを特徴とする画像処理方
法。
【請求項８】請求項５において、上記大きく表示された候補画像の内部を再度選択するこ
とによって、選択される画像を決定し、上記決定された
画像の標識を必要な画像のリストに追加するようにした
ことを特徴とする画像処理方法。
【請求項９】請求項８において、上記必要な画像のリストに上記画像の標識が追加される
度に、二次元平面の正しい位置関係に並べて上記決定さ
れた画像を表示するようにしたことを特徴とする画像処
理方法。
【請求項１０】請求項８において、上記必要な画像のリストに追加された画像に連続する番
号を付し、まとめて保存することを特徴とする画像処理
方法。
【請求項１１】請求項５において、上記選択され大きく表示された画像の内部の所望の点を
所定のキーを押しながら選択すると、選択された上記所
望の点を中心として上記選択された画像と、上記選択さ
れた画像の前後の画像とを拡大するようにしたことを特
徴とする画像処理方法。
【請求項１２】請求項１１において、上記３つの大きく表示された画像の拡大は、上記動きの量を考慮した位置で行うようにしたことを特
徴とする画像処理方法。
【請求項１３】請求項１１において、上記拡大された画像の内部を所定のキーを押しながら選
択すると、上記選択された画像と、上記選択された画像
の前後の画像とを元の画像の大きさに戻すようにしたこ
とを特徴とする画像処理方法。
【請求項１４】請求項１１において、上記選択され大きく表示された画像の内部の所望の点を
所定のキーを押しながら選択することによって、１ステ
ップ毎に拡大し、上記拡大された画像の内部を所定のキーを押しながら選
択することによって、１ステップ毎に縮小するようにし
たことを特徴とする画像処理方法。
【請求項１５】請求項１１において、上記拡大された３つの画像の表示されているエリア内の
尖鋭度を表示するようにしたことを特徴とする画像処理
方法。