JP4178878B2 - 画像処理方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置により撮像された画像データに対して画像処理を行う方法及び装置に関するものであり、この中でも特に、モザイキング手法を用いた、特定の動体を消去する画像処理方法及び装置に関する。
【０００２】
【従来の技術】
画像内に存在する特定オブジェクトを消去する方法は、いくつかある。画像内の特定オブジェクトを消去するためには、特定オブジェクトの背後に隠れている背景を復元する必要があるが、特定オブジェクトに隠された背景を推測し描き足すことにより特定オブジェクトを消去するペインティング方法、画像内の特定オブジェクトを含む領域をマスク部分として作成し、マスク部分と同位置であり特定オブジェクトの背景が映っている画像からマスク部分と同位置の画像を切り出して、マスク部分に上書きするマスキング手法、モザイキング手法等がある。
【０００３】
さて、画像処理におけるモザイキングにはいくつかあるが、一つは、画像全体や画像中に存在する特定オブジェクトをぼかすために、ぼかす対象となる画像部分に対して、ある程度の大きさのブロックに画素を分割し、1ブロック内のすべての画素の濃度を、ブロック内の画素の平均濃度に置き換える処理であり、一つは、複数の画像を重ね合わせることにより大きな一つの画像を作り上げることである。複数画像の重ね合わせの中でも、ただ重ね合わせるだけでなく、複数のカメラで撮影した画像又はビデオで撮影した動画像に対して幾何補正を行い繋ぎ合わせることによりパノラマ画像を作成したりすることも多い。
モザイキング手法を用いたパノラマ画像作成方法としては、以下の方法が提案されている。
【０００４】
特開2002-150264号広報の「モザイク画像合成方法及びモザイク画像合成装置ならびにモザイク画像合成プログラムを記録した記録媒体」では、遠景だけでなく奥行きを持った３次元オブジェクトが近景に含まれる場合の複数画像から画像の繋ぎ合わせにより大きな一つの画像を作成する方法について述べており、カメラの位置・姿勢情報等のカメラパラメータにより期待される画像の変化と、時間的に連続する画像の対における特徴点の動きベクトルを比較し、大きなずれを生じる部分を除外し、残りの動きベクトルを基にカメラパラメータを再計算することにより、歪みの少ないモザイク画像を生成するものである。
【０００５】
モザイキング手法を用いたパノラマ画像の作成において、パノラマ画像を構成する複数の画像がビデオカメラ等撮像装置の移動によって時間とともに徐々に変化する画像であったとき、その画像内に存在する特定の動体を消去する方法がある。時間的に連続する画像の対における特徴点の動き追跡し同一の特徴点が同じ場所にくるように画像対の重ね合わせを行うときに、特定の動体が存在しない場所の画像を選択して使用することにより、可能となる。動体は、時間とともに存在する場所が変化するため、動体の存在する領域の背景部分の抽出は比較的容易である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述したモザイキング手法による動体の消去方法を用いると、動体の移動が遅い場合は動体の存在する領域の背景部分を十分に得ることができず完全な復元は困難であり、しかも消去したい動体が画像内に複数存在するときも同様の理由で完全な復元は困難である。
【０００７】
本発明の目的は、時間的に連続する画像の対に現れる特定の動体の消去において、画像復元の精度を上げる画像処理方法及び装置を提供することにある。
【課題を解決するための手段】
本発明では、時間的に連続する画像の対に現れる特定の動体の消去の精度を上げるために、複数回撮影することにより背景部分情報を増やし、画像復元精度を向上することにあり、カメラ位置を考慮した画像の変形により歪みの少ない繋ぎあわせを実現する。
【０００８】
上記課題を解決するために、本発明では以下の手段を採用する。
【０００９】
移動可能な撮像装置に接続され、撮像装置にて撮像された連続的な画像を取り込む手段と、第１の動画において、前記にて取り込んだ連続的な画像中に存在する特徴点を設定する手段と、各画像中に存在する特徴点を対応付ける手段と、消去したい特定の動体の存在領域の少ない画像を選択し、特徴点の対応付けにより画像をつなぎ合わせてパノラマ画像を作成する手段と、前記にて作成したパノラマ画像の背景画像不足部分を抽出する手段と、第２以降の動画において、第１の動画より作成されたパノラマ画像の背景不足部分に相応する領域を検索し抽出する手段と、前記にて抽出された画像領域を第１の画像に違和感なく合成するために、画像領域に対して変形を行い合成する手段を具備する。
【００１０】
なお、本発明における動画像の撮像は、撮像装置のルートや移動速度が完全に一致している必要はなく、手動で移動しながら撮影しても、機械制御で移動しながら撮影しても、ＰＣ制御で移動しながら撮影しても構わない。
【００１１】
【発明の実施の形態】
以下に、本発明における実施の形態を図面を参照しながら詳述する。
【００１２】
図１は、本発明のシステム構成を表した図である。本システムは、画像処理装置に含まれる、プログラムに基づいた計算や制御を行うCPU（１）、データやプログラムを記憶するメモリ用の主記憶装置（１００）、およびハードディスク等の補助記憶装置（２００）を含む。
【００１３】
また、動体を含む風景を撮像する撮像装置（１０）、撮像したアナログデータをディジタルデータに変換するA/D変換器（２０）、これらの構成要素を相互に結合するバス（２）から成る。
【００１４】
補助記憶装置（２００）には、撮像装置（１０）にて撮像したデータを格納する撮像データ格納部（２１０）、撮像データに含まれる静止オブジェクト中の追跡しやすい特徴点の位置データを格納する特徴点データ格納部（２２０）、動体の存在領域の少ない部分画像を抽出したデータを格納する動体領域最小画像データ格納部（２３０）、画像を繋ぎ合わせて作成された画像データを格納するパノラマ画像データ格納部（２４０）、残存する動体存在領域データを格納する動体存在領域マスクデータ格納部（２５０）、マスク部分に対応する背景画像を格納するマスク部分背景画像データ格納部（２６０）、動体の含まれない最終画像データを格納する動体消去画像データ格納部（２７０）によって構成されている。
【００１５】
主記憶装置（１００）は、撮像データ取得部（１１０）、動体消去部（１２０）、データ補填部（１３０）によって構成されている。
【００１６】
撮像データ取得部（１１０）には、画像処理対象となる撮像データ（２１０）を画像処理装置に取り込む撮像データ取り込みプログラム（１１１）が含まれる。取り込みの際、動体を消去する対象となるマスターとなる動画のほか、背景画像の情報を増やすために撮像した、マスター動画と同様のルート、移動速度にて撮像した補助動画も取り込むため、撮像データ格納装置（２１０）には、マスター動画、補助動画、ともに格納する。補助動画の撮像においては、撮像装置のルートや移動速度が完全に一致している必要はなく、手動で移動しながら撮影しても、機械制御で移動しながら撮影しても、ＰＣ制御で移動しながら撮影しても構わない。
【００１７】
動体消去部（１２０）には、撮像データのマスター動画に含まれる静止オブジェクト中の追跡しやすい特徴点を設定するプログラム（１２１）、マスター動画の各フレームにおける特徴点を追跡し、同じ位置を示す特徴点を対応付ける特徴点対応付けプログラム（１２２）、マスター動画の各フレームをレイヤとして所持し重ね合わせを行ったとき特徴点が一致するように画像の変形を行う画像変形プログラム（１２３）、マスター動画の各フレームをレイヤとして所持し重ね合わせを行ったときの重なり部分を抽出する画像重なり部分抽出プログラム（１２４）、画像重なり部分において動体の存在領域が最小であるレイヤを検索し選択する動体存在領域最小画像選択プログラム（１２５）、動体存在領域最小画像データ（２３０）を繋ぎ合わせてパノラマ画像（２４０）を作成する、画像繋ぎ合わせプログラム（１２６）が含まれる。
【００１８】
データ補填部（１３０）には、パノラマ画像データ（２４０）に残存する動体存在領域を抽出しマスクを作成する動体存在領域マスク作成プログラム（１３１）、残存する動体存在領域の背後に存在する背景画像が表示されている部分を検索するマスク部分背景画像検索プログラム（１３２）、マスク部分背景画像（２６０）を動体残存領域に重ね合わせるため、マスク部分の背景画像を抽出し、違和感なく合成する為に変形を行うマスク部分背景画像抽出及び変形プログラム（１３３）、動体存在領域に背景画像を合成するマスク部分背景画像合成プログラム（１３４）が含まれる。
【００１９】
なお、マスク部分の背景画像は、マスター動画の他のフレームから検出してもよいし、補助動画から検出してもよい。
【００２０】
図２は、本実施形態における内部構成を示した図である。
【００２１】
まず、撮像装置（１０）を移動させながら動体を含む動画を撮像する。動画は、同様のルート及び移動速度にて複数回撮像を行う。このとき、ルート及び移動速度は厳密に同一でなくても良い。
【００２２】
撮像装置（１０）にて撮像された動画データは、撮像データ取得部（１１０）においてA/D変換器（２０）にてディジタルデータに変換された動画データを取り込み、撮像データ（２１０）として格納する。もし、撮像装置が直接ディジタルデータを撮像できる場合は、A/D変換器（２０）を通す必要はなく、直接撮像データ（２１０）を取り込むことができる。
【００２３】
時系列に取り込まれた複数の撮像データ（２１０）のうち、動体を消去したい動画をマスター動画とした時、動体消去部（１２０）にて、モザイキングによるパノラマ画像作成方法を用いて動体の存在領域が最小となる画像を選択してつなぎ合わせることにより動体を可能な限り消去したパノラマ画像（２４０）を作成する。しかしながら、上記作成パノラマ画像データ（２４０）は、かならずしも動体が全て消去されているとは限らない。動体の動きが小さい場合は、動体の背後にある背景がなかなか現れず、動体の存在領域の少ない画像を集めても動体を消去しきれず動体の一部が残ってしまう。
【００２４】
そこで、データ補填部（１３０）では、上記作成パノラマ画像データ（２４０）において、データの不足している部分を検出し、不足部分を同じマスター動画のほかのフレーム又は補助動画より該当する背景部分を抽出し合成することにより、動画消去画像データ（２７０）を作成する。
【００２５】
図３では、本実施形態においてその処理の流れを示すフローチャートである。
【００２６】
まず、ステップ１０００では、移動可能な撮像装置（１０）を用いて複数回動画を撮像した撮像データを必要な分だけ取り込む。
【００２７】
次に、ステップ１１００にて、時系列に取り込まれた撮像データ（２１０）のうち、動体を消去したい部分動画をマスター動画として抽出する。
【００２８】
ステップ１２００では、マスター動画の中の任意の１フレームにおいて、画像中に含まれる静止しているオブジェクト中の追跡しやすい特徴点を特徴点設定（１１２）にて自動又は手動で設定し、特徴点データ（２２０）を作成する。
【００２９】
ステップ１３００では、撮像データ（２１０）のうち、マスター動画の全てのフレームにおいて前ステップにて設定した特徴点データ（２２０）に対応する特徴点を追跡し、特徴点対応付け（１２２）において、特徴点が重なり合うように全てのフレームの画像を重ね合わせを行う。異なるカメラ位置で撮影した画像を重ね合わせるため、ただ重ね合わせただけでは全ての特徴点が完全に合致するとは限らないため、ステップ１４００にて、画像変形（１２３）を行い、特徴点を合致させる。このとき、画像の変形において、アフィン変換による変形でもよいし、カメラ位置が既知であればカメラの移動情報を考慮した変形でもよい。歪みが少なく、繋ぎ目がわからないようにする。
【００３０】
そして、ステップ１５００では、画像重なり部分抽出（１２４）にて、画像が重なり合っている部分を抽出し、ステップ１６００では、動体存在領域最小画像選択（１２５）にて、重なり合っている部分の画像データの中で動体の存在領域の最も小さい画像を選択し、動体存在領域最小画像データ（２３０）として格納する。
【００３１】
最後に、ステップ１７００の画像繋ぎ合わせ（１２６）において、動体存在領域最小画像データ（２３０）を繋ぎ合わせることにより、パノラマ画像データ（２４０）を作成する。
【００３２】
ステップ１８００では、上記作成パノラマ画像データ（２４０）の中に存在する動体が完全に消去されたかどうか確認を行い、消去されたと判断されれば終了する。残存する動体データがあると判断されれば、ステップ２０００の残存動体消去に進み、残存動体消去を行った後、ステップ１８００に戻る。ステップ２０００の残存動体消去については、図５を用いて詳述する。
【００３３】
図４は、図３を用いて説明した本実施形態において、動体の消去が不完全であった時の残存動体の消去処理の流れを示すフローチャートである。
【００３４】
まず、ステップ２１００にて、パノラマ画像データ（２４０）の中に残存する動体領域を検出し、動体存在領域マスク画像データ（２５０）を作成する。このとき、マスクの作成おいて、残存する動体の領域のみをマスクとしても、残存する動体を含み切り取っても目立たないような領域を設定しマスクとしてもよい。
【００３５】
ステップ２２００では、上記作成マスク部分の背景画像を復元するために、背景画像が映っている画像の検索を行う。動体存在領域マスク画像データ（２５０）と同位置の背景画像を、撮像データ（２１０）から探し出す。
【００３６】
まず、ステップ２３００にて、マスター動画内においてマスク部分の背景画像の検索を行う。
【００３７】
ステップ２４００では、背景画像が見つかったかどうか確認を行い、見つかった場合はステップ２７００に進む。見つからなかった場合は、ステップ２５００に進み、補助動画内においてマスク部分の背景画像の検索を行う。ステップ２６００にて、再度背景画像が見つかったかどうか確認を行い、見つかった場合はステップ２７００に進む。見つからなかった場合は、取り込んだ撮像データ（２１０）全てにおいて、動体に背景画像が隠されている部分であり、撮像データ（２１０）からの背景画像の入手は不可能である為、ステップ２８００にて不足部分のペインティングを行う。
【００３８】
さて、ステップ２４００又はステップ２６００において、背景画像が見つかった場合、ステップ２７００ではマスク部分に相応する背景画像の抽出を行い、抽出した背景画像をマスク部分に合致するように変形を行うことにより、マスク部分背景データ（２６０）を作成する。このとき、背景画像の変形において、アフィン変換による変形でもよいし、カメラ位置が既知であればカメラの移動情報を考慮した変形でもよい。
【００３９】
そして、ステップ２９００では、マスク部分背景データ（２６０）をパノラマ画像データ（２４０）に合成し、完全に動体を消去した動体消去画像データ（２７０）を作成する。
【００４０】
【発明の効果】
本発明によると、時間的に連続する画像の対に現れる特定の動体の消去において、画像復元の精度を上げる画像処理方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】第1実施形態の画像処理装置のシステム構成図。
【図２】第1実施形態の画像処理装置の内部構成図。
【図３】第1実施形態の画像処理装置の基本フローチャート。
【図４】第1実施形態の画像合成装置における残存動体消去処理のフローチャート。
【符号の説明】
１・・・ＣＰＵ、１０・・・撮像装置、２０・・・A/D変換器、４０・・・サーバ、５１・・・実空間オブジェクト、５２・・・仮想空間オブジェクト、６１・・・体験者、６２・・・表示対象物、１００・・・主記憶装置、１１０・・・撮像データ取得部、１１１・・・撮像データ取得プログラム、１２０・・・動体消去部、１２１・・・特徴点設定プログラム、１２２・・・特徴点対応付けプログラム、１２３・・・画像変形プログラム、１２４・・・画像重なり部分抽出プログラム、１２５・・・動体存在領域最小画像選択プログラム、１２６・・・画像繋ぎ合わせプログラム、１３０・・・データ補填部、１３１・・・動体存在領域マスク作成プログラム、１３２・・・マスク部分背景画像検索プログラム、１３３・・・マスク部分背景画像抽出及び変形プログラム、１３４・・・マスク部分背景画像合成プログラム、２００・・・補助記憶装置、２１０・・・撮像データ格納部、２２０・・・特徴点データ格納部、２３０・・・動体存在領域最小データ格納部、２４０・・・パノラマ画像データ格納部、２５０・・・動体存在領域マスクデータ格納部、２６０・・・マスク部分背景画像データ格納部、２７０・・・動体消去画像データ格納部

Claims (4)

1. 移動可能な撮像装置に接続され、撮像された画像データを取り込む手段を有する画像処理装置において、
   前記撮像装置にて同じルートにて移動しながら複数回撮像された連続的な画像を取り込む手段と、
   前記取り込んだ連続的な画像中に存在する特徴点を設定する手段と、
   前記各画像の中に存在する特徴点を対応付ける手段と、
   消去したい特定の動体の存在領域の少ない画像を選択し、前記特徴点の対応付けにより前記選択した画像の画像変形を行ってつなぎ合わせてパノラマ画像を作成する手段と、
   前記作成したパノラマ画像中の前記特定の動体が存在する背景画像不足部分を抽出する手段と、
   前記背景画像不足部分に相応する領域に前記特定の動体が存在しない画像を、前記選択した画像以外の前記取り込んだ連続的な画像から検索し、当該画像から前記背景画像不足部分に相応する画像領域を抽出する手段と、
   前記背景画像不足部分に相応する前記抽出された画像領域を、前記パノラマ画像の前記背景画像不足部分に対して、画像変形を行い合成する手段を有することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記画像データは、同じルートにて複数回撮像した動画を利用し、前記画像データを、動体を消去するマスター動画と背景不足分の画像を得るための補助動画とに分離する手段を有し、
   パノラマ画像の背景画像不足部分の抽出において、前記マスター画像のみではなく前記補助動画からも得ることを特徴とする画像処理装置。
3. 移動可能な撮像装置に接続され、撮像された画像データを取り込む手段による画像処理方法において、
   撮像装置にて同じルートにて移動しながら複数回撮像された連続的な画像を取り込み、
   前記取り込んだ連続的な画像中に存在する特徴点を設定し、
   前記各画像中に存在する特徴点を対応付け、
   消去したい特定の動体の存在領域の少ない画像を選択し、特徴点の対応付けにより前記選択した画像の画像変形を行ってつなぎ合わせてパノラマ画像を作成し、
   前記作成したパノラマ画像の背景画像不足部分を抽出し、
   前記にて作成されたパノラマ画像中の前記特定の動体が存在する背景不足部分に相応する領域を検索し抽出し、
   前記背景画像不足部分に相応する前記抽出された画像領域を前記パノラマ画像の前記背景画像不足部分に対して画像変形を行い合成することを特徴とする画像処理方法。
4. 請求項３記載の画像処理方法において、
   前記画像データは、同じルートにて複数回撮像した動画を利用し、前記画像データを、動体を消去するマスター動画と背景不足分の画像を得るための補助動画とに分離し、
   パノラマ画像の背景不足部分の抽出において、マスター画像のみではなく補助動画からも得ることを特徴とする画像処理方法。

Images