JP4142427B2 - 画像合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影画像に対する画像の合成方法に関する。
【０００２】
【従来の技術】
動画像に対して様々な映像効果を付加するために、動画像を編集加工する技術が存在する。従来の編集加工方法としては、シーンチェンジに伴って映像効果を切り替えるイフェクトなど、撮影後にオーサリングするときに画像処理を施すものがほとんどである。また、撮影時にリアルタイムに編集加工を実行する方法も存在するが、そのような画像処理としては、画像フレーム全体をセピアトーンやモノクロにするもの、色調補正を行なうものなど簡単な映像効果しか得られないものや、画像の見栄えをよくするための簡単な画像処理が加えられるものしかなかった。
【０００３】
【発明が解決しようとする課題】
しかし、上述した従来の画像処理方法は、必ずしも、動画像の魅力を充分に生かしたものとは言えなかった。動画像は、被写体などの動きのある物体を再生可能な点にメリットがあり、この動的な物体とリンクしたような映像効果を加えられれば、さらに、動画像の楽しみ方に多様性を持たせることができるはずである。そこで、本発明は前記問題点に鑑み、静止画像では得られることのできなかった映像効果を動画像に付加する技術を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、動画像に対してリアルタイムに様々な遊び要素を含めた画像処理を施すことにより、また、画像全体に均一に画像処理を施すのではなく、動きのあった個所に対して、視覚的なアクションを施し、付加価値の高い動画像を生成することを目的とする。
【０００５】
すなわち、請求項１記載の発明は、連続的に撮影されたフレーム画像を入力する入力手段と、前記入力手段により入力した連続する２つのフレーム画像間で、画素ごとの画像情報の差分値を算出する差分算出手段と、前記差分値が所定の閾値を超える画素が存在する場合、当該画素を動き画素として判定する判定手段と、前記動き画素が存在するフレーム画像に追加画像を合成する合成手段と、を備え、前記判定手段は、前記差分値が所定の閾値を超える画素が複数存在する場合、その中から一部の画素を動き画素として選択する選択手段、を含むことを特徴とする。
【０００６】
請求項２記載の発明は、請求項１に記載の画像合成装置において、前記合成手段は、前記追加画像を前記動き画素の近傍位置に配置させる手段、を含むことを特徴とする。
【０００８】
請求項３記載の発明は、請求項１に記載の画像合成装置において、前記選択手段は、乱数を利用して一部の画素を動き画素として選択することを特徴とする。
【０００９】
請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画像合成装置において、前記判定手段は、一の画素が動き画素であるか否かを判定するために、当該一の画素と空間方向に連続する他の複数の画素を選択し、当該一の画素および当該他の複数の画素に対して算出された前記差分値の和を算出し、当該差分値の和が所定の閾値を超える場合に、当該一の画素を動き画素として判定する手段、を含むことを特徴とする。
【００１０】
請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像合成装置において、前記追加画像が動画像であって、前記追加画像が前記動き画素が検出されたフレーム画像から連続的に複数のフレーム画像にわたって合成されることを特徴とする。
【００１１】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の画像合成装置であって、前記画像合成装置には、合成された画像を表示する表示装置が接続され、前記画像合成装置は、前記入力手段が連続的に入力するフレーム画像にリアルタイムで前記追加画像を合成しつつ、合成画像を前記表示装置に対してリアルタイムで出力することを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明にかかる画像合成装置１を含む画像合成システムの全体概略図である。画像合成システムは、画像合成装置１と、画像合成装置１に接続された撮影装置２およびモニタ３を備えている。撮影装置２は、本実施の形態においては、デジタルビデオカメラとしているが、撮影装置２からアナログの画像データを入力し、画像合成装置１において、デジタル変換するようにしてもよい。また、画像合成装置１は、通信機能を有しており、合成画像をネットワーク４を介して接続された外部端末４に送信可能としている。外部端末４としては、一般のＰＣや携帯電話端末、携帯情報端末が利用可能である。
【００１３】
図２は、画像合成装置１の機能ブロック図である。本実施の形態において、画像合成装置１において実行される画像処理はソフトウェア処理としている。したがって、図に示した差分算出部１２、比較部１３、選択部１４、乱数発生部１５、画像合成部１６等は、画像合成装置１が記憶している画像処理プログラムが、ＣＰＵやＲＡＭなどのハードウェア資源を利用しながら実行されることによって実現される機能部である。ただし、上記各機能部の一部あるいは全部がハードウェアで実現されてもよい。
【００１４】
画像入力部１１は、入出力インタフェースを備え、通信ラインを介して撮影装置２に接続されており、撮影装置２が撮影した動画像を入力可能としている。具体的には、撮影装置２が出力するフレーム画像を連続的に入力するようにしている。
【００１５】
画像入力部１１が入力したフレーム画像は、画像データ１０１としてメモリ１０に順次記憶される。
【００１６】
以下、画像合成装置１において行なわれる画像合成処理の処理手順を図３のフローチャートを参照しながら説明する。
【００１７】
差分算出部１２は、次のような処理を行なう。まず、連続する２つのフレーム画像間で画素値の差分を求める。本実施の形態においては、フレーム画像の１画素は、それぞれRGBの３つの画素成分を有しているものとする。ここで、各フレーム画像に、1,2,…,n,…の番号を割り当てる。そして、n番目のフレーム画像における座標(x,y)の画素のR成分の画素値をImage(n).r(x,y)、n番目のフレーム画像における座標(x,y)の画素のG成分の画素値をImage(n).g(x,y)、n番目のフレーム画像における座標(x,y)の画素のB成分の画素値をImage(n).b(x,y)とすれば、連続する２つのフレーム画像（フレーム番号nとフレーム番号n-1のフレーム画像とする）間における各画素成分の差分値は数１式のように表される。
【００１８】
【数１】

【００１９】
ここで数１式中、Diff(n).r(x,y)は、n番目のフレーム画像における座標(x,y)の画素のR成分の差分値、Diff(n).g(x,y)は、n番目のフレーム画像における座標(x,y)の画素のG成分の差分値、Diff(n).b(x,y)は、n番目のフレーム画像における座標(x,y)の画素のB成分の差分値を示している。
【００２０】
そして、n番目のフレーム画像における座標(x,y)の画素の総差分値（RGB各成分を加味した差分値）を、RGB各画素成分の差分値の和と定義すれば、総差分値Diff(n).(x,y)は、数２式で表される。
【００２１】
【数２】

【００２２】
このようにして、各フレーム画像の各画素における総差分値Diff(n).(x,y)が算出される（以上の処理が図３におけるステップＳ１）。さらに、本実施の形態においては、この総差分値Diff(n).(x,y)を空間方向に加算することで、動き画素の評価を行なうようにしている。ここでは、連続する３画素の総差分値Diff(n)を加算することとする。したがって、n番目のフレーム画像における座標(x,y)の画素の評価値E(n).(x,y)は、数３式で表される。このようにして、差分算出部１２は、評価値E(n).(x,y)を算出する（ステップＳ２）。
【００２３】
【数３】

【００２４】
次に、比較部１３が、差分算出部１２が算出した評価値E(n).(x,y)と、閾値テーブル１０２に記述された閾値Limとの間の比較処理を行う（ステップＳ３）。この閾値テーブル１０２には、動き画素として判断する評価値E(n).(x,y)の基準値が記述されている。そして、比較部１３は、評価値E(n).(x,y)が閾値Limを超える場合には（ステップＳ３でYes）、n番目のフレーム画像の座標(x,y)の画素を「動き画素候補」として決定するのである（ステップＳ４）。なお、後述するが、この「動き画素候補」を「候補」としてではなく、「動き画素」として決定することにより画像合成を行なう方法をとってもよい。また、評価値E(n).(x,y)が閾値Limを超えていない場合には（ステップＳ３でNo）、当該画素に関する処理を終了する。
【００２５】
次に、選択部１４は、比較部１３が決定した「動き画素候補」の中から実際に、「動き画素」として選択する画素を決定する。この動き画素の選択方法は、本実施の形態においては乱数を使用することとしている。乱数を使用した具体的な動き画素の選択方法は特に限定されるものではないが、本実施の形態においては、動き画素候補の画素を抽出した新たな画素列を生成し、動き画素候補の画素列に連番を与える。そして、乱数発生部１５がアルゴリズムによって乱数を発生させる。選択部１４は、「動き画素候補」の画素列の中で、対象となる画素が、発生した乱数と適合する場合（ステップＳ５でYes）には、当該画素を「動き画素」として選択する。また、対象となる画素が乱数と適合しない場合（ステップＳ５でNo）には、当該画素に対する処理を終了する。
【００２６】
選択部１４によって、動き画素が選択されると、画像合成部１６は、動き画素の画素位置近傍に追加画像データ１０３を合成する（ステップＳ６）。追加画像データ１０３は、ハードディスク等の記憶装置１９に格納されている。追加画像データ１０３の合成位置は、たとえば、動き画素から所定方向に所定間隔離れた位置に配置するようにしてもよい。この所定方向および所定間隔は、利用者が自由に設定できるようにすれば、好みの位置に追加画像を配置することが可能である。
【００２７】
あるいは、動き画素の画素位置を重心として追加画像データ１０３を配置してもよい。この場合、追加画像は動き画素に重ねられるように配置されることになる。
【００２８】
図４は、追加画像データ１０３が合成された合成画像を示す図である。図では、ボクサーの腕の動きを検知し、動きのあった腕の部分に、追加画像データ１０３が合成されている様子を示している。このようにして画像合成部１６において生成された合成画像データ１０４は、出力部１７により記憶装置１９に格納される。
【００２９】
このように、本発明によれば、画像全体に画像処理を施すのではなく、動きを検出して、動きの検出された部分に対して画像処理を行なうので、動画像の付加価値をより向上させることが可能である。
【００３０】
ここで、図４において、動きのあった腕全体に追加画像が合成されず、腕の一部にのみ追加画像が合成されているのは、上述した選択部１４の処理を実行した効果である。一般に被写体の中で動きが検出される部分は、空間的に連続した広い範囲に及ぶことになる。このような場合において、全ての「動き画素候補」に追加画像を合成した場合には、追加画像の数が非常に多くなり、追加画像が見難くなるという問題がある。場合によっては、追加画像の形態が全く認識できなくなるような場合もある。そこで、乱数を使用して、追加画像を表示する場所をランダムに選択することによって、自然な映像効果を奏するようにしているのである。
【００３１】
また、前述した閾値Limの基準を高くすることによっても、追加画像の付加数を減らすことができるので、閾値Limの設定は利用者が自由に行なえるようにすることが好ましい。
【００３２】
また、本実施の形態においては、空間方向に連続する３点の画素の差分値を加算した後、閾値と比較するようにしているので、比較的、動作の大きい部分を動き画素として判定することが可能である。これによって、微細な部分の動きを動き画素として検出し、画面全体に追加画像が合成されるといった問題を解消することが可能である。
【００３３】
また、画像合成装置１は、上記画像の入力処理から画像の合成処理までを、撮影装置２から入力した画像に対してリアルタイムに実行可能としている。そして、リアルタイム処理によって生成された合成画像を、出力部１７は、リアルタイムでモニタ３に出力することが可能である。これによって、利用者は、撮影装置２で被写体を撮影しつつ、モニタ３において、リアルタイム処理された合成画像を参照可能である。このようにリアルタイム再生を可能とすることによって、追加画像の効果を確認しながら、被写体に対して動作指示を行うことが可能である。また、出力部１７は、モニタ３にリアルタイムに合成画像を出力しつつ、合成画像データ１０４を記憶装置１９に格納することが可能である。
【００３４】
また、記憶装置１９に格納された合成画像データ１０４は、たとえばMPEG圧縮画像としてネットワーク４を介して外部端末５に配信することも可能である。これにより、画像合成装置１で生成した合成画像を、友人に配布することなどが可能である。
【００３５】
あるいは、通信ケーブルを介して他の端末に転送することも可能である。これにより、たとえば、遊戯施設などに画像合成装置１を配置し、撮影装置２で自分自身を撮影して合成画像を生成し、この合成画像を所持している携帯電話端末に転送するなどの用途で楽しむことが可能である。
【００３６】
図５は、追加画像として動画像（アニメーション）を合成した画像を示す図である。図では、フレーム１において、公園を歩く二人の動作から動きが検出されている。そして、フレーム１の画像においてハートマークの追加画像データ１０３ｍが合成されている。
【００３７】
フレーム１において追加画像データ１０３ｍが合成されると、この追加画像データ１０３ｍは、追加画像データ１０３ｍに含まれるフレーム分だけ、撮影画像に合成されることになる。したがって、図中、フレーム２およびフレーム３に表示されている追加画像データ１０３ｍは、フレーム１において付加された動画像の２番目および３番目のフレームである。この図では、フレーム１で表示されたハートマークの動画像が、ゆらゆらしなが上空に上がっていく様子を示している。
【００３８】
このように、追加画像として動画像を合成することにより、動画像に対して、さらに、魅力的な映像効果を付加することが可能である。
【００３９】
なお、追加画像として動画像を合成する場合には、動き画素が検出されたのち、一定期間は、追加画像の合成を停止するなどの処理を行なうことにより、複数の動画像が合成されて表示が複雑になるといった問題を解消することが可能である。
【００４０】
＜変形例＞
上述したように、本実施の形態においては、追加画像を、動き画素の近傍位置等に配置するようにしたが、他にも、フレーム画像の右上部分など、所定位置に追加画像を合成するような方法でもよい。
【００４１】
また、本実施の形態においては、乱数を利用して、「動き画素候補」の中から、ランダムに「動き画素」を選択するようにしたが、全ての「動き画素候補」を「動き画素」として採用するようにしてもよい。たとえば、多数の追加画像を重ね表示して迫力のある映像効果を発揮させるような場合に有効である。ただし、多数の追加画像が重ねて表示されることを避けたい場合には、閾値Limの基準を高くすることが望ましい。
【００４２】
また、乱数を利用せずに、「動き画素候補」の画素列の中から、一定間隔ごとに「動き画素」を選択するような方法でもよい。ただし、ランダムな選択を行なうことによって、自然な映像効果が得られるので、本実施の形態のような方法がより好ましい。
【００４３】
また、本実施の形態においては、１フレーム画像中の連続する３つの画素、すなわち、空間方向に連続する複数の画素の差分値を加算した後、閾値Limと比較するようにしているが、周辺８画素や、周辺４画素など、周辺画素の差分値を加算した後、それに対応して設定される閾値と比較するようにしてもよい。あるいは、単独画素の差分値と、それに対応して設定される閾値とを比較するようにしてもよい。
【００４４】
【発明の効果】
以上説明したように、請求項１記載の発明では、動画像中の動きのある画素を検出し、検出された際には、画像中に追加画像を合成するので、画像の動きとリンクした映像効果を演出することが可能である。さらに、動きが検出された画素が複数存在する場合、その中から一部の画素を選択して追加画像を合成するので、追加画像が多数合成されて、追加画像が見難くなるといった弊害を防止することが可能である。
【００４５】
請求項２記載の発明では、追加画像を動き画素の近傍位置に配置するので、より動きとリンクした映像効果を演出することが可能である。
【００４７】
請求項３記載の発明では、乱数を利用して動き画素を選択するので、追加画像の合成位置がランダムとなり、自然な映像効果を得ることが可能である。
【００４８】
請求項４記載の発明では、空間方向の複数画素の差分値を加算して、動き画素を判定するので、大きな動作部分などを検出して追加画像を合成することが可能である。これによって、微細な動き部分などを除去して、追加画像が画面全体に合成されることを防止することが可能である。
【００４９】
請求項５記載の発明では、追加画像として動画像を合成するので、より、魅力的な映像効果を得ることが可能である。
【００５０】
請求項６記載の発明では、リアルタイムに合成画像を再生するので、映像効果を確認しながら、合成処理を実行することが可能である。
【図面の簡単な説明】
【図１】画像合成システムの全体概略図である。
【図２】画像合成装置の機能ブロック図である。
【図３】画像合成処理のフローチャートである。
【図４】合成画像を示す図である。
【図５】動画像を合成した合成画像を示す図である。
【符号の説明】
１ 画像合成装置
２ 撮影装置
３ モニタ
１２ 差分算出部
１３ 比較部
１４ 選択部
１５ 乱数発生部
１６ 画像合成部

Claims (6)

1. 連続的に撮影されたフレーム画像を入力する入力手段と、
   前記入力手段により入力した連続する２つのフレーム画像間で、画素ごとの画像情報の差分値を算出する差分算出手段と、
   前記差分値が所定の閾値を超える画素が存在する場合、当該画素を動き画素として判定する判定手段と、
   前記動き画素が存在するフレーム画像に追加画像を合成する合成手段と、
   を備え、
   前記判定手段は、
   前記差分値が所定の閾値を超える画素が複数存在する場合、その中から一部の画素を動き画素として選択する選択手段、を含む、
   ことを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、
   前記合成手段は、
   前記追加画像を前記動き画素の近傍位置に配置させる手段、
   を含むことを特徴とする画像合成装置。
3. 請求項１に記載の画像合成装置において、
   前記選択手段は、乱数を利用して一部の画素を動き画素として選択することを特徴とする画像合成装置。
4. 請求項１ないし請求項３のいずれかに記載の画像合成装置において、
   前記判定手段は、
   一の画素が動き画素であるか否かを判定するために、当該一の画素と空間方向に連続する他の複数の画素を選択し、当該一の画素および当該他の複数の画素に対して算出された前記差分値の和を算出し、当該差分値の和が所定の閾値を超える場合に、当該一の画素を動き画素として判定する手段、
   を含むことを特徴とする画像合成装置。
5. 請求項１ないし請求項４のいずれかに記載の画像合成装置において、
   前記追加画像が動画像であって、前記追加画像が前記動き画素が検出されたフレーム画像から連続的に複数のフレーム画像にわたって合成されることを特徴とする画像合成装置。
6. 請求項１ないし請求項５のいずれかに記載の画像合成装置であって、
   前記画像合成装置には、合成された画像を表示する表示装置が接続され、前記画像合成装置は、前記入力手段が連続的に入力するフレーム画像にリアルタイムで前記追加画像を合成しつつ、合成画像を前記表示装置に対してリアルタイムで出力することを特徴とする画像合成装置。

Images