JP5352406B2 - 合成画像作成方法ならびにそのプログラムおよび情報処理装置 - Google Patents

Description

本発明は、合成画像を利用したフォトブックのレイアウトの作成に関する。

特許文献１の発明は、３次元ジャイロ、ズーム可動器操作情報、３次元加速度測定部等の各種センサによって測定したデジタルカメラによる撮影時の移動情報を各フレームに対応して画像データに付与してメモリカード又は内蔵メモリに記録する。そして、記録された移動情報が付与された画像データから移動情報をスプリット手段によって抽出して、該抽出移動情報に基づいて演算手段によってデジタルカメラの撮影時の移動方向や移動距離を演算し、画像加工手段によって隣接する被写体フレームを抽出して、合成画像を作成する。

特許文献２の発明の画像レイアウト装置には、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手段と、画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手段とを設ける。

特許文献３および４は、それぞれ静止画および動画から合成画像を作成する従来技術の一例である。

特許文献５は画像データに基づくカメラの移動速度と方向（動きベクトル）を検出する例を示す。

特許文献６は雲台によるカメラのパン（水平）／チルト（垂直）方向の移動速度を検出する機構の例を示す。

特開２００４−１２８６８３号公報 特開２００４−１９９２４８号公報 特開２００５−２５２７３９号公報 特開２００７−２６７００８号公報 特開２００８−２８９０９５号公報 特開２０００−０３９６４１号公報

一般に合成画像を生成する方法としては、少なくとも一部が互いに重複する被写体を有する複数の画像（静止画または動画コマ）を、被写体の重複部分が互いに重なるように各画像を接合ないし重畳して作成する方法が知られている。

通常、このような合成画像生成に適しているのは一定方向にカメラを移動させて撮影した動画である。カメラを動かさずに同じ場所を撮影し続けた動画からは、効果的な合成画像を作成することができない（図８参照）。

本発明は、カメラの動き情報を用いて効果的な合成画像の素材を収集することを目的とする。

本発明は、情報処理装置が、撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、素材画像候補の全部または一部の撮影の時点もしくは撮影時点の近傍の時点である解析時点における撮影装置の動きを検出するステップと、検出された撮影装置の動きに基づいて、素材画像候補の中から合成画像を生成する条件を決定するステップと、素材画像候補と決定された条件とに基づいて合成画像を作成するステップと、を実行する合成画像作成方法を提供する。

ここで、合成画像とは、典型的には被写体を広角かつ連続的に撮像した動画像の各コマまたは複数の静止画像を被写体が連続するようにつなぎ合わせた静止画像であるが、被写体の全部または一部が連続しないような画像のつなぎ合わせでなる静止画像でもよい。

また、撮影時点の近傍の時点とは、撮影時間（撮影の開始から終了まで）を区分する所定の時点のうち撮影時点に最も近接するものである。典型的には、撮影開始時刻から撮影終了時刻までを所定の長さの時間間隔で区切り、各撮影時点に最も近接する各時間間隔の区切りの時点を解析時点とする。

好ましくは、情報処理装置が、撮影装置の動きが所定の基準に達しない解析時点で撮影された画像を素材画像候補から除外するステップを実行する。

好ましくは、情報処理装置が、各々の解析時点における撮影装置の移動速度を検出するステップと、各々の解析時点における検出された撮影装置の移動速度に基づいて、各々の解析時点の近傍から抽出すべき単位時間当たりの素材画像候補の数を決定するステップと、各々の解析時点の近傍から単位時間当たりの画像の数に達する素材画像候補を抽出するステップと、抽出された素材画像候補に基づいて合成画像を作成するステップと、を実行する。

好ましくは、情報処理装置が、素材画像候補の各々の撮影時点における撮影装置の移動速度および／または方向を検出するステップと、移動速度および／または移動方向に基づいて素材画像候補の中から視覚的に強調すべき素材画像候補を決定するステップと、素材画像候補に基づいて、視覚的に強調すべき素材画像候補に含まれる被写体が視覚的に強調された合成画像を作成するステップと、を実行する。

本発明は、この合成画像作成方法を情報処理装置が実行するためのプログラム、合成画像作成方法を実行する情報処理装置を提供する。

本発明は、カメラの動き（移動速度、方向）に則した魅力的な合成画像を作成することができる。

パノラマ画像作成装置の概略構成を示すブロック図 カメラの移動速度の一例を示す図 素材候補となる動画コマの抽出される様子を例示した図 動画撮影中のカメラの移動速度の例を示す図 一部の強調されたパノラマ画像の一例を示す図 一部の強調されたパノラマ画像の一例を示す図 パノラマ画像作成処理のフローチャート 静止した状態で撮影された動画に基づくパノラマ画像を例示した図

図１は、本発明を適用したパノラマ画像作成装置１００の概略構成を示すブロック図である。パノラマ画像作成装置１００は、例えば、ＣＤやＤＶＤなどの各種の記録メディアやメモリカードなどの記憶媒体から、あるいはカメラと接続されたＵＳＢなどの周辺機器接続用汎用インターフェースから、あるいはインターネットやＬＡＮなどのネットワークから、パノラマ画像の素材となる画像（複数の静止画像データまたは動画をキャプチャした静止画である動画コマのいずれも可）を画像入力部１を介して読み込み、これを素材としてパノラマ画像（少なくとも一部が互いに重複する被写体を有する複数の画像を、被写体の重複部分が互いに重なるように各画像を接合ないし重畳して作成される画像）を作成する。一例として動画データは、モーションＪＰＥＧ、ＭＰＥＧ４などの圧縮記録規格に対応している。一例として静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式に対応している。

ここでいうカメラとは、フォーカスレンズ、ズームレンズ、絞りなどを有する光学ユニット、光学ユニットを介して結像した被写体像を画像信号に光電変換するＣＣＤやＣＭＯＳなどの撮像素子、撮像素子からの画像信号をデジタル画像データに変換するＡＤ変換器、ＡＤ変換器からの画像データにガンマ補正、シャープネス補正、コントラスト補正、色補正等の画質補正処理を施す画像処理回路、画像処理回路の処理した画像データを所定の保存形式（ＭＰＥＧなど）に変換してメモリカードなどの記録媒体に記録する画像記録回路などを備えている。カメラは、静止画および／または動画撮影可能な公知のデジタルスチルカメラやデジタルビデオカメラで構成される。またカメラは、撮影時における素材の撮影条件（動画コマないし静止画の圧縮率、ズーム倍率、絞り、焦点距離、ＧＰＳ位置情報、動画のフレームレートなど）を動画の付帯情報として記録する。

素材画像候補は、連写画像などパノラマ生成できるような重複部分を持つ一連の静止画像または動画コマである。以下、説明の簡略のため素材画像候補は動画コマとするが、静止画でもよい。あるいは、動画コマと静止画の混合を素材画像候補としてもよい。

なお、図１のシステム構成は一例であって、これと同等の構成を有する情報端末（例えばパソコン、店頭プリント端末、ＰＤＡ、携帯電話機）であれば、本発明の実施は可能である。また、図示の個々のブロックが必ずしも１つの電子機器に一体的に構成されている必要はなく、各ブロックがそれぞれ別の電子機器の構成の一部であり、なおかつネットワーク等の何らかの通信手段でそれらの電子機器相互の情報送受信が確保されていれば、本発明の実施は可能であり、特定の機器構成に依存して実施されるものではない。

このパノラマ画像作成装置１００は、マウス、タッチパッド、トラックボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやタッチパネルなどの各種操作デバイスを含む操作部１１によって操作される。タッチパネルは液晶ディスプレイなどで構成された表示部１２に積層されており、表示部１２のボタン表示部分を押下することで、その部分に対応する文字を入力できたり、各種機能を起動させることができる。

また、パノラマ画像作成装置１００には、指示された静止画像を普通紙や印画紙などの紙媒体で構成される台紙に、パノラマ画像合成部８の作成したパノラマ画像でプリントする画像出力部１３が接続されている。あるいは所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体として表示部１２や記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。

ＨＤＤ１８には、画像プリントの主な素材となる１または複数の静止画像データや動画コマやパノラマ画像の他に、画像プリントの生成の際にこれらの主な素材と合成される装飾画像データ（グラフィック）などが記憶されている。グラフィックは、静止画像、画像に挿入する文字（漢字、カタカナ、ひらがな、アルファベット、記号、絵文字その他の意味のある可読的な符号ないしその組合せ。以下同様）を構成するキャラクタデータおよび当該文字を包含するテキストボックス、吹き出し、立て札、掲示板その他文字を配置するのに適したオブジェクトのグラフィックデータや、対象となる画像の不要な部分を覆うマスク画像や、イラストやクリップアートなどを含む。こうした装飾画像は、フォトブックの主要な素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトブックに彩を与える。

パノラマ画像合成部８は、画像入力部１から入力された素材画像候補のうち、パノラマ画像合成範囲決定部６により決定された素材画像からパノラマ画像を生成する。パノラマ画像生成の具体的手法は従来技術と同様に行うことができる。すなわち、パノラマ画像合成部８は、重複領域同士を重ねあわせるように複数の素材画像をつなぎ合わせることで、パノラマ画像を生成する。パノラマ画像の素材になる複数の動画コマまたは静止画像は、連写画像などパノラマ生成できるような被写体の重複部分を持つ一連の画像であり、その撮影方法は任意である。

ＣＰＵ１０は、ＨＤＤ１８に記憶されたプログラムを実行することで、パノラマ画像作成装置１００全体を制御する。

カメラ移動速度解析部２、カメラ操作解析部３、被写体距離解析部４、静止画像抽出部５、パノラマ画像合成範囲決定部６、抽出フレームレート決定部７、パノラマ画像合成部８、強調処理部９は、コプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１０の処理動作を補助する。またＲＡＭ１４は、ＣＰＵ１０やコプロセッサの処理に必要なデータを記憶する。

カメラ移動速度解析部２は、画像入力部１から入力された一連の素材画像から、当該素材画像を撮影した時点のカメラの動き速度を解析する。

速度の解析の仕方としては、素材画像候補に対する画像解析によるものとカメラ本体のセンサから得られたカメラの動き情報に基づくものの２種類が考えられる。

画像解析により速度を算出する場合、カメラ移動速度解析部２は、各素材画像候補の代表位置（例えばある被写体の中心）の軌跡をＸＹ座標平面にプロットし、各素材画像候補の代表位置間のズレすなわち距離と各素材画像候補の撮影間隔とから各素材画像候補の撮影時のカメラの移動速度を算出する。なお撮影間隔は、素材画像候補が動画の場合はフレームレートであり、素材画像候補が静止画の場合は２つの異なる素材画像候補の撮影日時情報の差である。

カメラのセンサから得られたカメラの動き情報とは、カメラに備えられた振れ検出センサ（角速度センサや加速度センサ等）によって、各素材画像候補の撮影時におけるカメラのパン／チルト動作の角速度や加速度を検出した情報である。この情報は各素材画像候補の付帯情報（ヘッダ情報、タグ情報、メタ情報）として各素材画像候補に付随して画像入力部１から取得されることができる。この角速度や加速度はカメラマンの意図的な動作で生み出される。

カメラ移動速度解析部２は、カメラの動き情報に従って、カメラの移動速度を算出する。なお、カメラそのものでなくカメラの付属物（雲台やＧＰＳ受信機など）に設けられたセンサでカメラの移動速度や移動方向を検出することもでき、カメラ移動速度解析部２は、その情報をそのままカメラの動き情報として認識してもよい。

あるいは、被写体距離解析部４は、タグなどの付帯情報からカメラの焦点距離情報を取得可能な場合、その焦点距離情報に基づいてカメラから被写体までの距離を算出する。カメラ移動速度解析部２は、角速度センサに由来する角速度と被写体距離解析部４の算出した被写体までの距離に基づき、被写体から見たカメラの速度を算出することができる。

あるいは、カメラ移動速度解析部２は、特許文献５や６に開示された技術を用いてカメラの移動速度を算出してもよい。要するにカメラ移動速度解析部２に採用されるカメラの速度の具体的な算出手法は任意である。

図２はカメラ移動速度解析部２の算出したカメラの移動速度の一例を示す。ただしカメラの移動速度は図示されたものに限定されない。

パノラマ画像合成範囲決定部６は、カメラの移動速度が所定の閾値を下回る時点で撮影された素材画像候補を素材画像から除外し、除外された以外の素材画像候補を素材画像に決定する。ここで、パノラマ画像合成範囲決定部６は、ある所定の個数の素材画像候補が素材画像から除外された場合、例えば全ての素材画像候補が素材画像から除外された場合、「この動画はパノラマ画像合成に適していませんが、処理を進めてよろしいですか？」といった警告メッセージを表示部１２の文字表示やスピーカからの音声により再生する。そして、操作部１１から、処理を進める旨の指示が入力された場合に限り、パノラマ画像合成部８は素材画像からパノラマ画像を合成する。

パノラマ画像合成範囲決定部６が参照する所定の閾値は、ＲＯＭ１５などの不揮発性記憶媒体に書き換え不可能に記憶されていてもよいし、操作部１１から任意に設定された値でもよい。

典型的には、所定の閾値は０である。この場合、パノラマ画像合成範囲決定部６は、素材画像候補のうち、カメラが停止した時点で撮影されたものを素材画像から除外し、それ以外の素材画像候補を素材画像に決定する。

パノラマ画像合成部８は、パノラマ画像合成範囲決定部６の決定した素材画像に基づいてパノラマ画像を合成する。図２のようなカメラ速度が識別された場合、パノラマ画像合成部８は、素材画像に該当する動画コマグループ、すなわち撮影開始から０〜４秒、５〜１２秒、１４〜１８秒の３つの動画コマグループのそれぞれから、３つのパノラマ画像を合成することができる。あるいは、パノラマ画像合成部８は、全ての３つの素材画像のグループから１つのパノラマ画像を合成することができる。パノラマ画像合成部８の合成するグループの単位をいずれにするかは操作部１１からの選択操作に基づいて決定することができる。

パノラマ画像合成範囲決定部６は、カメラ移動速度解析部２の検出した各素材画像の撮影時点のカメラ速度に基づいて、パノラマ画像の合成に利用するフレーム間隔を決定する。

パノラマ画像合成部８が動画からパノラマ画像を合成する場合、全ての動画コマ（フレーム）を利用すると処理に時間がかかるため、動画中から一定の動画コマ（一定間隔で撮影されたコマなど）を抽出して合成することが好ましい（図３参照）。しかし、広い間隔で動画コマを抽出すると、カメラの速度すなわち単位時間あたりの移動量が大きいときには、パノラマ合成に必要な動画コマが抽出されず、被写体が連続した正しいパノラマ画像が合成できない可能性がある。

そこでパノラマ画像合成範囲決定部６は、カメラの移動速度の各解析時点で検出されたカメラの移動速度を基に、当該解析時点近傍での動画コマ抽出数を決定する。例えば、図４に例示するような、ある解析時点Ｐ１でのカメラの移動速度が４ｃｍ／ｓ以上であれば、その解析時点Ｐ１の近傍で撮影された素材画像候補の抽出コマ数を１５コマ／ｓと決定する。あるいは、ある解析時点Ｐ２でのカメラの移動速度が４ｃｍ／ｓ未満であれば、その解析時点Ｐ２の近傍で撮影された素材画像候補の抽出コマ数を５コマ／ｓと決定する。

パノラマ画像合成範囲決定部６は、決定されたコマ数だけその解析時点の近傍で撮影された素材画像候補を抽出し、抽出された素材画像候補を素材画像に決定する。パノラマ画像合成部８は、その決定された素材画像に基づいてパノラマ画像を合成する。こうすることで、動画撮影中カメラが瞬間的に素早い動きをした場合（例えば図４の時点Ｐ１，Ｐ２）でもその時点で撮影した被写体を含むパノラマ画像の合成に必要な素材画像を確保でき、パノラマ画像の部分的な欠損を防止できる。

カメラ操作解析部３は、各素材画像候補の撮影時点におけるカメラの移動方向を検出する。速度の解析と同様、この移動方向は、画像解析によるものとカメラ本体のセンサから得られたカメラの動き情報に基づくものの２種類が考えられる。よって、カメラ移動速度解析部２とカメラ操作解析部３は共通化されてもよい。

強調処理部９は、カメラ移動速度解析部２の検出した速度および／またはカメラ操作解析部３の検出したカメラの移動方向に基づいて、一部を強調したパノラマ画像を各素材画像（素材画像から除外された素材画像候補を含んでいてもよいし当該素材画像候補を含んでいなくてもよい）合成するようパノラマ画像合成部８を制御する。

例えば、カメラ操作解析部３の検出したカメラの移動方向が水平右から左であるとする。この場合、図５（ａ）に示すように、強調処理部９は、カメラの移動方向の終点である左側に向けて徐々にパノラマ画像の上辺の勾配（突出）が上昇するようにパノラマ画像を合成するようパノラマ画像合成部８を制御する。実際には、パノラマ画像合成部８は、図５（ｂ）のように合成された通常の矩形のパノラマ画像の上部が勾配を形成するように一部領域Ｒをカットすることで図５（ａ）のようなパノラマ画像を作成することができる。

この勾配の角度はカメラ移動速度解析部２の検出した速度に応じて変えてもよい。例えば、速度が速いほど勾配が急であるようなパノラマ画像が合成されてもよい。

勾配の向き、程度は図示のものに限られない。例えば、カメラの移動方向が右から左、下から上、あるいは上から下の場合は、突出が上昇する向きを右、上、下とすることが可能である。また、強調部分は１箇所でなく複数でもよい。

あるいは、例えば、カメラ操作解析部３の検出したカメラの移動方向が水平右から左であり、かつカメラ移動速度解析部２の解析した各素材画像候補のうち特定の被写体、例えば図６（ａ）のような城を被写体とする素材画像候補の撮影時点の速度が、それ以外を被写体とする素材画像候補の撮影時点の速度よりも遅かったとする。この場合、図６（ｂ）に示すように、強調処理部９は、当該特定の被写体の周辺領域が視覚的に強調されるようにパノラマ画像を合成するようパノラマ画像合成部８を制御する。視覚的な強調の例は、当該領域の拡大率や解像度の増大、所定方向（上下あるいは左右方向）に当該領域を引き延ばすこと、当該領域の輝度を高くすること、当該領域以外の領域の輝度を低くすること、覆い焼類似の画像処理をすることが挙げられる。この際、強調される部分とされない部分との違いが目立たないよう、強調部分と非強調部分の境界部分の色信号の変動を平滑化する画像処理を施してもよい。カメラによる動画撮影時に、撮影者が注目した被写体は静止に近い状態で撮影されると考えられるが、その被写体はパノラマ画像中で強調されるため、パノラマ画像の観察者は撮影者が注目した被写体を知ることができる。

図７はパノラマ画像作成装置１００の実行するパノラマ画像作成処理のフローチャートを示す。この処理はＣＰＵ１０によって制御される。この処理をＣＰＵ１０に実行させるためのプログラムはＨＤＤ１８その他のコンピュータ読み取り可能な記憶媒体に記憶されている。なお、この処理は操作部１１からパノラマ画像を作成する指示が入力されたときに開始される。

Ｓ１では、ＣＰＵ１０は画像入力部１から入力された動画像からコマ画像を抽出するよう静止画像抽出部５を制御する。この制御に応じて静止画像抽出部５が抽出したコマ画像は素材画像候補としてＨＤＤ１８に保存される。ＣＰＵ１０はＨＤＤ１８に保存された素材画像候補の全部または一部の撮影時点ないしそれらの近傍における時点である解析時点でのカメラ速度、カメラ移動方向、被写体距離を解析するよう、カメラ移動速度解析部２、カメラ操作解析部３、被写体距離解析部４を制御する。カメラ移動速度解析部２、カメラ操作解析部３、被写体距離解析部４によるカメラの動きの解析時点は、素材画像候補の撮影時点と共通してもよいが、全ての素材画像候補の撮影時点と完全に一致している必要はない。例えば、これらの各ブロックは、予めＲＯＭ１５に記憶された画像のフレームレートとは無関係な所定の複数の解析時点（典型的には撮影開始から終了までの所定の時間間隔ごと）でのカメラの移動速度、移動方向、ズーム倍率、被写体距離を解析してもよい。

Ｓ２では、カメラ移動速度解析部２は、ＣＰＵ１０の制御に基づいて所定の複数の解析時点におけるカメラ速度を検出する。その検出結果は図４に例示した通りである。図４では、動き解析時点は撮影開始から終了までの１秒間隔で時間が経過した時点が解析時点である。無論、解析時点は図示したものに限られず、これよりも狭い間隔、あるいは広い間隔で解析時点が設定されていてもよい。

Ｓ３では、ＣＰＵ１０はカメラ移動速度解析部２の検出したカメラ速度に基づいて、各素材画像候補の動き解析時点の近傍（Ｐ１やＰ２を含む時間間隔、例えばＰ１やＰ２の前後１秒）における単位時間当たりの素材画像の抽出数を決定するようパノラマ画像合成範囲決定部６を制御する。その抽出数の例は上述の通りである。ＣＰＵ１０はＨＤＤ１８に保存された素材画像候補のうち、各動き解析時点の近傍の時間間隔から、決定された単位時間当たりの抽出数に合致する素材画像候補を抽出（ないし選択）し、抽出された素材画像候補を改めて素材画像候補とし、抽出されない素材画像候補はＨＤＤ１８から破棄する。例えば、図４の動き解析時点Ｐ１の前後１秒間では毎秒５フレームの動画コマを素材画像候補として抽出し、動き解析時点Ｐ２の前後１秒間では毎秒１５フレームの動画コマを素材画像候補として抽出する。

Ｓ４では、ＣＰＵ１０はＨＤＤ１８の素材画像候補のうち、カメラ移動速度解析部２の検出したカメラ速度が所定の値を下回っている解析時点（あるいはその解析時点に最も近い撮影時点）で撮影された素材画像候補である停止時点画像とそれ以外の素材画像候補である非停止画像を決定する。ここで、ＣＰＵ１０は全ての素材画像候補が停止時点画像であると判断しない場合はＳ５、全ての素材画像候補が停止時点画像であると判断した場合はＳ６に進む。

Ｓ５では、ＣＰＵ１０はＨＤＤ１８の素材画像候補から停止時点画像を破棄し、それ以外の非停止画像を素材画像に決定する。

Ｓ６では、ＣＰＵ１０は所定の警告を表示部１２やスピーカなどに出力する。出力される警告の内容の例は上記の通りである。

Ｓ７では、ＣＰＵ１０は画像の付帯情報(タグなど）から、各素材画像に対応するズーム情報を取得するようカメラ操作解析部３を制御する。カメラ操作解析部３はこの制御に応じてズーム情報を取得する。

Ｓ８では、ＣＰＵ１０はカメラ操作解析部３がある１または複数の素材画像に対応するズーム情報が等倍を超えるか否かを判断する。Ｙｅｓの場合はＳ９、Ｎｏの場合はＳ１１に進む。

Ｓ９では、ＣＰＵ１０は等倍を超えるズーム情報に対応する素材画像をＨＤＤ１８から抽出する。

Ｓ１０では、ＣＰＵ１０はＳ９で抽出した素材画像を素材画像から除外し、その他の素材画像を改めて素材画像とする。ＣＰＵ１０はＳ９で除外された動画コマを破棄せず、除外された旨を示す識別情報と、その他の素材画像と関連づけてＨＤＤ１８に保存してもよい。すなわち、除外された動画コマはそのままパノラマ画像の素材にするのは適切でないが、パノラマ画像と関連する単なる静止画として出力することができ、残す価値がある。

Ｓ１１では、ＣＰＵ１０はＨＤＤ１８の素材画像に基づいてパノラマ画像を合成するようパノラマ画像合成部８を制御する。この際、強調処理部９により、カメラ操作解析部４の検出した撮影方向に応じた強調を行うことができる。強調の例は図５および６に示した通りである。

２：カメラ移動速度解析部、３：カメラ操作解析部、４：被写体距離解析部、５：静止画像抽出部、６：パノラマ画像合成範囲決定部

Claims (9)

1. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影時点もしくは前記撮影時点の近傍の時点である解析時点における前記撮影装置の移動速度を検出するステップと、
   前記移動速度に基づいて前記素材画像候補の中から視覚的に強調すべき素材画像候補を決定するステップと、
   前記素材画像候補に基づいて、前記視覚的に強調すべき素材画像候補に含まれる被写体が視覚的に強調された合成画像を作成するステップと、
   を実行し、
   前記視覚的に強調すべき素材画像候補の解析時点における撮影装置の移動速度は、他の素材画像候補の解析時点における撮影装置の移動速度よりも遅い合成画像作成方法。
2. 情報処理装置が、
   前記撮影装置の動きが所定の基準に達しない解析時点で撮影された画像を素材画像候補から除外するステップを実行する請求項１に記載の合成画像作成方法。
3. 情報処理装置が、
   各々の解析時点における前記撮影装置の移動速度を検出するステップと、
   各々の解析時点における前記検出された撮影装置の移動速度に基づいて、前記各々の解析時点の近傍から抽出すべき単位時間当たりの素材画像候補の数を決定するステップと、
   前記各々の解析時点の近傍から前記単位時間当たりの画像の数に達する素材画像候補を抽出するステップと、
   前記抽出された素材画像候補に基づいて合成画像を作成するステップと、
   を実行する請求項１または２に記載の合成画像作成方法。
4. 情報処理装置が、
   前記素材画像候補の各々の撮影時点における前記撮影装置の移動方向を検出するステップと、
   前記移動方向に基づいて前記素材画像候補の中から視覚的に強調すべき素材画像候補を決定するステップと、
   前記素材画像候補に基づいて、前記視覚的に強調すべき素材画像候補に含まれる被写体が視覚的に強調された合成画像を作成するステップと、
   を実行する請求項１〜３のいずれかに記載の合成画像作成方法。
5. 前記合成画像には、前記移動方向に沿って上昇する勾配が形成される請求項４に記載の合成画像作成方法。
6. 前記勾配は、前記移動速度が速いほど急である請求項５に記載の合成画像作成方法。
7. 前記被写体の周辺領域の拡大率または解像度の増大、所定方向に前記周辺領域を引き延ばすこと、前記周辺領域の輝度を高くすること、前記周辺領域以外の領域の輝度を低くすること、または前記周辺領域以外の領域を覆うことにより、前記被写体が視覚的に強調された合成画像を作成するステップを含む請求項１〜６のいずれかに記載の合成画像作成方法。
8. 請求項１〜７のいずれかに記載の合成画像作成方法を情報処理装置が実行するためのプログラム。
9. 請求項１〜７いずれかに記載の合成画像作成方法を実行する情報処理装置。

Images