JP5022498B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

従来、画像処理装置として、撮像された画像をつなぎ合わせて一枚の広角な静止画像であるパノラマ静止画像を作成する装置が知られている（例えば、特許文献１参照）。特許文献１記載の画像処理装置は、第１の画像と第２の画像とをつなぎ合わせる際に、第１の画像と第２の画像とが重なる領域内において小領域をパターンマッチングさせて位置決めし、一方の画像から重なり領域を切り取り、重なり領域が切り取られた画像と他方の画像とをつなぎ合わせてパノラマ静止画像を作成するものである。

特開平５−６７２０８号公報

しかしながら、特許文献１記載の装置にあっては、重なり領域の外縁を特定する処理が必要となるため、処理負荷が増加する場合がある。また、例えば第１の画像、第２の画像及び第３の画像を合成する場合には、各画像を記録しておきそれぞれパターンマッチングする必要がある。このため、つなぎ合わせる画像が増加するほど処理負荷や必要なリソースが増加するおそれがある。

そこで、本発明はこのような技術課題を解決するためになされたものであって、複数画像の合成処理の負荷を低減しつつ、合成された画像の品質を向上することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

すなわち、本発明に係る画像処理装置は、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理装置であって、前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得部と、前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する合成画像生成部と、を備え、前記合成画像生成部は、前記合成画像の格子状に配列させた格子点ごとに、当該格子点に最も近い第１中心点を記録し、格子点での画素値を、記録された前記第１中心点と前記第２中心点との垂直二等分線からの距離に基づいて決定し、前記格子点ごとに求めた前記距離に基づいて、前記格子点に囲まれたブロック内の画素値を決定し、決定された画素値に基づいて前記合成画像を生成することを特徴として構成される。

本発明に係る画像処理装置では、中心位置取得部により、第１画像を構成する画像それぞれの第１中心点及び第２画像の第２中心点の位置情報が取得され、合成画像生成部により、第１画像を構成する画像のうち第２画像と重なる画像の第１中心点が取得され、取得された第１中心点の位置情報及び第２中心点の位置情報に基づいて、取得された第１中心点と第２中心点との垂直二等分線を第１画像及び第２画像のつなぎ目としてつなぎ合わされて合成画像が生成される。このように、第１画像と入力した第２画像とを逐次合成する際に、画像の中心点の情報から画像のつなぎ目を特定してつなぎ合わせることができるので、逐次合成処理を高速かつ低負荷で実現することが可能となる。さらに、垂直二等分線を用いることで２つの画像のズレ量を低減できるので、合成画像の品質を向上することが可能となる。また、合成画像の所定位置（格子点の位置）の画素値を、垂直二等分線からの距離情報で決定することができるので、簡単な演算処理で画像を合成することが可能となる。さらに、格子点に最も近い画像の第１中心点を記録することで、第１画像と第２画像とが重なる領域の画素ごとに、第１画像を構成する全ての画像の中心点と第２画像の中心点とを比較する必要がなくなるので、処理時間又は処理コストを低減することが可能となる。また、ブロック内の画素位置それぞれにおける距離を全て算出することなく、ブロック内の画素値を決定することができるので、演算処理の負荷を低減することが可能となる。

ここで、前記第１画像は、前記第２画像の直前に入力された画像又は前記合成画像生成部により生成された前記合成画像であってもよい。

また、前記中心位置取得部は、前記第１画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記位置情報を取得することが好適である。このように構成することで、つなぎ合わせる第２画像の位置を高速かつ適切に判断することができる。

また、前記合成画像生成部は、前記距離が所定値よりも大きく、かつ前記格子点の位置が前記第２中心点よりも前記第１中心点に近い場合には、前記第１画像の画素値を当該格子点の画素値とし、前記距離が所定値よりも大きく、かつ前記格子点の位置が前記第１中心点よりも前記第２中心点に近い場合には、前記第２画像の画素値を当該格子点の画素値とし、前記距離が所定値以下の場合には、前記第１画像の画素値と前記第２画像の画素値とを合成して当該格子点の画素値とすることが好適である。

このように構成することで、画素値を合成する領域を垂直二等分線から所定範囲の領域に限定することができるので、合成画像の生成処理を高速に行うことが可能となるととともに、例えば第２画像にブレ又はズレがある場合であっても合成画像に与える影響を小さくしながら滑らかな合成画像を生成することができる。

また、前記合成画像生成部は、前記ブロックを囲む全ての前記格子点の前記距離が所定値よりも大きく、かつ前記ブロックを囲む全ての前記格子点の位置が前記第２中心点よりも前記第１中心点に近い場合には、前記第１画像の画素値を当該ブロック内の画素値とし、前記ブロックを囲む全ての前記格子点の前記距離が所定値よりも大きく、かつ前記ブロックを囲む全ての前記格子点の位置が前記第１中心点よりも前記第２中心点に近い場合には、前記第２画像の画素値を当該ブロック内の画素値とすることが好適である。

このように構成することで、格子点に囲まれたブロックごとにコピーするか否かを判断し、ブロック単位で合成処理を実行することができるので、演算処理の負荷を一層低減することが可能となる。

さらに、前記合成画像生成部は、前記合成画像を生成した後に、格子点ごとに記録された最も近い前記第１中心点を更新することが好適である。このように構成することで、逐次合成を適切に行うことができる。

また、本発明に係る画像処理方法は、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理方法であって、前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得ステップと、前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する合成画像生成ステップと、を備え、前記画像生成ステップでは、前記合成画像の格子状に配列させた格子点ごとに、当該格子点に最も近い第１中心点を記録し、格子点での画素値を、記録された前記第１中心点と前記第２中心点との垂直二等分線からの距離に基づいて決定し、前記格子点ごとに求めた前記距離に基づいて、前記格子点に囲まれたブロック内の画素値を決定し、決定された画素値に基づいて前記合成画像を生成することを特徴として構成される。

本発明に係る画像処理方法によれば、上述した本発明の画像処理装置と同様の効果を奏する。

また、本発明に係る画像処理プログラムは、コンピュータを、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成するように機能させる画像処理プログラムであって、前記コンピュータを、前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得部、及び前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する合成画像生成部として機能させ、さらに、前記合成画像生成部が、前記合成画像の格子状に配列させた格子点ごとに、当該格子点に最も近い第１中心点を記録し、格子点での画素値を、記録された前記第１中心点と前記第２中心点との垂直二等分線からの距離に基づいて決定し、前記格子点ごとに求めた前記距離に基づいて、前記格子点に囲まれたブロック内の画素値を決定し、決定された画素値に基づいて前記合成画像を生成するように前記コンピュータを機能させることを特徴とする。

本発明に係る画像処理プログラムによれば、上述した本発明の画像処理装置と同様の効果を奏する。

本発明によれば、複数画像の合成処理の負荷を低減しつつ、合成された画像の品質を向上することができる。

実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 実施形態に係る画像処理装置が搭載される携帯端末のハードウェア構成図である。 既に入力した画像とその後に入力した画像との中心点の距離を説明する概要図である。 合成画像とその後に入力した画像との中心点の距離を説明する概要図である。 実施形態に係る画像処理装置の動作を示すフローチャートである。 既に入力した画像とその後に入力した画像との合成を説明する概要図である。 合成画像を説明する概要図である。 合成画像とその後に入力した画像との合成を説明する概要図である。 合成画像を説明する概要図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

本実施形態に係る画像処理装置は、入力画像を入力の度につなぎ合わせて一枚の画像を逐次作成する装置であって、例えば連続撮像された複数の画像をリアルタイムでつなぎ合わせ、１枚の撮像画像よりも広角なパノラマ画像を生成する場合に好適に採用されるものである。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、カメラ機能を備えた携帯端末に搭載される画像処理装置を説明する。

図１は、本実施形態に係る画像処理装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像処理装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。

図１に示すように、携帯端末２は、カメラ３０、画像処理装置１及び表示部３１を備えている。カメラ３０は、画像を撮像する機能を有している。カメラ３０として、例えば撮像素子等が用いられる。カメラ３０は、例えばユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有している。ユーザは、例えばカメラ３０をスライドさせて少なくとも上下左右において重なる連続画像を撮像することができる。そして、カメラ３０は、例えば撮像された画像を撮像の度に画像処理装置１へ出力する機能を有している。

画像処理装置１は、画像入力部１０、中心位置取得部１１、合成画像生成部１２及び中心位置記憶部１３を備えている。

画像入力部１０は、カメラ３０により撮像された画像を入力する機能を有している。画像入力部１０は、例えばカメラ３０により撮像された画像を撮像の度に入力する機能を有している。また、画像入力部１０は、最初に入力した画像を、携帯端末２に備わる第１の一時記憶領域に保存する機能を有している。また、画像入力部１０は、次回以降連続して入力される画像を、携帯端末に備わる第２の一時記憶領域に保存する機能を有している。なお、後述するように、第２の一時記憶領域は新たな画像の入力の度に更新され、第１の一時記憶領域は、画像入力の度に逐次合成した画像（中間合成画像）が上書き保存で格納される。なお、以下では、第１の一時記憶領域に格納された画像を第１画像、第２の一時記憶領域に格納された画像を第２画像として説明する。

中心位置取得部１１は、画像入力部１０が入力した画像（初期の第１画像又は第２画像）の中心点の位置情報を取得する機能を有している。中心点とは、画像の外縁から一義的に決定される点である。位置情報は、実空間と関連づけされた位置情報であってもよいし、連続して入力される画像間で関連づけされた相対的な位置情報であってもよい。中心位置取得部１１は、上記の位置情報を取得するために、入力された画像及びその直前に入力された画像に基づいてカメラの動き（動きベクトル）を検出する機能を有している。また、中心位置取得部１１は、得られた動きベクトル及び直前に入力された画像の中心点の位置情報に基づいて、入力された画像の中心点の位置情報を算出する機能を有している。なお、中心位置取得部１１は、最初に入力された画像（初期の第１画像）だけは、当該画像のみで中心点の位置情報を取得し、以降入力される画像（第２画像）については、入力画像及び入力直前の画像を用いて得られる動きベクトルに基づいて中心点の位置情報を取得する。例えば、ｎ回目（ｎ＞１）に入力した第２画像については、当該第２画像及びｎ−１回目に入力した第２画像を用いて動きベクトルを取得し、取得された動きベクトルに基づいてｎ回目に入力した第２画像の中心点の位置情報を取得する。ここで、中心位置取得部１１は、直前に入力された画像そのものではなく、直前に入力された画像を縮小し、更に輝度要素のみとした画像を用いて動きベクトルを算出してもよい。このように直前に入力された画像を加工して動きベクトルを取得することで、処理時間又は処理コストを低減することができる。なお、以下では、第１画像を構成する画像それぞれの中心点を第１中心点、第２画像の中心点を第２中心点として説明する。さらに、中心位置取得部１１は、取得された中心点の位置情報を合成画像生成部１２へ出力する機能を有している。

合成画像生成部１２は、入力した画像（第２画像）と既に入力されている画像（第１画像）とをつなぎ合わせた合成画像を生成する機能を有しており、距離算出部１２１及び合成部１２２を備えている。

距離算出部１２１は、例えば、中心位置取得部１１により取得された動きベクトルに基づいて、第１画像を構成する画像のうち第２画像と重なる画像を特定する機能を有している。そして、距離算出部１２１は、第２画像と重なる画像の所定位置から最も近い第１中心点を特定し、特定された第１中心点と第２画像の第２中心点との距離を算出する機能を有している。ここで、上記の算出処理を高速化するために、所定位置は格子状に配列させた格子点での位置とされる。例えば、合成画像（ここでは第１画像）内に格子点を配列して上述した所定位置とする。そして、距離算出部１２１は、第１中心点と第２中心点との距離の算出前に、格子点ごとに当該格子点に最も近い第１中心点を特定し、中心位置記憶部１３に予め格納する機能を有している。すなわち、中心位置記憶部１３には、第１画像に含まれる格子点と、当該格子点に最も近い第１中心点とが関連付けされて格納されている。この場合、距離算出部１２１は、第１画像を構成する画像のうち、入力した第２画像に重なる画像を特定し、中心位置記憶部１３を参照して、特定された格子点に最も近い第１中心点を取得する。なお、第１画像を構成する画像のうち第２画像に重なる画像が複数存在する場合には、格子点によっては最も近い第１中心点が異なる場合がある。この場合、距離算出部１２１は、格子点ごとに異なる第１中心点と、第２中心点との距離を算出する。距離算出部１２１は、算出された距離を合成部１２２へ出力する機能を有している。

合成部１２２は、距離算出部１２１により算出された第１中心点と第２中心点との距離に基づいて、第１画像及び第２画像をつなぎ合わせる機能を有している。例えば、合成部１２２は、合成画像内の所定位置において、当該所定位置から最も近い第１中心点と第２中心点との垂直二等分線までの距離に基づいて、当該所定位置での画素値を決定する機能を有している。図３，４は、第１中心点と第２中心点との垂直二等分線を説明する概要図である。図３に示すように、第１画像Ｆ１の第１中心点Ｐ１と第２画像Ｆ２の第２中心点Ｐ２との間に垂直二等分線Ｌ１を引くことができる。そして、合成画像内の所定位置の垂直二等分線Ｌ１までの距離を算出して、当該所定位置での画素値を決定する。また、図４に示すように、第１画像が複数の画像Ｆ１，Ｆ２で構成される場合には、それぞれの第１中心点Ｐ１，Ｐ２ごとに、第２中心点Ｐ３との垂直二等分線Ｌ２，Ｌ３を引くことができる。このように、第１中心点が複数ある場合には、複数の垂直二等分線を引くことができる。そして、合成画像内の所定位置の垂直二等分線までの距離を算出して、当該所定位置での画素値を決定する。

このように、合成部１２２は、第１画像及び第２画像のうち、合成位置に最も近い画像の画素値を当該合成位置の画素値として採用するために、垂直二等分線までの距離を利用する。言い換えれば、合成部１２２は、合成画像内の所定位置から垂直二等分線までの距離を、入力画像の近さを評価する評価値として用いている。例えば、合成部１２２は、入力画像の近さＴを以下の式１で評価する。

ここで、Ａは、合成予定の所定位置から第２中心点までの距離、Ｂは、合成予定の所定位置から最も近い第１中心点までの距離、Ｃは、第１中心点から第２中心点までの距離である。

合成部１２２は、式１により得られた近さＴを評価値として所定位置での画素値を決定する。例えば、合成部１２２は、所定位置から垂直二等分線までの距離が所定値よりも大きく、かつ所定位置が第２中心点よりも第１中心点に近い場合には、第１画像の画素値を当該所定位置の画素値とする。一方、合成部１２２は、所定位置から垂直二等分線までの距離が所定値よりも大きく、かつ所定位置が第１中心点よりも第２中心点に近い場合には、第２画像の画素値を当該所定位置の画素値とする。そして、合成部１２２は、所定位置から垂直二等分線までの距離が所定値以下の場合には、第１画像の画素値と第２画像の画素値とを合成して当該所定位置の画素値とする。合成する手法は、従来の手法を採用することができ、例えば、第１画像の画素値と第２画素の画素値との平均値又は加重平均値を当該所定位置の画素値とする手法が用いられる。このように、合成部１２２は、合成画像の所定位置が、垂直二等分線を境として、第１中心点及び第２中心点のどちらに近いのかを判断して、第１画像及び第２画像の何れの画素値を採用するのかを判断する機能を有している。そして、合成部１２２は、所定位置が垂直二等分線近傍の場合、すなわち、合成画像のうち垂直二等分線からの距離が所定値以下となる所定位置については、第１画像の画素値及び第２画像の画素値とを合成することにより、つなぎ目の輝度差を小さくして違和感の少ない合成画像を生成する機能を有している。すなわち、以下に示すように近さＴを評価値として所定位置での画素値を決定する。

なお、画素値の合成をするか否かの判断に用いられる所定値Ｗは、例えば１６（ピクセル）が用いられる。この場合、垂直二等分線を基準として８ピクセル内にある画像位置において、第１画像の画素値と第２画像の画素値が合成される。

合成画像内の格子点は、第２画像の入力前にあっては、第１画像を全て含むように格子状に配列されている。一方、第２画像の入力後にあっては、格子点は第１画像だけでなく第２画像も含むように、新たに追加される。このように、所定位置として格子点を採用することで、合成画像に含まれる全ての位置（ピクセル位置）について、垂直二等分線までの距離を算出する必要がなくなるため、処理負荷を低減することができる。さらに、合成部１２２は、中心位置記憶部１３を参照することにより、格子点に最も近い第１中心点を高速に読み取ることもできる。これにより、過去に合成された全ての画像の第１中心点の位置と、格子点の位置とを比較する必要がなくなるため、処理時間又は処理コストを低減することができる。そして、合成部１２２は、さらなる高速化を図るべく、格子点での判定結果に基づいて、格子点に囲まれたブロック内の画素値を決定する機能を有している。例えば、合成部１２２は、合成画像内に格子状に配列された格子点において、当該格子点から最も近い第１中心点と第２中心点との垂直二等分線までの距離に基づいて、当該格子点での画素値を決定する機能を有している。そして、合成部１２２は、画素値が第１画像とされた格子点に囲まれるブロック（領域）については、第１画像の画素値を採用する。すなわち、合成部１２２は、当該ブロックについては何も処理をしないで、次のブロックを処理対象とする。一方、合成部１２２は、画素値が第２画像とされた格子点に囲まれるブロックについては、第２画像の画素値を採用する。すなわち、合成部１２２は、当該ブロックについては第２画像をそのままコピーする。そして、ブロックを囲む格子点での画素値が、全て第１画像でない場合又は全て第２画像でない場合、すなわち、ブロックと垂直二等分線が交わる場合には、合成部１２２は、当該ブロック内の画素値を、第１画像及び第２画像の画素値の合成値とする機能を有している。この場合、ブロック内のピクセル位置での近さＴを、格子点での近さＴから線形補間して求めて、上述した評価方法で評価することで、合成するピクセル位置を適切に特定することができる。

また、合成部１２２は、上記処理により合成画像を生成した後に、格子点ごとに記録された最も近い第１中心点を更新する機能を備えている。例えば、第１画像と第２画像とをつなぎ合わせて合成画像を生成した場合、この合成画像内に含まれる格子点によっては、最も近い第１中心点が変更される場合がある。このため、つなぎ合わせる処理を実行した後に、最も近い第１中心点を更新する処理を行うことで、最も近い第１中心点の正確な情報を維持することができる。

さらに、合成部１２２は、第１画像と第２画像とをつなぎ合わせて作成した合成画像を第１の一時記憶領域に上書き保存する。このように、合成部１２２は、最新の合成画像を第１の一時記憶領域に保存しておく。すなわち、次に入力される第２画像が存在する場合には、最新の合成画像（中間合成画像）に対して、第２画像をつなぎ合わせる処理を実行する。このように、合成部１２２は、合成対象の画像を全て記録保持して参照しているのではなく、入力された画像を逐次合成することで、少ないメモリ量で画像を合成可能としている。また、合成部１２２は、第１の一時記憶領域に格納された合成画像を表示部３１へ出力する機能を有している。表示部３１は、合成画像生成部１２に接続されており、出力された合成画像をユーザに報知する機能を有している。表示部３１として例えば液晶ディスプレイ等が用いられる。

次に、本実施形態に係る画像処理装置１の動作について説明する。図５は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。図５に示す制御処理は、例えば携帯端末２の撮像機能をＯＮしたタイミングで実行され、所定の周期で繰り返し実行される。なお、説明理解の容易性を考慮して、図６〜図９に示す図を参照しながら画像処理装置１の動作を説明する。図６，７は、既に入力している１つの画像に１つの画像をつなぎ合わせる場合の概要図、図８，９は、既に入力して合成された画像に１つの画像をつなぎ合わせる場合の概要図である。

図５に示すように、最初に画像処理装置１が初期処理を実行する（Ｓ１２）。図６に示すように、画像入力部１０が、カメラ３０から画像Ｆ１を入力し、第１画像Ｆ１として第１の一時記憶領域に格納する。そして、中心位置取得部１１が第１画像Ｆ１の中心点である第１中心点Ｐ１の位置情報を取得する。そして、合成画像生成部１２が、第１画像Ｆ１を含む領域に格子状に格子点Ｋ_ｎ（ｎ：整数）を配置する。そして、合成画像生成部１２が、格子点Ｋ_ｎに最も近い第１中心点として第１中心点Ｐ１を特定し、格子点Ｋ_ｎそれぞれに第１中心点Ｐ１を関連付けして中心位置記憶部１３に記録する。以上で初期処理を終了する。Ｓ１２の処理が終了すると、第２画像の入力処理へ移行する（Ｓ１４）。

Ｓ１４の処理では、画像入力部１０が、カメラ３０から画像Ｆ２を入力し、第２画像Ｆ２として第２の一時記憶領域に格納する。なお、ここでは第２画像Ｆ２は、第１画像Ｆ１の撮像位置とは異なる撮像位置で撮像された同一の大きさの画像であって、第１画像Ｆ１と重なり領域を有する画像である。Ｓ１４の処理が終了すると、中心点の位置の取得処理へ移行する（Ｓ１６）。

Ｓ１６の処理では、中心位置取得部１１が第２画像Ｆ２の中心点である第２中心点Ｐ２の位置情報を取得する。例えば、中心位置取得部１１は、第１画像Ｆ１と第２画像Ｆ２の動きベクトルに基づいて、第２中心点Ｐ２の位置情報を取得する。Ｓ１６の処理が終了すると、中心点間の距離取得処理へ移行する（Ｓ１８）。

Ｓ１８の処理では、距離算出部１２１が、Ｓ１２の処理で得られた第１中心点Ｐ１の位置情報、及びＳ１６の処理で得られた第２中心点Ｐ２の位置情報に基づいて、第１中心点Ｐ１と第２中心点Ｐ２との間の距離を算出する。図６に示すように、第１画像Ｆ１の第１中心点Ｐ１と、第２画像Ｆ２の第２中心点Ｐ２との距離Ｃを算出する。中心点間の距離Ｃを算出することで、第１中心点Ｐ１と第２中心点Ｐ２との垂直二等分線Ｌ１までの距離を評価し、当該垂直二等分線Ｌ１を画像Ｆ１と画像Ｆ２とのつなぎ目にすることができる。Ｓ１８の処理が終了すると、合成処理へ移行する（Ｓ２０）。

Ｓ２０の処理では、合成部１２２が画像Ｆ１と画像Ｆ２とをつなぎ合わせて合成画像を生成する。図６に示すように、第１画像Ｆ１と第２画像Ｆ２とが合成画像の座標空間に配置される。そして、第２画像Ｆ２のうち第１画像Ｆ１と重ならない領域については、格子点Ｋ_ｎが配置されていないため、新たに格子点Ｋ_ｍ（ｍ：整数、図中点線）が追加される。そして、追加された格子点Ｋ_ｍについて、合成部１２２が、格子点Ｋ_ｍに最も近い第１中心点として第１中心点Ｐ１を特定し、格子点Ｋ_ｍそれぞれに第１中心点Ｐ１を関連付けして中心位置記憶部１３に記録する。このときＰ１には、無限遠の点が設定される。

そして、合成部１２２は、第１画像Ｆ１と第２画像Ｆ２とに配置された格子点Ｋ_ｎ，Ｋ_ｍごとに垂直二等分線Ｌ１からの距離を評価して、当該格子点Ｋ_ｎ，Ｋ_ｍにおける画素値を特定する。例えば、左上に位置する格子点Ｋ_ｎから順に上述した式１を用いて近さＴを算出する。そして、画素値の合成をするか否かの判断に用いられる所定値Ｗを１６として、近さＴを評価することで、格子点Ｋ_ｎにおける画素値を特定する。例えば、合成部１２２は、格子点Ｘ１であれば、中心位置記憶部１３を参照して、最も近い第１中心点Ｐ１を取得し、第１中心点Ｐ１と第２中心点Ｐ２との距離Ｃ、第１中心点Ｐ１までの距離Ａ及び第２中心点Ｐ２までの距離Ｂを算出し、式１を用いて近さＴを算出する。格子点Ｘ２についても同様の処理を行う。合成部１２２は、格子点Ｘ１，Ｘ２については、第１画像Ｆ１に配置された格子点Ｋ_ｎであるため、上記のように近さＴを算出して評価する処理を行う。一方、新たに追加された格子点Ｋ_ｍについては、明らかに近さＴが閾値よりも下回るため、これらの格子点Ｋ_ｍの近さＴは−∞とし、近さＴの演算を省略する。

合成部１２２は、算出された近さＴを格子点Ｋ_ｎごとに評価し、格子点Ｋ_ｎで４隅を囲まれたブロックについて、格子点Ｋ_ｎそれぞれの近さＴが全て１６よりも大きい場合には当該ブロックについては処理をスキップする。例えば、格子点Ｘ３〜Ｘ６については、近さＴが全て１６よりも大きいため、格子点Ｘ３〜Ｘ６で囲まれるブロックについては処理をスキップする。一方、４隅の格子点Ｋ_ｎの近さＴが全て−１６よりも小さい場合には、当該ブロックの画素値として第２画像Ｆ２の画素値を採用する。例えば、格子点Ｘ７〜Ｘ１０については、近さＴが全て−１６よりも小さいため、格子点Ｘ７〜Ｘ１０で囲まれるブロックについては、第２画像Ｆ２をコピーする。そして、４隅の格子点Ｋ_ｎの近さＴが全て１６よりも大きくない場合、又は４隅の格子点Ｋ_ｎの近さＴが全て−１６よりも小さくない場合には、当該ブロックの画素値として第１画像Ｆ１及び第２画像Ｆ２の画素値を合成する。例えば、格子点Ｘ１１、Ｘ１２については、近さＴが０よりも大きく、格子点Ｘ１３、Ｘ１４については、近さＴが０よりも小さいので、格子点Ｘ１１〜Ｘ１４で囲まれるブロックについては、第１画像Ｆ１及び第２画像Ｆ２の画素値を合成する。この場合、当該ブロック内の画素位置における近さＴを、Ｘ１１〜Ｘ１４の近さＴで線形補間し、各画素位置で近さＴを算出して、閾値Ｗで評価する。この評価のやり方は上述したものと同様である。そして、閾値−Ｗ以上で閾値Ｗ以下となる近さＴの画素位置については、第１画像Ｆ１の画素値と第２画像Ｆ２の画素値との加重平均を算出し、当該画素位置での画素値とする。このように、最初は格子点Ｋ_ｎを用いてブロック単位でスキップ、コピー又は合成を判断し、合成が必要な箇所が含まれるブロックについては、ピクセルごとに線形補間した近さＴでさらに細かく評価し、スキップ、コピー又は合成を判断する。Ｓ２０の処理を実行することで、図７に示すように、画像Ｆ１と画像Ｆ２とが垂直二等分線Ｌ１をつなぎ目としてつなぎ合わされるとともに、垂直二等分線Ｌ１に沿って帯状の合成領域Ｑ１が形成される。この合成領域Ｑ１の幅は閾値Ｗとなる。そして、画像Ｆ１に画像Ｆ２がつなぎ合わされた画像を、第１画像として第１の一時記憶領域に格納する。すなわち、第１の一時記憶領域に格納された第１画像を更新する。Ｓ２０の処理が終了すると、中心点位置の更新処理へ移行する（Ｓ２２）。

Ｓ２２の処理では、合成部１２２が、中心位置記憶部１３に記録された第１中心点Ｐ１を更新する処理である。画像Ｆ２を合成したため、第１中心点はＰ１，Ｐ２の２つになっている。このため、合成部１２２は、第１の一時記憶領域に格納された第１画像について格子点Ｋ_ｎに最も近い第１中心点を更新する。例えば格子点Ｘ２の場合、第１中心点Ｐ１，Ｐ２のうち第１中心点Ｐ１の方が近いので、前回と同様であるため更新を実行しない。一方、例えば格子点Ｘ１の場合、第１中心点Ｐ１，Ｐ２のうち第１中心点Ｐ２の方が近いので、中心位置記憶部１３の記憶情報を更新する。Ｓ２２の処理が終了すると、入力画像の有無を判定する処理へ移行する（Ｓ２４）。

Ｓ２４の処理では、画像入力部１０が、さらに入力する画像が存在するか否かを判定する。例えば、現在の撮像回数がオート連続撮像回数よりも小さい場合には、入力画像が存在すると判定する。Ｓ２４の処理において、入力画像が存在すると判定した場合には、画像の入力処理へ再度移行する（Ｓ１４）。そして、例えば画像Ｆ３を入力して第２の一時記憶領域へ格納する。そして、中心位置取得部１１が画像Ｆ３の中心点Ｐ３の位置を取得する（Ｓ１６）。そして、距離算出部１２１が、第１の一時記憶領域に格納された画像Ｆ１及びＦ２からなる合成画像の第１中心点Ｐ１，Ｐ２と、入力した画像Ｆ２の第２中心点Ｐ３との距離をそれぞれ算出する（Ｓ１８）。そして、合成部１２２が、画像Ｆ１，Ｆ２と画像Ｆ３とをつなぎ合わせて合成画像を生成する。図８に示すように、第１画像Ｆ１，Ｆ２と第２画像Ｆ３とが合成画像の座標空間に配置される。そして、第２画像Ｆ３のうち第１画像Ｆ１，Ｆ２と重ならない領域については、格子点Ｋ_ｎが配置されていないため、新たに格子点Ｋ_ｍ（ｍ：整数、図中点線）が追加される。そして、追加された格子点Ｋ_ｍについて、合成部１２２が、格子点Ｋ_ｍに最も近い第１中心点として第１中心点Ｐ３を特定し、格子点Ｋ_ｍそれぞれに第１中心点Ｐ３を関連付けして中心位置記憶部１３に記録する。そして、合成部１２２は、画像Ｆ１，Ｆ２をつなぎ合わせた場合と同様に、第１画像Ｆ１，Ｆ２と第２画像Ｆ３とに配置された格子点Ｋ_ｎ，Ｋ_ｍ（例えば、Ｘ１５，Ｘ１６，Ｘ１７等）ごとに垂直二等分線Ｌ２，Ｌ３からの距離を評価して、当該格子点Ｋ_ｎ，Ｋ_ｍにおける画素値を特定する。これにより、図９に示すように、画像Ｆ１，Ｆ２，Ｆ３が合成された画像が生成される。合成後、合成部１２２は、格子点Ｋ_ｎの中心点位置を更新する（Ｓ２２）。このように、入力画像が存在する場合には、Ｓ１４〜Ｓ２４の処理が繰り返し実行される。

一方、Ｓ２４の処理において、入力画像がないと判定した場合には、表示処理へ移行する（Ｓ２６）。Ｓ２６の処理では、画像処理装置１が第１の一時記憶領域に保存された合成画像を表示部３１へ出力して表示させる。なお、画像処理装置１は、合成画像の両端を切り取り、大きさを整えてから表示部３１へ出力してもよい。Ｓ２６の処理が終了すると、図５に示す制御処理を終了する。なお、Ｓ２６の処理は、画像を一枚入力するごとに（すなわちＳ２０とＳ２４との間に）行ってもよい。

図５に示す制御処理を実行することで、低負荷で高速な逐次合成を行うことができる。なお、Ｓ１２及びＳ１６の処理が中心位置取得ステップに該当し、Ｓ１８〜Ｓ２４が合成画像生成ステップに該当する。

次に、携帯端末（コンピュータ）２を上記画像処理装置１として機能させるための画像処理プログラムを説明する。

画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、中心位置取得モジュール、距離算出モジュール、合成モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１の画像入力部１０、中心位置取得部１１、距離算出部１２１，合成部１２２の機能とそれぞれ同様である。

画像処理プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、中心位置取得部１１により、第１画像を構成する画像それぞれの第１中心点及び第２画像の第２中心点の位置情報が取得され、合成画像生成部１２により、第１画像を構成する画像のうち第２画像と重なる画像の第１中心点が取得され、取得された第１中心点の位置情報及び第２中心点の位置情報に基づいて、取得された第１中心点と第２中心点との垂直二等分線を第１画像及び第２画像のつなぎ目としてつなぎ合わされて合成画像が生成される。このように、第１画像と入力した第２画像とを逐次合成する際に、画像の中心点の情報から画像のつなぎ目を特定してつなぎ合わせることができるので、逐次合成処理を高速かつ低負荷で実現することが可能となる。さらに、垂直二等分線を用いることで第１画像と第２画像とのズレ量を低減できるので、合成画像の品質を向上することが可能となる。

また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、中心位置取得部１１により、第１画像を構成する画像のうち第２画像の直前に入力された画像及び第２画像に基づいて動きベクトルが取得され、取得された動きベクトルに基づいて第２中心点の位置情報が取得されるので、マッチング処理等を行うことなく、つなぎ合わせる第２画像の位置を高速かつ適切に判断することができる。

また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、合成画像生成部１２により、合成画像の所定位置の画素値が、当該所定位置に最も近い第１中心点と第２中心点との垂直二等分線からの距離に基づいて決定されるので、簡単な演算処理で画像を合成することが可能となる。

また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、画素値を合成する領域を垂直二等分線から所定範囲の領域に限定することができるので、合成画像の生成処理を高速に行うことが可能となるととともに、例えば第２画像にブレ又はズレがある場合であっても合成画像に与える影響を小さくしながら滑らかな合成画像を生成することができる。

また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、格子点に最も近い画像の第１中心点が記録されるので、第１画像と第２画像とが重なる領域の画素ごとに、第１画像を構成する全ての画像の中心点と第２画像の中心点とを比較する必要がなくなる。このため、処理時間又は処理コストの削減しつつ演算処理の負荷を低減することが可能となる。

また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、ブロック内の画素位置それぞれにおける距離を全て算出することなく、ブロック内の画素値を決定することができるので、演算処理の負荷を低減することが可能となる。さらに、格子点に囲まれたブロックごとにコピーするか否かを判断し、ブロック単位で合成処理を実行することができるので、演算処理の負荷を一層低減することが可能となる。

なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、実施形態に係る画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。

例えば、上述した実施形態では、カメラ３０が静止画像を連続撮像する例を説明したが、カメラ３０は、動画を撮像するものであってもよい。この場合、画像入力部１０は、撮像された動画から連続する画像を抽出する機能を有していてもよい。また、画像入力部１０が入力する画像は、別の機器からネットワークを介して送信された画像であってもよい。

また、上述した実施形態では、カメラ３０により撮像された画像の大きさは同一であるとして説明したが、撮像された画像の大きさは撮像の度に異なる大きさであってもよい。

また、上述した実施形態では、中心位置取得部１１が、入力された画像と直前に入力された画像とを用いて動きベクトルを算出する例を説明したが、動きベクトルの算出方法はこれに限られるものではない。例えば、入力された画像と、それまでに生成された合成画像とを用いて動きベクトルを算出してもよい。

さらに、上述した実施形態では、格子点で囲まれる領域を矩形として説明したが、三角形又は他の多角形であってもよい。

１…画像処理装置、１０…画像入力部、１１…中心位置取得部、１２…合成画像生成部、１２１…距離算出部、１２２…合成部、１３…中心位置記憶部、３１…表示部。

Claims (8)

1. １枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理装置であって、
   前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得部と、
   前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する合成画像生成部と、を備え、
   前記合成画像生成部は、
   前記合成画像の格子状に配列させた格子点ごとに、当該格子点に最も近い第１中心点を記録し、
   格子点での画素値を、記録された前記第１中心点と前記第２中心点との垂直二等分線からの距離に基づいて決定し、
   前記格子点ごとに求めた前記距離に基づいて、前記格子点に囲まれたブロック内の画素値を決定し、
   決定された画素値に基づいて前記合成画像を生成することを特徴とする画像処理装置。
2. 前記第１画像は、前記第２画像の直前に入力された画像又は前記合成画像生成部により生成された前記合成画像である請求項１に記載の画像処理装置。
3. 前記中心位置取得部は、前記第１画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記位置情報を取得する請求項１又は２に記載の画像処理装置。
4. 前記合成画像生成部は、
   前記距離が所定値よりも大きく、かつ前記格子点の位置が前記第２中心点よりも前記第１中心点に近い場合には、前記第１画像の画素値を当該格子点の画素値とし、
   前記距離が所定値よりも大きく、かつ前記格子点の位置が前記第１中心点よりも前記第２中心点に近い場合には、前記第２画像の画素値を当該格子点の画素値とし、
   前記距離が所定値以下の場合には、前記第１画像の画素値と前記第２画像の画素値とを合成して当該格子点の画素値とすること、を特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記合成画像生成部は、
   前記ブロックを囲む全ての前記格子点の前記距離が所定値よりも大きく、かつ前記ブロックを囲む全ての前記格子点の位置が前記第２中心点よりも前記第１中心点に近い場合には、前記第１画像の画素値を当該ブロック内の画素値とし、
   前記ブロックを囲む全ての前記格子点の前記距離が所定値よりも大きく、かつ前記ブロックを囲む全ての前記格子点の位置が前記第１中心点よりも前記第２中心点に近い場合には、前記第２画像の画素値を当該ブロック内の画素値とすること、を特徴とする請求項１に記載の画像処理装置。
6. 前記合成画像生成部は、前記合成画像を生成した後に、格子点ごとに記録された最も近い前記第１中心点を更新する請求項１〜５の何れか一項に記載の画像処理装置。
7. １枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理方法であって、
   前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得ステップと、
   前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する合成画像生成ステップと、を備え、
   前記画像生成ステップでは、
   前記合成画像の格子状に配列させた格子点ごとに、当該格子点に最も近い第１中心点を記録し、
   格子点での画素値を、記録された前記第１中心点と前記第２中心点との垂直二等分線からの距離に基づいて決定し、
   前記格子点ごとに求めた前記距離に基づいて、前記格子点に囲まれたブロック内の画素値を決定し、
   決定された画素値に基づいて前記合成画像を生成することを特徴とする画像処理方法。
8. コンピュータを、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成するように機能させる画像処理プログラムであって、
   前記コンピュータを、
   前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得部、及び
   前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する合成画像生成部、として機能させ、さらに、
   前記合成画像生成部が、
   前記合成画像の格子状に配列させた格子点ごとに、当該格子点に最も近い第１中心点を記録し、
   格子点での画素値を、記録された前記第１中心点と前記第２中心点との垂直二等分線からの距離に基づいて決定し、
   前記格子点ごとに求めた前記距離に基づいて、前記格子点に囲まれたブロック内の画素値を決定し、
   決定された画素値に基づいて前記合成画像を生成するように前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images