JP5493112B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP5493112B2
JP5493112B2 JP2012035483A JP2012035483A JP5493112B2 JP 5493112 B2 JP5493112 B2 JP 5493112B2 JP 2012035483 A JP2012035483 A JP 2012035483A JP 2012035483 A JP2012035483 A JP 2012035483A JP 5493112 B2 JP5493112 B2 JP 5493112B2
Authority
JP
Japan
Prior art keywords
image
luminance
value
conversion coefficient
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012035483A
Other languages
English (en)
Other versions
JP2012100360A (ja
JP2012100360A5 (ja
Inventor
兼介 羽深
寿樹 椎野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Priority to JP2012035483A priority Critical patent/JP5493112B2/ja
Publication of JP2012100360A publication Critical patent/JP2012100360A/ja
Publication of JP2012100360A5 publication Critical patent/JP2012100360A5/ja
Application granted granted Critical
Publication of JP5493112B2 publication Critical patent/JP5493112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
従来、画像処理装置として、撮像された画像をつなぎ合わせて一枚の広角な静止画像であるパノラマ静止画像を作成する装置が知られている（例えば、特許文献１，２参照）。特許文献１，２記載の画像処理装置は、第１の画像と第２の画像とをつなぎ合わせる際に、第１の画像と第２の画像とが重なる領域内において小領域をテンプレートマッチングさせて位置決めし、２つの画像が重なる領域のうち少なくとも一方の画像の画素値の階調変換を行い、つなぎ目が目立たないように２つの画像が重なる領域での明るさを補正するものである。
特開平９−３２１９７２号公報 特開平１０−９１７６５号公報
近年、デジタルカメラは一般に普及しつつあり、携帯電話等のポータブル機器にも採用されている。小型化が要求される上記機器にあっては、少ないリソースで高速なパノラマ画像の生成処理をすることが望まれている。上記特許文献１，２記載の装置にあっては、処理高速化の観点から改善の余地がある。
そこで、本発明はこのような技術課題を解決するためになされたものであって、露光条件の異なる画像をつなぎ合わせる際に、画像のつなぎ目を目立たなくする処理を低負荷で行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
すなわち、本発明に係る画像処理装置は、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理装置であって、前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部と、前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部と、前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部と、を備え、前記輝度値変換係数算出部は、合成位置（合成キャンパス内の所定位置）における前記第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように前記輝度変換係数を算出する。
本発明に係る画像処理装置では、重なり領域取得部により、第２画像及び第２画像の直前に入力された直前入力画像に基づいて動きベクトルが取得され、取得された動きベクトルに基づいて、直前入力画像と第２画像とが重なる重なり領域が取得され、輝度値変換係数算出部により、重なり領域における第１画像の輝度値及び第２画像の輝度値に基づいて、第１画像及び第２画像の輝度値の変化が小さくなるように第１画像又は第２画像の輝度値を変換する輝度変換係数が算出され、合成画像生成部により、輝度変換係数に基づいて第１画像又は第２画像が変換されて、両者の画像がつなぎ合わせられる。このように、直前入力画像と第２画像との重なり領域を動きベクトルで取得することにより、重なり領域の輝度値の情報を低負荷で高速に取得することができる。よって、露光条件の異なる画像をつなぎ合わせる際に、画像のつなぎ目を目立たなくする処理を低負荷で行うことが可能となる。また、第２画像の変換後の輝度値を、つなぎ目から離れるほど第２画像の元の輝度値に近づくように補正することができる。
また、本発明に係る画像処理装置は、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理装置であって、前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部と、前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部と、前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部と、を備え、前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である。
また、前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数であることが好適である。
このように、補正関数として一次関数を採用することで、補正関数の計算コストを抑えることができる。また、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、補正関数を閾値までの一次関数と連続し最大画素値を通る一次関数とすることで、補正関数の計算コストを抑えつつ、自然な合成画像を生成することが可能となる。
また、前記第１画像を構成する画像のうち前記第２画像の直前に入力された画像、及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて、前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得部を備え、前記合成画像生成部は、前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成することが好適である。
このように構成することで、第１画像と入力した第２画像とを逐次合成する際に、第１中心点と第２中心点との垂直二等分線を画像のつなぎ目とすることができるので、逐次合成処理を高速かつ低負荷で実現することが可能となる。さらに、垂直二等分線を用いることで２つの画像のズレ量を低減できるので、合成画像の品質を向上することが可能となる。
さらに、前記合成画像生成部は、前記第１画像と前記第２画像とのつなぎ目から所定距離離れた位置までの範囲内であって、前記重なり領域よりも狭い範囲内にある画素値を、前記第１画像の画素値及び前記第２画像の画素値の合成値とすることが好適である。
このように構成することで、つなぎ目から所定距離離れた位置までの画素値が合成値とされるため、つなぎ目を目立たないようにすることができる。また、輝度値を変換した後の第２画像を用いて画素値の合成値を算出することが可能となるので、輝度値の差分が大きく変化することを回避することができる。さらに、輝度値の調整処理と、画素値の合成処理とを別個に独立して行うことが可能となるので、例えば、つなぎ目付近の合成領域については狭めることで処理負荷を低減させつつ、第１領域を狭めることで顕著となる第１画像及び第２画像の輝度値の差分を、画素を合成した領域よりも広い領域における第１画像及び第２画像の輝度値に基づいて補正することができる。
また、本発明に係る画像処理方法は、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理方法であって、前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得ステップと、前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度変換係数算出ステップと、前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成ステップと、を備え、前記輝度変換係数算出ステップは、合成位置における前記第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように前記輝度変換係数を算出し、前記合成画像生成ステップは、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である。
また、本発明に係る画像処理方法は、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理方法であって、前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得ステップと、前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度変換係数算出ステップと、前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成ステップと、を備え、前記合成画像生成ステップにおいて、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である。
本発明に係る画像処理方法によれば、上述した本発明の画像処理装置と同様の効果を奏する。
また、本発明に係る画像処理プログラムは、コンピュータを、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成するように機能させる画像処理プログラムであって、前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部、前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部、及び、前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部として機能させ、前記輝度値変換係数算出部は、合成位置における前記第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように前記輝度変換係数を算出し、前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である。
また、本発明に係る画像処理プログラムは、コンピュータを、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成するように機能させる画像処理プログラムであって、前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部、前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部、及び前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部として機能させ、前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である。
本発明に係る画像処理プログラムによれば、上述した本発明の画像処理装置と同様の効果を奏する。
本発明によれば、露光条件の異なる画像をつなぎ合わせる際に、画像のつなぎ目を目立たなくする処理を低負荷で行うことができる。
実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 実施形態に係る画像処理装置が搭載される携帯端末のハードウェア構成図である。 既に入力した画像とその後に入力した画像との重なり領域を説明する概要図である。 合成画像とその後に入力した画像との重なり領域を説明する概要図である。 既に入力した画像とその後に入力した画像との中心点の距離を説明する概要図である。 合成画像とその後に入力した画像との中心点の距離を説明する概要図である。 実施形態に係る画像処理装置の動作を示すフローチャートである。 既に入力した画像とその後に入力した画像との合成を説明する概要図である。 輝度絶対値を説明する概要図である。 輝度変換係数を説明する概要図である。 補正関数を説明する概要図である。 補正関数の他の例を説明する概要図である。 合成画像を説明する概要図である。 合成画像とその後に入力した画像との合成を説明する概要図である。 合成画像を説明する概要図である。
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
本実施形態に係る画像処理装置は、入力画像を入力の度につなぎ合わせて一枚の画像を逐次作成する装置であって、例えば連続撮像された複数の画像をリアルタイムでつなぎ合わせ、１枚の撮像画像よりも広角なパノラマ画像を生成する場合に好適に採用されるものである。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、カメラ機能を備えた携帯端末に搭載される画像処理装置を説明する。
図１は、本実施形態に係る画像処理装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像処理装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。
図１に示すように、携帯端末２は、カメラ３０、画像処理装置１及び表示部３１を備えている。カメラ３０は、画像を撮像する機能を有している。カメラ３０として、例えば撮像素子等が用いられる。カメラ３０は、例えばユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有している。ユーザは、例えばカメラ３０をスライドさせて少なくとも上下左右において重なる連続画像を撮像することができる。そして、カメラ３０は、例えば撮像された画像を撮像の度に画像処理装置１へ出力する機能を有している。
画像処理装置１は、画像入力部１０、中心位置取得部１１、合成画像生成部１２、中心位置記憶部１３、重なり領域取得部１４、輝度絶対値算出部１５及び輝度値変換係数算出部１６を備えている。
画像入力部１０は、カメラ３０により撮像された画像を入力する機能を有している。画像入力部１０は、例えばカメラ３０により撮像された画像を撮像の度に入力する機能を有している。また、画像入力部１０は、最初に入力した画像を、携帯端末２に備わる第１の一時記憶領域に保存する機能を有している。また、画像入力部１０は、次回以降連続して入力される画像を、携帯端末に備わる第２の一時記憶領域に保存する機能を有している。なお、後述するように、第２の一時記憶領域は新たな画像の入力の度に更新され、第１の一時記憶領域は、画像入力の度に逐次合成した画像（中間合成画像）が上書き保存で格納される。なお、以下では、第１の一時記憶領域に格納された画像を第１画像、第２の一時記憶領域に格納された画像を第２画像として説明する。
重なり領域取得部１４は、入力された画像及びその直前に入力された画像（直前入力画像）に基づいてカメラの動き（動きベクトル）を検出する機能を有している。また、重なり領域取得部１４は、得られた動きベクトルに基づいて、入力された画像及びその直前に入力された画像の重なり領域を取得する機能を有している。図３，４は、重なり領域を説明する概要図である。図３に示すように、カメラの動きに基づいて第１画像Ｆ１と第２画像Ｆ２との重なり領域Ｒ１を算出することができる。また、図４に示すように、第１画像が複数の画像Ｆ１，Ｆ２で構成される場合には、カメラの動きに基づいて第２画像Ｆ３と当該第２画像Ｆ３の直前に入力された画像Ｆ２との重なり領域Ｒ２を算出することができる。なお、重なり領域Ｒ１，Ｒ２は矩形領域であり、その特定が極めて容易である。さらに、重なり領域取得部１４は、重なり領域の情報を輝度絶対値算出部１５へ出力する機能を有している。
輝度絶対値算出部１５は、入力された画像の輝度絶対値を算出する機能を有している。輝度絶対値とは、ある画像の輝度値を基準として算出される輝度値である。基準とする画像は、特に限定されないが、ここでは、最初に入力され、第１の一時記憶領域に格納された第１画像を基準として説明する。また、輝度絶対値は、重なり領域取得部１４によって特定された重なり領域における輝度値の総和に基づいて算出される。すなわち、輝度絶対値算出部１５は、重なり領域に含まれる第２画像の輝度値の総和と、重なり領域に含まれる直前入力画像の輝度値の総和を算出し、両者の輝度値の総和の比及び直前入力画像の輝度絶対値に基づいて、第２画像の輝度絶対値を算出する。重なり領域に含まれる第２画像の輝度値の総和をＳ２、重なり領域に含まれる直前入力画像の輝度値の総和をＳ１、直前入力画像の輝度絶対値をＨ１とすると、第２画像の輝度絶対値Ｈ２は以下の式１を用いて算出される。
Figure 0005493112
なお、最初に入力され第１の一時記憶領域に格納された第１画像の輝度絶対値は所定の値が用いられ、例えば１が用いられる。また、輝度絶対値算出部１５は、算出した輝度絶対値を輝度値変換係数算出部１６へ出力する機能を有している。
中心位置取得部１１は、画像入力部１０が入力した画像（初期の第１画像又は第２画像）の中心点の位置情報を取得する機能を有している。中心点とは、画像の外縁から一義的に決定される点である。位置情報は、実空間と関連づけされた位置情報であってもよいし、連続して入力される画像間で関連づけされた相対的な位置情報であってもよい。中心位置取得部１１は、上記の位置情報を取得するために、入力された画像及びその直前に入力された画像に基づいてカメラの動き（動きベクトル）を検出する機能を有している。また、中心位置取得部１１は、得られた動きベクトル及び直前に入力された画像の中心点の位置情報に基づいて、入力された画像の中心点の位置情報を算出する機能を有している。なお、中心位置取得部１１は、最初に入力された画像（初期の第１画像）だけは、当該画像のみで中心点の位置情報を取得し、以降入力される画像（第２画像）については、入力画像及び入力直前の画像を用いて得られる動きベクトルに基づいて中心点の位置情報を取得する。例えば、ｎ回目（ｎ＞１）に入力した第２画像については、当該第２画像及びｎ−１回目に入力した第２画像を用いて動きベクトルを取得し、取得された動きベクトルに基づいてｎ回目に入力した第２画像の中心点の位置情報を取得する。ここで、中心位置取得部１１は、直前に入力された画像そのものではなく、直前に入力された画像を縮小し、更に輝度要素のみとした画像を用いて動きベクトルを算出してもよい。このように直前に入力された画像を加工して動きベクトルを取得することで、処理時間又は処理コストを低減することができる。なお、以下では、第１画像を構成する画像それぞれの中心点を第１中心点、第２画像の中心点を第２中心点として説明する。さらに、中心位置取得部１１は、取得された中心点の位置情報を合成画像生成部１２へ出力する機能を有している。
合成画像生成部１２は、入力した画像（第２画像）と既に入力されている画像（第１画像）とをつなぎ合わせた合成画像を生成する機能を有しており、距離算出部１２１及び合成部１２２を備えている。
距離算出部１２１は、例えば、中心位置取得部１１により取得された動きベクトルに基づいて、第１画像を構成する画像のうち第２画像と重なる画像を特定する機能を有している。そして、距離算出部１２１は、第２画像と重なる画像の所定位置から最も近い第１中心点を特定し、特定された第１中心点と第２画像の第２中心点との距離を算出する機能を有している。ここで、上記の算出処理を高速化するために、所定位置は格子状に配列させた格子点での位置とされてもよい。例えば、合成画像（ここでは第１画像）内に格子点を配列して上述した所定位置とする。そして、距離算出部１２１は、第１中心点と第２中心点との距離の算出前に、格子点ごとに当該格子点に最も近い第１中心点を特定し、中心位置記憶部１３に予め格納する機能を有している。すなわち、中心位置記憶部１３には、第１画像に含まれる格子点と、当該格子点に最も近い第１中心点とが関連付けされて格納されている。この場合、距離算出部１２１は、第１画像を構成する画像のうち、入力した第２画像に重なる画像を特定し、中心位置記憶部１３を参照して、特定された格子点に最も近い第１中心点を取得する。なお、第１画像を構成する画像のうち第２画像に重なる画像が複数存在する場合には、格子点によっては最も近い第１中心点が異なる場合がある。この場合、距離算出部１２１は、格子点ごとに異なる第１中心点と、第２中心点との距離を算出する。距離算出部１２１は、算出された距離を合成部１２２へ出力する機能を有している。また、距離算出部１２１は、距離の算出に用いた第１中心点及び第２中心点の座標情報等を輝度値変換係数算出部１６へ出力する機能を有している。
輝度値変換係数算出部１６は、輝度値を変換する補正関数の係数である輝度値変換係数を算出する機能を有している。輝度値変換係数算出部１６は、第１画像を構成する画像のうち第２画像と重なる対象画像の輝度絶対値及び第２画像の輝度絶対値に基づいて、対象画像と第２画像とのつなぎ目からの距離に依存する第２画像の輝度値変換係数を算出する機能を有している。例えば、輝度値変換係数算出部１６は、第１中心点と第２中心点との位置情報に基づいて、第１画像と第２画像とのつなぎ目である垂直二等分線を特定する。そして、輝度値変換係数算出部１６は、以下の式２を用いて、輝度値変換係数Ｊを算出する。
Figure 0005493112
ここで、Ｈexは合成位置（合成キャンパス内の所定位置）での輝度絶対値、Ｈ２は第２画像の輝度絶対値、Ｈｆは対象画像の輝度絶対値、Ｄ０は垂直二等分線から合成位置までの最大距離（輝度変換領域を決定する閾値）、Ｄは垂直二等分線から合成位置までの距離である。なお、距離Ｄ＞Ｄ０の場合には、合成位置が輝度値を変換する領域外に位置しているため、Ｄ＝Ｄ０として処理すればよい。このように、輝度値変換係数算出部１６は、合成位置における第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように輝度値変換係数を算出する機能を有している。また、輝度値変換係数算出部１６は、垂直二等分線から最大合成位置Ｄ０までのピクセル範囲の輝度値が変換されるように輝度値変換係数を算出する機能を有している。輝度値変換係数算出部１６は、生成した輝度値変換係数を合成部１２２へ出力する機能を有している。
合成部１２２は、距離算出部１２１により算出された第１中心点と第２中心点との距離に基づいて、第１画像及び第２画像をつなぎ合わせる機能を有している。例えば、合成部１２２は、合成画像内の所定位置において、当該所定位置から最も近い第１中心点と第２中心点との垂直二等分線までの距離に基づいて、当該所定位置での画素値を決定する機能を有している。図５，６は、第１中心点と第２中心点との垂直二等分線を説明する概要図である。図５に示すように、第１画像Ｆ１の第１中心点Ｐ１と第２画像Ｆ２の第２中心点Ｐ２との間に垂直二等分線Ｌ１を引くことができる。そして、合成画像内の所定位置の垂直二等分線Ｌ１までの距離を算出して、当該所定位置での画素値を決定する。また、図６に示すように、第１画像が複数の画像Ｆ１，Ｆ２で構成される場合には、それぞれの第１中心点Ｐ１，Ｐ２ごとに、第２中心点Ｐ３との垂直二等分線Ｌ２，Ｌ３を引くことができる。このように、第１中心点が複数ある場合には、複数の垂直二等分線を引くことができる。そして、合成画像内の所定位置の垂直二等分線までの距離を算出して、当該所定位置での画素値を決定する。
また、合成部１２２は、第１画像に第２画像をつなぎ合わせる前に、第２画像の画素値を変換する機能を有している。例えば、合成部１２２は、輝度値変換係数算出部１６によって算出された輝度値変換係数Ｊと、つなぎ目から合成位置までの距離Ｄに基づいて、当該合成位置での輝度値変換係数Ｊを決定する。そして、合成部１２２は、決定された輝度値変換係数Ｊに基づいて第２画像の輝度値を変換する補正関数Ｙを導出する。補正関数Ｙは、特に限定されず、例えば一次関数が用いられる。そして、合成部１２２は、補正関数Ｙ及び第２画像の輝度値に基づいて当該合成位置で用いる第２画像の輝度値を算出する。なお、合成部１２２は、第２画像の輝度値の変更処理を後述する画像合成処理の前に実行する。
また、合成部１２２は、第１画像及び第２画像のうち、合成位置に最も近い画像の画素値を当該合成位置の画素値として採用するために、垂直二等分線までの距離を利用する。言い換えれば、合成部１２２は、合成画像内の所定位置から垂直二等分線までの距離を、入力画像の近さを評価する評価値として用いている。例えば、合成部１２２は、入力画像の近さＴを以下の式３で評価する。
Figure 0005493112
ここで、Ａは、合成予定の所定位置から第２中心点までの距離、Ｂは、合成予定の所定位置から最も近い第１中心点までの距離、Ｃは、第１中心点から第２中心点までの距離である。
合成部１２２は、式１により得られた近さＴを評価値として合成位置（所定位置）での画素値を決定する。例えば、合成部１２２は、所定位置から垂直二等分線までの距離が所定値よりも大きく、かつ所定位置が第２中心点よりも第１中心点に近い場合には、第１画像の画素値を当該所定位置の画素値とする。一方、合成部１２２は、所定位置から垂直二等分線までの距離が所定値よりも大きく、かつ所定位置が第１中心点よりも第２中心点に近い場合には、第２画像の画素値を当該所定位置の画素値とする。そして、合成部１２２は、所定位置から垂直二等分線までの距離が所定値以下の場合には、第１画像の画素値と第２画像の画素値とを合成して当該所定位置の画素値とする。合成する手法は、従来の手法を採用することができ、例えば、第１画像の画素値と第２画素の画素値との平均値又は加重平均値を当該所定位置の画素値とする手法が用いられる。このように、合成部１２２は、合成画像の所定位置が、垂直二等分線を境として、第１中心点及び第２中心点のどちらに近いのかを判断して、第１画像及び第２画像の何れの画素値を採用するのかを判断する機能を有している。そして、合成部１２２は、所定位置が垂直二等分線近傍の場合、すなわち、合成画像のうち垂直二等分線からの距離が所定値以下となる所定位置については、第１画像の画素値及び第２画像の画素値とを合成することにより、つなぎ目の輝度差を小さくして違和感の少ない合成画像を生成する機能を有している。すなわち、以下に示すように近さＴを評価値として所定位置での画素値を決定する。
Figure 0005493112
なお、画素値の合成をするか否かの判断に用いられる所定値Ｗは、例えば１６（ピクセル）が用いられる。この場合、垂直二等分線を基準として８ピクセル内にある画像位置において、第１画像の画素値と第２画像の画素値が合成される。また、所定値Ｗは、数ピクセル〜十数ピクセル程度とすることで、重なり領域よりも狭い範囲とすることができる。
合成画像内の格子点は、第２画像の入力前にあっては、第１画像を全て含むように格子状に配列されている。一方、第２画像の入力後にあっては、格子点は第１画像だけでなく第２画像も含むように、新たに追加される。このように、所定位置として格子点を採用することで、合成画像に含まれる全ての位置（ピクセル位置）について、垂直二等分線までの距離を算出する必要がなくなるため、処理負荷を低減することができる。さらに、合成部１２２は、中心位置記憶部１３を参照することにより、格子点に最も近い第１中心点を高速に読み取ることもできる。これにより、過去に合成された全ての画像の第１中心点の位置と、格子点の位置とを比較する必要がなくなるため、使用メモリ量を低減することができる。そして、合成部１２２は、さらなる高速化を図るべく、格子点での判定結果に基づいて、格子点に囲まれたブロック内の画素値を決定する機能を有している。例えば、合成部１２２は、合成画像内に格子状に配列された格子点において、当該格子点から最も近い第１中心点と第２中心点との垂直二等分線までの距離に基づいて、当該格子点での画素値を決定する機能を有している。そして、合成部１２２は、画素値が第１画像とされた格子点に囲まれるブロック（領域）については、第１画像の画素値を採用する。すなわち、合成部１２２は、当該ブロックについては何も処理をしないで、次のブロックを処理対象とする。一方、合成部１２２は、画素値が第２画像とされた格子点に囲まれるブロックについては、第２画像の画素値を採用する。すなわち、合成部１２２は、当該ブロックについては第２画像をそのままコピーする。そして、ブロックを囲む格子点での画素値が、全て第１画像でない場合又は全て第２画像でない場合、すなわち、ブロックと垂直二等分線が交わる場合には、合成部１２２は、当該ブロック内の画素値を、第１画像及び第２画像の画素値の合成値とする機能を有している。この場合、ブロック内のピクセル位置での近さＴを、格子点での近さＴから線形補間して求めて、上述した評価方法で評価することで、合成するピクセル位置を適切に特定することができる。
なお、上記では、説明理解の容易性を考慮して、合成部１２２の画素値決定機能（ある合成位置において第１画像又は第２画像のどちらの画素値を用いるか、又は両者の画像の平均値等を用いるのかを決定する機能）及び輝度値変換機能を別々に説明するとともに、輝度値を変換した後に画素値を決定する例を説明したが、画素値を決定した後に輝度値を変換してもよい。さらに、両者の機能を発揮するための判定式を一つとすることで輝度値の変換と画素値の決定を同時に行うように構成してもよい。
以下、輝度値の変換と画素値の決定を同時に行う場合を説明する。式２で用いた距離Ｄは、式３で用いた近さＴの１／２となる。なお、距離Ｄは、垂直二等分線上を原点とし、垂直二等分線からみて合成位置が第１画像側にあるときには正の値をとり、垂直二等分線からみて合成位置が第２画像側にあるときには負の値をとる。このため、以下に示すように、距離Ｄを評価値として所定位置での画素値決定及び輝度変換の有無を同時に判断することができる。
Figure 0005493112
なお、所定値Ｗは、近さＴを評価値とした上記の判定式で用いた所定値Ｗと同じであり、垂直二等分線から合成位置までの最大距離Ｄ０よりもＷ／２が小さくなるように、所定値Ｗ及び最大距離Ｄ０が予め設定されている。例えば、合成するか否かの判断に用いられる所定値Ｗ（第１の閾値）として１６ピクセル、輝度変換を行うか否かの判断に用いられる最大距離Ｄ０（第２の閾値）として入力画像の幅の３／８が用いられる。合成部１２２は、上述した判定式をまずブロック単位で行うことで高速化することができる。合成部１２２は、画素位置ごとに合成比率（ブレンド比率）や輝度変換値を算出するため、画素値及び輝度値の変化のさせ方はそれぞれ独立である。しかし、距離の計算や画素値決定処理は同時に行うことができるため、上記判定式を用いることで高速化することが可能となる。
また、合成部１２２は、上記処理により合成画像を生成した後に、格子点ごとに記録された最も近い第１中心点を更新する機能を備えている。例えば、第１画像と第２画像とをつなぎ合わせて合成画像を生成した場合、この合成画像内に含まれる格子点によっては、最も近い第１中心点が変更される場合がある。このため、つなぎ合わせる処理を実行した後に、最も近い第１中心点を更新する処理を行うことで、最も近い第１中心点の正確な情報を維持することができる。
さらに、合成部１２２は、第１画像と第２画像とをつなぎ合わせて作成した合成画像を第１の一時記憶領域に上書き保存する。このように、合成部１２２は、最新の合成画像を第１の一時記憶領域に保存しておく。すなわち、次に入力される第２画像が存在する場合には、最新の合成画像（中間合成画像）に対して、第２画像をつなぎ合わせる処理を実行する。このように、合成部１２２は、合成対象の画像を全て記録保持して参照しているのではなく、入力された画像を逐次合成することで、少ないメモリ量で画像を合成可能としている。また、合成部１２２は、第１の一時記憶領域に格納された合成画像を表示部３１へ出力する機能を有している。表示部３１は、合成画像生成部１２に接続されており、出力された合成画像をユーザに報知する機能を有している。表示部３１として例えば液晶ディスプレイ等が用いられる。
次に、本実施形態に係る画像処理装置１の動作について説明する。図７は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。図７に示す制御処理は、例えば携帯端末２の撮像機能をＯＮしたタイミングで実行され、所定の周期で繰り返し実行される。なお、説明理解の容易性を考慮して、図８〜１５に示す図を参照しながら画像処理装置１の動作を説明する。図８，１３は、既に入力している１つの画像に１つの画像をつなぎ合わせる場合の概要図、図９は、輝度絶対値を説明する概要図、図１０は、輝度値変換係数を説明する概要図、図１１，１２は、補正関数を説明する概要図、図１４，１５は、既に入力して合成された画像に１つの画像をつなぎ合わせる場合の概要図である。
図７に示すように、最初に画像処理装置１が初期処理を実行する（Ｓ１２）。図６に示すように、画像入力部１０が、カメラ３０から画像Ｆ１を入力し、第１画像Ｆ１として第１の一時記憶領域に格納する。そして、中心位置取得部１１が第１画像Ｆ１の中心点である第１中心点Ｐ１の位置情報を取得する。そして、合成画像生成部１２が、第１画像Ｆ１を含むように、合成キャンパス（合成画像）に格子状に格子点Ｋｎ（ｎ：整数）を配置する。そして、合成画像生成部１２が、格子点Ｋｎに最も近い第１中心点として第１中心点Ｐ１を特定し、格子点Ｋｎそれぞれに第１中心点Ｐ１を関連付けして中心位置記憶部１３に記録する。以上で初期処理を終了する。Ｓ１２の処理が終了すると、第２画像の入力処理へ移行する（Ｓ１４）。
Ｓ１４の処理では、画像入力部１０が、カメラ３０から画像Ｆ２を入力し、第２画像Ｆ２として第２の一時記憶領域に格納する。なお、ここでは第２画像Ｆ２は、第１画像Ｆ１の撮像位置とは異なる撮像位置で撮像された同一の大きさの画像であって、第１画像Ｆ１と重なり領域を有する画像である。Ｓ１４の処理が終了すると、中心点の位置の取得処理及び重なり領域取得処理へ移行する（Ｓ１５，Ｓ１７）。中心点の位置の取得処理及び重なり領域取得処理は、以降で並列に処理される。最初に、中心点の位置の取得処理から説明する。
Ｓ１５の処理では、中心位置取得部１１が第２画像Ｆ２の中心点である第２中心点Ｐ２の位置情報を取得する。例えば、中心位置取得部１１は、第１画像Ｆ１と第２画像Ｆ２の動きベクトルに基づいて、第２中心点Ｐ２の位置情報を取得する。Ｓ１５の処理が終了すると、中心点間の距離取得処理へ移行する（Ｓ１６）。
Ｓ１６の処理では、距離算出部１２１が、Ｓ１２の処理で得られた第１中心点Ｐ１の位置情報、及びＳ１６の処理で得られた第２中心点Ｐ２の位置情報に基づいて、第１中心点Ｐ１と第２中心点Ｐ２との間の距離を算出する。図８に示すように、第１画像Ｆ１の第１中心点Ｐ１と、第２画像Ｆ２の第２中心点Ｐ２との距離Ｃを算出する。中心点間の距離Ｃを算出することで、第１中心点Ｐ１と第２中心点Ｐ２との垂直二等分線Ｌ１までの距離を評価し、当該垂直二等分線Ｌ１を画像Ｆ１と画像Ｆ２とのつなぎ目にすることができる。Ｓ１６の処理が終了すると、輝度値変換係数算出処理へ移行する（Ｓ１９）。
一方、Ｓ１７の処理では、重なり領域取得部１４が、Ｓ１２の処理で入力された第１画像と、Ｓ１４の処理で入力された第２画像との重なり領域を取得する。例えば、重なり領域取得部１４は、第１画像Ｆ１と第２画像Ｆ２の動きベクトルに基づいて、重なり領域Ｒ１を取得する。Ｓ１７の処理が終了すると、輝度絶対値の算出処理へ移行する（Ｓ１８）。
Ｓ１８の処理では、輝度絶対値算出部１５が、Ｓ１７の処理で取得された重なり領域Ｒ１に基づいて輝度絶対値Ｈを算出する。図９は、各画像の合成位置における輝度値を示すグラフであり、横軸が合成キャンパス位置、縦軸が輝度値のグラフである。図９に示すように、第１画像Ｆ１と第２画像Ｆ２とが、重なり領域Ｒ１で重なっているものとする。ここで、最初に入力された第１画像Ｆ１を基準とし、第１画像Ｆ１の輝度絶対値Ｈ１を１とする。また、第１画像Ｆ１の重なり領域Ｒ１における画素値の総和Ｓ１と、第２画像Ｆ２の重なり領域Ｒ１における画素値の総和Ｓ２との比（Ｓ２／Ｓ１）がここでは１．２とする。この場合、輝度絶対値算出部１５は、上述した式１を用いて、第２画像Ｆ２の輝度絶対値Ｈ２を１．２と算出する。Ｓ１８の処理が終了すると、輝度値変換係数算出処理へ移行する（Ｓ１９）。
Ｓ１９の処理では、輝度値変換係数算出部１６が、Ｓ１５，Ｓ１６の処理で取得した中心点の位置情報から第１中心点及び第２中心点の垂直二等分線を特定する。そして、輝度値変換係数算出部１６は、Ｓ１８の処理で特定された第２画像Ｆ２の輝度絶対値Ｈ２、及び、輝度絶対値記憶部に保存された第１画像Ｆ１の輝度絶対値Ｈｆに基づいて輝度値変換係数Ｊを算出する。例えば、輝度値変換係数算出部１６は、輝度値変換係数Ｊの算出前に、第１画像Ｆ１の輝度絶対値Ｈｆを輝度絶対値記憶部に保存しておく。輝度値変換係数算出部１６は、合成後、絶対輝度値記憶部に第２画像Ｆ２の輝度絶対値Ｈ２に輝度値変換係数Ｊをかけた変換後の輝度絶対値を、輝度絶対値Ｈｆとして第１画像Ｆ１の輝度絶対値記憶部に保存する。図１０は、第２画像の輝度値変換係数Ｊの決定処理を説明する概要図である。ここで、例えば、第１画像Ｆ１を構成するある画像の輝度絶対値Ｈｆが１．１、この画像の次に入力された第２画像Ｆ２の輝度絶対値Ｈ２が１．２であるとする。この場合、輝度値変換係数算出部１６は、垂直二等分線Ｌ１上に存在する合成位置Ｇ１については、垂直二等分線Ｌからの距離Ｄが０であるので、式２を用いて輝度値変換係数Ｊを０．９２と算出する。また、合成位置Ｇ２については、入力画像の重みＤ／Ｄ０を０．７とした場合、式２を用いて輝度値変換係数Ｊを０．９７と算出する。さらに、合成位置Ｇ３については、Ｄ＞Ｄ０であるので、入力画像の重みＤ／Ｄ０を１とし、式２を用いて輝度値変換係数Ｊを１．００と算出する。Ｓ１９の処理が終了すると、合成処理へ移行する（Ｓ２０）。
Ｓ２０の処理では、合成部１２２が、補正関数Ｙを設定して第２画像を補正し、その後、画像Ｆ１と画像Ｆ２とをつなぎ合わせて合成画像を生成する。最初に、補正関数Ｙの設定から説明する。図１１，図１２は、補正関数Ｙ１，Ｙ２を説明する概要図であり、横軸が入力画像値、縦軸が最終画素値を示している。すなわち、補正関数Ｙ１，Ｙ２は、入力画素値が与えられると最終画素値の値を返す関数である。合成部１２２は、輝度値変換係数Ｊを補正関数Ｙ１，Ｙ２の傾き、すなわち輝度値変換係数Ｊを一次関数の比例定数として補正関数Ｙ１，Ｙ２を設定する。例えば図１１の補正関数Ｙ１は、輝度値変換係数Ｊ＝１．１５とした例であり、例えば図１１の補正関数Ｙ２は、輝度値変換係数Ｊ＝０．８０とした例である。
ここで、補正関数を一次関数とした場合、輝度値変換係数Ｊの大きさにかかわらず、入力画素値が大きくなるほど入力画素値と最終画素値との差が大きくなる。例えば、入力画素値を「５０」，「２２０」とした場合、補正関数Ｙ１では、最終画素値としてそれぞれ「５８」，「２５３」に変換され、その差は「８」，「３３」である。また、補正関数Ｙ２では、最終画素値として「４０」，「１７６」に変換され、その差はそれぞれ「１０」，「４４」である。このように、入力画素値が大きくなるほど入力画素値と最終画素値との差が大きくなることがわかる。また、補正関数Ｙ１では、ある値以上の入力画素値に対しては最終画素値が２５５と一定となり、元の画素値の情報が適切に表現されないおそれがある。このため、合成部１２２は、例えば図１２に示すように、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、最終的に最大画素値（２５５）を通過するように、補正関数Ｙ１，Ｙ２を閾値の交点で折り曲げる。すなわち、０から閾値までの範囲は、輝度値変換係数Ｊを傾きとする一次関数とし、閾値から最終画素値までは、閾値までの一次関数と連続し最大画素値を通る一次関数とする。これにより、元の画素値の情報が適切に表現されない現象を回避できる。
合成部１２２は、補正関数Ｙを設定後、第２画像を入力し、画素値を変換する。なお、ここでいう画素値は、例えばＹＵＶ空間で表現されており、輝度値を変更することで画素値も変更される。
次に、合成部１２２は、画像Ｆ１と変換後の画像Ｆ２とをつなぎ合わせて合成画像を生成する。図８に示すように、第１画像Ｆ１と第２画像Ｆ２とが合成画像の座標空間に配置される。そして、第２画像Ｆ２のうち第１画像Ｆ１と重ならない領域については、格子点Ｋｎが配置されていないため、新たに格子点Ｋｍ（ｍ：整数、図中点線）が追加される。そして、追加された格子点Ｋｍについて、合成部１２２が、格子点Ｋｍに最も近い第１中心点として第１中心点Ｐ１を特定し、格子点Ｋｍそれぞれに第１中心点Ｐ１を関連付けして中心位置記憶部１３に記録する。このときＰ１には、無限遠の点が設定される。
そして、合成部１２２は、第１画像Ｆ１と第２画像Ｆ２とに配置された格子点Ｋｎ，Ｋｍごとに垂直二等分線Ｌ１からの距離を評価して、当該格子点Ｋｎ，Ｋｍにおける画素値を特定する。例えば、左上に位置する格子点Ｋｎから順に上述した式３を用いて近さＴを算出する。そして、画素値の合成をするか否かの判断に用いられる所定値Ｗを１６として、近さＴを評価することで、格子点Ｋｎにおける画素値を特定する。例えば、合成部１２２は、格子点Ｘ１であれば、中心位置記憶部１３を参照して、最も近い第１中心点Ｐ１を取得し、第１中心点Ｐ１と第２中心点Ｐ２との距離Ｃ、第１中心点Ｐ１までの距離Ａ及び第２中心点Ｐ２までの距離Ｂを算出し、式３を用いて近さＴを算出する。格子点Ｘ２についても同様の処理を行う。合成部１２２は、格子点Ｘ１，Ｘ２については、第１画像Ｆ１に配置された格子点Ｋｎであるため、上記のように近さＴを算出して評価する処理を行う。一方、新たに追加された格子点Ｋｍについては、明らかに近さＴが閾値よりも下回るため、これらの格子点Ｋｍの近さＴは−∞とし、近さＴの演算を省略する。
合成部１２２は、算出された近さＴを格子点Ｋｎごとに評価し、格子点Ｋｎで４隅を囲まれたブロックについて、格子点Ｋｎそれぞれの近さＴが全て１６よりも大きい場合には当該ブロックについては処理をスキップする。例えば、格子点Ｘ３〜Ｘ６については、近さＴが全て１６よりも大きいため、格子点Ｘ３〜Ｘ６で囲まれるブロックについては処理をスキップする。一方、４隅の格子点Ｋｎの近さＴが全て−１６よりも小さい場合には、当該ブロックの画素値として第２画像Ｆ２の画素値を採用する。例えば、格子点Ｘ７〜Ｘ１０については、近さＴが全て−１６よりも小さいため、格子点Ｘ７〜Ｘ１０で囲まれるブロックについては、第２画像Ｆ２をコピーする。そして、４隅の格子点Ｋｎの近さＴが全て１６よりも大きくない場合、又は４隅の格子点Ｋｎの近さＴが全て−１６よりも小さくない場合には、当該ブロックの画素値として第１画像Ｆ１及び第２画像Ｆ２の画素値を合成する。例えば、格子点Ｘ１１、Ｘ１２については、近さＴが０よりも大きく、格子点Ｘ１３、Ｘ１４については、近さＴが０よりも小さいので、格子点Ｘ１１〜Ｘ１４で囲まれるブロックについては、第１画像Ｆ１及び第２画像Ｆ２の画素値を合成する。この場合、当該ブロック内の画素位置における近さＴを、Ｘ１１〜Ｘ１４の近さＴで線形補間し、各画素位置で近さＴを算出して、閾値Ｗで評価する。この評価のやり方は上述したものと同様である。そして、閾値−Ｗ以上で閾値Ｗ以下となる近さＴの画素位置については、第１画像Ｆ１の画素値と第２画像Ｆ２の画素値との平均を算出し、当該画素位置での画素値とする。このように、最初は格子点Ｋｎを用いてブロック単位でスキップ、コピー又は合成を判断し、合成が必要な箇所が含まれるブロックについては、ピクセルごとに線形補間した近さＴでさらに細かく評価し、スキップ、コピー又は合成を判断する。Ｓ２０の処理を実行することで、図１３に示すように、画像Ｆ１と画像Ｆ２とが垂直二等分線Ｌ１をつなぎ目としてつなぎ合わされるとともに、垂直二等分線Ｌ１に沿って帯状の合成領域Ｑ１が形成される。この合成領域Ｑ１の幅は閾値Ｗとなる。そして、画像Ｆ１に画像Ｆ２がつなぎ合わされた画像を、第１画像として第１の一時記憶領域に格納する。すなわち、第１の一時記憶領域に格納された第１画像を更新する。
なお、合成部１２２は、補正関数Ｙを設定後、第２画像を入力し、画素値を変換し、その後合成する場合を説明したが、画素値を変換する処理及び画素値を特定する処理を同時に行ってもよい。この場合、合成部１２２は、近さＴに替えて距離Ｄを用いた判定式で格子点における画素値を特定する。例えば、左上に位置する格子点Ｋｎから順に上述した式３を用いて近さＴを算出し、近さＴから距離Ｄを算出する。そして、画素値の合成をするか否かの判断に用いられる所定値Ｗを１６とし、輝度変換を行うか否かの判断に用いられる最大距離Ｄ０を２４０（入力画像の幅６４０ピクセルの３／８）とし、距離Ｄを評価することで、格子点Ｋｎにおける画素値を特定する。例えば、合成部１２２は、格子点Ｘ１であれば、中心位置記憶部１３を参照して、最も近い第１中心点Ｐ１を取得し、第１中心点Ｐ１と第２中心点Ｐ２との距離Ｃ、第１中心点Ｐ１までの距離Ａ及び第２中心点Ｐ２までの距離Ｂを算出し、式３を用いて近さＴを算出し、近さＴから距離Ｄを算出する。格子点Ｘ２についても同様の処理を行う。
合成部１２２は、算出された距離Ｄを格子点Ｋｎごとに評価し、格子点Ｋｎで４隅を囲まれたブロックについて、格子点Ｋｎそれぞれの距離Ｄが全て８よりも大きい場合（すなわち、距離Ｄの絶対値が８よりも大きく、かつ、合成位置が第２中心点よりも第１中心点に近い場合）には、当該ブロックについては処理をスキップする。例えば、格子点Ｘ３〜Ｘ６については、距離Ｄが全て８よりも大きい。このため、格子点Ｘ３〜Ｘ６で囲まれるブロックについては、第１画像の画素を採用することとし、処理をスキップする。一方、４隅の格子点Ｋｎの距離Ｄが全て−２４０よりも小さい場合（すなわち、距離Ｄの絶対値が２４０よりも大きく、かつ、合成位置が第１中心点よりも第２中心点に近い場合）には、当該ブロックの画素値として第２画像Ｆ２の画素値をコピーする。また、４隅の格子点Ｋｎの距離Ｄが全て−２４０以上、かつ、−８よりも小さい場合（すなわち、距離Ｄの絶対値が８よりも大きく、２４０以下であり、かつ、合成位置が第１中心点よりも第２中心点に近い場合）には、当該ブロックの画素値として補正関数Ｙによる輝度変換を行った第２画像Ｆ２の画素値をコピーする。さらに、４隅の格子点Ｋｎの距離Ｄが全て−８以上、かつ、８以下の場合（すなわち、距離Ｄの絶対値が８以下である場合）には、当該ブロックの画素値として、第１画像の画素値と、補正関数Ｙによる輝度変換を行った第２画像Ｆ２の画素値とを合成（加重平均）する。そして、４隅の格子点Ｋｎの判定がすべて同一とならない場合には、当該ブロック内の画素位置における距離Ｄを、４隅の格子点Ｋｎの距離Ｄで線形補間し、各画素位置で距離Ｄを算出して、所定値Ｗ及び最大距離Ｄ０で評価する。この評価のやり方は上述したものと同様である。このように、最初は格子点Ｋｎを用いてブロック単位でスキップ、コピー又は合成を判断し、合成が必要な箇所が含まれるブロックについては、ピクセルごとに線形補間した近さＴでさらに細かく評価し、スキップ、コピー又は合成を判断する。Ｓ２０の処理が終了すると、中心点位置の更新処理へ移行する（Ｓ２２）。
Ｓ２２の処理では、合成部１２２が、中心位置記憶部１３に記録された第１中心点Ｐ１を更新する処理である。画像Ｆ２を合成したため、第１中心点はＰ１，Ｐ２の２つになっている。このため、合成部１２２は、第１の一時記憶領域に格納された第１画像について格子点Ｋｎに最も近い第１中心点を更新する。例えば格子点Ｘ２の場合、第１中心点Ｐ１，Ｐ２のうち第１中心点Ｐ１の方が近いので、前回と同様であるため更新を実行しない。一方、例えば格子点Ｘ１の場合、第１中心点Ｐ１，Ｐ２のうち第１中心点Ｐ２の方が近いので、中心位置記憶部１３の記憶情報を更新する。Ｓ２２の処理が終了すると、入力画像の有無を判定する処理へ移行する（Ｓ２４）。
Ｓ２４の処理では、画像入力部１０が、さらに入力する画像が存在するか否かを判定する。例えば、現在の撮像回数がオート連続撮像回数よりも小さい場合には、入力画像が存在すると判定する。Ｓ２４の処理において、入力画像が存在すると判定した場合には、画像の入力処理へ再度移行する（Ｓ１４）。そして、例えば画像Ｆ３を入力して第２の一時記憶領域へ格納する。そして、中心位置取得部１１が画像Ｆ３の中心点Ｐ３の位置を取得する（Ｓ１５）。そして、距離算出部１２１が、第１の一時記憶領域に格納された画像Ｆ１及び画像Ｆ２からなる合成画像の第１中心点Ｐ１，Ｐ２と、入力した画像Ｆ２の第２中心点Ｐ３との距離をそれぞれ算出する（Ｓ１６）。同時に、重なり領域取得部１４が、画像Ｆ２と画像Ｆ３との重なり領域Ｒ２を取得する（Ｓ１７）。そして、図９に示すように、輝度絶対値算出部１５が、式１を用いて画像Ｆ３の輝度絶対値を算出する（Ｓ１８）。このように、輝度絶対値は最初に入力された画像を基準としているが、輝度絶対値の演算には基準画像の情報を用いていない。このように演算することで、輝度絶対値を算出するにあたり、基準画像の情報を備える必要がないため、演算に必要なリソースを低減することができる。そして、画像Ｆ３の輝度値変換係数算出部１６が画像Ｆ３の輝度値変換係数を算出する（Ｓ１９）。そして、合成部１２２が、補正関数で画像Ｆ３を変換した後に、画像Ｆ１，Ｆ２と画像Ｆ３とをつなぎ合わせて合成画像を生成する。図１４に示すように、第１画像Ｆ１，Ｆ２と第２画像Ｆ３とが合成画像の座標空間に配置される。そして、第２画像Ｆ３のうち第１画像Ｆ１，Ｆ２と重ならない領域については、格子点Ｋｎが配置されていないため、新たに格子点Ｋｍ（ｍ：整数、図中点線）が追加される。そして、追加された格子点Ｋｍについて、合成部１２２が、格子点Ｋｍに最も近い第１中心点として第１中心点Ｐ３を特定し、格子点Ｋｍそれぞれに第１中心点Ｐ３を関連付けして中心位置記憶部１３に記録する。そして、合成部１２２は、画像Ｆ１，Ｆ２をつなぎ合わせた場合と同様に、第１画像Ｆ１，Ｆ２と第２画像Ｆ３とに配置された格子点Ｋｎ，Ｋｍ（例えば、Ｘ１５，Ｘ１６，Ｘ１７等）ごとに垂直二等分線Ｌ２，Ｌ３からの距離を評価して、当該格子点Ｋｎ，Ｋｍにおける画素値を特定する。これにより、図１５に示すように、画像Ｆ１，Ｆ２，Ｆ３が合成された画像が生成される。合成後、合成部１２２は、格子点Ｋｎの中心点位置を更新する（Ｓ２２）。このように、入力画像が存在する場合には、Ｓ１４〜Ｓ２４の処理が繰り返し実行される。
一方、Ｓ２４の処理において、入力画像がないと判定した場合には、表示処理へ移行する（Ｓ２６）。Ｓ２６の処理では、画像処理装置１が第１の一時記憶領域に保存された合成画像を表示部３１へ出力して表示させる。なお、画像処理装置１は、合成画像の両端を切り取り、大きさを整えてから表示部３１へ出力してもよい。Ｓ２６の処理が終了すると、図７に示す制御処理を終了する。なお、Ｓ２６の処理は、画像を一枚入力するごとに（すなわちＳ２０とＳ２４との間に）行ってもよい。
図７に示す制御処理を実行することで、低負荷で高速な逐次合成を行うことができる。なお、Ｓ１７の処理が重なり領域取得ステップに該当し、Ｓ１８の処理が輝度変換係数算出ステップに該当し、Ｓ１９〜Ｓ２４の処理が合成画像生成ステップに該当する。
次に、携帯端末（コンピュータ）２を上記画像処理装置１として機能させるための画像処理プログラムを説明する。
画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、中心位置取得モジュール、距離算出モジュール、重なり領域取得モジュール、輝度絶対値算出モジュール、輝度値変換係数算出モジュール及び合成モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１の画像入力部１０、中心位置取得部１１、距離算出部１２１、合成部１２２、重なり領域取得部１４、輝度絶対値算出部１５及び輝度値変換係数算出部１６の機能とそれぞれ同様である。
画像処理プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。
以上、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、重なり領域取得部１４により、第２画像及び第２画像の直前に入力された直前入力画像に基づいて動きベクトルが取得され、取得された動きベクトルに基づいて、直前入力画像と第２画像とが重なる重なり領域が取得され、輝度値変換係数算出部１６により、重なり領域における第１画像の輝度値及び第２画像の輝度値に基づいて、第１画像及び第２画像の輝度値の変化が小さくなるように第２画像の輝度値を変換する輝度値変換係数Ｊが算出され、合成画像生成部１２により、第１画像と輝度値変換係数Ｊに基づいて変換した第２画像とがつなぎ合わせられる。このように、直前入力画像と第２画像との重なり領域を動きベクトルで取得することにより、重なり領域の輝度値の情報を低負荷で高速に取得することができる。よって、露光条件の異なる画像をつなぎ合わせる際に、画像のつなぎ目を目立たなくする処理を低負荷で行うことが可能となる。
また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、輝度値の総和に基づいて輝度絶対値を算出し、この輝度絶対値を用いて輝度変換係数を算出することができるので、簡単な構成でロバストな演算が可能となる。また、第２画像の輝度絶対値が、第１画像を構成する１つの画像であって輝度絶対値を算出する際に基準となる基準画像の輝度値の総和を用いることなく、直前入力画像の輝度絶対値に基づいて算出される。すなわち逐次入力される第２画像の輝度絶対値を算出するために基準画像の輝度値の総和を常に記録しておく必要がない。よって、処理負荷を軽減できる。さらに、輝度値変換係数を算出する際に、輝度絶対値を用いることで差分の管理が容易となる。
また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、第２画像の変換後の輝度値を、つなぎ目である垂直二等分線Ｌから離れるほど第２画像の元の輝度値に近づくように補正することができる。
また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、補正関数Ｙとして一次関数を採用することで、補正関数Ｙの計算コストを抑えることができる。一方、一次関数の補正関数Ｙを採用すると変換前の画素値が大きいほど変換前の画素値と変換後の画素値との差が大きくなり、結果として不自然な合成画像が生成されるおそれがある。このため、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、補正関数Ｙを閾値までの一次関数と連続し最大画素値を通る一次関数とすることで、補正関数Ｙの計算コストを抑えつつ、自然な合成画像を生成することが可能となる。
また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、第１画像と入力した第２画像とを逐次合成する際に、第１中心点と第２中心点との垂直二等分線Ｌを画像のつなぎ目とすることができるので、逐次合成処理を高速かつ低負荷で実現することが可能となる。
また、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、つなぎ目から所定距離離れた位置までの画素値が合成値とされるため、つなぎ目を目立たないようにすることができる。また、輝度値を変換した後の第２画像を用いて画素値の合成値を算出することが可能となるので、輝度値の差分が大きく変化することを回避することができる。さらに、輝度値の調整処理と、画素値の合成処理とを別個に独立して行うことが可能となるので、例えば、つなぎ目付近の合成領域については狭めることで処理負荷を低減させつつ、第１領域を狭めることで顕著となる第１画像及び第２画像の輝度値の差分を、画素を合成した領域よりも広い領域における第１画像及び第２画像の輝度値に基づいて補正することができる。このように、画素値を操作してつなぎ目を目立たなくさせるアプローチと、輝度値を操作してつなぎ目を目立たなくさせるアプローチとを併用することが可能となる。よって、つなぎ目の色合いが自然で、かつ、画像内の明るさが全体として自然な画像を生成することができる。
なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、実施形態に係る画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
例えば、上述した実施形態では、カメラ３０が静止画像を連続撮像する例を説明したが、カメラ３０は、動画を撮像するものであってもよい。この場合、画像入力部１０は、撮像された動画から連続する画像を抽出する機能を有していてもよい。また、画像入力部１０が入力する画像は、別の機器からネットワークを介して送信された画像であってもよい。
また、上述した実施形態では、カメラ３０により撮像された画像の大きさは同一であるとして説明したが、撮像された画像の大きさは撮像の度に異なる大きさであってもよい。
また、上述した実施形態では、格子点で囲まれる領域を矩形として説明したが、三角形又は他の多角形であってもよい。
また、上述した実施形態では、中心位置取得部１１が、入力された画像と直前に入力された画像とを用いて動きベクトルを算出する例を説明したが、動きベクトルの算出方法はこれに限られるものではない。例えば、入力された画像と、それまでに生成された合成画像とを用いて動きベクトルを算出してもよい。
さらに、上述した実施形態では、第１画像と第２画像とが重なった際に第２画像の輝度値を操作する例を説明したが、第１画像の輝度値のみを操作する場合、又は、第１画像及び第２画像の両方の輝度値を操作する場合であってもよい。
１…画像処理装置、１０…画像入力部、１１…中心位置取得部、１２…合成画像生成部、１２１…距離算出部、１２２…合成部、１３…中心位置記憶部、１４…重なり領域取得部、１５…輝度絶対値算出部、１６…輝度値変換係数算出部、３１…表示部。

Claims (8)

  1. １枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理装置であって、
    前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部と、
    前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部と、
    前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部と、
    を備え、
    前記輝度値変換係数算出部は、合成位置における前記第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように前記輝度変換係数を算出し、
    前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、
    前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である、
    画像処理装置。
  2. １枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理装置であって、
    前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部と、
    前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部と、
    前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部と、
    を備え、
    前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、
    前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である、
    画像処理装置。
  3. 前記第１画像を構成する画像のうち前記第２画像の直前に入力された画像、及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて、前記第１画像を構成する画像それぞれの中心点である第１中心点の位置情報、及び前記第２画像の中心点である第２中心点の位置情報を取得する中心位置取得部を備え、
    前記合成画像生成部は、前記第１画像を構成する画像のうち前記第２画像と重なる画像の前記第１中心点を取得し、取得された前記第１中心点の位置情報及び前記第２中心点の位置情報に基づいて、取得された前記第１中心点と前記第２中心点との垂直二等分線を前記第１画像及び前記第２画像のつなぎ目としてつなぎ合わせ前記合成画像を生成する請求項１又は２に記載の画像処理装置。
  4. 前記合成画像生成部は、前記第１画像と前記第２画像とのつなぎ目から所定距離離れた位置までの範囲内であって、前記重なり領域よりも狭い範囲内にある画素値を、前記第１画像の画素値及び前記第２画像の画素値の合成値とする請求項３に記載の画像処理装置。
  5. １枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理方法であって、
    前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得ステップと、
    前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度変換係数算出ステップと、
    前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成ステップと、
    を備え、
    前記輝度変換係数算出ステップは、合成位置における前記第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように前記輝度変換係数を算出し、
    前記合成画像生成ステップは、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、
    前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である、
    画像処理方法。
  6. コンピュータを、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成するように機能させる画像処理プログラムであって、
    前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部、
    前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部、及び
    前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部として機能させ、
    前記輝度値変換係数算出部は、合成位置における前記第２画像の重みが合成位置のつなぎ目からの距離に比例して大きくなるように前記輝度変換係数を算出し、
    前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、
    前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である、
    画像処理プログラム。
  7. １枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成する画像処理方法であって、
    前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得ステップと、
    前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度変換係数算出ステップと、
    前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成ステップと、
    を備え、
    前記合成画像生成ステップにおいて、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、
    前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である、
    画像処理方法。
  8. コンピュータを、１枚の画像又は前記画像を複数つなぎ合わせて構成される第１画像と入力された第２画像とを当該第２画像の入力の度につなぎ合わせて合成画像を逐次生成するように機能させる画像処理プログラムであって、
    前記第１画像を構成する画像のうち前記第２画像の直前に入力された直前入力画像及び前記第２画像に基づいて動きベクトルを取得し、取得された前記動きベクトルに基づいて前記直前入力画像と前記第２画像とが重なる重なり領域を取得する重なり領域取得部、
    前記重なり領域における前記第１画像の輝度値及び前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の輝度値の変化が小さくなるように前記第１画像又は前記第２画像の輝度値を変換する輝度変換係数を算出する輝度値変換係数算出部、及び
    前記輝度変換係数を用いて前記第１画像又は前記第２画像を変換し、前記第１画像と前記第２画像とをつなぎ合わせて前記合成画像を生成する合成画像生成部として機能させ、
    前記合成画像生成部は、合成位置のつなぎ目からの距離に基づいて合成位置での前記輝度変換係数を決定し、決定された前記輝度変換係数に基づいて前記第２画像の輝度値を変換する補正関数を導出し、前記補正関数及び前記第２画像の輝度値に基づいて合成位置で用いる前記第２画像の輝度値を算出し、
    前記補正関数は、変換前の画素値及び変換後の画素値が所定の閾値未満となる範囲においては、前記輝度変換係数を比例定数とする一次関数であり、変換前の画素値又は変換後の画素値が所定の閾値以上となる範囲においては、閾値までの一次関数と連続し最大画素値を通る一次関数である、
    画像処理プログラム。
JP2012035483A 2012-02-21 2012-02-21 画像処理装置、画像処理方法及び画像処理プログラム Active JP5493112B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012035483A JP5493112B2 (ja) 2012-02-21 2012-02-21 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012035483A JP5493112B2 (ja) 2012-02-21 2012-02-21 画像処理装置、画像処理方法及び画像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010542863A Division JP4941950B1 (ja) 2010-10-26 2010-10-26 画像処理装置、画像処理方法及び画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2012100360A JP2012100360A (ja) 2012-05-24
JP2012100360A5 JP2012100360A5 (ja) 2013-08-29
JP5493112B2 true JP5493112B2 (ja) 2014-05-14

Family

ID=46391655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012035483A Active JP5493112B2 (ja) 2012-02-21 2012-02-21 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP5493112B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096487A (ja) * 2014-11-17 2016-05-26 株式会社クワンズ 撮影システム
JP6857104B2 (ja) * 2017-08-21 2021-04-14 日本電信電話株式会社 映像処理装置、映像処理方法および映像処理プログラム
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
CN111798540B (zh) * 2020-05-25 2023-03-31 青海大学 图像融合方法和系统
KR102571528B1 (ko) * 2021-11-29 2023-08-28 국방과학연구소 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3233601B2 (ja) * 1997-09-25 2001-11-26 シャープ株式会社 画像処理装置
JP2002042109A (ja) * 2000-07-21 2002-02-08 Topcon Corp 医用画像合成処理装置及び方法並びに記憶媒体
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006119730A (ja) * 2004-10-19 2006-05-11 Seiko Epson Corp 画像のつなぎ合わせ

Also Published As

Publication number Publication date
JP2012100360A (ja) 2012-05-24

Similar Documents

Publication Publication Date Title
JP4941950B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4620607B2 (ja) 画像処理装置
US8233055B2 (en) Image processing device and program
JP6682559B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
WO2014064783A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5687553B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5493112B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2014225843A (ja) 画像処理装置、画像処理方法およびプログラム
JP2010224607A (ja) 画像合成装置及びプログラム
US10095919B2 (en) Image processing apparatus, image processing method and storage medium to suitably clip a subject region from a moving image
JP5158262B2 (ja) 画像処理方法および画像処理装置
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5022498B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5482589B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
US11195247B1 (en) Camera motion aware local tone mapping
JP2020057242A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5687370B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2020047223A (ja) 画像処理装置、画像処理方法およびプログラム
JP2016208083A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006119728A (ja) 合成画像の表示
JP5381207B2 (ja) 画像合成装置及びプログラム
JP2011248475A (ja) 画像処理装置、画像処理方法
JP2019022024A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2015177529A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015109593A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140205

R150 Certificate of patent or registration of utility model

Ref document number: 5493112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350