JP7496564B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及び、プログラムに関する。

特許文献１には、連写により得られた複数の原画像を合成してハイレゾ画像を生成する技術が開示されている。

特開２０１９－２００５５９号公報

本開示は、複数の画像の合成結果を容易に確認することができる画像処理装置などを提供する。

本開示の一態様に係る画像処理装置は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部と、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出部と、（ｉ）前記複数の画像データにおける、前記検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成部と、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力部と、を備える。

また、本開示の一態様に係る画像処理方法は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む。

また、本開示の一態様に係るプログラムは、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む画像処理方法を、コンピュータに実行させるためのプログラムである。

なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。

本開示における画像処理装置などは、複数の画像データの合成結果を容易に確認することができる。

図１は、実施の形態１に係る画像処理装置の一例を示す図である。 図２は、実施の形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、実施の形態１に係る画像処理装置の機能構成の一例を示すブロック図である。 図４は、撮影部による撮影処理について説明するための図である。 図５は、生成部による合成処理について説明するための図である。 図６は、被写体に移動物体が含まれる場合に撮影される複数の画像データの一例を示す図である。 図７は、生成部により生成される合成画像データの一例を示す図である。 図８は、生成部により生成される出力画像データの一例を示す図である。 図９は、実施の形態２に係る画像処理装置による画像処理方法の一例を示すフローチャートである。 図１０は、画像処理装置による画像処理方法の他の一例を示すフローチャートである。 図１１は、出力画像データと共に表示するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の一例を示す図である。 図１２は、実施の形態２に係る画像処理装置の一例を示す図である。 図１３は、実施の形態２に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図１４は、実施の形態２に係る画像処理装置の機能構成の一例を示すブロック図である。 図１５は、実施の形態２に係る画像処理装置による画像処理方法の一例を示すフローチャートである。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像処理装置に関し、以下の問題が生じることを見出した。

特許文献１の技術では、連写により得られた複数の原画像を合成してハイレゾ画像を生成する場合において、被写体の中に動体が含まれるとハイレゾ画像に残像が生じる。この技術では、この動体の残像を解消するために動体が検出された領域を１枚の画像からなる代表画像に置き換えている。

特許文献１のような従来技術では、複数の画像を用いて画質を向上させるための合成が行われた領域と、動体の残像を解消するために代表画像に置き換えられた領域とが混在する合成画像を生成する。このような合成画像を示す合成画像データでは、置き換えられた領域において画質を向上させるための合成が行われていないため、合成が行われた領域の部分画像データと置き換えられた領域の部分画像データとの間で画質に差が生じている。

しかしながら、ユーザは、合成が行われた領域の部分画像データと置き換えられた領域の部分画像データとを区別することが難しい。特に、カメラに搭載されているようなディスプレイは、ユーザが視認するのに十分なサイズではないため、ユーザは、このディスプレイにおいてこれらの２つの領域を区別することが難しい。このように、従来技術には、複数の画像データを用いて合成が行われた領域の部分画像データと、一部の画像データを用いて生成された領域の部分画像データとをユーザが容易に区別することが難しいという課題がある。

そこで、本開示は、複数の画像データの合成結果を容易に確認することができる画像処理装置などを提供する。

本開示の一態様に係る画像処理装置は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部と、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出部と、（ｉ）前記複数の画像データにおける、前記検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成部と、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力部と、を備える。

これによれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力する。このため、ユーザは、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを容易に区別することができる。よって、ユーザは、複数の画像データの合成結果を容易に確認することができる。

また、前記領域情報は、前記第２部分画像データであることを示す領域画像データであり、前記生成部は、さらに、前記合成画像データの前記第２部分画像データに、前記領域画像データを重畳した出力画像データを生成し、前記出力部は、前記出力画像データを出力してもよい。

このため、ユーザは、表示された出力画像データを視認するだけで、複数の画像データの合成結果を容易に確認することができる。

また、前記検出部は、前記複数の画像データのうちの、第１画像データと、前記第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合に、当該画素を含む領域を前記移動物体領域として検出してもよい。

このため、複数の画像データ間において所定の閾値以上の差分を有するような、高解像度化が難しい領域を検出して、複数の画像データを用いた合成を行わないため、合成後の画像データに残像が生じることを低減することができる。

また、さらに、ユーザからの入力を受け付ける受付部と、前記受付部により受け付けられた前記入力に応じて前記所定の閾値を変更する変更部と、を備え、前記検出部は、前記変更部により変更された前記所定の閾値を用いて、前記移動物体領域の検出を行ってもよい。

このため、ユーザは、移動物体領域を検出するための所定の閾値を容易に変更することができる。

また、前記生成部は、前記第２部分画像データの生成において、前記複数の画像データのうちの一つの画像データの前記移動物体領域の部分画像データを前記第２部分画像データとして決定してもよい。

また、前記生成部は、前記第２部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記カメラが備えるイメージセンサの位置に基づいて、前記第１画像データの移動物体領域の部分画像データと、前記複数の第２画像データのうちで前記第１画像データの移動物体領域の部分画像データとの前記差分が前記所定の閾値未満である１以上の第２画像データの前記移動物体領域の部分画像データを位置合わせして合成することで前記第２部分画像データを生成してもよい。

このため、移動物体領域においても、画素値の差分が所定の閾値未満である一部の画像データを合成することで、一枚の画像データのみを用いる場合よりも、第２部分画像データにおける画質を向上させることができる。

また、前記生成部は、前記第２部分画像データの生成に用いられた画像データの枚数に応じた表示態様の前記領域画像データを生成してもよい。

これによれば、第２部分画像データの生成に用いられた画像データの数に応じて領域画像データの表示態様を変更するため、ユーザは、第２部分画像データのうちで、生成に用いられた画像データの数毎の領域を容易に区別することができる。

また、前記複数の画像データは、前記カメラが備えるイメージセンサを前記イメージセンサの画素ピッチ以下の距離単位で移動させて移動させた位置毎に撮影することで得られ、前記生成部は、前記第１部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記イメージセンサの位置に基づいて、前記複数の画像データの前記静止物体領域の複数の部分画像データを位置合わせして合成してもよい。

このため、高解像度化した第１部分画像データを生成することができる。

また、本開示の一態様に係る画像処理方法は、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む。

これによれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力するため、ユーザは、複数の画像データの合成結果を容易に確認することができる。

また、本開示の一態様に係るプログラムは、カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、（ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域情報とを出力する出力ステップと、を含む画像処理方法を、コンピュータに実行させるためのプログラムである。

これによれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力するため、ユーザは、複数の画像データの合成結果を容易に確認することができる。

なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１．構成］
図１は、実施の形態１に係る画像処理装置の一例を示す図である。

図１に示すように、画像処理装置１００は、カメラである。画像処理装置１００は、画像を撮影し、得られた画像データに対して画像処理を実行する。画像処理装置１００は、具体的には、撮影により得られた画像データの画質を向上させるために、異なる複数のタイミングで撮影することで得られた複数の画像データを合成する画像処理を行う。例えば、複数の画像データは、連写により得られる。複数の画像データは、互いに画素位置が画素単位以下の距離でずれて撮影された被写体を含む。複数の画像データは、例えば、カメラが三脚に固定されるなどで静止した状態で、カメラが備えるイメージセンサをシフトさせながら連写することで得られる。

なお、このような複数の画像データは、カメラが備えるイメージセンサをシフトさせながら連写することで得られることに限らずに、カメラが備えるレンズをシフトさせながら連写することで得られてもよい。また、複数の画像データは、カメラが静止した状態で連写することで得られることに限らずに、ユーザが手持ちで、手ぶれ補正を利用して撮影することで得られてもよい。この場合の複数の画像データは、互いに画素位置が画素単位以下の距離でずれて撮影された被写体を含む。

図２は、実施の形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。

図２に示すように、画像処理装置１００は、ハードウェア構成として、イメージセンサ１０１と、アクチュエータ１０２と、プロセッサ１０３と、メインメモリ１０４と、ストレージ１０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０７と、ディスプレイ１０８とを備える。

イメージセンサ１０１は、図示しない光学系を介して、イメージセンサ１０１の受光面に結像された像の光による明暗の度合いを電荷の量に光電変換することで画像データを生成するためのセンサである。イメージセンサ１０１は、例えば、ベイヤー配列で並べられた複数の画素を有する。

アクチュエータ１０２は、イメージセンサ１０１を、イメージセンサ１０１の受光面に平行な方向に、イメージセンサ１０１の画素ピッチ以下の単位で移動させる。ここでは、画素ピッチは、イメージセンサ１０１が有する複数のサブピクセルを１画素としたときの画素ピッチであり、互いに隣接する２つのサブピクセルのピッチを示す。イメージセンサ１０１が有する複数のサブピクセルは、例えば、ベイヤー配列で並べられている。

プロセッサ１０３は、ストレージ１０５等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、画像処理を行うハードウェアである画像処理回路とを含む。

メインメモリ１０４は、揮発性の記憶領域である。メインメモリ１０４は、イメージセンサ１０１により生成された画像データを一時的に記憶したり、プロセッサ１０３による処理の過程で生成されたデータを一時的に記憶させるために用いられたり、プロセッサ１０３がプログラムを実行するときに使用するワークエリアとして用いられたりする。プロセッサ１０３による処理の過程で生成されたデータには、例えば、プロセッサ１０３により生成された合成画像（後述参照）を示す合成画像データなどが含まれる。

ストレージ１０５は、プログラムなどの各種データを保持する不揮発性の記憶領域である。ストレージ１０５は、例えば、イメージセンサ１０１により生成された画像データ、プロセッサ１０３による処理の結果生成された各種データなどを記憶する。各種データには、合成画像データ、出力画像データ、領域情報などが含まれる。

通信ＩＦ１０６は、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバなどの外部機器との間でデータの伝送を行うための通信インタフェースである。通信ＩＦ１０６は、例えば、無線ＬＡＮインタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの無線通信のためのインタフェースであってもよい。通信ＩＦ１０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、有線ＬＡＮインタフェースなどの有線通信のためのインタフェースであってもよい。なお、通信ＩＦ１０６は、上記に限らずに、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。また、通信ＩＦ１０６は、メモリカードなどの記録媒体から当該記録媒体に格納されているデータを読み出すリーダであってもよい。

入力ＩＦ１０７は、ユーザからの入力を受け付けるためのインタフェースである。入力ＩＦ１０７は、ボタン、ダイヤル、タッチパネルであってもよい。

ディスプレイ１０８は、液晶ディスプレイ、有機ＥＬディスプレイなどである。ディスプレイ１０８は、イメージセンサ１０１により生成された画像データに基づく画像を表示する。ディスプレイ１０８は、プロセッサ１０３による処理結果を表示してもよい。

図３は、実施の形態１に係る画像処理装置の機能構成の一例を示すブロック図である。

図３に示すように、画像処理装置１００は、撮影部１１１と、取得部１１２と、検出部１１３と、生成部１１４と、出力部１１５とを備える。画像処理装置１００は、さらに、受付部１１６と、変更部１１７とを備えてもよい。

撮影部１１１は、複数のタイミングで撮影する、例えば、連写することで複数の画像データを生成する。撮影部１１１は、具体的には、第１画像データと、第１画像データで撮影された像が画素ピッチ以下の距離単位でずれて撮影された第２画像データとを含む複数の画像データを生成する。撮影部１１１は、イメージセンサ１０１をイメージセンサ１０１の画素ピッチ以下の距離単位でアクチュエータ１０２により移動させて、移動させた位置毎に撮影することで複数の画像データを得る。複数の画像データは、例えば、画素ピッチ単位で互いに上下左右の４方向にずれて撮影されることで得られた４つの画像データと、これらの４つの画像データの中心で撮影された１枚を含み、互いに上下左右の４方向にずれて撮影されることで得られた４つの画像データとを含む。

なお、撮影部１１１により生成される複数の画像データには、各画像データの画像が撮影されたイメージセンサ１０１の位置を特定するための位置情報が対応付けられていてもよい。位置情報は、イメージセンサ１０１の位置を示す情報（例えば、後述する位置Ｐ１～Ｐ８）であってもよいし、高解像度化のための合成処理に使用される最小の数（例えば８つ）単位の画像データのデータセットにおける撮影の順番を示す情報であってもよいし、撮影時刻（例えば、後述する時刻ｔ１～ｔ８）を示す情報であってもよい。

なお、撮影部１１１による撮影処理の具体例は、後述する。撮影部１１１は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行して、イメージセンサ１０１及びアクチュエータ１０２の動作を制御することで実現される。

取得部１１２は、撮影部１１１で撮影されることで得られた複数の画像データを取得する。本実施の形態において、取得部１１２による複数の画像の取得は、イメージセンサ１０１により生成された画像データをメインメモリ１０４に一時的に記憶させる処理である。言い換えると、取得部１１２による複数の画像の取得は、画像処理装置１００がイメージセンサ１０１により生成された複数の画像データを取得する処理である。取得部１１２は、撮影部１１１で撮影されることで得られた複数の画像データを、所定数ずつ撮影される毎に取得してもよいし、１つずつ撮影される毎に取得してもよいし、所定期間において蓄積された複数の画像データを所定数単位で取得してもよい。なお、所定数は、後述する生成部１１４によって高解像度化のための合成処理に使用される画像データの最小の数（本実施の形態では８つ）である。取得部１１２は、例えば、メインメモリ１０４などにより実現される。

なお、検出部１１３及び生成部１１４は、高解像度化のための合成処理に使用される最小の数の画像データを含むデータセット単位で各処理を行う。つまり、検出部１１３及び生成部１１４は、各データセットに含まれる複数の画像毎に、以降で説明する処理を行う。

検出部１１３は、取得部１１２により取得された複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する。具体的には、検出部１１３は、複数の画像データのうちの、第１画像データと、第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上であるか否かを判定する。

検出部１１３は、例えば、第１画像データの各画素について上記の判定を行い、少なくとも１枚の第２画像データとの間で所定の閾値以上となった画素の領域を移動物体領域であると判定してもよい。反対に、検出部１１３は、全ての第２画像データとの間で所定の閾値未満となった画素の領域を移動物体領域以外の静止物体領域であると判定してもよい。

また、検出部１１３は、例えば、第１画像データの各画素について上記の判定を行い、所定の閾値未満となった画素値を有する画素を含む第２画像データが所定の枚数未満であれば、当該画素の領域を移動物体領域であると判定してもよい。反対に、検出部１１３は、所定の閾値未満となった画素値を有する画素を含む第２画像データが所定の枚数以上であれば、当該画素の領域を静止物体領域であると判定してもよい。

また、検出部１１３は、例えば、第１画像データの各画素について上記の判定を行い、第１画像データと複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士を比較することで複数の差分を算出し、複数の差分のうちの最大値が所定の閾値以上であれば、当該画素値を有する画素を含む領域を移動物体領域であると判定してもよい。本実施の形態では、検出部１１３は、高解像度化のための合成処理に使用される８つの画像データのうちの１つの画像データ（第１画像データ）と、残りの７つの画像データとの間で上記の比較を行うことで７つの差分を算出し、算出した７つの差分のうちの最大値が所定の閾値未満であれば、当該画素値を有する画素を含む領域を移動物体領域であると判定する。反対に、検出部１１３は、上記複数の差分のうちの最大値が所定の閾値以上であれば、当該画素値を有する画素を含む領域を静止物体領域であると判定してもよい。

また、検出部１１３は、例えば、第１画素の各画素について上記の判定を行い、第１画像データと複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士を比較することで複数の差分を算出し、複数の差分のうちの最小値が所定の閾値以上であれば、当該画素値を有する画素を含む領域を移動物体領域であると判定してもよい。

また、検出部１１３は、画素毎に上記の判定を行うとしたが、これに限らずに、所定の数の画素で構成されるブロック単位で上記の判定を行ってもよい。この場合、比較対象としては、各ブロックにおける画素値の代表値が用いられてもよい。代表値は、例えば、各ブロックにおける固定の位置における画素の画素値、各ブロックにおける画素値の平均値、各ブロックにおける画素値の最大値、各ブロックにおける画素値の最小値、各ブロックにおける画素値の中央値などである。

なお、第１画像データの画素と位置が対応する第２画像データの画素の画素値は、イメージセンサ１０１の第１画像データの画素と同じ素子から得られた画素値であってもよい。第１画像データの画素と位置が対応する第２画像データの画素の画素値は、イメージセンサ１０１の位置ずれを考慮して第１画像データの画素の位置と同じ位置における画素値であって、第２画像データの画素値から補間して得られた画素値であってもよい。

また、検出部１１３は、例えば、この判定に用いる所定の閾値をストレージ１０５から取得してもよい。検出部１１３は、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合、当該画素を含む領域を移動物体領域として検出する。反対に、検出部１１３は、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値未満である場合、当該画素を含む領域を静止物体領域として検出する。つまり、検出部１１３は、第１画像データと第２画像データとを比較して、互いに同じ位置の領域において異なる被写体が撮影されている領域を検出することで、移動物体領域及び静止物体領域を検出する。移動物体領域は、静止物体領域以外の領域である。検出部１１３は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行することで実現される。

生成部１１４は、複数の画像データにおいて、検出部１１３により移動物体領域が検出されたか否かを判定し、移動物体領域が検出された場合、複数の画像データに対して、静止物体領域と、移動物体領域とで異なる画像処理を行うことで、合成画像データを生成する。この場合、生成部１１４は、静止物体領域における第１部分画像データと、移動物体領域における第２部分画像データとを生成し、第１部分画像データ及び第２部分画像データを合成することで、第１部分画像データ及び第２部分画像データを含む合成画像データを生成する。ここで、静止物体領域及び移動物体領域は、例えば、合成画像データにおいて互いに異なる領域である。静止物体領域は、合成画像データにおける移動物体領域以外の領域である。なお、部分画像データとは、１枚の画像データの一部の領域における画像データを示し、当該一部の領域に含まれる複数の画素の集合である。

まず、生成部１１４は、取得部１１２により取得された複数の画像データの静止物体領域における複数の部分画像データを合成することで第１部分画像データを生成する。具体的には、生成部１１４は、複数の画像データが示す複数の画像が撮影された位置に基づいて、これらの複数の画像データの静止物体領域における複数の部分画像データを位置合わせして合成することで第１部分画像データを生成する。なお、複数の画像データが示す複数の画像が撮影された位置は、撮影部１１１により複数の画像データのそれぞれに対応付けられている位置情報で示される。生成部１１４は、例えば、複数の画像データのうちの一つの画像データの隣接する２つの画素の間の位置における画素の画素値を、他の画像データの画素値を用いて算出することで補間する。なお、隣接する２つの画素は、画像データにおいて、垂直方向に隣接していてもよいし、水平方向に隣接していてもよいし、垂直方向及び水平方向に交差する斜め方向（例えば、垂直方向及び水平方向に斜め４５度、１３５度に交差する方向）に隣接していてもよい。これにより、生成部１１４は、複数の画像データのそれぞれよりも高解像度化した第１部分画像データを生成する。ここで、高解像度化とは、画素密度を向上させる処理のことである。

また、生成部１１４は、複数の画像データのうちの一部の画像データの移動物体領域を用いて第２部分画像データを生成する。具体的には、生成部１１４は、複数の画像データのうちの一つの画像データ（例えば、第１画像データ）の移動物体領域の部分画像データを抽出し、抽出した部分画像データを用いて第２部分画像データを生成する。例えば、生成部１１４は、複数の画像データのうちの一つの画像データの移動物体領域の部分画像データを、第１部分画像データの解像度（画素密度）に合わせて拡大することで第２部分画像データを生成する。なお、ここでいう「拡大する」とは、具体的には、一つの画像データの隣接する２つの画素の間の位置における画素の画素値を、隣接する２つの画素の画素値及びこれら２つの画素の周囲の画素の画素値の少なくとも一方を用いて算出することで補間することである。なお、隣接する２つの画素は、第１部分画像データの生成の説明と同様の画素である。そして、生成部１１４は、生成した第１部分画像データと、生成した第２部分画像データとを組み合わせることで合成画像データを生成する。

また、生成部１１４は、第１部分画像データ及び第２部分画像データを区別するための領域情報を生成する。領域情報は、例えば、第２部分画像データであることを示す領域画像データである。領域画像データは、例えば、第２部分画像データと同じサイズ及び同じ形状の画像データであり、合成画像データにおける、第２部分画像データと同じ位置に配置される画像データである。なお、画像データのサイズとは、ここでは、画素数で規定されるサイズであり、画像データの情報量とは異なる。そして、生成部１１４は、合成画像データの第２部分画像データに、領域画像データを重畳した出力画像データを生成する。

なお、生成部１１４によって生成される領域画像データは、例えば、第１部分画像データであることを示す画像データであってもよい。この場合の領域画像データは、例えば、第１部分画像データと同じサイズ及び同じ形状の画像データであり、合成画像データにおける、第１部分画像データと同じ位置に配置される画像データである。

また、生成部１１４は、移動物体領域が検出されない場合、複数の画像データが示す複数の画像が撮影された位置に基づいて、これらの複数の画像データを位置合わせして合成することで合成画像データを生成する。この処理は、第１部分画像データを生成する処理と同様の処理であり、処理対象が複数の画像データの全部である点が異なる。なお、生成部１１４は、第１部分画像データを生成する処理において、複数の画像データの全部を合成し、合成後に移動物体領域を抽出することで第１部分画像データを生成してもよい。

生成部１１４は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行することで実現される。

出力部１１５は、出力画像データを出力する。これにより、出力部１１５は、合成画像データと、領域情報とを出力する。例えば、出力部１１５は、出力画像データが示す出力画像をディスプレイ１０８に表示することで、出力画像データを出力してもよい。出力部１１５は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行して、ディスプレイ１０８の動作を制御することで実現される。

なお、出力部１１５は、出力画像データを、通信ＩＦ１０６を介して外部装置に出力してもよい。出力部１１５は、出力画像データを外部装置が備えるディスプレイに表示させてもよいし、出力画像データを外部装置に出力（送信）してもよい。

また、出力部１１５は、出力画像データを出力することで合成画像データ及び領域情報を出力するとしたが、１つの出力画像データとして出力することに限らずに、合成画像データと、領域情報とを出力してもよい。例えば、出力部１１５は、合成画像データ及び領域情報を外部装置に出力し、外部装置が備えるディスプレイに、領域情報が示す領域画像が合成画像に重畳された出力画像を表示させてもよい。

受付部１１６は、ユーザからの入力を受け付ける。具体的には、受付部１１６は、ユーザから検出部１１３による移動物体領域を検出するために用いる所定の閾値を変更するための入力を受け付ける。

受付部１１６は、例えば、入力ＩＦ１０７などにより実現される。

変更部１１７は、受付部１１６により受け付けられた、検出部１１３による移動物体領域を検出する基準となる所定の閾値を変更するための入力に応じて所定の閾値を変更する。変更部１１７は、例えば、変更後の所定の閾値をストレージ１０５に格納する。これにより検出部１１３は、変更部１１７により変更された所定の閾値を用いて、移動物体領域の検出を行うことになる。変更部１１７は、例えば、プロセッサ１０３がストレージ１０５に格納されているプログラムを実行することで実現される。

次に、撮影部１１１による撮影処理の具体例について図４を用いて説明する。

図４は、撮影部による撮影処理について説明するための図である。

図４の（ａ）は、複数の画像を撮影するときのイメージセンサ１０１の位置について説明するための図である。図４の（ｂ）は、複数の画像を撮影するときのイメージセンサ１０１の１組の画素群１２１の位置について説明するための図である。

図４では、イメージセンサ１０１に含まれる１組の画素群１２１を基準として説明する。１組の画素群１２１は、例えば、１つの赤（Ｒ）のサブピクセル、２つの緑（Ｇ）のサブピクセル、及び、１つの青（Ｂ）のサブピクセルを含む。この図に示されるように、イメージセンサ１０１は、例えば、ベイヤー配列で並べられた複数の画素を有する。ここでは、画素ピッチは、サブピクセルを１画素としたときの画素ピッチであり、互いに隣接する２つのサブピクセルのピッチを示す。

撮影部１１１による撮影では、まず、最初の位置Ｐ１で撮影し、その後イメージセンサ１０１を画素ピッチ単位で異なる三方向に順に移動させる毎に、３つの位置Ｐ２、Ｐ３、Ｐ４で撮影する。例えば、イメージセンサ１０１は、図４の（ａ）における（１）の矢印、（２）の矢印、及び、（３）の矢印で示される方向に順に移動される。このように、位置Ｐ１を基準として異なる三方向にイメージセンサ１０１が移動される毎に撮影されることで、図４の（ｂ）の時刻ｔ１～ｔ４に示されるように、画素ピッチ単位で互いに上下左右の４方向にずれて撮影される。なお、図４の（ａ）では、１組の画素群１２１に含まれる赤（Ｒ）のサブピクセルの中心の位置をイメージセンサ１０１の基準の位置としている。また、図４では、イメージセンサ１０１が位置Ｐ１に配置される場合における、１組の画素群１２１が位置する領域である基準領域Ｂ１が示されている。

次に、４つの位置Ｐ１～Ｐ４の中心の位置Ｐ５にイメージセンサ１０１を（４）の矢印で示されるように移動させて撮影し、その後イメージセンサ１０１を画素ピッチ単位で異なる三方向に順に移動させる毎に、３つの位置Ｐ６、Ｐ７、Ｐ８で撮影する。例えば、イメージセンサ１０１は、図４の（ａ）における（５）の矢印、（６）の矢印、及び、（７）の矢印で示される方向に順に移動される。このように、位置Ｐ５を基準として異なる三方向にイメージセンサ１０１が移動される毎に撮影されることで、図４の（ｂ）の時刻ｔ５～ｔ８に示されるように、画素ピッチ単位で互いに上下左右の４方向にずれて撮影される。このように、撮影部１１１は、８枚の画像を示す８つの画像データを生成する。

次に、生成部１１４による合成処理の具体例について図５を用いて説明する。

図５は、生成部による合成処理について説明するための図である。

図５の（ａ）に示すように、互いに画素ピッチ単位以下で互いにずれた８つの位置で撮影された８つの画像データが得られることで、基準領域Ｂ１を基準とする８つの異なる位置における画素値が、４つのサブピクセルのそれぞれで取得される。生成部１１４は、４つのサブピクセルのそれぞれで取得される基準領域Ｂ１を基準とする８つの異なる位置における画素値を用いて、合成を行うことで、元の画像データの４倍の解像度の画像データを生成する。

図６は、被写体に移動物体が含まれる場合に撮影される複数の画像データの一例を示す図である。図７は、生成部により生成される合成画像データの一例を示す図である。図８は、生成部により生成される出力画像データの一例を示す図である。

高解像度化のために複数の画像データを連写で撮影すると、被写体に移動物体が含まれる場合に、移動物体とカメラとの間の相対的な位置が変化する。このため、図６に示す時刻ｔ１～ｔ８での撮影で得られた複数の画像データ１３１～１３８において、それぞれ異なる位置に移動物体１４１～１４８が撮影される。このように、異なる位置に移動物体１４１～１４８が撮影された場合、生成部１１４は、複数の画像データ１３１～１３８の全ての領域を用いて合成を行うと、移動物体１４１～１４８が含まれる移動物体領域１５２で移動物体の残像が生じてしまう。なお、移動物体領域１５２は、画像データ１３１と他の画像データ１３２～１３８いずれかの画像データとの間で画素値の差が所定の閾値以上である領域である。このため、移動物体領域１５２は、複数の画像データ１３１～１３８において移動物体１４１～１４８が少なくとも含まれる領域を加算した領域である。

このため、生成部１１４は、静止物体領域１５１では、複数の画像データ１３１～１３８の静止物体領域１５１の複数の部分画像データを合成して第１部分画像データを生成し、移動物体領域１５２では、画像データ１３１の移動物体領域１５２の部分画像データを拡大して第２部分画像データを生成する。そして、生成部１１４は、生成した第１部分画像データ及び第２部分画像データを組み合わせて、図７に示すような合成画像データ１６０を生成する。

そして、生成部１１４は、第２部分画像データを区別するための領域画像データ１７２を合成画像データ１６０の移動物体領域１５２に重畳することで、出力画像データ１７０を生成する。領域画像データ１７２は、例えば、図８に示すようなゼブラパターンであってもよいし、単色で塗りつぶしたパターンであってもよい。

なお、出力画像データは、静止物体領域と移動物体領域とで色合いが異なるように変更された画像データであってもよいし、静止物体領域と移動物体領域とで明るさが異なるように変更された画像データであってもよいし、静止物体領域と移動物体領域との一方の領域を白黒にし他方の領域をカラーにした画像データであってもよい。

［２．動作］
次に、画像処理装置１００の動作について説明する。

図９は、実施の形態１に係る画像処理装置による画像処理方法の一例を示すフローチャートである。

まず、撮影部１１１は、イメージセンサ１０１を移動させながら複数のタイミングで撮影することで、複数の画像データを生成する（Ｓ１１）。

次に、取得部１１２は、撮影部１１１により生成された複数の画像データ（本実施の形態では８つの画像データ）を取得する（Ｓ１２）。ここで、複数の画像データは、検出部１１３及び生成部１１４における各処理の処理対象となるデータセットに含まれる。

次に、検出部１１３は、取得部１１２により取得されたデータセットに含まれる複数の画像データにおいて移動物体が撮影された移動物体領域を検出する（Ｓ１３）。

次に、生成部１１４は、検出部１１３により移動物体領域が検出されたか否かを判定する（Ｓ１４）。

生成部１１４は、移動物体領域が検出された場合（Ｓ１４でＹｅｓ）、データセットに含まれる複数の画像データを用いて、第１部分画像データ及び第２部分画像データを生成し、第１部分画像データ及び第２部分画像データを含む合成画像データを生成する（Ｓ１５）。そして、生成部１１４は、合成画像データに領域画像データを重畳した出力画像データを生成する（Ｓ１６）。

次に、出力部１１５は、出力画像データが示す出力画像をディスプレイ１０８に表示する（Ｓ１７）。

一方で、生成部１１４は、移動物体領域が検出されない場合（Ｓ１４でＮｏ）、複数の画像データの全部を用いて重ねて合成することで全体を高解像度化した合成画像データを生成する（Ｓ１８）。

出力部１１５は、合成画像データが示す合成画像をディスプレイ１０８に表示する（Ｓ１９）。

なお、検出部１１３による移動物体領域を検出する基準となる所定の閾値を変更する場合には、次のような処理方法となる。

図１０は、画像処理装置による画像処理方法の他の一例を示すフローチャートである。図１１は、出力画像データが示す出力画像と共に表示するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の一例を示す図である。

この例では、図９の例のステップＳ１１～Ｓ１９の後に、さらに、ステップＳ２０及びＳ２１を行う点が異なる。また、ステップＳ１７及びＳ１９で出力画像データが示す出力画像または合成画像データが示す合成画像をディスプレイ１０８に表示する場合、出力画像または合成画像と共に、所定の閾値を変更する入力を受け付けるためのＵＩ１８０をディスプレイ１０８に表示させる点が異なる。

ステップＳ１７またはＳ１９の後で、受付部１１６は、ＵＩ１８０への入力を受け付けたか否かを判定する（Ｓ２０）。

次に、受付部１１６がＵＩ１８０への入力を受け付けた場合（Ｓ２０でＹｅｓ）、変更部１１７は、受付部１１６により受け付けられた入力に応じて所定の閾値を変更する（Ｓ２１）。例えば、変更部１１７は、ＵＩ１８０で示されるスライダが右側に調整されるほど小さい値になるように所定の閾値を変更する。なお、変更部１１７は、上記とは反対に、ＵＩ１８０で示されるスライダが右側に調整されるほど大きい値になるように所定の閾値を変更してもよい。所定の閾値が変更されると、変更された所定の閾値を用いてステップＳ１３が行われる。

これにより、検出部１１３による移動物体領域の検出結果が変わりうるため、出力画像データ１７０に含まれる領域画像データ１７２の形状及びサイズなども変わりうる。例えば、出力画像に含まれる領域画像データ１７２のサイズは、所定の閾値が小さくなるように変更されることで、所定の閾値を超える画素の数が増加しうるため、大きくなりうる。反対に、例えば、出力画像に含まれる領域画像データ１７２のサイズは、所定の閾値が大きくなるように変更されることで、所定の閾値を超える画素の数が減少しうるため、小さくなりうる。よって、ユーザは、ＵＩ１８０で示されるスライダを調整することで、ディスプレイ１０８に表示される領域画像データ１７２の形状及びサイズを変更することができる。なお、領域画像データのサイズとは、ここでは、画素数で示されるサイズであり、領域画像データの情報量とは異なる。

［３．効果など］
本実施の形態に係る画像処理装置１００によれば、複数の画像データを用いて合成が行われた第１部分画像データと、一部の画像データを用いて生成された第２部分画像データとを区別するための領域情報を出力するため、ユーザは、第１部分画像データと第２部分画像データとを、容易に区別することができる。

また、本実施の形態に係る画像処理装置１００において、領域情報は、第２部分画像データであることを示す領域画像データであり、生成部１１４は、合成画像データの第２部分画像データに、領域画像データを重畳した出力画像データを生成し、出力部１１５は、出力画像データを出力する。このため、ユーザは、例えばディスプレイ１０８に表示された出力画像を視認するだけで、複数の画像データの合成結果を容易に確認することができる。

また、本実施の形態に係る画像処理装置１００において、検出部１１３は、複数の画像データのうちの、第１画像データと、第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合に、当該画素を含む領域を移動物体領域として検出する。このため、複数の画像データ間において所定の閾値以上の差分を有するような、複数の画像データの合成処理による高解像度化が難しい領域を検出して、複数の画像データを用いた合成を行わないため、合成後の画像データに残像が生じることを低減することができる。

また、本実施の形態に係る画像処理装置１００は、さらに、ユーザからの入力を受け付ける受付部１１６と、受付部１１６により受け付けられた入力に応じて所定の閾値を変更する変更部１１７と、を備える。検出部１１３は、変更部１１７により変更された所定の閾値を用いて、移動物体領域の検出を行う。このため、ユーザは、移動物体領域を検出するための所定の閾値を容易に変更することができる。

また、本実施の形態に係る画像処理装置１００において、複数の画像データは、カメラが備えるイメージセンサをイメージセンサの画素ピッチよりも小さい距離単位で移動させて移動させた位置毎に撮影することで得られる。生成部１１４は、第１部分画像データの生成において、それぞれの画像データが撮影されたときのイメージセンサの位置に基づいて、複数の画像データの静止物体領域の複数の部分画像データを位置合わせして合成する。このため、高解像度化した第１部分画像データを生成することができる。

（実施の形態１の変形例）
上記実施の形態では、生成部１１４は、移動物体領域と判定された領域において、複数の画像データのうちの一つの画像データの移動物体領域の部分画像データを抽出し、抽出した部分画像データを用いて第２部分画像データを生成するとしたが、複数の画像データよりも少ない複数枚の画像データの移動物体領域の部分画像データを合成してもよい。つまり、生成部１１４は、第２部分画像データの生成において、それぞれの画像データが撮影されたときのイメージセンサ１０１の位置に基づいて、第１画像データの移動物体領域と、複数の第２画像データのうちで第１画像データの移動物体領域との差分が所定の閾値未満である１以上の第２画像データの移動物体領域の部分画像データを位置合わせして合成することで第２部分画像データを生成してもよい。このため、移動物体領域においても、画素値の差分が所定の閾値未満である一部の画像データを合成することで、一枚の画像データのみを用いる場合よりも、第２部分画像データにおける画質を向上させることができる。なお、一部の画像データは、第１部分画像データの生成に用いられる画像データの数よりも少ない数の画像データである。このため、第２部分画像データは、第１部分画像データよりも画質が低くなる。つまり、本変形例においても、第１部分画像データと第２部分画像データとの間には、画質に差が生じるため、これらの部分画像データを区別するための領域情報を出力することで、ユーザは、第１部分画像データと第２部分画像データとを容易に区別することができる。

また、生成部１１４は、第２部分画像データの生成に用いられた画像データの数に応じた表示態様の領域画像を示す領域画像データを生成してもよい。つまり、生成部１１４は、Ｎ枚（Ｎは自然数）の部分画像データで生成した第２部分画像データと、Ｎ枚とは異なるＭ枚（Ｍは自然数）の部分画像データで生成した第２部分画像データとを区別できるように、これらの第２部分画像データの領域毎に異なる表示態様の領域画像を示す領域画像データを生成してもよい。このように、第２部分画像データの生成に用いられた画像データの数に応じて領域画像データが示す領域画像の表示態様を変更するため、ユーザは、第２部分画像データのうちで、生成に用いられた画像データの数毎の領域を容易に区別することができる。

なお、生成部１１４は、第２部分画像データ内における動き信頼度に応じた表示態様の領域画像を示す領域画像データを生成してもよい。つまり、生成部１１４は、動き信頼度が所定の信頼度よりも高い領域と所定の信頼度以下の領域とで異なる表示態様の領域画像を示す領域画像データを生成してもよい。

（実施の形態２）
実施の形態１では、カメラが画像処理装置の機能を実現するとしたが、カメラとは異なるＰＣなどの情報処理装置が画像処理装置の機能を実現してもよい。実施の形態２は、カメラとは異なる情報処理装置が画像処理装置の機能を実現する例である。

図１２は、実施の形態２に係る画像処理装置の一例を示す図である。

図１２に示すように、画像処理装置２００は、ＰＣなどの情報処理装置である。画像処理装置２００は、カメラ１０により複数のタイミングで撮影されることで生成された複数の画像データ２０を取得して、取得した複数の画像データ２０に対して画像処理を実行する。画像処理装置２００は、具体的には、撮影により得られた画像データの画質を向上させるために、異なる複数のタイミングで撮影することで得られた複数の画像データ２０を合成する画像処理を行う。例えば、複数の画像データ２０は、連写により得られる。

図１３は、実施の形態２に係る画像処理装置のハードウェア構成の一例を示すブロック図である。

図１３に示すように、画像処理装置２００は、ハードウェア構成として、プロセッサ２０１と、メインメモリ２０２と、ストレージ２０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０４と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０５と、ディスプレイ２０６とを備える。

プロセッサ２０１は、ストレージ２０３等に記憶されたプログラムを実行するプロセッサである。

メインメモリ２０２は、揮発性の記憶領域である。メインメモリ２０２は、プロセッサ２０１による処理の過程で生成されたデータを一時的に記憶させるために用いられたり、プロセッサ２０１がプログラムを実行するときに使用するワークエリアとして用いられたり、通信ＩＦ２０４により受信されたデータを一時的に記憶するために用いられたりする。プロセッサ２０１による処理の過程で生成されたデータには、例えば、プロセッサ２０１により生成された合成画像（後述参照）を示す合成画像データなどが含まれる。通信ＩＦ２０４により受信されたデータには、例えば、カメラ１０から取得した複数の画像データ２０が含まれる。

ストレージ２０３は、プログラムなどの各種データを保持する不揮発性の記憶領域である。ストレージ２０３は、例えば、プロセッサ２０１による処理の結果生成された各種データ、通信ＩＦ２０４により受信された複数の画像データ２０などを含むデータを記憶する。各種データには、合成画像データ、出力画像データ、領域情報などが含まれる。

通信ＩＦ２０４は、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバなどの外部機器との間でデータの伝送を行うための通信インタフェースである。通信ＩＦ２０４は、例えば、無線ＬＡＮインタフェース、Ｂｌｕｅｔｏｏｔｈインタフェースなどの無線通信のためのインタフェースであってもよい。通信ＩＦ２０４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、有線ＬＡＮインタフェースなどの有線通信のためのインタフェースであってもよい。なお、通信ＩＦ２０４は、上記に限らずに、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。また、通信ＩＦ２０４は、メモリカードなどの記録媒体から当該記録媒体に格納されているデータを読み出すリーダであってもよい。通信ＩＦ２０４は、例えば、カメラ１０から、カメラ１０により生成された複数の画像データ２０を受信する。

入力ＩＦ２０５は、ユーザからの入力を受け付けるためのインタフェースである。入力ＩＦ２０５は、マウス、タッチパッド、タッチパネル、トラックボールなどのポインティングデバイスであってもよいし、キーボードであってもよい。

ディスプレイ２０６は、液晶ディスプレイ、有機ＥＬディスプレイなどである。ディスプレイ２０６は、プロセッサ２０１による処理結果を表示してもよい。

図１４は、実施の形態２に係る画像処理装置の機能構成の一例を示すブロック図である。

図１４に示すように、画像処理装置２００は、取得部２１１と、検出部２１２と、生成部２１３と、出力部２１４とを備える。画像処理装置２００は、さらに、受付部２１５と、変更部２１６とを備えてもよい。検出部２１２、生成部２１３、出力部２１４、受付部２１５、及び、変更部２１６は、それぞれ、実施の形態１における検出部１１３、生成部１１４、出力部１１５、受付部１１６、及び、変更部１１７と同じ機能を有するため説明を省略する。

取得部２１１の機能は、実施の形態１の画像処理装置１００が備える取得部１１２と同じであるが、通信ＩＦ２０４により実現される点が異なる。

次に、画像処理装置２００の動作について説明する。

図１５は、実施の形態２に係る画像処理装置による画像処理方法の一例を示すフローチャートである。

画像処理装置２００では、取得部２１１がカメラ１０から通信ＩＦ２０４を介して複数の画像データを取得する（Ｓ１２ａ）。

ステップＳ１３～Ｓ１９は、実施の形態１と同様であるので同じ符号を付して説明を省略する。

このように、画像処理装置は、カメラで実現されなくてもよく、ＰＣなどの情報処理装置で実現されてもよい。

（その他の実施の形態）
上記実施の形態では、複数の画像データは、イメージセンサ１０１をイメージセンサ１０１の画素ピッチ以下の距離単位で移動させて移動させた位置毎に撮影することで得られる画像データであり、上記実施の形態に係る画像処理装置は、複数の画像データに高解像度化のための合成を行うとしたが、これに限らない。

例えば、複数の画像データは、多重露出のために撮影された画像データであってもよく、画像処理装置は、複数の画像データの画素値の品質（つまり、画質）を向上させるための合成を行ってもよい。この場合、画像処理装置は、静止物体領域において画素値の品質を向上させるための合成を行い、移動物体領域において１枚の画像データを用いて静止物体領域において合成された画像データに合わせた画質調整を行ってもよい。

また、例えば、複数の画像データは、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成のために撮影された画像データであってもよく、画像処理装置は、複数の画像データを用いてＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成を行ってもよい。この場合、画像処理装置は、静止物体領域においてＨＤＲ合成を行い、移動物体領域において１枚の画像データを用いて静止物体領域においてＨＤＲ合成された画像データに合わせた画質調整を行ってもよい。

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な非一時的な記録媒体の任意な組み合わせで実現されてもよい。

例えば、本開示は、画像処理装置（コンピュータまたはＤＳＰ）が実行する画像処理方法として実現されてもよいし、上記画像処理方法をコンピュータまたはＤＳＰに実行させるためのプログラムとして実現されてもよい。

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、上記実施の形態において説明された走行音生成装置の動作における複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

本開示は、複数の画像データの合成結果を容易に確認することができる画像処理装置、画像処理方法及びプログラムなどとして有用である。

１０ カメラ
２０ 複数の画像データ
１００、２００ 画像処理装置
１０１ イメージセンサ
１０２ アクチュエータ
１０３、２０１ プロセッサ
１０４、２０２ メインメモリ
１０５、２０３ ストレージ
１０６、２０４ 通信ＩＦ
１０７、２０５ 入力ＩＦ
１０８、２０６ ディスプレイ
１１１ 撮影部
１１２、２１１ 取得部
１１３、２１２ 検出部
１１４、２１３ 生成部
１１５、２１４ 出力部
１１６、２１５ 受付部
１１７、２１６ 変更部
１２１ 画素群
１３１～１３８ 画像データ
１４１～１４８ 移動物体
１５１ 静止物体領域
１５２ 移動物体領域
１６０ 合成画像データ
１７０ 出力画像データ
１７２ 領域画像データ
１８０ ＵＩ
Ｂ１ 基準領域
Ｐ１～Ｐ８ 位置
ｔ１～ｔ８ 時刻

Claims (9)

1. カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得部と、
   前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出部と、
   （ｉ）前記複数の画像データにおける、前記検出部において検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成部と、
   前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域画像データとを出力する出力部と、を備え、
   前記生成部は、前記第２部分画像データの生成に用いられた画像データの枚数に応じた表示態様の前記領域画像データを生成する
   画像処理装置。
2. 前記領域画像データは、前記第２部分画像データであることを示し、
   前記生成部は、さらに、前記合成画像データの前記第２部分画像データに、前記領域画像データを重畳した出力画像データを生成し、
   前記出力部は、前記出力画像データを出力する
   請求項１に記載の画像処理装置。
3. 前記検出部は、前記複数の画像データのうちの、第１画像データと、前記第１画像データ以外の複数の第２画像データのそれぞれとの間で、位置が互いに対応する画素が有する画素値同士の差分が所定の閾値以上である場合に、当該画素を含む領域を前記移動物体領域として検出する
   請求項２に記載の画像処理装置。
4. さらに、
   ユーザからの入力を受け付ける受付部と、
   前記受付部により受け付けられた前記入力に応じて前記所定の閾値を変更する変更部と、を備え、
   前記検出部は、前記変更部により変更された前記所定の閾値を用いて、前記移動物体領域の検出を行う
   請求項３に記載の画像処理装置。
5. 前記生成部は、前記第２部分画像データの生成において、前記複数の画像データのうちの一つの画像データの前記移動物体領域の部分画像データを前記第２部分画像データとして決定する
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記生成部は、前記第２部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記カメラが備えるイメージセンサの位置に基づいて、前記第１画像データの移動物体領域の部分画像データと、前記複数の第２画像データのうちで前記第１画像データの移動物体領域の部分画像データとの前記差分が前記所定の閾値未満である１以上の第２画像データの前記移動物体領域の部分画像データを位置合わせして合成することで前記第２部分画像データを生成する
   請求項３または４に記載の画像処理装置。
7. 前記複数の画像データは、前記カメラが備えるイメージセンサを前記イメージセンサの画素ピッチ以下の距離単位で移動させて移動させた位置毎に撮影することで得られ、
   前記生成部は、前記第１部分画像データの生成において、それぞれの画像データが示す画像が撮影されたときの前記イメージセンサの位置に基づいて、前記複数の画像データの前記静止物体領域の複数の部分画像データを位置合わせして合成する
   請求項１から６のいずれか１項に記載の画像処理装置。
8. カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、
   前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、
   （ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、
   前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域画像データとを出力する出力ステップと、を含み、
   前記生成ステップでは、前記第２部分画像データの生成に用いられた画像データの枚数に応じた表示態様の前記領域画像データを生成する
   画像処理方法。
9. カメラにより複数のタイミングで撮影されることで得られた複数の画像データを取得する取得ステップと、
   前記複数の画像データにおいて移動する物体が撮影された移動物体領域を検出する検出ステップと、
   （ｉ）前記複数の画像データにおける、前記検出ステップにおいて検出された移動物体領域以外の静止物体領域を合成することで第１部分画像データを生成し、（ｉｉ）前記複数の画像データのうちの一部の画像データの前記移動物体領域を用いて第２部分画像データを生成し、（ｉｉｉ）生成した前記第１部分画像データ及び前記第２部分画像データを含む合成画像データを生成する生成ステップと、
   前記合成画像データと、前記第１部分画像データ及び前記第２部分画像データを区別するための領域画像データとを出力する出力ステップと、を含み、
   前記生成ステップでは、前記第２部分画像データの生成に用いられた画像データの枚数に応じた表示態様の前記領域画像データを生成する
   画像処理方法を、コンピュータに実行させるためのプログラム。

Images