JP6841335B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、画像の処理に関し、特に、複数の画像を用いた情報処理に関する。

撮像装置の廉価化、及び、画像処理の高機能化に伴い、画像を用いた処理が、広く用いられている。

また、撮像装置として、いろいろな用途に対応した撮像装置（例えば、カメラ又は画像センサ）が開発されている。

撮像装置には、撮影条件を変更できる撮像装置がある。例えば、一般的に、カメラは、露光量、及び、露光時間（シャッター速度）を変更できる。さらに、カメラは、撮影時にフラッシュを焚く、又は、焚かないかで、実質的に異なる画像を取得できる。

あるいは、可視光カメラ及び赤外線カメラのように、異なる波長領域に対する感度特性を備えたカメラがある。例えば、昼間時又は照明のある場所における人物などを監視するためには、可視光センサを用いた監視カメラが、広く普及している。一方、夜間における監視に対しては、近赤外線カメラ又は遠赤外線カメラなどの非可視光センサを用いたカメラが、広く普及している。あるいは、近紫外線カメラが、用いられる場合もある。あるいは、テラヘルツ波又は電波など赤外光の波長領域よりさらに長い波長をイメージングするデバイスが用いられる場合がある。

また、複数の画像を用いた処理（例えば、画像の合成）は、単一の画像を用いた処理における有用性に加え、さらなる有用性を提供できる。例えば、画像の合成は、ノイズ除去などを実現できる。そこで、各種の画像合成手法が開発されている（例えば、特許文献１、２、及び、非特許文献１）。

特許文献１に記載の画像処理装置は、複数の画像の合成時における、画像間の位置ずれの検出処理を高速化する。

特許文献２に記載の画像構成システムは、性質の異なる複数の画像を用いて、視認性を向上する。

非特許文献１には、複数のセンサから取得された複数の波長領域（バンド（ｂａｎｄ））、又は、性質（モード（ｍｏｄｅ））における画像を含む画像群から、各画像における視認性の高い領域を含む１枚の画像を合成する方法が開示されている。

特開２００７−２７４２１３号公報 特開２０１６−０３２２８９号公報

Takeshi Shibata, Masayuki Tanaka, and Masatoshi Okutomi, "Visible and near-infrared image fusion based on visually salient area selection", SPIE Proceeding, Volume 9404, Digital Photography XI, 94040G (February 27, 2015)

動画像は、連続して撮影された異なる時間における複数の画像（以下、撮影時間を「フレーム」とも呼ぶ）を含む。動画像において所定の領域（例えば、視認性の高い領域）が重要となる。以下の説明では、重要となる所定の領域を「重要領域」とも呼ぶ。

一つの撮影対象に対して、複数の性質の動画像を用いて監視する場合がある。例えば、可視光の動画像と、赤外光の動画像とを用いて、対象領域の監視することが行われている。

しかし、監視者にとって、複数の動画像を同時に監視することは、難しい。そこで、複数の動画像を合成した合成画像の動画像を用いることが望まれている。複数の動画像を用いる場合、各フレームにおいて、複数の動画像における重要領域を抽出して合成した画像が用いられる（例えば、非特許文献１を参照）。

しかし、複数の動画像を用いる場合、重要領域が、各動画像において、異なる時間（フレーム）に現れる場合がある。以下、重要領域が複数の動画像において異なる時間（フレーム）に現れる場合を、「重要領域がフレームに点在する」と呼ぶ。動画像を用いて画像を合成する場合、フレームに点在する重要領域を用いた合成が必要となる。

同じフレームにおける複数の静止画像において、重要領域は、概ね同じ位置となる。しかし、人などの動体は、時間とともに位置が変化する。重要領域がフレームに点在する場合、重要領域を用いた画像合成は、異なるフレームにおける重要領域の位置の変化に対応する必要がある。

特許文献２及び非特許文献１に記載の発明は、複数の静止画像から、一枚の視認性の高い画像を合成する発明である。そのため、特許文献２及び非特許文献１に記載の発明は、フレームに点在する重要領域を用いて画像を合成することができない。

特許文献１に記載の発明は、位置ずれの検出処理を高速化する発明であり、上記問題を解決するものではない。

このように、特許文献１、２、及び、非特許文献１に記載の発明は、動画像において、フレームに点在する所定の領域（上記の例では、重要領域）を用いて画像を合成することができないという問題点があった。

本発明の目的は、上記問題点を解決し、動画像においてフレームに点在する所定の領域を用いて画像を合成する情報処理装置などを提供することにある。

本発明の一形態における情報処理装置は、画像の画素において、所定の領域を選択するための指標を算出する指標算出手段と、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する位置ずれ算出手段と、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成する画像変形手段と、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する領域選択手段と、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する画像合成手段とを含む。

本発明の一形態における情報処理システムは、上記情報処理装置と、情報処理装置から第３の合成画像を受信して表示する表示装置とを含む。

本発明の一形態における情報処理方法は、画像の画素において、所定の領域を選択するための指標を算出し、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出し、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成し、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成し、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する。

本発明の一形態におけるプログラムは、画像の画素において、所定の領域を選択するための指標を算出する処理と、性質の異なる複数の動画像の第１の時刻における第１の画像と、第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する処理と、位置ずれ量を基に、第１の合成画像を変形して第２の合成画像を生成する処理と、第１の画像における第１の指標が所定の条件を満たす第１の領域と、第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する処理と、第１の画像と、第２の合成画像と、第１の情報とを基に、第１の時刻における第３の合成画像を合成する処理とをコンピュータに実行させる。

本発明に基づけば、動画像においてフレームに点在する所定の領域を用いて画像を合成するとの効果を奏することができる。

図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 図３は、第１の実施形態における画像及び指標などの関係を示す図である。 図４は、第１の実施形態における合成画像を説明するための図である。 図５は、第１の実施形態の概要の構成の一例を示すブロック図である。 図６は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図７は、第１の実施形態に係る情報処理システムの構成の一例を示すブロック図である。

次に、本発明における実施形態について図面を参照して説明する。

各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

本発明の実施形態は、処理の対象として、同一の撮影対象に対して同時に撮影された、性質の異なる複数の動画像を用いる。以下の説明において、「ｍ」は、動画像を区別するための識別子（ＩＤ：Ｉｄｅｎｔｉｆｉｅｒ）である。「ｍ」は１以上の整数とする。

「動画像」とは、所定の周期で撮影された「静止画像」を、連続的に含む画像群である。以下の説明において、各撮影時間を、「フレーム」とも呼ぶ。なお、撮影周期は、変化してもよい。

複数の動画像は、それぞれ、同一時刻（同一フレーム）の静止画像を含む。

ただし、本実施形態において、「同一時刻」とは、完全に同じ時刻の場合に限定されない。同一時刻の静止画像は、以下の説明において、同じ時刻の静止画像として処理可能な範囲となる所定の時間幅に含まれる静止画像でもよい。

これは、次のような要因を考慮しているためである。

実際の撮像装置において、撮影素子の性能、及び／又は、以下で説明する性質に関連して、必要となる露光時間が異なる。そのため、同一時刻に静止画像を撮影する場合でも、撮像装置は、それぞれ、厳密には異なる時刻における静止画像を撮影している。ただし、これらの静止画像は、実際の運用においては、同一時刻の静止画像として処理可能な静止画像である。

「現フレーム」は、処理対象となる静止画像の時刻である。以下の説明において、現フレームを、「第１の時刻」とも呼ぶ。

「対象画像」とは、現フレームの静止画像である。以下の説明において、「対象画像」を「第１の画像」とも呼ぶ。

「前フレーム」は、現フレームより前の時刻である。以下の説明において、前フレームを、「第２の時刻」とも呼ぶ。

「事前画像」とは、前フレームにおける静止画像である。以下の説明において、「事前画像」を「第２の画像」とも呼ぶ。

「後フレーム」は、現フレームより後の時刻である。以下の説明において、後フレームを、「第３の時刻」とも呼ぶ。

本発明の実施形態は、動画像に含まれる静止画像の一部を用いてもよい。例えば、本発明の実施形態は、所定の間隔で、静止画像を選択して処理してもよい。所定の間隔とは、例えば、一つ置き、又は、二つ置きである。あるいは、撮影間隔が３０分の１秒の場合、本発明の実施形態は、１秒置きに（３０フレーム当たり一つの）静止画像を選択して処理してもよい。

以下の説明において、動画像と静止画像とを区別する必要がない場合、単に「画像」と呼ぶ場合もある。

画像の「性質」とは、画像の撮影に関連する性質である。性質は、「モード」とも呼ばれる。

例えば、性質は、波長領域に対する感度特性である。波長領域の具体例は、赤外光、可視光、及び、紫外光の帯域である。例えば、画像には、可視光センサから取得された画像と、非可視光センサから取得された画像とが含まれていてもよい。あるいは、画像には、複数の非可視光センサ（例えば、近赤外線センサと近紫外線センサ）から取得された画像（複数の非可視光画像）が含まれていてもよい。あるいは、画像には、複数の可視光センサ（例えば、赤色センサと青色センサ）から取得された画像（複数の可視光画像）が含まれていてもよい。あるいは、画像には、露光量の異なる複数のカメラ、又は、シャッター速度の異なる複数のカメラから取得された画像が含まれていてもよい。

あるいは、画像には、撮影時のフラッシュの有無が異なる画像（例えば、フラッシュ画像とフラッシュなし画像）、又は、照明光が異なる画像が含まれていてもよい。この場合、各動画像における撮影時間が異なる場合もあるが、撮影時間の差は、後ほど説明する画像合成に影響しない程度の差であるとする。

あるいは、画像には、一般的なカメラなどを用いて撮影された画像に限られず、所定の情報を画像化した画像が含まれていてもよい。例えば、画像は、深度センサからの画像のように深度の情報を含んだ画像でもよい。あるいは、画像は、オプティカルフロー画像のような動きを情報化した画像、又は、ステレオ画像のように立体を情報化した画像でもよい。

あるいは、画像は、カメラなどが撮影した画像に限られず、コンピュータシミュレーション又はコンピュータグラフィックを用いて生成された画像のように、所定の処理を用いて生成又は修正された画像でもよい。

そして、本発明における実施形態は、動画像における各時刻（各フレーム）における静止画像（複数の静止画像）に対して一つの合成画像を生成する。ただし、本発明の実施形態は、複数の合成画像を生成してもよい。例えば、本発明の実施形態は、明度の変化（コントラスト）に注目した合成画像と、周波数の変化に注目した合成画像とを生成してもよい。以下の説明では、説明を明確にするため、本発明の実施形態は、一つの合成画像を生成する。

静止画像は、複数の「画素」を含む。本発明の実施形態において、画素の値は、所定の判断基準に沿った領域の選択に用いられる値（以下、「指標」と呼ぶ）の算出に用いられる。

より具体的には、画素の値は、例えば、画素の位置における光学的な値（例えば、輝度、又は、明度）である。あるいは、画素の値は、画像コントラスト、エッジの強度、又は、周波数の値である。あるいは、画素の値は、コントラストの値などを基に算出される値でもよい。画素は、複数の値を含んでもよい。

画素の値は、複数の種類の値を用いて算出されてもよい。例えば、画素の値は、コントラストと、エッジの強度とを、所定の重みを用いて結合した値でもよい。

判断基準は、任意であり、情報処理装置を用いる利用者が決定するものである。例えば、判断基準は、視認性、可読性、又は、判読性である。指標は、判断基準を基に決定された所定の計算式（画素の値を用いた計算式）を用いて算出される。

以下の説明では、一例として、判断基準に関連する指標として、視認性における重要度（例えば、コントラスト）を用いる。ただし、これは、本発明を限定するものではない。

以下の説明において、対象画像の画素を「対象画素」又は「第１の画素」とも呼ぶ。事前画像の画素を「事前画素」又は「第２の画素」とも呼ぶ。

さらに、以下の説明において、「対象画素」に対応する指標を「対象指標」又は「第１の指標」とも呼ぶ。「事前画素」に対応する指標を「事前指標」とも呼ぶ。

各静止画像及び合成画像は、同じ大きさ、つまり同じ数の画素を含む。例えば、ｎ番目の画素は、各画像において同じ位置となる。そのため、画像を区別した説明が必要な場合を除き、以下の説明において、画素の位置としては、画像を区別しないで説明する。

例えば、後ほど詳細に説明するラベルは、画素毎に生成される情報である。これを詳細に説明すると、ラベルは、特定の画像の画素に対して生成される情報ではなく、画像間において共通である画素の各位置に対して生成される情報である。ラベルは、各画素の位置に対して一つ存在する情報である。

さらに、本発明における実施形態は、図示しない記憶部を含み、処理対象のデータ（画像など）をその記憶部（例えば、記録装置又はメモリ）に保存してもよい。この場合、以下の説明における各構成は、その記憶部から必要なデータを取得し、生成又は計算したデータを記憶部に保存すればよい。

あるいは、各構成は、データを必要とする構成にデータを送信してもよい。あるいは、各構成は、データを生成又は取得した構成から、必要となるデータを取得してもよい。このように、構成間におけるデータの送信及び受信は、任意である。そのため、以下の説明では、適宜、データの保存及び送受信に関連する説明を省略する。

＜第１の実施形態＞
図面を参照して、第１の実施形態について説明する。

［構成の説明］
まず、第１の実施形態に係る情報処理装置２００の構成について、図面を参照して説明する。

図１は、本発明における第１の実施形態に係る情報処理装置２００の構成の一例を示すブロック図である。

情報処理装置２００は、指標算出部２０１と、領域選択部２０２と、指標合成部２０３と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６と、指標変更部２０７と、画像取得部２０８と、画像出力部２０９とを含む。

画像取得部２０８は、図示しない撮像装置（例えば、カメラ又は測定用のセンサ）から、複数の動画像を取得する。

指標算出部２０１は、動画像に含まれる静止画像の画素毎の指標を算出する。例えば、指標算出部２０１は、対象画像における対象画素毎の対象指標を算出する。指標とは、例えば、視認性の高さにおける重要度である。指標算出部２０１は、後ほど説明する合成画像の画素毎の指標を算出してもよい。

本実施形態において、指標は、任意である。例えば、指標算出部２０１は、指標として、画像における画像コントラスト、エッジの強度、又は周波数などを基に指標を算出する算出式を用いて、指標を算出すればよい。

例えば、明暗の境となる画素は、コントラストが強い画素であり、視認性が高い画素である。指標が視認性における重要度の場合、指標算出部２０１は、算出式として、例えば、コントラストが強い画素に対して大きな値を算出する式を用いればよい。なお、この場合、指標算出部２０１は、予め、指標を算出するための算出式を保存している。

あるいは、指標算出部２０１は、予め実施した機械学習を用いて生成された算出式を用いて、指標（例えば、視認性における重要度）を算出してもよい。機械学習は、任意である。機械学習は、例えば、サポートベクトルマシン、ランダムフォレスト、又は、深層学習などを用いた機械学習である。例えば、指標算出部２０１は、予め、機械学習を実行し、機械学習の結果として、視認性の高い領域の画素に対して大きな値（例えば、重要度の値）を算出する算出式を保持しておく。

より具体的に機械学習の一例を説明すると、次のとおりである。まず、教師データとして、予め、所定の訓練画像（望ましくは、処理の対象となる画像に近い画像）と、その訓練画像における重要な領域（学習対象領域）を示すデータとを用意する。そして、機械学習として、指標算出部２０１は、その教師データを用いて、指標（例えば、重要度）を算出する算出式（例えば、回帰関数）を学習する。

なお、機械学習を実行する構成は、指標算出部２０１に限定されない。指標算出部２０１は、図示しない構成が実行した機械学習の結果として、算出式を取得してもよい。

領域選択部２０２は、対象指標と、変更指標とを基に、指標が特定の条件を満たす領域（例えば指標の値が高い領域）を選択する。

変更指標については、後ほど説明する。

そして、領域選択部２０２は、選択された領域における画素毎（画素の位置毎）に、所定の情報（以下、「ラベル」と呼ぶ）を生成する。

「ラベル」とは、画素毎に生成される情報であり、領域の選択に用いられた指標に対応した画素を含む画像を示す情報である。具体的には、その領域の各画素に対応する位置が、「対象指標を基に選択された」又は「変更指標を基に選択された」のどちらであるかを表す情報である。なお、以下の説明において、両方を用いて選択された画素の場合、ラベルは、対象指標を基に選択されたことを示す情報とする。ただし、両方を用いて選択された画素の場合、ラベルは、変更指標を基に選択されたことを示す情報としてもよい。あるは、ラベルは、両方の指標を基に選択されたことを示す情報でもよい。以下の説明において、ラベルを、「第１の情報」とも呼ぶ。

第１の実施形態において、ラベルの形式及び値は、任意である。例えば、領域選択部２０２は、ラベルとして、動画像のインデックス「ｍ」を利用してもよい。例えば、領域選択部２０２は、ラベルとして、領域が「対象指標」を基に選択された場合には選択に用いられた対象画像を含む動画像のインデックス「ｍ」を設定し、領域が「変更指標」を基に選択された場合には「０」を設定してもよい。

領域選択部２０２が領域を選択する手法は、任意である。例えば、領域選択部２０２は、対象指標及び変更指標の少なくともいずれかが、所定の閾値より高い領域を選択してもよい。なお、対象指標に対する閾値は、変更指標に対する閾値と同じでもよく、異なっていてもよい。あるいは、動画像ごとに、閾値が異なっていてもよい。

あるいは、領域選択部２０２は、指標が空間的に連続して高い領域を選択してもよい。この場合、領域選択部２０２は、各指標に対して、グラフカットなどの最適化計算を用いればよい。

指標合成部２０３は、対象指標と、変更指標と、ラベルとを基に、画素毎に、合成指標を設定する。より具体的には、指標合成部２０３は、ラベルを基に、合成指標として、領域の選択に用いられた指標（対象指標又は変更指標）の値を設定する。指標合成部２０３は、領域として選択されていない画素に対して、合成指標を設定しない。ただし、指標合成部２０３は、領域として選択されていない画素における合成指標として、所定の値（例えば、対象指標の値）を設定してもよい。

以下の説明において、合成指標を、「第３の指標」とも呼ぶ。

位置ずれ算出部２０５は、前フレームの合成画像と、対象画像との間の位置ずれ量を算出する。

前フレームの合成画像は、前フレームの処理において事前画像などを用いて合成された画像である。以下の説明において、前フレームの合成画像を「事前合成画像」又は「第１の合成画像」とも呼ぶ。

なお、動画像は、同一の撮影対象を撮影したものである。そのため、位置ずれ量は、同じフレームの対象画像のいずれにおいても、概ね同じ値となる。そこで、位置ずれ算出部２０５は、予め決めておいたいずれか一つ又は一部の対象画像と事前合成画像との位置ずれ量を算出してもよい。

位置ずれ算出部２０５が対象画像と事前合成画像間の位置ずれ量を算出する方法は、任意である。例えば、位置ずれ算出部２０５は、位置ずれ量として、対象画像と、事前合成画像とにおけるオプティカルフローを算出してもよい。より詳細には、例えば、位置ずれ算出部２０５は、ルーカス・金田法（Ｌｕｃａｓ−Ｋａｎａｄｅ）、又は、ホーン−シャンク（Ｈｏｒｎ−Ｓｃｈｕｎｋ）法などを用いて、対象画像と事前合成画像とのオプティカルフローを算出すればよい。

あるいは、例えば、位置ずれ算出部２０５は、より精緻なオプティカルフローを算出するために、前処理として、対象画像を基に簡易的な合成画像を生成する。そして、位置ずれ算出部２０５は、位置ずれ量として、この簡易的な合成画像と事前合成画像の位置ずれ量を基にしたオプティカルフローを算出してもよい。以下の説明において、簡易的な合成画像を「簡易合成画像」又は「第４の合成画像」とも呼ぶ。

例えば、情報処理装置２００が、画像として、露光量が異なる複数の可視光画像、又は、可視光画像と非可視光画像とを取得した場合、位置ずれ算出部２０５は、簡易合成画像として、受信した画像からブレンディング画像を生成する。そして、位置ずれ算出部２０５は、生成したブレンディング画像（簡易合成画像の一例）と、事前合成画像との間の位置ずれ量を算出してもよい。

ブレンディング画像とは、複数の画像を、各画像に対して予め定めた係数を用いて合成した画像である。

画像合成部２０４は、対象画像と、変形画像と、ラベルとを基に、対象画像に対応した合成画像を生成する。

変形画像とは、後ほど説明する画像変形部２０６が、位置ずれ量を基に事前合成画像を変形した画像である。以下の説明において、変形画像を「第２の合成画像」とも呼ぶ。

また、以下の説明において、対象画像に対応した合成画像を「対象合成画像」又は「第３の合成画像」とも呼ぶ。

画像合成部２０４は、対象合成画像の画素値を、次のように設定する。

ラベルが対象指標を基に選択された情報の場合、画像合成部２０４は、対象合成画像の画素値として、対象画像の画素値を設定する。一方、ラベルが変更指標を基に選択された情報の場合、画像合成部２０４は、対象合成画像の画素値として、変形画像の画素値を設定する。

例えば、ラベルの情報が、領域が「対象指標」を基に選択された場合に選択された対象指標に対応した画素を含む動画像のインデックス（ｍ）であり、領域が「変更指標」を基に選択された場合に「０」であるとする。

この場合、画像合成部２０４は、次のように動作する。ラベルが０より大きい値の場合（ラベル＝ｍの場合）、画像合成部２０４は、対象合成画像の画素値に、ラベルの値（ｍ）に対応する対象画像（ｍ番目の動画像の対象画像）の画素値を設定する。一方、ラベルが０の場合、画像合成部２０４は、対象合成画像の画素値に、変形画像の画素値を設定する。

あるいは、画像合成部２０４は、対象画像を用いる場合、複数の対象画像を用いた画像（例えば、簡易合成画像）を用いて対象合成画像の画素値を設定してもよい。

あるいは、画像合成部２０４は、対象画像の画素値と、変形画像の画素値と、画素におけるラベルとを基に、ポアソン合成などの勾配ベースの方法を用いて、対象合成画像の画素値を算出してもよい。

画像変形部２０６は、位置ずれ量を基に、対象合成画像を変形する。

ここで、現フレームの対象画像は、後の時刻（後フレーム）の対象画像に対して、事前画像となる。そのため、ここで変形の対象となる対象合成画像は、後フレームの対象画像に対して、事前画像を基に合成された事前合成画像（前フレームの事前合成画像）となる。その結果、画像変形部２０６が変形して生成した画像は、後フレームの対象画像に対して、事前合成画像を位置ずれ量を基に変形して生成した変形画像となる。

画像変形部２０６が変形に用いる手法は、任意である。画像変形部２０６は、動画像処理において一般的に用いられている位置ずれ量に基づく変形手法を用いればよい。

指標変更部２０７は、位置ずれ量に基づいて、各画素における合成指標から、各画素における変更指標を算出する。より詳細には、指標変更部２０７は、合成指標を位置ずれ量に対応するように画素における位置を変化させて、変更指標を算出する。

ただし、情報処理装置２００の動作は、上記に限定されない。例えば、情報処理装置２００は、変更指標として、指標算出部２０１を用いて変形画像における指標を算出してもよい。この場合、情報処理装置２００は、指標合成部２０３及び指標変更部２０７を含まなくてもよい。

以下の説明において、変更指標を、「第２の指標」とも呼ぶ。

ここで、現フレームの対象画像は、後の時刻（後フレーム）の対象画像に対して、事前画像となる。そのため、この時点における合成指標は、後フレームにおける対象画像に対して、事前画像に対応した事前指標を用いて合成された合成指標である。その結果、ここで算出された変更指標は、後フレームの対象画像に対して、事前画像の事前指標を用いて合成された合成指標を、位置ずれ量を基に変形した指標となる。

変形画像を基に算出された変更指標も、合成指標に対応する事前合成画像を位置ずれ量を基に変形した変形画像を基に算出された指標のため、位置ずれ量を基に合成指標を変形した指標に相当する。

指標変更部２０７が用いる手法は、任意である。指標変更部２０７は、動画像処理において一般的に用いられている位置ずれ量に基づく変形手法を用いればよい。

変更指標は、事前画像における指標（事前指標）を基に算出される値である。領域選択部２０２は、処理対象の静止画像（対象画像）に関連する指標（対象指標）に加え、過去の静止画像（事前画像）に関連する合成画像（事前合成画像）を位置ずれ量を基に変形した画像（変形画像）に関連する指標（変更指標）を用いて、領域を選択する。選択された領域は、対象指標が所定の値となる対象画像の領域に加え、変形画像における変更指標が所定の値となる領域を含む。そして、画像合成部２０４は、選択された領域を用いて、対象合成画像を生成する。そのため、情報処理装置２００は、動画像において、指標が所定の値となる領域（例えば、重要領域）がフレームに点在しても、それらの領域を用いた合成画像を生成することができる。

画像出力部２０９は、画像合成部２０４が合成した合成画像を図示しない外部の装置（例えば、表示装置）に出力する。

[動作の説明]
次に、図面を参照して、第１の実施形態に係る情報処理装置２００の動作を説明する。

図２は、第１の実施形態に係る情報処理装置２００の動作の一例を示すフローチャートである。

情報処理装置２００が最初の時刻（第１フレーム）の静止画像を処理する場合、前フレームが存在しない。そのため、情報処理装置２００の動作は、「第１フレーム」と、「第２フレーム以降」とで異なる。そこで、第１フレームの動作と、第２フレーム以降の動作とを、分けて説明する。

なお、画像取得部２０８は、以下の動作に先立って、又は、並行して、複数の動画像を取得する。動画像は、複数の静止画像を含む。

第１フレームの動作を開始するときに、情報処理装置２００は、第１フレームの動作であること示す情報を保持する。そして、情報処理装置２００は、第１フレームの動作を開始する。各構成は、必要に応じて、この情報を参照する。

第１のフレームに関連する動作を説明する。

指標算出部２０１は、対象画像における対象指標を算出する（ステップＳ１０１）。

指標合成部２０３は、第１フレームの場合、対象指標を基に合成指標を算出する（ステップＳ１０２）。具体的には、第１フレームの場合、合成指標は、対象指標である。

情報処理装置２００は、対象画像が第１フレームの画像か否かを判定する（ステップＳ１０３）。

今の場合、対象画像が第１フレームの画像なので（ステップＳ１０３でＹｅｓ）、情報処理装置２００は、ステップＳ１０６へ進む。つまり、位置ずれ算出部２０５及び画像変形部２０６は、第１フレームの場合、動作しない。

なお、位置ずれ算出部２０５は、第１フレームの場合、各画素の位置ずれ量として所定の値（例えば、位置ずれ量が「０」であることを示す値）を算出してもよい。この場合でも、画像変形部２０６は、変形画像を生成する必要はない。つまり、情報処理装置２００は、ステップＳ１０３の判断を、ステップＳ１０４の後に実行してもよい。

指標変更部２０７は、第１フレームの場合、合成指標を基に変更指標を算出する（ステップＳ１０６）。具体的には、第１フレームの場合、変更指標は、合成指標、つまり、対象指標である。

領域選択部２０２は、対象指標と変更指標とを基に領域を選択し、さらにラベルを生成する（ステップＳ１０７）。ただし、第１フレームの場合、上記のとおり、変更指標は対象指標である。つまり、領域選択部２０２が、対象指標を基に領域を選択し、さらにラベルを生成する。なお、領域選択部２０２は、第１フレームの場合、ラベルを生成しなくてもよい。

画像合成部２０４は、第１フレームの場合、対象画像と対象指標とを基に対象合成画像を生成する（ステップＳ１０８）。

画像出力部２０９は、対象合成画像を出力する（ステップＳ１０９）。

ここまでが、第１フレームの動作である。

第１フレームの動作が終了すると、情報処理装置２００は、第１フレームであることを示す情報を削除し、第２フレーム以降の動作であることを示す情報を保持する。各構成は、必要に応じて、この情報を参照する。

第１フレームにおいて作成された対象合成画像が、第２フレームの事前合成画像である。

次に、第２フレーム以降の動作を説明する。

指標算出部２０１が、対象画像における対象指標を算出する（ステップＳ１０１）。

指標合成部２０３が、対象指標と変更指標とを基に合成指標を算出する（ステップＳ１０２）。

情報処理装置２００は、対象画像が第１フレームの画像か否かを判定する（ステップＳ１０３）。

今の場合、対象画像が第１フレームの画像ではないので（ステップＳ１０３でＮｏ）、情報処理装置２００は、ステップＳ１０４へ進む。

位置ずれ算出部２０５は、対象画像と事前合成画像との位置ずれ量を算出する（ステップＳ１０４）。

画像変形部２０６は、位置ずれ量を基に、事前合成画像を変形して、変形画像を生成する（ステップＳ１０５）。

指標変更部２０７は、位置ずれ量を基に、合成指標を変更して変更指標を算出する（ステップＳ１０６）。

領域選択部２０２が、対象指標と変更指標とを基に領域を選択し、さらにラベルを生成する（ステップＳ１０７）。

画像合成部２０４が、対象画像と、変形画像と、ラベルとを基に対象合成画像を生成する（ステップＳ１０８）。

画像出力部２０９は、対象合成画像を出力する（ステップＳ１０９）。

以後、情報処理装置２００は、対象画像が終了するまで、ステップＳ１０１からＳ１０９までの動作を繰り返す。

情報処理装置２００における動作の順番は上記に限定されない。

例えば、画像出力部２０９が対象合成画像を出力するタイミングは、上記に限定されない。例えば、情報処理装置２００が図示しないバッファを含む場合、画像合成部２０４が対象合成画像をバッファに保存し、画像出力部２０９が所定の間隔で対象合成画像を出力してもよい。

なお、情報処理装置２００は、動作に先立ち、変更指標などに所定の値を設定してから、動作を開始してもよい。例えば、情報処理装置２００は、全ての変更指標に初期値（例えば、最低値）を設定し、事前合成画像及び変形画像に第１フレームの対象画像の簡易合成画像を設定してから、上記の動作を開始してもよい。この場合、第１フレームの動作と、第２フレーム以降の動作とが同じ動作となる。そのため、情報処理装置２００は、ステップＳ１０３を含まず、第１フレームの動作を省略し、第２フレーム以降の動作から開始してもよい。

次に、図面を参照して、情報処理装置２００の動作をさらに説明する。

図３は、第１の実施形態における画像及び指標などの関係を示す図である。図３において、点線より右側に示されている画像及び指標が、現フレームに関連する画像及び指標である。点線より左側に示されている画像及び指標が、前フレームに関連する画像及び指標である。点線上に示されている位置ずれ量及びラベルが、現フレームと前フレームとの両方から算出される情報である。

指標算出部２０１は、複数の動画像における現フレームの複数の対象画像に含まれる対象画素における対象指標を算出する。なお、前フレームの処理では、指標算出部２０１は、事前画像（前フレームの処理では対象画像）に含まれる事前画素における事前指標を算出している。

位置ずれ算出部２０５は、前フレームの事前画像を基に合成された事前合成画像と、対象画像との間の位置ずれ量を算出する。

画像変形部２０６は、位置ずれ量を基に事前合成画像を変形して変形画像を生成する。

指標合成部２０３は、事前画像に含まれる事前画素に対応した合成指標を基に算出される変更指標と、対象指標とを用いて合成指標を合成する。

指標変更部２０７は、位置ずれ量を基に、合成指標から新しい変更指標（対象画像に対応した変更指標）を算出する。

領域選択部２０２は、対象指標が所定の条件を満たす（例えば、閾値より大きい）画素の位置と、変更指標が所定の条件を満たす（閾値より大きい）画素の位置とを含む領域を選択する。図３は、領域の図示を省略している。領域については、後ほど、図４を参照して説明する。

領域選択部２０２は、領域が対象指標及び変更指標のいずれを用いて選択されたかを示す情報であるラベルを生成する。

画像合成部２０４は、領域において、変形画像と、対象画像と、ラベルとを基に、対象画像に対応する対象合成画像を合成する。

図４は、第１の実施形態における合成画像を説明するための図である。図４は、説明の参考として、第１に実施形態が生成する合成画像に加え、非特許文献１などの技術（以下、「関連技術」と呼ぶ）を用いた場合の合成画像を示す。

以下の説明において、指標に適用する所定の条件は、指標が所定の閾値より高いこととする。

説明の便宜のため、図４において、第１の動画像（以下、「動画像Ａ」と呼ぶ）及び第２の動画像（以下、「動画像Ｂ」と呼ぶ）は、前フレームより前では指標が高い領域を含まないとする。また、図４は、位置ずれ量を基づく変形を省略している。つまり、図４において、変形画像は、事前合成画像と同じ画像となる。

まず、前フレームにおける合成画像について説明する。

動画像Ａは、前フレームにおいて、指標が高い領域（以下、「領域Ａ」と呼ぶ）を含む。一方、動画像Ｂは、前フレームにおいて、指標が高い領域を含まない。

この場合、前フレームにおける合成画像（事前合成画像）は、動画像Ａにおける指標の高い領域（領域Ａ）を含む画像となる。

関連技術の合成画像も、動画像Ａにおける指標の高い領域（領域Ａ）を含む画像となる。

次に、現フレームにおける合成画像について説明する。

動画像Ａは、現フレームにおいて、指標が高い領域を含まない。一方、動画像Ｂは、現フレームにおいて、指標が高い領域（以下、「領域Ｂ」と呼ぶ）を含む。

この場合、関連技術の合成画像は、動画像Ｂにおける指標が高い領域（領域Ｂ）を含む画像となる。

一方、情報処理装置２００は、図４に示されているように、これまで説明した動作を用いて、領域Ｂに加え、変形画像（事前合成画像）における指標が高い領域（領域Ａに対応する領域）を合成画像に含ませる。このように、情報処理装置２００は、動画像において、フレームに点在する所定の領域を用いて画像を合成することができる。

［効果の説明］
次に、第１の実施形態の効果を説明する。

第１の実施形態に係る情報処理装置２００は、動画像においてフレームに点在する所定の領域を用いて画像を合成するとの効果を奏することができる。

その理由は、次のとおりである。

情報処理装置２００は、指標算出部２０１と、領域選択部２０２と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６とを含む。情報処理装置２００は、性質の異なる複数の動画像を用いる。指標算出部２０１は、画像の画素において、所定の領域を選択するための指標を算出する。位置ずれ算出部２０５は、現フレーム（第１の時刻）における対象画像（第１の画像）と、現フレーム（第１の時刻）より前の時刻である前フレーム（第２の時刻）における事前合成画像（第１の合成画像）との間における位置ずれ量を算出する。画像変形部２０６は、位置ずれ量を基に、事前合成画像（第１の合成画像）を変形して変形画像（第２の合成画像）を生成する。領域選択部２０２は、対象画像（第１の画像）における対象指標（第１の指標）が所定の条件を満たす第１の領域と、変形画像（第２の合成画像）における変更指標（第２の指標）が所定の条件を満たす第２の領域とを示すラベル（第１の情報）を生成する。画像合成部２０４は、対象画像（第１の画像）と、変形画像（第２の合成画像）と、ラベル（第１の情報）とを基に、第１の時刻における対象合成画像（第３の合成画像）を合成する。

上記のように、指標算出部２０１が、画像の指標を算出する。

位置ずれ算出部２０５は、現フレームにおける対象画像と、前フレームにおける事前合成画像との位置ずれ量を算出する。

画像変形部２０６は、位置ずれ量を基に、事前合成画像を変形して変形画像を生成する。

領域選択部２０２は、対象画像に関連する対象指標に加え、変形画像に関連する変更指標を用いて領域を選択する。

変形画像は、位置ずれ量を考慮した前フレームに関連する合成画像である。変更指標は、位置ずれ量を考慮した事前画像（前フレームの画像）に関連する指標（事前指標）であり、変形画像に関連する指標である。

領域選択部２０２は、対象画像における指標（対象指標）に加え、変形画像に関連する指標（変更指標）を用いて領域を選択する。そのため、選択された領域は、対象指標が高い領域に加え、事前画像に関連する変更指標が高い領域を含む。指標が高い領域がフレームに点在していても、領域選択部２０２は、フレームに点在する領域（対象画像の領域と変形画像の領域）を含む領域を選択する。

そして、画像合成部２０４は、選択された領域において、対象画像に加え、変形画像を用いて合成画像を作成する。そのため、情報処理装置２００は、動画像において、指標が所定の値となる領域（例えば、重要領域）がフレームに点在しても、それらの領域を用いた合成画像を生成することができる。

さらに、情報処理装置２００は、指標合成部２０３と指標変更部２０７を含む。指標合成部２０３は、ラベルと、対象指標と、変更指標とを基に、合成指標を算出する。そして、指標変更部２０７は、位置ずれ量を基に、合成指標を変更して、後フレーム用の更新指標を算出する。情報処理装置２００は、これらの構成を用いて、後フレームの動作に必要となる更新指標を算出する。ただし、情報処理装置２００は、指標算出部２０１を用いて、変形画像から更新指標を算出してもよい。

さらに、情報処理装置２００は、画像取得部２０８と、画像出力部２０９とを含む。情報処理装置２００は、これらの構成を用いて、外部から動画像を取得し、所定の装置に合成画像を出力することができる。

ただし、情報処理装置２００は、図示しない記憶部を含み、その記憶部から動画像を取得してもよく、対象合成画像をその記憶部に保存してもよい。この場合、情報処理装置２００は、画像取得部２０８及び／又は画像出力部２０９を含まなくてもよい。

［実施形態の概要］
図面を参照して第１の実施形態の概要を説明する。

図５は、第１の実施形態の概要である情報処理装置２５０の構成の一例を示すブロック図である。

情報処理装置２５０は、指標算出部２０１と、領域選択部２０２と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６とを含む。情報処理装置２５０は、性質の異なる複数の動画像を用いる。指標算出部２０１は、画像の画素において、所定の領域を選択するための指標を算出する。位置ずれ算出部２０５は、現フレーム（第１の時刻）における対象画像（第１の画像）と、現フレーム（第１の時刻）より前の時刻である前フレーム（第２の時刻）における事前合成画像（第１の合成画像）との間における位置ずれ量を算出する。画像変形部２０６は、位置ずれ量を基に、事前合成画像（第１の合成画像）を変形して変形画像（第２の合成画像）を生成する。領域選択部２０２は、対象画像（第１の画像）における対象指標（第１の指標）が所定の条件を満たす第１の領域と、変形画像（第２の合成画像）における変更指標（第２の指標）が所定の条件を満たす第２の領域とを示すラベル（第１の情報）を生成する。画像合成部２０４は、対象画像（第１の画像）と、変形画像（第２の合成画像）と、ラベル（第１の情報）とを基に、第１の時刻における対象合成画像（第３の合成画像）を合成する。

このように構成された情報処理装置２５０は、情報処理装置２００と同様に、動画像においてフレームに点在する重要領域を用いて画像を合成するとの効果を奏する。

その理由は、情報処理装置２５０における構成が、上記のとおり動作し、情報処理装置２００と同様に、動画像においてフレームに点在する所定の領域を用いて画像を合成するためである。

なお、情報処理装置２５０は、第１の実施形態の最小構成である。

［ハードウェアの説明］
情報処理装置２００を参照して、情報処理装置２００及び２５０のハードウェアの構成について説明する。

情報処理装置２００は、次のように構成される。

例えば、情報処理装置２００の各構成部は、ハードウェア回路で構成されてもよい。

あるいは、情報処理装置２００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。

あるいは、情報処理装置２００において、複数の構成部は、１つのハードウェアで構成されてもよい。

あるいは、情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。情報処理装置２００は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Ｉｎｐｕｔ ａｎｄ Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。情報処理装置２００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。

図６は、第１の実施形態に係る情報処理装置２００のハードウェア構成の一例である情報処理装置６００の構成を示すブロック図である。

情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示されている、各構成としての各機能を実現する。各構成とは、指標算出部２０１と、領域選択部２０２と、指標合成部２０３と、画像合成部２０４と、位置ずれ算出部２０５と、画像変形部２０６と、指標変更部２０７と、画像取得部２０８と、画像出力部２０９とである。

あるいは、情報処理装置２００は、ハードウェアとソフトウェア（プログラム）との組合せを用いて構成されてもよい。

そのプログラムは、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００に記録されて頒布されてもよい。この場合、ＣＰＵ６１０は、記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いてＲＡＭ６３０又は内部記憶装置６４０に読み込み、読みこんだプログラムを基に動作すればよい。

記録媒体７００は、例えば、オプティカルディスク、交換型磁気ディスク、又は、交換型半導体メモリである。

あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は内部記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ−ＲＯＭ）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Ｄｙｎａｍｉｃ−ＲＡＭ）である。

内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。

入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。情報処理装置６００は、入力機器６６０を含んでもよい。この場合、入力機器６６０は、画像取得部２０８として動作してもよい。

表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。情報処理装置６００は、表示機器６７０を含んでもよい。この場合、表示機器６７０は、画像出力部２０９として動作してもよい。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。ＮＩＣ６８０は、画像取得部２０８及び／又は画像出力部２０９として動作してもよい。

このように構成された情報処理装置６００は、情報処理装置２００と同様の効果を得ることができる。

その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置２００と同様の機能を実現できるためである。

［システムの説明］
図面を参照して、情報処理装置２００を含む情報処理システム３００を説明する。

図７は、第１の実施形態に係る情報処理システム３００の構成の一例を示すブロック図である。

情報処理システム３００は、情報処理装置２００と、画像表示装置３１０とを含む。

情報処理装置２００は、外部の装置から動画像を取得する。そして、情報処理装置２００は、上記の動作を基に合成画像を生成する。外部の装置は任意である。図７は、外部の装置の例示として、動画像を撮影する撮像装置、及び、動画像を保存している画像記録装置を示している。

そして、情報処理装置２００は、生成した合成画像（対象合成画像）を画像表示装置３１０に送信する。

画像表示装置３１０は、受信した合成画像を表示する。

合成画像は、動画像においてフレームに点在する所定の領域（例えば、重要領域）を合成した画像である。そのため、重要領域がフレームに点在する場合でも、情報処理システム３００の利用者は、画像表示装置３１０に表示された合成画像を用いて、動画像における重要領域を確認することができる。

なお、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１７年 ８月２９日に出願された日本出願特願２０１７−１６４２２５を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

２００ 情報処理装置
２０１ 指標算出部
２０２ 領域選択部
２０３ 指標合成部
２０４ 画像合成部
２０５ 位置ずれ算出部
２０６ 画像変形部
２０７ 指標変更部
２０８ 画像取得部
２０９ 画像出力部
２５０ 情報処理装置
３００ 情報処理システム
３１０ 画像表示装置
６００ 情報処理装置
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記録媒体

Claims (8)

1. 画像の画素において、所定の領域を選択するための指標を算出する指標算出手段と、
   性質の異なる複数の動画像の第１の時刻における第１の画像と、前記第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する位置ずれ算出手段と、
   前記位置ずれ量を基に、前記第１の合成画像を変形して第２の合成画像を生成する画像変形手段と、
   前記第１の画像における第１の指標が所定の条件を満たす第１の領域と、前記第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する領域選択手段と、
   前記第１の画像と、前記第２の合成画像と、前記第１の情報とを基に、前記第１の時刻における第３の合成画像を合成する画像合成手段と
   を含む情報処理装置。
2. 前記位置ずれ算出手段が、
   前記位置ずれ量として、１つ又は複数の前記第１の画像と前記第１の合成画像との間の前記位置ずれ量、又は、前記第１の画像を基に合成された第４の合成画像と前記第１の合成画像との間の前記位置ずれ量を算出する
   請求項１に記載の情報処理装置。
3. 前記第１の画像における前記第１の指標と前記第２の指標とを基に第３の指標を合成する指標合成手段と
   前記位置ずれ量を基に、前記第３の指標を変更して、前記第１の時刻より後の時刻である第３の時刻における前記第２の指標を算出する指標変更手段と、
   をさらに含む請求項１又は２に記載の情報処理装置。
4. 前記指標算出手段が、
   前記指標の算出において、所定の訓練画像と前記訓練画像における学習対象領域を示す情報とを用いた機械学習の結果を用いる
   請求項１ないし３のいずれか１項に記載の情報処理装置。
5. 前記指標が、画像における視認性、判読性、又は、可読性に関連する画像コントラスト、エッジの強度、及び、周波数の少なくとも一つを含む
   請求項１ないし４のいずれか１項に記載の情報処理装置。
6. 請求項１ないし５のいずれか１項に記載の前記情報処理装置と、
   前記情報処理装置から前記第３の合成画像を受信して表示する表示装置と
   を含む情報処理システム。
7. 画像の画素において、所定の領域を選択するための指標を算出し、
   性質の異なる複数の動画像の第１の時刻における第１の画像と、前記第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出し、
   前記位置ずれ量を基に、前記第１の合成画像を変形して第２の合成画像を生成し、
   前記第１の画像における第１の指標が所定の条件を満たす第１の領域と、前記第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成し、
   前記第１の画像と、前記第２の合成画像と、前記第１の情報とを基に、前記第１の時刻における第３の合成画像を合成する
   を含む情報処理方法。
8. 画像の画素において、所定の領域を選択するための指標を算出する処理と、
   性質の異なる複数の動画像の第１の時刻における第１の画像と、前記第１の時刻より前の時刻である第２の時刻における第１の合成画像との間における位置ずれ量を算出する処理と、
   前記位置ずれ量を基に、前記第１の合成画像を変形して第２の合成画像を生成する処理と、
   前記第１の画像における第１の指標が所定の条件を満たす第１の領域と、前記第２の合成画像における第２の指標が所定の条件を満たす第２の領域とを示す第１の情報を生成する処理と、
   前記第１の画像と、前記第２の合成画像と、前記第１の情報とを基に、前記第１の時刻における第３の合成画像を合成する処理と
   をコンピュータに実行させるプログラム。

Images