JP7268721B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理装置および情報処理方法に関する。

従来、高速処理またはメモリ量の削減などのため、データ量を低減した画像の提供が行われている。例えば、浮動小数点数形式の画像を固定小数点形式の画像に変換する演算装置、および固定小数点数データの小数点位置を更新する演算処理装置などが知られている（例えば、特許文献１および非特許文献１参照）。

特開２０１８－１２４６８１号公報

池敦、外３名、「Ｄｅｅｐ Ｌｅａｒｎｉｎｇのための高効率化技術」、ＦＵＪＩＴＳＵ．６８，５，ｐ．１５－２１（０９，２０１７）

しかしながら、従来では、データ量の低減処理前には識別可能であった物体の輪郭などの特徴点の一部が、データ量の低減処理によって欠損する場合があった。このため、従来では、特徴点欠損を抑制した画像データを提供することは困難であった。

１つの側面では、本発明は、特徴点欠損を抑制した画像を提供することができる、情報処理装置および情報処理方法を提供することを目的とする。

本願の開示する情報処理装置は、一つの態様において、入力画像を取得して、第１の画像および第２の画像を出力する第１の取得部と、前記第１の画像から第１の特徴点情報を抽出する第１の抽出部と、前記第２の画像のデータ量を低減した第３の画像を生成する第１の生成部と、前記第３の画像から第２の特徴点情報を抽出する第２の抽出部と、前記第１の特徴点情報と前記第２の特徴点情報との差を導出する導出部と、前記差に応じて補正された前記第３の画像を出力画像として出力する第１の出力制御部と、を備える。

本願の開示する情報処理装置の一つの態様によれば、特徴点欠損を抑制した画像を提供することができる。

図１は、第１の実施の形態の情報処理システムの全体構成の一例を示す図である。 図２は、第１の実施の形態の情報処理装置のハードウェア構成の一例を示す図である。 図３は、第１の実施の形態の情報処理装置の機能の一例を示す図である。 図４Ａは、第１の実施の形態の入力画像の一例を示す模式図である。 図４Ｂは、第１の実施の形態の表示画像の一例を示す模式図である。 図４Ｃは、第１の実施の形態の伸長済画像の一例を示す模式図である。 図４Ｄは、第１の実施の形態の第３の画像の一例を示す模式図である。 図４Ｅは、第１の実施の形態の第１の画像の明るさのヒストグラムの一例を示す線図である。 図４Ｆは、第１の実施の形態の第３の画像の明るさのヒストグラムの一例を示す線図である。 図５Ａは、第１の実施の形態の画素値の補正の説明図である。 図５Ｂは、第１の実施の形態の画素値の補正の説明図である。 図５Ｃは、第１の実施の形態の画素値の補正の説明図である。 図５Ｄは、第１の実施の形態の画素値の補正の説明図である。 図６は、第１の実施の形態の出力画像の一例を示す模式図である。 図７は、第１の実施の形態の情報処理装置が実行する、情報処理の一例を示すフローチャートである。 図８は、第２の実施の形態の情報処理システムの全体構成の一例を示す図である。 図９は、第２の実施の形態の情報処理装置の機能の一例を示す図である。 図１０は、第２の実施の形態の情報処理装置が実行する、情報処理の一例を示すフローチャートである。 図１１は、第３の実施の形態の情報処理システムの全体構成の一例を示す図である。 図１２は、第３の実施の形態の情報処理装置の機能の一例を示す図である。 図１３は、第３の実施の形態の情報処理装置が実行する、情報処理の一例を示すフローチャートである。 図１４は、第４の実施の形態の情報処理システムの全体構成の一例を示す図である。 図１５は、第４の実施の形態の情報処理装置の機能の一例を示す図である。 図１６は、第４の実施の形態の情報処理装置が実行する、情報処理の一例を示すフローチャートである。 図１７は、第５の実施の形態の情報処理装置の機能の一例を示す図である。 図１８は、第５の実施の形態の情報処理装置が実行する、情報処理の一例を示すフローチャートである。

以下、添付図面を参照しながら、本願の開示する情報処理装置および情報処理方法の実施の形態を詳細に説明する。なお、以下の実施の形態は開示の技術を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

（第１の実施の形態）
図１は、本実施の形態の情報処理システム１の全体構成の一例を示す図である。情報処理システム１は、情報処理装置１０と、撮影部１２と、表示部１４と、学習部１６と、を備える。撮影部１２、表示部１４、および学習部１６と、情報処理装置１０とは、データまたは信号を授受可能に接続されている。

撮影部１２は、撮影によって撮影画像を得る。撮影部１２は、例えば、公知のイメージセンサである。本実施の形態では、撮影部１２は連続して撮影を行い、撮影によって得た撮影画像データを、情報処理装置１０へ順次、出力する。以下、撮影画像データを、単に、撮影画像と称して説明する。

表示部１４は、各種の情報を表示する。表示部１４は、例えば、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。

学習部１６は、情報処理装置１０から受付けた出力画像に基づいて、学習済モデルを用いた処理を行い、処理結果情報を出力する。処理結果情報は、画像から導出される情報であり、例えば、学習済モデルを用いた処理により導出される正解情報である。例えば、処理結果情報は、画像に含まれる物体に関する情報などであるが、これに限定されない。

学習済モデルは、出力画像から、処理結果情報を生成とするための、機械学習済モデルである。学習済モデルは、予め定めた機械学習アルゴリズムの深層学習（ディープラーニング）により予め学習される。アルゴリズムは、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）である。また、アルゴリズムは、例えば、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）である。また、アルゴリズムは、例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）などである。

なお、学習部１６は、学習済モデルを生成するための学習に用いる教師データとして、情報処理装置１０から受付けた出力画像を用いてもよい。

情報処理装置１０は、撮影部１２から撮影画像を受付ける。以下、撮影部１２から受付ける撮影画像を、入力画像と称して説明する。情報処理装置１０は、受付けた入力画像に対してデータ量の低減などの各種の処理を実行し、表示部１４および学習部１６へ出力する（詳細後述）。情報処理装置１０は、例えば、データ量の低減処理が施された入力画像を、学習済モデルへの入力として学習部１６に出力する。

次に、ハードウェア構成を説明する。図２は、情報処理装置１０のハードウェア構成の一例を示す図である。

情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０Ｃ、及びＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０Ｄを含み、例えば、コンピュータである。ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、およびＩ／Ｆ１０Ｄは、バス１０Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ１０Ａは、本実施の形態の情報処理装置１０を制御する演算装置である。ＣＰＵ１０Ａは、ハードウェアプロセッサの一例に対応する。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａによる各種の処理に必要なデータを記憶する。Ｉ／Ｆ１０Ｄは、撮影部１２、表示部１４、および学習部１６などに接続し、データを送受信するためのインターフェースである。

本実施の形態の情報処理装置１０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１０Ｂ等に予め組み込んで提供される。なお、本実施の形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供するように構成してもよい。記録媒体は、コンピュータにより読取可能であり、ＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等である。

次に、情報処理装置１０の機能的構成を説明する。図３は、情報処理装置１０の機能の一例を示す図である。なお、図３には、データの入出力関係を明確にするために、情報処理装置１０に加えて、撮影部１２、表示部１４、および学習部１６を併せて図示した。

情報処理装置１０は、第１の取得部２０Ａと、編集部２０Ｂと、第２の出力制御部２０Ｃと、第１の抽出部２０Ｄと、伸長部２０Ｅと、第１の生成部２０Ｆと、第２の抽出部２０Ｇと、導出部２０Ｈと、第１の補正部２０Ｉと、第１の出力制御部２０Ｊと、を備える。

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

第１の取得部２０Ａは、入力画像を取得する。上述したように、第１の取得部２０Ａは、撮影部１２で撮影された撮影画像を、入力画像として取得する。第１の取得部２０Ａは、入力画像を取得するごとに、取得した入力画像を編集部２０Ｂおよび伸長部２０Ｅへ出力する。

本実施の形態では、第１の取得部２０Ａは、入力画像を、第１の画像として編集部２０Ｂへ出力する。また、第１の取得部２０Ａは、入力画像を、第２の画像として伸長部２０Ｅへ出力する。なお、第１の画像および第２の画像は入力画像と同一のものには限定されず、第１の取得部２０Ａは、必要に応じて、第１の画像または第２の画像として、入力画像に何らかの加工を施した後の画像を出力してもよい。以下の第２乃至第５の実施の形態においても同様である。

図４Ａは、入力画像５０の一例を示す模式図である。入力画像５０は、被写体を撮影した画像である。被写体は、１または複数の物体である。図４Ａには、入力画像５０が、物体Ｐ１と、物体Ｐ２と、を含む形態を一例として示した。図４Ａに示すように、第１の画像５２および第２の画像５４は、同じ入力画像５０である。但し、第１の画像５２は、表示部１４に表示する対象として処理される入力画像５０である。一方、第２の画像５４は、学習部１６へ出力する対象として処理される入力画像５０である。

図３に戻り説明を続ける。編集部２０Ｂは、第１の取得部２０Ａから受付けた第１の画像５２を鮮明化する。鮮明化とは、第１の画像５２を表示部１４への表示用に加工することを示す。例えば、鮮明化は、第１の画像５２に対して、編集、色補正、およびノイズ除去などの加工を行うことを示す。色補正は、例えば、γ補正である。編集部２０Ｂは、表示部１４の仕様などに応じて、表示部１４に表示されたときに鮮明な画像となるように、第１の画像５２に対して公知の鮮明化を実行すればよい。

編集部２０Ｂは、表示画像を、第１の抽出部２０Ｄおよび第２の出力制御部２０Ｃへ出力する。図４Ｂは、表示画像５３の一例を示す模式図である。表示画像５３は、編集部２０Ｂによって鮮明化された第１の画像５２である。

図３に戻り説明を続ける。第２の出力制御部２０Ｃは、第１の画像５２を表示部１４へ出力する。本実施の形態では、第２の出力制御部２０Ｃは、表示画像５３を表示部１４へ出力する。このため、表示部１４には、表示画像５３が表示される。

第１の抽出部２０Ｄは、表示画像５３から第１の特徴点情報を抽出する。なお、第１の抽出部２０Ｄは、入力画像５０である第１の画像５２から、第１の特徴点情報を抽出してもよい。

第１の特徴点情報とは、物体に関する情報である。物体に関する情報とは、物体の少なくとも一部の特徴点を示す情報である。物体の特徴点は、例えば、物体の輪郭線（境界、エッジ）、および、物体を構成する点、などである。物体の輪郭線は、明るさの勾配などによって表される。本実施の形態では、第１の特徴点情報は、第１の画像５２に含まれる、物体の輪郭線を示す情報である場合を、一例として説明する。

本実施の形態では、第１の抽出部２０Ｄは、ハイパスフィルタ（ＨＰＦ：Ｈｉｇｈ－ｐａｓｓ ｆｉｌｔｅｒ）を用いて、表示画像５３から第１の特徴点情報を抽出する。ハイパスフィルタは、エッジ抽出に用いられる公知のフィルタである。フィルタ処理に用いるフィルタの種類は、例えば、Ｓｏｂｅｌフィルタ、またはＬａｐｌａｃｉａｎフィルタである。第１の抽出部２０Ｄは、ハイパスフィルタを用いて、表示画像５３を構成する複数の画素の各々について、周辺画素との画素値の変化率を導出する。この導出により、第１の抽出部２０Ｄは、第１の特徴点情報を抽出する。すなわち、本実施の形態では、第１の抽出部２０Ｄは、表示画像５３を構成する複数の画素の各々について、第１の特徴点情報を抽出する。

周辺画素とは、処理対象の画素に対して隣接して配置された少なくとも１つの画素を示す。なお、周辺画素は、処理対象の画素に対して隣接して配置された１または複数の画素と、該画素に対して隣接する位置から離れる方向に向かって配列された１または複数の画素と、を含むものであってもよい。

画素値の変化率は、画素値によって表される色の明るさの変化率を示す。画素値は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）などの色の要素を色値（例えば、０～２５５の階調値）で表したものである。なお、色値は、色の要素に加えて、輝度値を更に含んでいてもよい。明るさは、これらの色値によって表される色の明るさである。明るさは、明度および輝度の少なくとも一方を示す。本実施の形態では、第１の抽出部２０Ｄは、表示画像５３を構成する複数の画素の各々について、周辺画素との明るさの変化率、すなわち明るさの勾配（微分値）を、第１の特徴点情報として抽出する。

なお、第１の抽出部２０Ｄは、公知の方法で、表示画像５３から第１の特徴点情報を抽出すればよく、ハイパスフィルタを用いた形態に限定されない。

第１の抽出部２０Ｄは、抽出した第１の特徴点情報を、導出部２０Ｈへ出力する。詳細には、例えば、第１の抽出部２０Ｄは、抽出した第１の特徴点情報と、該第１の特徴点情報を抽出した画素の識別情報とを、画素ごとに順次、導出部２０Ｈへ出力する。画素の識別情報は、例えば、画素の画素位置を示す情報である。

一方、伸長部２０Ｅは、第１の取得部２０Ａから第２の画像５４を受付ける。伸長部２０Ｅは、第２の画像５４の明るさのヒストグラムを伸長化する。第２の画像５４の明るさのヒストグラムは、第２の画像５４に含まれる複数の画素の明るさの分布を、グラフで示したものである。ヒストグラムは、度数分布図と称される場合がある。例えば、第２の画像５４に含まれる複数の画素の画素値が、特定の明るさの範囲に偏って分布していたと想定する。この場合、伸長部２０Ｅは、より広い範囲に明るさの分布を伸長することで、第２の画像５４の明るさのヒストグラムを伸長化する。伸長部２０Ｅは、公知の伸長化方法を用いて、第２の画像５４の明るさのヒストグラムを伸長化すればよい。第２の画像５４の明るさのヒストグラムを伸長化することによって、伸長部２０Ｅは、第２の画像５４の濃淡の明確化を図ることができる。

伸長部２０Ｅは、伸長済画像を、第１の生成部２０Ｆへ出力する。図４Ｃは、伸長済画像５５の一例を示す模式図である。伸長済画像５５は、第２の画像５４を伸長化した画像である。図３に戻り説明を続ける。なお、伸長部２０Ｅは、伸長済画像５５に含まれる１または複数の物体の各々が識別しやすくなるように、第２の画像５４を最適化する処理を実行すればよい。最適化には、公知の画像処理技術を用いればよい。このため、伸長部２０Ｅは、ヒストグラムの伸長化以外の処理を更に実行してもよい。

第１の生成部２０Ｆは、入力画像５０である第２の画像５４のデータ量を低減し、第３の画像を生成する。

第２の画像５４のデータ量を低減する、とは、第２の画像５４のデータ量を、現在のデータ量より低減することを示す。具体的には、第２の画像５４のデータ量を低減する、とは、第２の画像５４のビット深度を低減すること、および、第２の画像５４の解像度を低減すること、の少なくとも一方を示す。

第２の画像５４のビット深度を低減することとは、第２の画像５４のビット深度を、現在のビット深度より低減することを意味する。ビット深度とは、画素値を表す階調数を意味する。例えば、ビット深度が８ビットである場合、階調数は２５６である。第１の生成部２０Ｆは、第２の画像５４のビット深度を、例えば、８ビットから８ビット未満のビット深度へ低減することで、第２の画像５４のデータ量を低減した第３の画像を生成する。第１の生成部２０Ｆは、公知の方法を用いて、第２の画像５４のビット深度を低減すればよい。また、ビット深度の低減率は、出力画像を出力する対象の学習部１６の要求仕様などに応じて、適宜調整すればよい。

第２の画像５４の解像度を低減することとは、第２の画像５４の解像度を、現在の解像度より低減することを意味する。例えば、第２の画像５４の解像度が３５０ｄｐｉであると想定する。この場合、第１の生成部２０Ｆは、第２の画像５４の解像度を３５０ｄｐｉ未満（例えば、７２ｄｐｉなど）に低減する。なお、第１の生成部２０Ｆは、公知の方法を用いて、第２の画像５４の解像度を低減すればよい。また、解像度の低減率は、出力画像を出力する対象の学習部１６の要求仕様などに応じて、適宜調整すればよい。

本実施の形態では、第１の生成部２０Ｆは、第２の画像５４のビット深度を低減することで、第２の画像５４のデータ量を低減した第３の画像を生成する場合を一例として説明する。また、本実施の形態では、第１の生成部２０Ｆは、伸長部２０Ｅから受付けた伸長済画像５５のデータ量を低減し、第３の画像を生成する形態を説明する。

本実施の形態では、第１の生成部２０Ｆは、伸長済画像５５を構成する複数の画素ごとに、データ量を低減することで、第３の画像５６を生成する。そして、第１の生成部２０Ｆは、第３の画像５６の画素値を、画素ごとに第２の抽出部２０Ｇへ順次、出力する。

図４Ｄは、第３の画像５６の一例を示す模式図である。第１の生成部２０Ｆが、第２の画像５４（図４Ａ参照）のデータ量を低減することで、例えば、第３の画像５６が生成される。

ここで、第１の生成部２０Ｆによるデータ量の低減処理によって、データ量の低減処理前に識別可能であった物体の輪郭線などの特徴点の一部が欠損する場合がある。

具体的には、データ量の低減処理前の第２の画像５４では識別可能であった物体Ｐ１および物体Ｐ２の内（図４Ａ参照）、物体Ｐ２と背景との明るさの差が、物体Ｐ１と背景との明るさの差より少ないと想定する。この場合、第２の画像５４のデータ量の低減処理により、物体Ｐ２の特徴点の一部が欠損し、第３の画像５６では背景と同化して識別困難となる場合がある（図４Ｄ参照）。

これは、明るさのヒストグラムが変化するためと考えられる。図４Ｅは、第１の画像５２の明るさのヒストグラム６０の一例を示す線図である。図４Ｆは、第３の画像５６の明るさのヒストグラム６２の一例を示す線図である。図４Ｅおよび図４Ｆ中、縦軸は画素数を示し、横軸は明るさを示す。

図４Ｅに示すように、第１の画像５２の明るさのヒストグラム６０には、物体Ｐ１を示すピーク６０Ａと、物体Ｐ２を示すピーク６０Ｂと、の双方が含まれる。しかし、データ量を低減することで生成された第３の画像５６の明るさのヒストグラム６２には、物体Ｐ１を示すピーク６２Ａは示されるが、物体Ｐ２を示すピークは消失する（図４Ｆ参照）。

このような第３の画像５６を、画像に含まれる物体を検出することで各種の処理を実行する装置などに適用すると、処理精度が低下する場合がある。各種の処理を実行する該装置としては、例えば、学習部１６がある。学習部１６では、高速化または省メモリ化の観点から、より少ないデータ量の画像を処理に用いる事が好ましい。しかし、物体の特徴点の一部が欠損した第３の画像５６を、学習部１６の学習済モデルに入力する画像、または、学習済モデルを生成するための学習に用いる教師データとして用いると、学習精度が低下する場合がある。

図３に戻り説明を続ける。そこで、本実施の形態では、情報処理装置１０は、第１の抽出部２０Ｄ、第２の抽出部２０Ｇ、導出部２０Ｈ、および第１の補正部２０Ｉを備える。

第２の抽出部２０Ｇは、第３の画像５６から第２の特徴点情報を抽出する。

第２の特徴点情報とは、物体に関する情報である。物体に関する情報および物体の特徴点の定義は、上記と同様である。本実施の形態では、第２の特徴点情報は、第３の画像５６に含まれる、物体の輪郭線を示す情報である場合を、一例として説明する。

本実施の形態では、第２の抽出部２０Ｇは、第１の抽出部２０Ｄと同様に、ハイパスフィルタを用いて、第３の画像５６から第２の特徴点情報を抽出する。ハイパスフィルタは、第１の抽出部２０Ｄが用いるハイパスフィルタと同様である。すなわち、第２の抽出部２０Ｇは、ハイパスフィルタを用いて周辺画素との画素値の変化率を導出することで、第３の画像５６を構成する複数の画素の各々について、第２の特徴点情報を抽出する。

具体的には、第２の抽出部２０Ｇは、第３の画像５６を構成する複数の画素の各々について、周辺画素との明るさの変化率、すなわち明るさの勾配（微分値）を、第２の特徴点情報として抽出する。なお、第２の抽出部２０Ｇは、公知の方法で、第３の画像５６から第２の特徴点情報を抽出すればよく、ハイパスフィルタを用いた形態に限定されない。

第２の抽出部２０Ｇは、抽出した第２の特徴点情報を、導出部２０Ｈへ出力する。詳細には、例えば、第２の抽出部２０Ｇは、抽出した第２の特徴点情報と、画素の識別情報とを、画素毎に順次、導出部２０Ｈへ出力する。画素の識別情報は、上述したように、例えば、第２の画像５４における、画素の画素位置を示す情報である。

導出部２０Ｈは、第１の特徴点情報と第２の特徴点情報との差を導出する。

詳細には、例えば、導出部２０Ｈは、第１の特徴点情報によって表される変化率と、第２の特徴点情報によって表される変化率と、の差を導出する。

本実施の形態では、導出部２０Ｈは、第３の画像５６における第１の画像５２に対応する画素ごとに、第１の特徴点情報と第２の特徴点情報との差を導出する。対応する画素とは、同じ画素位置の画素を示す。このため、導出部２０Ｈは、第１の画像５２を構成する複数の画素と、第３の画像５６を構成する複数の画素と、の各々について、同じ画素位置の画素ごとに、第１の特徴点情報と第２の特徴点情報との差を導出する。本実施の形態では、導出部２０Ｈは、表示画像５３を構成する複数の画素と、伸長済画像５５を構成する複数の画素と、の各々について、同じ画素位置の画素ごとに、上記差を導出する。

導出部２０Ｈは、同じ画素位置の画素ごとに、導出した差が第１の閾値以上であるか否かを判断する。第１の閾値は、第２の画像５４に含まれる物体（例えば、物体Ｐ１、物体Ｐ２）の内の少なくとも一部が第３の画像５６において欠損しているか否かを判別可能な値であればよい。

導出部２０Ｈは、導出した差が第１の閾値以上である場合、第３の画像５６に含まれる複数の画素の内、該差の導出に用いた画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。補正指示は、差が第１の閾値以上の画素の画素位置と、該画素の画素値の補正を示す信号と、を含む。すなわち、導出部２０Ｈは、伸長済画像５５における、導出した差が第１の閾値以上の画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。

一方、導出部２０Ｈは、導出した差が第１の閾値未満である場合、出力対象指示を第１の出力制御部２０Ｊへ出力する。出力対象指示は、第３の画像５６に含まれる複数の画素の内、上記差が第１の閾値未満の画素を出力対象とする事を示す、指示情報である。詳細には、例えば、出力対象指示は、上記差が第１の閾値未満の画素の画素位置と、該画素を出力対象とすることを示す信号と、を含む。

第１の補正部２０Ｉは、導出部２０Ｈによって導出された差に応じて、第２の画像５４を補正する。本実施の形態では、第１の補正部２０Ｉは、上記差に応じて伸長済画像５５を補正する。

詳細には、例えば、第１の補正部２０Ｉは、差が閾値以上の画素の画素値の補正指示を導出部２０Ｈから受付ける。そして、第１の補正部２０Ｉは、伸長済画像５５に含まれる複数の画素の内、差が第１の閾値以上の画素の画素値を補正する。

図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄは、第１の補正部２０Ｉによる画素値の補正の説明図である。図５Ａは、表示画像５３の画素の第１の特徴点情報の一例を示す線図である。図５Ｂは、第３の画像５６の画素の第２の特徴点情報の一例を示す線図である。図５Ｃは、第３の画像５６の画素の第２の特徴点情報の一例を示す線図である。図５Ｄは、第３の画像５６の画素の第２の特徴点情報の一例を示す線図である。

図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄ中、横軸は画素位置を示し、縦軸は画素値によって表される明るさを示す。また、画素位置Ｑ０、画素位置Ｑ１、および画素位置Ｑ２は、隣接して配列された３つの画素の各々の位置を示すと想定する。

例えば、図５Ａに示すように表示画像５３では、画素位置Ｑ１の画素の第１の特徴点情報である明るさの変化率が、変化率αであったと想定する。また、図５Ｂに示すように、第３の画像５６では、画素位置Ｑ１の画素の第２の特徴点情報である明るさの変化率が、変化率β１であったと想定する。また、この変化率αと変化率β１との差が、第１の閾値未満であったと想定する。この場合、第１の補正部２０Ｉは、伸長済画像５５における該画素位置Ｑ１の画素の画素値の補正を行わない。

一方、図５Ｃおよび図５Ｄに示すように、第３の画像５６の画像では、画素位置Ｑ１の画素の第２の特徴点情報である明るさの変化率が、変化率β２であったと想定する。また、変化率β２と変化率αとの差が、第１の閾値以上であったと想定する。この場合、第１の補正部２０Ｉは、伸長済画像５５における、該画素位置Ｑ１の画素の画素値を補正する。

例えば、図５Ｃに示すように、伸長済画像５５における該画素位置Ｑ１の画素値によって示される明るさが、第１の明るさＬ１以上であると想定する。この場合、第１の補正部２０Ｉは、伸長済画像５５における該画素位置Ｑ１の画素の画素値によって示される明るさを、第１の明るさＬ１未満に補正する（図５Ｃ中、線図７３参照）。第１の明るさＬ１は、予め定めればよい。例えば、第１の明るさＬ１には、画素値の取りうる最小の明るさと最大の明るさとの中間の明るさ（例えば、５０％の明るさ）を、予め定めればよい。

一方、図５Ｄに示すように、伸長済画像５５における該画素位置Ｑ１の画素値によって示される明るさが、第１の明るさＬ１未満であると想定する。この場合、第１の補正部２０Ｉは、伸長済画像５５における該画素位置Ｑ１の画素の画素値によって示される明るさを、第１の明るさＬ１以上の明るさに補正する（図５Ｄ中、線図７４参照）。

上記補正を行うことで、第１の補正部２０Ｉは、伸長済画像５５における、導出部２０Ｈによって第１の特徴点情報と第２の特徴点情報との差が第１の閾値以上と判定された画素の画素値を、該差が小さくなるように補正する。言い換えると、第１の補正部２０Ｉは、上記差が第１の閾値以上と判定された画素の画素値を、明るさの変化率が現在より大きくなるように、すなわち物体の輪郭線を出現または強調するように、補正する。

上述したように、第１の閾値は、表示画像５３に含まれる物体（例えば、物体Ｐ１、物体Ｐ２）の内の少なくとも一部が第３の画像５６において欠損しているか否かを判別可能な値である。このため、第１の補正部２０Ｉは、伸長済画像５５における、データ量の低減処理によって物体を示す特徴点の少なくとも一部が欠損したと判別された領域の画素値を、該物体を判別可能な画素値に補正することができる。なお、第１の補正部２０Ｉは、明るさの判断に用いる画像として、伸長済画像５５に代えて第２の画像５４を用いてもよい。

図３に戻り説明を続ける。第１の補正部２０Ｉは、補正した画素の画素値を、第１の生成部２０Ｆへ出力する。第１の生成部２０Ｆは、補正された画素のデータ量を上記と同様にして低減し、第２の抽出部２０Ｇへ出力する。第２の抽出部２０Ｇは、第１の補正部２０Ｉによって補正され且つ第１の生成部２０Ｆによってデータ量を低減された画素から第２の特徴点情報を抽出する。導出部２０Ｈは、該第２の特徴点情報と、表示画像５３（または、第１の画像５２）における対応する画素位置の画素の第１の特徴点情報と、の差を導出する。そして、導出部２０Ｈは、この差が第１の閾値未満と判断するまで、伸長済画像５５における該画素位置の画素について、画素値の補正指示を第１の補正部２０Ｉへ出力する処理を繰返す。

このように、本実施の形態の情報処理装置１０では、第３の画像５６を構成する複数の画素の全てについて、第１の特徴点情報と第２の特徴点情報との差が第１の閾値未満と判断するまで、第１の補正部２０Ｉによる補正を繰返し実行する。

このため、導出部２０Ｈ、第１の補正部２０Ｉ、第１の生成部２０Ｆ、および第２の抽出部２０Ｇの処理によって、第３の画像５６を構成する全ての画素の画素値が、上記差が第１の閾値未満となるように調整される。

なお、第１の補正部２０Ｉは、第１の特徴点情報と第２の特徴点情報との差に応じて、第３の画像５６を補正してもよい。すなわち、第１の補正部２０Ｉは、第２の画像５４、伸長済画像５５、または、第３の画像５６を、補正すればよい。

第１の補正部２０Ｉが、上記差に応じて第３の画像５６を補正する場合、以下の処理を実行すればよい。この場合、導出部２０Ｈは、導出した差が第１の閾値以上である場合に、補正指示を第１の補正部２０Ｉへ出力する。この補正指示は、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素の画素値の補正を示す、指示情報である。すなわち、導出部２０Ｈは、第３の画像５６における、上記差が第１の閾値以上の画素の画素値の補正指示を、第１の補正部２０Ｉへ出力すればよい。

第１の補正部２０Ｉは、第３の画像５６における、補正指示された画素位置の画素の画素値を、導出部２０Ｈによって導出された差に応じて補正する。すなわち、第１の補正部２０Ｉは、第３の画像５６に含まれる複数の画素の内、差が第１の閾値以上の画素の画素値を補正する。第１の補正部２０Ｉは、伸長済画像５５の補正と同様にして、第３の画像５６の画素値によって示される明るさが第１の明るさＬ１以上であるか否かに応じて、画素値の補正を行えばよい。

次に、第１の出力制御部２０Ｊについて説明する。第１の出力制御部２０Ｊは、第３の画像５６における、出力対象指示によって示された画素位置の画素の画素値を出力対象として保持し、出力画像を学習部１６へ出力する。出力画像は、第１の特徴点情報と第２の特徴点情報との差に応じて補正された第３の画像５６である。すなわち、出力画像は、第１の特徴点情報と第２の特徴点情報との差が第１の閾値未満の画素から構成された第３の画像５６である。

第１の出力制御部２０Ｊは、例えば、第３の画像５６を構成する全ての画素について、出力対象指示を受付けたときに、出力画像を学習部１６へ出力する。

図６は、出力画像５８の一例を示す模式図である。図６には、図４Ａに示す入力画像５０を用いて情報処理装置１０が生成した、出力画像５８の一例を示した。図６に示すように、出力画像５８は、図４Ｄに示す第３の画像５６（図４Ｄ参照）において、入力画像５０から欠損していた物体Ｐ２を含むものとなる。

上述したように、第１の補正部２０Ｉは、第２の画像５４または伸長済画像５５を構成する画素の内、第１の特徴点情報と第２の特徴点情報との差が第１の閾値以上の画素の画素値を、明るさの変化率が現在の変化率より大きくなるように補正する。このため、出力画像５８は、データ量の低減処理によって少なくとも一部が消失した物体の輪郭線を出現または強調するように、第３の画像５６を補正した画像となる。言い換えると、出力画像５８は、データ量の低減された第３の画像５６を、データ量の低減処理によって欠損した物体Ｐ２が復元するように補正した画像となる。このため、第１の出力制御部２０Ｊは、特徴点欠損を抑制し且つデータ量が低減された画像である出力画像５８を、学習部１６へ出力することができる。

次に、本実施の形態の情報処理装置１０が実行する、情報処理の流れの一例を説明する。図７は、本実施の形態の情報処理装置１０が実行する、情報処理の一例を示すフローチャートである。なお、複数のステップの各々の順番は適宜変更可能であり、図７の例に限られるものではない。また、複数のステップの少なくとも一部は、並列して実行してもよい。

第１の取得部２０Ａが、撮影部１２から入力画像５０を取得する（ステップＳ１００）。第１の取得部２０Ａは、取得した入力画像５０を第１の画像５２として編集部２０Ｂへ出力し、入力画像５０を第２の画像５４として伸長部２０Ｅへ出力する。

編集部２０Ｂは、第１の取得部２０Ａから受付けた第１の画像５２を鮮明化する（ステップＳ１０２）。ステップＳ１０２の処理によって、表示画像５３が生成される。第２の出力制御部２０Ｃは、ステップＳ１０２で生成された表示画像５３を表示部１４へ出力する（ステップＳ１０４）。

伸長部２０Ｅは、第１の取得部２０Ａから受付けた第２の画像５４の明るさのヒストグラムを伸長化する（ステップＳ１０６）。ステップＳ１０６の処理によって、伸長済画像５５が生成される。

第１の抽出部２０Ｄ、伸長部２０Ｅ、第１の生成部２０Ｆ、第２の抽出部２０Ｇ、導出部２０Ｈ、および第１の補正部２０Ｉは、ステップＳ１００で取得した入力画像５０（第１の画像５２、第２の画像５４）の画素ごとに、ステップＳ１０８～ステップＳ１２０の処理を繰返す。

詳細には、第１の抽出部２０Ｄが、ステップＳ１０２で生成された表示画像５３における処理対象の画素から、第１の特徴点情報を抽出する（ステップＳ１０８）。第１の抽出部２０Ｄは、表示画像５３を構成する複数の画素の内、ステップＳ１０８～ステップＳ１２０の処理が未処理の１つの画素を、順次、処理対象の画素として抽出すればよい。

第１の生成部２０Ｆは、ステップＳ１０６で生成された伸長済画像５５に含まれる、ステップＳ１０８で処理対象とした画素位置の画素について、データ量を低減することで、第３の画像５６を生成する（ステップＳ１１０）。第２の抽出部２０Ｇは、ステップＳ１１０でデータ量を低減された画素から第２の特徴点情報を抽出する（ステップＳ１１２）。

導出部２０Ｈが、ステップＳ１０８で抽出した第１の特徴点情報と、ステップＳ１１２で抽出した第２の特徴点情報と、の差を導出する（ステップＳ１１４）。導出部２０Ｈは、ステップＳ１１４で導出した差が第１の閾値以上であるか否かを判断する（ステップＳ１１６）。

ステップＳ１１４で導出した差が第１の閾値以上である場合（ステップＳ１１６：Ｙｅｓ）、導出部２０Ｈは、ステップＳ１０８で処理対象とした画素位置の画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。補正指示を受付けた第１の補正部２０Ｉは、ステップＳ１０６で生成された伸長済画像５５における、補正指示に示される画素位置の画素の画素値を、差に応じて補正する（ステップＳ１１８）。そして、第１の補正部２０Ｉは、補正した画素の画素値を第１の生成部２０Ｆへ出力し、ステップＳ１１０へ戻る。ステップＳ１１０では、第１の生成部２０Ｆは、補正された画素のデータ量を低減し、上記処理が繰返される。

一方、ステップＳ１１４で導出した差が第１の閾値未満である場合（ステップＳ１１６：Ｎｏ）、導出部２０Ｈは、第３の画像５６に含まれる複数の画素の内、ステップＳ１０８で処理対象とした画素位置の画素を出力対象とする出力対象指示を、第１の出力制御部２０Ｊへ出力する。第１の出力制御部２０Ｊは、第３の画像５６における、出力対象指示に示される画素位置の画素の画素値を、出力対象として保持する（ステップＳ１２０）。

ステップＳ１００で取得した入力画像５０（第１の画像５２、第２の画像５４）の全ての画素について、ステップＳ１０８～ステップＳ１２０の処理が終了すると、ステップＳ１２２へ進む。ステップＳ１２２では、第１の出力制御部２０Ｊが、第１の特徴点情報と第２の特徴点情報との差が第１の閾値未満の複数の画素から構成された第３の画像５６である出力画像５８を、学習部１６へ出力する（ステップＳ１２２）。そして、本ルーチンは終了する。

以上説明したように、本実施の形態の情報処理装置１０は、第１の取得部２０Ａと、第１の抽出部２０Ｄと、第１の生成部２０Ｆと、第２の抽出部２０Ｇと、導出部２０Ｈと、第１の出力制御部２０Ｊと、第１の補正部２０Ｉと、を備える。第１の取得部２０Ａは、入力画像５０を取得して、第１の画像５２および第２の画像５４を出力する。第１の抽出部２０Ｄは、第１の画像５２から第１の特徴点情報を抽出する。第１の生成部２０Ｆは、第２の画像５４のデータ量を低減した第３の画像５６を生成する。第２の抽出部２０Ｇは、第３の画像５６から第２の特徴点情報を抽出する。導出部２０Ｈは、第１の特徴点情報と第２の特徴点情報との差を導出する。第１の出力制御部２０Ｊは、差に応じて補正された第３の画像５６を出力画像５８として出力する。

ここで、第１の生成部２０Ｆによるデータ量の低減処理によって、データ量の低減処理前に識別可能であった物体の輪郭線などの特徴点の一部が、欠損する場合がある。

一方、本実施の形態では、第１の補正部２０Ｉは、導出した差が第１の閾値以上である場合、第２の画像５４を補正する。そして、第１の出力制御部２０Ｊは、導出した差に応じて補正され且つデータ量の低減された入力画像５０である第３の画像５６を、出力画像５８として出力する。

例えば、第１の補正部２０Ｉは、第１の特徴点情報と第２の特徴点との差に応じて、明るさの変化率が現在の変化率より大きくなるように第２の画像５４を補正し、第１の出力制御部２０Ｊは、補正された第３の画像５６を、出力画像５８として出力する。このため、出力画像５８は、データ量の低減処理によって少なくとも一部が消失した物体の輪郭線を出現または強調するように、第３の画像５６を補正した画像となる。言い換えると、出力画像５８は、第３の画像５６を、データ量の低減処理によって欠損した物体が復元するように補正した画像となる。このため、第１の出力制御部２０Ｊは、特徴点欠損を抑制し且つデータ量の低減された画像である出力画像５８を出力することができる。

従って、本実施の形態の情報処理装置１０は、特徴点欠損を抑制した画像を提供することができる。

また、第１の出力制御部２０Ｊは、出力画像５８を学習部１６へ出力する。学習部１６は、出力画像５８を、学習済モデルへ入力する入力画像、および学習済モデルを生成するための学習に用いる教師データの少なくとも一方として用いる。このため、学習部１６は、処理精度または学習精度の向上を図ることができる。すなわち、本実施の形態の情報処理装置１０は、上記効果に加えて、学習の処理精度または学習精度の向上を図ることが可能な出力画像５８を、提供することができる。

（第２の実施の形態）
上記第１の実施の形態では、入力画像５０を取得し、情報処理に用いた。本実施の形態では、入力画像５０および距離情報を取得し、情報処理に用いる形態を説明する。

なお、本実施の形態および以下の実施の形態において、上記第１の実施の形態と同じ機能および構成の部分には、同じ符号を付与し、詳細な説明を省略する。

図８は、本実施の形態の情報処理システム１Ｂの全体構成の一例を示す図である。情報処理システム１Ｂは、情報処理装置１１Ｂと、撮影部１２と、表示部１４と、学習部１６と、第１のセンサ１８と、を備える。撮影部１２、表示部１４、学習部１６、および第１のセンサ１８と、情報処理装置１１Ｂとは、データまたは信号を授受可能に接続されている。撮影部１２、表示部１４、および学習部１６は、上記第１の実施の形態と同様である。

第１のセンサ１８は、入力画像５０の撮影環境に含まれる複数の検知点の各々の第１のセンサ１８からの距離情報を規定した、第１の距離画像を得る。

撮影環境は、撮影部１２が入力画像５０を撮影するときの環境である。

検知点は、第１のセンサ１８の外界の撮影環境における、第１のセンサ１８によって個別に観測される複数の点の各々を示す。例えば、第１のセンサ１８は、第１のセンサ１８の周囲に光を照射し、反射点で反射した反射光を受光する。この反射点が、検知点に相当する。なお、複数の反射点を１つの検知点として用いてもよい。

第１の距離画像は、撮影環境に含まれる複数の検知点の各々の、第１のセンサ１８からの距離を示す距離情報を規定した、画像である。例えば、第１の距離画像は、入力画像５０に含まれる複数の画素の各々に対応する検知点ごとに、距離情報を規定した画像である。

例えば、第１のセンサ１８は、複数の検知点の各々に対する光の照射方向（第１のセンサ１８を基準とする検知点の方向）と、複数の検知点の各々で反射した反射光に関する情報と、を含む、観測情報を得る。反射光に関する情報は、例えば、光の照射から反射光の受光までの経過時間、または、受光した光の強度もしくは出射した光の強度に対する受光した光の強度の減衰率などである。第１のセンサ１８は、経過時間または強度を用いて、検知点ごとに距離情報を算出する。

そして、第１のセンサ１８は、算出した距離情報を、入力画像５０に含まれる複数の画素の各々に対応する検知点の距離情報として規定することで第１の距離画像とし、情報処理装置１１Ｂへ出力する。なお、距離情報の算出は、情報処理装置１１Ｂで実行してもよい。本実施の形態では、第１の距離画像を構成する検知点の密度によって表される解像度は、入力画像５０の画素の密度によって表わされる解像度と一致する場合を一例として説明する。なお、第１の距離画像を構成する検知点の密度によって表される解像度は、入力画像５０の画素の密度によって表わされる解像度と不一致であってもよい。

第１のセンサ１８は、距離センサである。距離センサは、例えば、ミリ波レーダ、またはレーザセンサである。レーザセンサは、例えば、水平面に対して平行に設置された二次元ＬｉＤＡＲ（Ｌａｓｅｒ ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサ、または、三次元ＬｉＤＡＲセンサである。なお、本実施の形態では、レーザを照射し反射光が戻るまでの時間から距離を導出するＴｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ（ＴｏＦ）方式のＬｉＤＡＲを用いる形態を説明する。なお、第１のセンサ１８は、画素毎に第１のセンサ１８からの距離を規定したデプスマップを得る撮影装置であってもよい。

情報処理装置１１Ｂは、撮影部１２から入力画像５０を受付ける。また、情報処理装置１１Ｂは、第１のセンサ１８から第１の距離画像を受付ける。なお、情報処理装置１１Ｂは、同じタイミングで得られた入力画像５０および第１の距離画像を、受付けるものとする。すなわち、情報処理装置１１Ｂは、同じ撮影環境の、入力画像５０および第１の距離画像を受付ける。情報処理装置１１Ｂは、受付けた入力画像５０および第１の距離画像を用いて、情報処理を実行する。なお、情報処理装置１１Ｂのハードウェア構成は、情報処理装置１０と同様である。

図９は、情報処理装置１１Ｂの機能の一例を示す図である。

情報処理装置１１Ｂは、第１の取得部２０Ａと、編集部２０Ｂと、第２の出力制御部２０Ｃと、第１の抽出部２０Ｄと、伸長部２０Ｅと、第１の生成部２０Ｆと、第２の抽出部２０Ｇと、導出部２２Ｈと、第１の補正部２０Ｉと、を備える。また、情報処理装置１１Ｂは、第１の出力制御部２０Ｊと、第２の取得部２２Ｋと、第３の抽出部２２Ｌと、二値化部２２Ｍと、二値化部２２Ｎと、論理和演算部２２Ｏと、を備える。

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

すなわち、本実施の形態の情報処理装置１１Ｂは、第１の実施の形態の導出部２０Ｈに代えて導出部２２Ｈを備える。また、情報処理装置１１Ｂは、第１の実施の形態の情報処理装置１０の機能に加えて、第２の取得部２２Ｋ、第３の抽出部２２Ｌ、二値化部２２Ｍ、二値化部２２Ｎ、および論理和演算部２２Ｏを更に備える。

第２の取得部２２Ｋは、第１のセンサ１８から第１の距離画像を取得する。

第３の抽出部２２Ｌは、第１の距離画像から第３の特徴点情報を抽出する。第３の特徴点情報は、第１の距離画像に含まれる、物体の少なくとも一部の特徴点を示す情報である。特徴点は、上記第１の実施の形態と同様である。本実施の形態では、第３の特徴点情報は、第１の距離画像に含まれる、物体の輪郭線（境界、エッジ）を示す情報である場合を、一例として説明する。

本実施の形態では、第３の抽出部２２Ｌは、ハイパスフィルタを用いて、第１の距離画像から第３の特徴点情報を抽出する。ハイパスフィルタは、第１の抽出部２０Ｄが用いるハイパスフィルタと同様である。すなわち、第３の抽出部２２Ｌは、ハイパスフィルタを用いて、第１の距離画像を構成する複数の検知点の各々について、周辺の検知点との距離情報の変化率を導出することで、第３の特徴点情報を抽出する。すなわち、本実施の形態では、第３の抽出部２２Ｌは、第１の距離画像を構成する検知点ごとに、第３の特徴点情報を抽出する。

周辺の検知点とは、処理対象の検知点に対して隣接して配置された少なくとも１つの他の検知点を示す。なお、周辺の検知点は、処理対象の検知点に対して隣接して配置された他の検知点と、該検知点に対して隣接する位置から離れる方向に向かって配列された１または複数の他の検知点と、を含むものであってもよい。

距離情報の変化率は、距離情報によって表される距離の変化率を示す。このため、本実施の形態では、第３の抽出部２２Ｌは、第１の距離画像の検知点ごとに、周辺の検知点との距離情報の変化率、すなわち、距離の勾配（微分値）を、第３の特徴点情報として抽出する。

なお、第３の抽出部２２Ｌは、公知の方法で、第１の距離画像に含まれる第３の特徴点情報を抽出すればよく、ハイパスフィルタを用いた形態に限定されない。

なお、第１の距離画像に含まれる複数の検知点の内、周辺の検知点との変化率の大きい検知点の周辺には、重要な境界が存在する可能性が高い。このため、第３の抽出部２２Ｌは、複数種類のフィルタを用いてフィルタ処理を多重化することで、第３の特徴点情報を抽出することが好ましい。フィルタ処理を多重化することで、より正確に第３の特徴点情報を抽出することができる。

二値化部２２Ｍは、第３の特徴点情報を二値化する。二値化部２２Ｍは、第３の特徴点情報が、予め定めた第２の閾値以上である場合に二値化結果“１”（真）を導出し、第２の閾値未満である場合に二値化結果“０”（偽）を導出する。

第２の閾値には、物体の輪郭線または境界を示す情報であるか否かを判別するための閾値を予め定めればよい。

二値化部２２Ｍは、二値化した結果を、論理和演算部２２Ｏへ出力する。詳細には、例えば、二値化部２２Ｍは、第３の特徴点情報の二値化結果と、該第３の特徴点情報を示す検知点の識別情報とを、論理和演算部２２Ｏへ出力する。検知点の識別情報は、例えば、第１の距離画像における位置を示す情報である。

一方、第１の抽出部２０Ｄは、第１の実施の形態と同様に、表示画像５３を構成する複数の画素の各々について、周辺画素との画素値の変化率を導出することで、第１の特徴点情報を抽出する。そして、第１の抽出部２０Ｄは、第１の実施の形態と同様に、抽出した第１の特徴点情報と、第１の特徴点情報を抽出した画素の識別情報とを、画素ごとに順次、導出部２２Ｈへ出力する。

本実施の形態では、第１の抽出部２０Ｄは、更に、抽出した第１の特徴点情報と、第１の特徴点情報を抽出した画素の識別情報とを、画素ごとに二値化部２２Ｎへ出力する。

二値化部２２Ｎは、第１の抽出部２０Ｄで抽出された第１の特徴点情報を二値化する。二値化部２２Ｎは、第１の特徴点情報が、予め定めた第３の閾値以上である場合に二値化結果“１”（真）を導出し、第３の閾値未満である場合に二値化結果“０”（偽）を導出する。

第３の閾値には、第２の閾値と同様に、物体の輪郭線または境界を示す情報であるか否かを判別するための閾値を予め定めればよい。

二値化部２２Ｎは、二値化結果を、論理和演算部２２Ｏへ出力する。詳細には、例えば、二値化部２２Ｎは、第１の特徴点情報の二値化結果と、該第１の特徴点情報を示す画素の識別情報とを、論理和演算部２２Ｏへ出力する。画素の識別情報は、上述したように、第１の画像５２における画素位置を示す情報である。

論理和演算部２２Ｏは、第１の特徴点情報と第３の特徴点情報とを論理和演算する。詳細には、例えば、論理和演算部２２Ｏは、第１の特徴点情報の二値化部２２Ｎによる二値化結果と、第３の特徴点情報の二値化部２２Ｍによる二値化結果と、の論理和を演算する。なお、本明細書において、論理和演算するとは、二値化された情報に対して論理和を演算することに加えて、入力情報を二値化し、その二値化結果に対して論理和を演算することを含む。以下の第３乃至第５の実施の形態においても同様である。よって、図９では、論理和演算部２２Ｏと、二値化部２２Ｎ、二値化部２２Ｍを独立した機能部として示したが、論理和演算部２２Ｏが二値化部２２Ｎ、二値化部２２Ｍの機能を内部に備えるようにすることもできる。

このとき、論理和演算部２２Ｏは、第１の画像５２を構成する複数の画素の各々について、第１の特徴点情報の二値化結果と、各画素に対応する位置の検知点の第３の特徴点情報の二値化結果と、の論理和を演算する。対応する位置とは、画像における位置が同じ位置であることを示す。詳細には、対応する位置とは、実空間の位置が同じである事を示す。このため、論理和演算部２２Ｏは、第１の画像５２を構成する複数の画素と、第１の距離画像に含まれる複数の検知点と、の各々について、同じ位置の画素と検知点との対ごとに、論理和を演算する。

論理和演算部２２Ｏは、第１の特徴点情報の二値化部２２Ｎによる二値化結果と、第３の特徴点情報の二値化部２２Ｍによる二値化結果と、の少なくとも一方が“１”の場合に、“１”を導出する。また、論理和演算部２２Ｏは、第１の特徴点情報の二値化部２２Ｎによる二値化結果と、第３の特徴点情報の二値化部２２Ｍによる二値化結果と、の双方が“０”の場合に、“０”を導出する。

そして、論理和演算部２２Ｏは、上記の論理和演算の結果に基づいて、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“１”である画素については、第１の特徴点情報を第４の特徴点情報として用いる。一方、論理和演算部２２Ｏは、上記の論理和演算の結果に基づいて、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“０”である画素については、第１の特徴点情報に代えて、第１の補正情報を第４の特徴点情報として用いる。ここで、第１の補正情報は、上記第３の閾値以上の値であればよく、例えば、予め定めた、上記第３の閾値以上の固定値とすることができる。また、論理和演算部２２Ｏは、上記の論理和演算の結果に基づいて、論理和演算の結果が“０”（偽）である画素については、第１の特徴点情報を第４の特徴点情報として用いる。

このため、論理和演算部２２Ｏは、論理和演算の結果に基づいて、表示画像５３に、第１の距離画像から識別される物体の特徴点を加えた情報を得ることができる。すなわち、論理和演算部２２Ｏは、表示画像５３における、物体の特徴点を示す情報が含まれない画素について、第１の距離画像から抽出された特徴点を示す情報を加えることができる。

詳細には、論理和演算部２２Ｏは、論理和演算した結果に基づいて第１の特徴点情報を修正することにより第４の特徴点情報を生成することができる。すなわち、論理和演算部２２Ｏは、表示画像５３における、物体の特徴点を示す情報が含まれない画素について、第１の距離画像から抽出された第３の特徴点情報に基づいて、第１の特徴点情報に含まれる変化量より大きい変化量を示す第４の特徴点情報を定めることができる。

論理和演算部２２Ｏは、表示画像５３を構成する複数の画素の各々について論理和演算の結果に基づいて生成した第４の特徴点情報と、画素の識別情報と、を画素ごとに順次、導出部２２Ｈへ出力する。

導出部２２Ｈは、第３の画像５６における第１の画像５２に対応する画素ごとに、論理和演算部２２Ｏから受付けた第４の特徴点情報と、第２の特徴点情報と、の差を導出する。

導出部２２Ｈは、第１の実施の形態の導出部２０Ｈと同様に、導出した差が第１の閾値以上であるか否かを判断する。導出部２２Ｈは、導出した差が第１の閾値以上である場合、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。一方、導出部２２Ｈは、導出した差が第１の閾値未満である場合、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素位置の画素を出力対象とする出力対象指示を、第１の出力制御部２０Ｊへ出力する。

このように、本実施の形態では、導出部２２Ｈは、第１の特徴点情報と第３の特徴点情報とを論理和演算した結果に基づいて第１の特徴点情報を修正することにより生成した第４の特徴点情報と、第３の画像５６から抽出した第２の特徴点情報と、の差を導出する。そして、第１の実施の形態と同様に、第１の補正部２０Ｉは、差に応じて伸長済画像５５を補正する。第１の出力制御部２０Ｊは、差に応じて第１の補正部２０Ｉによって補正された第２の画像５４のデータ量を低減した第３の画像５６を、出力画像５８として学習部１６へ出力する。

なお、第１の補正部２０Ｉは、第１の実施の形態と同様に、導出された差に応じて、第３の画像５６を補正してもよい。

次に、本実施の形態の情報処理装置１１Ｂが実行する、情報処理の流れの一例を説明する。図１０は、本実施の形態の情報処理装置１１Ｂが実行する、情報処理の一例を示すフローチャートである。なお、複数のステップの各々の順番は適宜変更可能であり、図１０の例に限られるものではない。また、複数のステップの少なくとも一部は、並列して実行してもよい。

第１の取得部２０Ａが撮影部１２から入力画像５０を取得する（ステップＳ２００）。編集部２０Ｂは、第１の取得部２０Ａから受付けた第１の画像５２を鮮明化する（ステップＳ２０２）。ステップＳ２０２の処理によって、表示画像５３が生成される。第２の出力制御部２０Ｃは、ステップＳ２０２で生成された表示画像５３を表示部１４へ出力する（ステップＳ２０４）。伸長部２０Ｅは、第１の取得部２０Ａから受付けた第２の画像５４の明るさのヒストグラムを伸長化する（ステップＳ２０６）。ステップＳ２０６の処理によって、伸長済画像５５が生成される。ステップＳ２００～ステップＳ２０６は、第１の実施の形態のステップＳ１００～ステップＳ１０６と同様である。

第２の取得部２２Ｋが、第１のセンサ１８から第１の距離画像を取得する（ステップＳ２０８）。ステップＳ２０８で取得する第１の距離画像は、ステップＳ２００で取得した入力画像５０と同じタイミングで同じ撮影環境を観測したものである。

情報処理装置１１Ｂは、ステップＳ２００で取得した入力画像５０（第１の画像５２、第２の画像５４）の画素ごとに、ステップＳ２１０～ステップＳ２２８の処理を繰返す。

詳細には、第１の抽出部２０Ｄが、ステップＳ２０２で生成された表示画像５３における処理対象の画素について、第１の特徴点情報を抽出する（ステップＳ２１０）。

第３の抽出部２２Ｌが、ステップＳ２０８で取得した第１の距離画像に含まれる複数の検知点の内、ステップＳ２１０の処理対象の画素に対応する位置の検知点の第３の特徴点情報を抽出する（ステップＳ２１２）。

論理和演算部２２Ｏが、ステップＳ２１０で抽出した第１の特徴点情報と、ステップＳ２１２で抽出した第３の特徴点情報とを論理和演算する（ステップＳ２１４）。例えば、論理和演算部２２Ｏは、ステップＳ２１０で抽出した第１の特徴点情報の二値化部２２Ｎによる二値化結果を得る。また、論理和演算部２２Ｏは、ステップＳ２１２で抽出した第３の特徴点情報の二値化部２２Ｍによる二値化結果を得る。そして、論理和演算部２２Ｏは、これらの二値化結果の論理和を演算する。

第１の生成部２０Ｆは、ステップＳ２０６で生成した伸長済画像５５における、ステップＳ２１０で処理対象とした画素位置の画素について、データ量を低減する（ステップＳ２１６）。第２の抽出部２０Ｇは、ステップＳ２１６でデータ量を低減された画素から第２の特徴点情報を抽出する（ステップＳ２１８）。

論理和演算部２２Ｏは、第４の特徴点情報を導出する（ステップＳ２２０）。論理和演算部２２Ｏは、ステップＳ２１４の論理和演算の結果に基づいて、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“１”である画素については、第１の特徴点情報を第４の特徴点情報として用いる。一方、論理和演算部２２Ｏは、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“０”である画素については、第１の特徴点情報に代えて、第１の補正情報を第４の特徴点情報として用いる。また、論理和演算部２２Ｏは、論理和演算の結果が“０”（偽）である画素については、第１の特徴点情報を第４の特徴点情報として用いる。

導出部２２Ｈが、ステップＳ２２０で導出した第４の特徴点情報と、ステップＳ２１８で抽出された第２の特徴点情報と、の差を導出する（ステップＳ２２２）。導出部２２Ｈは、ステップＳ２２２で導出した差が第１の閾値以上であるか否かを判断する（ステップＳ２２４）。

ステップＳ２２４で導出した差が第１の閾値以上である場合（ステップＳ２２４：Ｙｅｓ）、導出部２２Ｈは、差の導出に用いた画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。補正指示を受付けた第１の補正部２０Ｉは、ステップＳ２０６で生成された伸長済画像５５に含まれる、ステップＳ２２４で差が第１の閾値以上と判断された画素の画素値を、差に応じて補正する（ステップＳ２２６）。そして、第１の補正部２０Ｉは、補正した画素の画素値を第１の生成部２０Ｆへ出力し、ステップＳ２１６へ戻る。ステップＳ２１６では、第１の生成部２０Ｆは、補正された画素のデータ量を低減し、上記処理が繰返される。

一方、ステップＳ２２２で導出した差が第１の閾値未満である場合（ステップＳ２２４：Ｎｏ）、導出部２２Ｈは、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素位置の画素を出力対象とする出力対象指示を、第１の出力制御部２０Ｊへ出力する。第１の出力制御部２０Ｊは、第３の画像５６における、受付けた出力対象指示に示される画素位置の画素の画素値を、出力対象として保持する（ステップＳ２２８）。

ステップＳ２００で取得した入力画像５０（第１の画像５２、第２の画像５４）の全ての画素について、ステップＳ２１０～ステップＳ２２８の処理が終了すると、ステップＳ２３０へ進む。第１の出力制御部２０Ｊは、上記差が第１閾値未満の画素からなる第３の画像５６である出力画像５８を、学習部１６へ出力する（ステップＳ２３０）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置１１Ｂは、第２の取得部２２Ｋが、入力画像５０の撮影環境に含まれる複数の検知点の各々の第１のセンサ１８からの距離情報を規定した、第１の距離画像を取得する。第３の抽出部２２Ｌは、第１の距離画像から第３の特徴点情報を抽出する。導出部２２Ｈは、第１の特徴点情報と第３の特徴点情報との論理和演算に基づいて生成した第４の特徴点情報と、第２の特徴点情報と、の差を導出する。

ここで、撮影部１２によって得られる入力画像５０である第１の画像５２からは、撮影部１２からの距離または物体の輪郭の複雑さに拘らず、明るさの変化率を示す第１の特徴点情報を抽出可能である。しかし、第１の画像５２では、明るさの差が小さいほど、小さい変化率を示す第１の特徴点情報が得られる。このため、第１の画像５２では、背景との明るさの差の小さい物体ほど、識別することが困難となる。

一方、第１の距離画像は、上述したように、検知点毎に第１のセンサ１８からの距離情報を規定した画像である。このため、第１の距離画像からは、明るさの差の大小に拘らず、距離情報の変化率を示す第３の特徴点情報を抽出可能である。しかし、第１の距離画像では、撮影環境に含まれる物体の輪郭が複雑であるほど、または、第１のセンサ１８から出力される光の到達困難な領域であるほど、小さい変化率を示す第３の特徴点情報が得られる。このため、第１の距離画像では、輪郭が複雑な物体であるほど、または、光の到達困難な領域の物体であるほど、識別することが困難となる。

一方、本実施の形態では、情報処理装置１１Ｂは、第１の距離画像から抽出した第３の特徴点情報と、第１の画像５２から抽出した第１の特徴点情報とを論理和演算する。この論理和演算により、情報処理装置１１Ｂは、第１の画像５２に、第１の距離画像から識別される物体の特徴点を加えた情報を、第４の特徴点情報として得ることができる。

そして、導出部２２Ｈは、第４の特徴点情報と、第２の特徴点情報と、の差を導出する。このため、本実施の形態の情報処理装置１１Ｂでは、第１の距離画像から抽出された第３の特徴点情報を更に用いることで、物体の識別精度を向上させた第１の画像５２を用いて、第４の特徴点情報と、第２の特徴点情報と、の差を導出することができる。

従って、本実施の形態の情報処理装置１１Ｂは、上記第１の実施の形態の効果に加えて、特徴点欠損を更に抑制し、且つデータ量の低減された画像を提供することができる。

（第３の実施の形態）
上記第１の実施の形態では、入力画像５０を取得し、情報処理に用いた。本実施の形態では、入力画像５０および方向情報を取得し、情報処理に用いる形態を説明する。

なお、本実施の形態および以下の実施の形態において、上記第１及び第２の実施の形態と同じ機能および構成の部分には、同じ符号を付与し、詳細な説明を省略する。

図１１は、本実施の形態の情報処理システム１Ｃの全体構成の一例を示す図である。情報処理システム１Ｃは、情報処理装置１１Ｃと、撮影部１２と、表示部１４と、学習部１６と、第２のセンサ１９と、を備える。撮影部１２、表示部１４、学習部１６、および第２のセンサ１９と、情報処理装置１１Ｃとは、データまたは信号を授受可能に接続されている。撮影部１２、表示部１４、および学習部１６は、上記第１の実施の形態と同様である。

第２のセンサ１９は、入力画像５０の撮影環境に含まれる物体の、第２のセンサ１９からの方向を示す方向情報を得る。詳細には、例えば、第２のセンサ１９は、物体の有無、物体までの距離、および、物体の方向を示す方向情報を、情報処理装置１１Ｃへ出力する。

第２のセンサ１９は、例えば、音波または超音波によって物体を探知するソナー、または音声を集音し音声データを出力するマイクである。第２のセンサ１９は、受信した音波、超音波、または音声データの強弱を公知の方法で解析することで、物体の方向を示す方向情報を導出する。このとき、第２のセンサ１９は、受信した音波、超音波、または音声データの解析により、物体の有無、および第２のセンサ１９から物体までの距離を更に導出してもよい。本実施の形態では、方向情報が、物体の有無、第２のセンサ１９から物体までの距離、および物体の方向を示す情報である場合を、一例として説明する。そして、第２のセンサ１９は、方向情報を情報処理装置１１Ｃへ出力する。なお、受信した音波、超音波、または音声データの解析は、情報処理装置１１Ｃで実行してもよい。

情報処理装置１１Ｃは、撮影部１２から入力画像５０を受付ける。また、情報処理装置１１Ｃは、第２のセンサ１９から方向情報を受付ける。なお、情報処理装置１１Ｃは、同じタイミングに得られた入力画像５０および方向情報を、受付けるものとする。すなわち、情報処理装置１１Ｃは、同じ撮影環境の、入力画像５０および方向情報を受付ける。情報処理装置１１Ｃは、受付けた入力画像５０および方向情報を用いて、情報処理を実行する。なお、情報処理装置１１Ｃのハードウェア構成は、情報処理装置１０と同様である。

図１２は、情報処理装置１１Ｃの機能の一例を示す図である。

情報処理装置１１Ｃは、第１の取得部２０Ａと、編集部２０Ｂと、第２の出力制御部２０Ｃと、第１の抽出部２０Ｄと、伸長部２４Ｅと、を備える。また、情報処理装置１１Ｃは、第１の生成部２０Ｆと、第２の抽出部２０Ｇと、導出部２０Ｈと、第１の補正部２０Ｉと、第１の出力制御部２０Ｊと、第３の取得部２４Ｐと、を備える。

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

本実施の形態の情報処理装置１１Ｃは、第１の実施の形態の伸長部２０Ｅに代えて、伸長部２４Ｅを備える。また、情報処理装置１１Ｃは、第３の取得部２４Ｐを更に備える。

第３の取得部２４Ｐは、第２のセンサ１９から方向情報を取得する。方向情報は、上述したように、物体の有無、物体までの距離、および、物体の方向を示す情報である。第３の取得部２４Ｐは、取得した方向情報を伸長部２４Ｅへ出力する。

なお、第３の取得部２４Ｐは、取得した方向情報によって示される、撮影環境に含まれる物体と第２のセンサ１９との距離が、予め定めた第４の閾値未満である場合に、方向情報を伸長部２４Ｅへ出力してもよい。第４の閾値は、輪郭または境界を強調する対象の物体であるか否かを判別するための値を予め定めればよい。

伸長部２４Ｅは、第１の実施の形態の伸長部２０Ｅと同様に、第１の取得部２０Ａから受付けた第２の画像５４の明るさのヒストグラムを伸長化する。本実施の形態では、伸長部２４Ｅは、増加処理部２４Ｑを有する。

増加処理部２４Ｑは、第２の画像５４の全領域の内、方向情報に応じた物体領域のデータ量を増加させる。

詳細には、例えば、増加処理部２４Ｑは、第２の画像５４の全領域の内、方向情報によって示される物体の存在する領域を、物体領域として特定する。具体的には、増加処理部２４Ｑは、方向情報によって示される、第２のセンサ１９からの距離が第４の閾値未満である物体が存在する領域を、物体領域として特定する。なお、増加処理部２４Ｑは、第２のセンサ１９で受信した音波、超音波、または音声データを公知の方法で解析することで、撮影環境における、物体の位置する方向および物体の範囲を推定してもよい。そして、増加処理部２４Ｑは、第２の画像５４における、推定した方向および範囲を、物体領域として特定してもよい。

そして、増加処理部２４Ｑは、伸長部２４Ｅによって伸長化された第２の画像５４の全領域の内、特定した物体領域のデータ量を増加させる。

物体領域のデータ量を増加させる、とは、物体領域のデータ量を現在のデータ量より増加させることを示す。具体的には、物体領域のデータ量を増加させる、とは、ビット深度を現在のビット深度より増加させること、または、解像度を現在の解像度より増加させること、を示す。物体領域のデータ量の増加には、例えば、ガンマ補正などを用いればよい。

データ量を増加させる物体領域は、第２の画像５４に含まれる複数の画素の内、特定した物体領域内の画素、特定した物体領域の輪郭を構成する画素、または、特定した物体領域を含む領域の画素、であればよい。本実施の形態では、増加処理部２４Ｑは、第２の画像５４に含まれる複数の画素の内、特定した物体領域の輪郭を構成する画素のデータ量を増加させる形態を、一例として説明する。

増加処理部２４Ｑが、第２の画像５４の全領域の内、方向情報によって特定された物体領域のデータ量を増加させることで、第２の画像５４のデータ量を低減したときに物体の特徴点の欠損が抑制されるように、第２の画像５４を補正することができる。

そして、増加処理部２４Ｑを含む伸長部２４Ｅは、伸長および物体領域のデータ量を増加させた第２の画像５４を、第１の実施の形態の伸長部２０Ｅと同様に、伸長済画像５５として生成する。そして、増加処理部２４Ｑは、伸長済画像５５を第１の生成部２０Ｆへ出力する。

第１の生成部２０Ｆは、伸長済画像５５のデータ量を低減し、第３の画像５６を生成する。

ここで、第１の生成部２０Ｆがデータ量を低減する対象の伸長済画像５５の物体領域は、増加処理部２４Ｑによってデータ量が増加させられている。このため、第１の生成部２０Ｆがデータ量を低減することで生成した第３の画像５６の該物体領域は、該物体領域以外の領域よりデータ量が多い。このため、第２の抽出部２０Ｇは、該第３の画像５６から第２の特徴点情報を抽出することで、物体領域の強調された第２の特徴点情報を抽出することができる。

次に、本実施の形態の情報処理装置１１Ｃが実行する、情報処理の流れの一例を説明する。図１３は、本実施の形態の情報処理装置１１Ｃが実行する、情報処理の一例を示すフローチャートである。なお、複数のステップの各々の順番は適宜変更可能であり、図１３の例に限られるものではない。

第１の取得部２０Ａが撮影部１２から入力画像５０を取得する（ステップＳ３００）。編集部２０Ｂは、第１の取得部２０Ａから受付けた第１の画像５２を鮮明化する（ステップＳ３０２）。ステップＳ３０２の処理によって、表示画像５３が生成される。第２の出力制御部２０Ｃは、ステップＳ３０２で生成された表示画像５３を表示部１４へ出力する（ステップＳ３０４）。

第３の取得部２４Ｐが第２のセンサ１９から方向情報を取得する（ステップＳ３０６）。伸長部２４Ｅが、第１の取得部２０Ａから受付けた第２の画像５４の明るさのヒストグラムを伸長化する。そして、伸長部２４Ｅの増加処理部２４Ｑが、伸長化した第２の画像５４における、ステップＳ３０６で取得した方向情報に応じた物体領域のデータ量を増加させる（ステップＳ３０８）。ステップＳ３０８の処理によって、伸長済画像５５が生成される。

第１の抽出部２０Ｄ、第１の生成部２０Ｆ、第２の抽出部２０Ｇ、導出部２０Ｈ、および、第１の補正部２０Ｉが、ステップＳ３００で取得した入力画像５０（第１の画像５２、第２の画像５４）の画素ごとに、ステップＳ３１０～ステップＳ３２２の処理を繰返す。ステップＳ３１０～ステップＳ３２２は、第１の実施の形態のステップＳ１０８～ステップＳ１２０と同様である（図７参照）。

そして、ステップＳ３００で取得した入力画像５０の全ての画素について、ステップＳ３１０～ステップＳ３２２の処理が終了すると、ステップＳ３２４へ進む。第１の出力制御部２０Ｊは、上記差が第１閾値未満の画素からなる第３の画像５６である出力画像５８を、学習部１６へ出力する（ステップＳ３２４）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置１１Ｃは、第３の取得部２４Ｐが、入力画像５０の撮影環境に含まれる物体の第２のセンサ１９からの方向を示す方向情報を取得する。増加処理部２４Ｑは、第２の画像５４の全領域の内、方向情報に応じた物体領域のデータ量を増加させる。第１の生成部２０Ｆは、物体領域のデータ量が増加させられた第２の画像５４のデータ量を低減した、第３の画像５６を生成する。

第１の生成部２０Ｆがデータ量を低減する対象の第２の画像５４の物体領域は、増加処理部２４Ｑによってデータ量が増加させられている。このため、第１の生成部２０Ｆがデータ量を低減することで生成した第３の画像５６の該物体領域は、該物体領域以外の領域よりデータ量が多い。このため、第２の抽出部２０Ｇは、該第３の画像５６から第２の特徴点情報を抽出することで、物体領域の強調された第２の特徴点情報を抽出することができる。すなわち、導出部２０Ｈは、上記第１の実施の形態に比べて、上記差を、更に精度良く導出することが可能となる。

このため、第１の補正部２０Ｉが、上記差に応じて伸長済画像５５を補正することで、上記第１の実施の形態に比べて、特徴点欠損を更に抑制した第３の画像５６を出力画像５８として出力することが可能となる。

従って、本実施の形態の情報処理装置１１Ｃは、上記第１の実施の形態の効果に加えて、更に特徴点欠損を抑制し、且つデータ量が低減された画像を提供することができる。

（第４の実施の形態）
上記第１の実施の形態では、入力画像５０を取得し、情報処理に用いた。本実施の形態では、入力画像５０、距離情報、および方向情報を取得し、情報処理に用いる形態を説明する。

なお、本実施の形態および以下の実施の形態において、上記第１乃至第３の実施の形態と同じ機能および構成の部分には、同じ符号を付与し、詳細な説明を省略する。

図１４は、本実施の形態の情報処理システム１Ｄの全体構成の一例を示す図である。情報処理システム１Ｄは、情報処理装置１１Ｄと、撮影部１２と、表示部１４と、学習部１６と、第１のセンサ１８と、第２のセンサ１９と、を備える。撮影部１２、表示部１４、学習部１６、第１のセンサ１８、および第２のセンサ１９と、情報処理装置１１Ｄとは、データまたは信号を授受可能に接続されている。撮影部１２、表示部１４、学習部１６、第１のセンサ１８、および第２のセンサ１９は、上記第１乃至第３の実施の形態と同様である。

情報処理装置１１Ｄは、撮影部１２から入力画像５０を受付ける。また、情報処理装置１１Ｄは、第１のセンサ１８から第１の距離画像を受付ける。また、情報処理装置１１Ｄは、第２のセンサ１９から方向情報を受付ける。なお、情報処理装置１１Ｄは、同じタイミングに得られた入力画像５０、第１の距離画像、および方向情報を、受付けるものとする。すなわち、情報処理装置１１Ｄは、同じ撮影環境の、入力画像５０、第１の距離画像、および方向情報を受付ける。情報処理装置１１Ｄは、受付けた入力画像５０、第１の距離画像、および方向情報を用いて、情報処理を実行する。なお、情報処理装置１１Ｄのハードウェア構成は、情報処理装置１０と同様である。

図１５は、情報処理装置１１Ｄの機能の一例を示す図である。

情報処理装置１１Ｄは、第１の取得部２０Ａと、編集部２０Ｂと、第２の出力制御部２０Ｃと、第１の抽出部２０Ｄと、伸長部２０Ｅと、第１の生成部２０Ｆと、第２の抽出部２０Ｇと、導出部２６Ｈと、第１の補正部２０Ｉと、を備える。また、情報処理装置１１Ｄは、第１の出力制御部２０Ｊと、第２の取得部２６Ｋと、第３の取得部２６Ｐと、第２の生成部２６Ｒと、第５の抽出部２６Ｓと、二値化部２６Ｖと、を備える。また、情報処理装置１１Ｄは、二値化部２６Ｔと、論理和演算部２６Ｕと、を備える。

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

本実施の形態の情報処理装置１１Ｄは、第１の実施の形態の導出部２０Ｈに代えて、導出部２６Ｈを備える。また、情報処理装置１１Ｄは、第１の実施の形態の情報処理装置１０の機能に加えて、第２の取得部２６Ｋ、第３の取得部２６Ｐ、第２の生成部２６Ｒ、第５の抽出部２６Ｓ、二値化部２６Ｖ、論理和演算部２６Ｕ、および二値化部２６Ｔを更に備える。

第２の取得部２６Ｋは、第１のセンサ１８から第１の距離画像を取得する。第３の取得部２６Ｐは、第２のセンサ１９から方向情報を取得する。第１の距離画像および方向情報は、上記第１及び第２の実施の形態と同様である。

第２の生成部２６Ｒは、第２の取得部２６Ｋで取得した第１の距離画像を、第３の取得部２６Ｐで取得した方向情報を用いて補正する。この補正により、第２の生成部２６Ｒは、第１の距離画像から第２の距離画像を生成する。

詳細には、例えば、第２の生成部２６Ｒは、第１の距離画像の全領域の内、方向情報に応じた物体領域内の検知点の距離情報について、周辺の他の検知点との距離情報の変化率が増加するように補正する。この補正により、第２の生成部２６Ｒは、第２の距離画像を生成する。

具体的には、第２の生成部２６Ｒは、第１の距離画像の全領域の内、方向情報によって示される物体の存在する領域を、物体領域として特定する。物体領域の特定方法は、上記第３の実施の形態と同様である。

そして、第２の生成部２６Ｒは、第１の距離画像に含まれる複数の検知点の内、物体領域の検知点の距離情報を、周辺の他の検知点との変化率が現在の変化率より大きくなるように補正する。このため、第１の距離画像に含まれる検知点の内、物体領域の輪郭を構成する検知点の距離情報が、より輪郭を強調した値となるように補正される。

なお、第１の距離画像の全領域の内の補正対象の物体領域は、第１の距離画像に含まれる複数の検知点の内、特定した物体領域内の検知点、特定した物体領域の輪郭を構成する検知点、または、特定した物体領域を含む領域の検知点、であればよい。本実施の形態では、第２の生成部２６Ｒは、第１の距離画像に含まれる複数の検知点の内、特定した物体領域の輪郭を構成する検知点の距離情報を補正することで、第２の距離画像を生成する形態を説明する。

第５の抽出部２６Ｓは、第２の距離画像から第５の特徴点情報を抽出する。第５の特徴点情報は、第２の距離画像に含まれる、物体の少なくとも一部の特徴点を示す情報である。特徴点は、上記第２の実施の形態と同様である。本実施の形態では、第５の特徴点情報は、第２の距離画像に含まれる、物体の輪郭線を示す情報である場合を、一例として説明する。

本実施の形態では、第５の抽出部２６Ｓは、ハイパスフィルタを用いて、第２の距離画像から第５の特徴点情報を抽出する。ハイパスフィルタは、上記第２の実施の形態と同様である。すなわち、第５の抽出部２６Ｓは、ハイパスフィルタを用いて、第２の距離画像を構成する複数の検知点の各々について、周辺の検知点との距離情報の変化率を導出することで、第５の特徴点情報を抽出する。周辺の検知点の定義は、上記第２の実施の形態と同様である。

ここで、第２の距離画像は、第１の距離画像に含まれる物体領域の検知点の距離情報について、周辺の検知点との距離情報の変化率を増加させた距離画像である。すなわち、第２の距離画像は、第１の距離画像に含まれる物体領域の輪郭を構成する検知点について、より輪郭を強調した値となるように距離情報を補正した画像である。このため、第５の抽出部２６Ｓは、第１の距離画像を用いる場合に比べて、物体を強調した第５の特徴点情報を抽出することができる。

上記第２の実施の形態と同様に、距離情報の変化率は、距離情報によって表される距離の変化率を示す。このため、本実施の形態では、第５の抽出部２６Ｓは、第２の距離画像に含まれる複数の検知点ごとに、周辺の検知点との距離情報の変化率、すなわち、距離の勾配（微分値）を、第５の特徴点情報として抽出する。

なお、第５の抽出部２６Ｓは、公知の方法で、第２の距離画像に含まれる第５の特徴点情報を抽出すればよく、ハイパスフィルタを用いた形態に限定されない。

二値化部２６Ｖは、第５の抽出部２６Ｓで抽出された第５の特徴点情報を二値化する。二値化部２６Ｖは、第５の特徴点情報が、予め定めた第５の閾値以上である場合に二値化結果“１”（真）を導出し、第５の閾値未満である場合に二値化結果“０”（偽）を導出する。

第５の閾値には、物体の輪郭線を示す情報であるか否かを判別するための閾値を予め定めればよい。

二値化部２６Ｖは、二値化した結果を、論理和演算部２６Ｕへ出力する。詳細には、例えば、二値化部２６Ｖは、第５の特徴点情報の二値化結果と、該第５の特徴点情報を示す検知点の識別情報とを、論理和演算部２６Ｕへ出力する。検知点の識別情報は、例えば、第２の距離画像における位置を示す情報である。

一方、第１の抽出部２０Ｄは、第１の実施の形態と同様に、第１の画像５２を構成する複数の画素の各々について、周辺画素との画素値の変化率を導出することで、第１の特徴点情報を抽出する。そして、第１の抽出部２０Ｄは、抽出した第１の特徴点情報と、第１の特徴点情報を抽出した画素の識別情報とを、画素ごとに順次、導出部２６Ｈへ出力する。

本実施の形態では、第１の抽出部２０Ｄは、更に、抽出した第１の特徴点情報と、第１の特徴点情報を抽出した画素の識別情報とを、画素ごとに二値化部２６Ｔへ出力する。

二値化部２６Ｔは、第１の抽出部２０Ｄで抽出された第１の特徴点情報を二値化する。二値化部２６Ｔは、第２の実施の形態の二値化部２２Ｎと同様に（図９参照）、第１の特徴点情報が予め定めた第３の閾値以上である場合に二値化結果“１”（真）を導出し、第３の閾値未満である場合に二値化結果“０”（偽）を導出する。第３の閾値は、上記第２の実施の形態と同様である。

二値化部２６Ｔは、二値化結果を、論理和演算部２６Ｕへ出力する。詳細には、例えば、二値化部２６Ｔは、第１の特徴点情報の二値化結果と、該第１の特徴点情報を示す画素の識別情報とを、論理和演算部２６Ｕへ出力する。画素の識別情報は、上述したように、第１の画像５２における位置を示す情報である。

論理和演算部２６Ｕは、第１の特徴点情報と第５の特徴点情報とを論理和演算する。詳細には、例えば、論理和演算部２６Ｕは、第１の特徴点情報の二値化部２６Ｔによる二値化結果と、第５の特徴点情報の二値化部２６Ｖによる二値化結果と、の論理和を演算する。このとき、論理和演算部２６Ｕは、第１の画像５２を構成する複数の画素の各々について、第１の特徴点情報の二値化結果と、各画素に対応する位置の検知点の第５の特徴点情報の二値化結果と、の論理和を演算する。なお、図１５では、論理和演算部２６Ｕと、二値化部２６Ｔ、２６Ｖを独立した機能部として示したが、論理和演算部２６Ｕが二値化部２６Ｔ、二値化部２６Ｖの機能を内部に備えるようにすることもできる。

すなわち、論理和演算部２６Ｕは、第１の特徴点情報の二値化部２６Ｔによる二値化結果と、第５の特徴点情報の二値化部２６Ｖによる二値化結果と、の少なくとも一方が“１”の場合に、“１”を導出する。また、論理和演算部２６Ｕは、第１の特徴点情報の二値化部２６Ｔによる二値化結果と、第５の特徴点情報の二値化部２６Ｖによる二値化結果と、の双方が“０”の場合に、“０”を導出する。

そして、論理和演算部２６Ｕは、上記の論理和演算の結果に基づいて、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“１”である画素については、第１の特徴点情報を第６の特徴点情報として用いる。一方、論理和演算部２２Ｏは、上記の論理和演算の結果に基づいて、論理和演算の結果が“１”（真）であって、かつ、第６の特徴点情報の二値化結果が“０”である画素については、第６の特徴点情報に代えて、第２の補正情報を第４の特徴点情報として用いる。ここで、第２の補正情報は、上記第３の閾値以上の値であればよく、例えば、予め定めた、上記第３の閾値以上の固定値とすることができる。また、論理和演算部２２Ｏは、上記の論理和演算の結果に基づいて、論理和演算の結果が“０”（偽）である画素については、第１の特徴点情報を第６の特徴点情報として用いる。

このため、論理和演算部２６Ｕは、論理和演算の結果に基づいて、表示画像５３に、第２の距離画像から識別される物体の特徴点を加えた情報を得ることができる。また、第２の距離画像は、第１の距離画像に含まれる物体領域の輪郭を構成する検知点について、より輪郭を強調した値となるように距離情報を補正した画像である。このため、論理和演算部２６Ｕは、表示画像５３に含まれる、物体の特徴点を示す情報が含まれない画素に、第１の距離画像の物体領域を強調した第５の特徴点情報に応じた情報を、論理和演算の結果に基づいて付与することができる。

詳細には、論理和演算部２６Ｕは、論理和演算した結果に基づいて第１の特徴点情報を修正することにより第６の特徴点情報を生成することができる。すなわち、論理和演算部２６Ｕは、表示画像５３における、物体の特徴点を示す情報が含まれない画素について、物体領域の輪郭をより強調した値となるように補正された第２の距離画像から抽出された、物体領域を強調した第５の特徴点情報に基づいて、第１の特徴点情報に含まれる変化量より大きい変化量を示す第６の特徴点情報を定めることができる。

論理和演算部２６Ｕは、表示画像５３を構成する複数の画素の各々について論理和演算の結果に基づいて生成した第６の特徴点情報と、画素の識別情報と、を画素ごとに順次、導出部２６Ｈへ出力する。

導出部２６Ｈは、第３の画像５６における第１の画像５２に対応する画素ごとに、論理和演算部２６Ｕから受付けた第６の特徴点情報と、第２の特徴点情報と、の差を導出する。

導出部２６Ｈは、第１の実施の形態の導出部２０Ｈと同様に、導出した差が第１の閾値以上であるか否かを判断する。導出部２６Ｈは、導出した差が第１の閾値以上である場合、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。一方、導出部２６Ｈは、導出した差が第１の閾値未満である場合、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素位置の画素を出力対象とする出力対象指示を、第１の出力制御部２０Ｊへ出力する。

このように、本実施の形態では、導出部２６Ｈは、第１の特徴点情報と第５の特徴点情報とを論理和演算した結果に基づいて第１の特徴点情報を修正することにより生成した第６の特徴点情報と、第２の画像５４から抽出した第２の特徴点情報と、の差を導出する。そして、第１の実施の形態と同様に、第１の補正部２０Ｉは、差に応じて第２の画像５４を補正する。第１の出力制御部２０Ｊは、差に応じて補正された第２の画像５４のデータ量を低減した第３の画像５６を、出力画像５８として学習部１６へ出力する。

なお、第１の補正部２０Ｉは、第１の実施の形態と同様に、差に応じて、第１の生成部２０Ｆによって生成された第３の画像５６を補正してもよい。

次に、本実施の形態の情報処理装置１１Ｄが実行する、情報処理の流れの一例を説明する。図１６は、本実施の形態の情報処理装置１１Ｄが実行する、情報処理の一例を示すフローチャートである。なお、複数のステップの各々の順番は適宜変更可能であり、図１６の例に限られるものではない。

第１の取得部２０Ａが撮影部１２から入力画像５０を取得する（ステップＳ４００）。編集部２０Ｂは、第１の取得部２０Ａから受付けた第１の画像５２を鮮明化する（ステップＳ４０２）。ステップＳ４０２の処理によって、表示画像５３が生成される。第２の出力制御部２０Ｃは、ステップＳ４０２で生成された表示画像５３を表示部１４へ出力する（ステップＳ４０４）。伸長部２０Ｅは、第１の取得部２０Ａから受付けた第２の画像５４の明るさのヒストグラムを伸長化する（ステップＳ４０６）。ステップＳ４０６の処理によって、伸長済画像５５が生成される。ステップＳ４００～ステップＳ４０６は、第１の実施の形態のステップＳ１００～ステップＳ１０６と同様である。

第２の取得部２６Ｋが、第１のセンサ１８から第１の距離画像を取得する（ステップＳ４０８）。第３の取得部２６Ｐが、第２のセンサ１９から方向情報を取得する（ステップＳ４１０）。ステップＳ４０８で取得する第１の距離画像、および、ステップＳ４１０で取得する方向情報は、ステップＳ４００で取得した入力画像５０と同じタイミングで同じ撮影環境を観測したものである。

第２の生成部２６Ｒが、ステップＳ４０８で取得した第１の距離画像を、ステップＳ４１０で取得した方向情報を用いて補正する。この補正により、第２の生成部２６Ｒは、第１の距離画像から第２の距離画像を生成する（ステップＳ４１２）。

情報処理装置１１Ｄは、ステップＳ４００で取得した入力画像５０（第１の画像５２、第２の画像５４）の画素ごとに、ステップＳ４１４～ステップＳ４３２の処理を繰返す。

詳細には、第１の抽出部２０Ｄが、ステップＳ４０２で鮮明化された第１の画像５２における処理対象の画素について、第１の特徴点情報を抽出する（ステップＳ４１４）。

第５の抽出部２６Ｓが、ステップＳ４１２で生成した第２の距離画像における、ステップＳ４１４と同じ画素位置の処理対象の画素について、第５の特徴点情報を抽出する（ステップＳ４１６）。

論理和演算部２６Ｕが、ステップＳ４１４で抽出した第１の特徴点情報と、ステップＳ４１６で抽出した第５の特徴点情報とを、論理和演算する（ステップＳ４１８）。例えば、論理和演算部２６Ｕは、第１の特徴点情報の二値化部２６Ｔによる二値化結果と、第５の特徴点情報の二値化部２６Ｖによる二値化結果と、の論理和を演算する。

第１の生成部２０Ｆは、ステップＳ４０６で生成した伸長済画像５５における、ステップＳ４１４で処理対象とした画素位置の画素について、データ量を低減する（ステップＳ４２０）。第２の抽出部２０Ｇは、ステップＳ４２０でデータ量を低減された画素から第２の特徴点情報を抽出する（ステップＳ４２２）。

論理和演算部２６Ｕは、第６の特徴点情報を導出する（ステップＳ４２４）。論理和演算部２６Ｕは、ステップＳ４１８の論理和演算の結果に基づいて、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“１”である画素については、第１の特徴点情報を第６の特徴点情報として用いる。一方、論理和演算部２６Ｕは、論理和演算の結果が“１”（真）であって、かつ、第１の特徴点情報の二値化結果が“０”である画素については、第１の特徴点情報に代えて、第２の補正情報を第６の特徴点情報として用いる。また、論理和演算部２６Ｕは、論理和演算の結果が“０”（偽）である画素については、第１の特徴点情報を第６の特徴点情報として用いる。

導出部２６Ｈが、ステップＳ４２４で導出した第６の特徴点情報と、ステップＳ４２２で抽出した第２の特徴点情報と、の差を導出する（ステップＳ４２６）。導出部２６Ｈは、ステップＳ４２６で導出した差が第１の閾値以上であるか否かを判断する（ステップＳ４２８）。

ステップＳ４２８で導出した差が第１の閾値以上である場合（ステップＳ４２８：Ｙｅｓ）、導出部２６Ｈは、差の導出に用いた画素の画素値の補正指示を、第１の補正部２０Ｉへ出力する。補正指示を受付けた第１の補正部２０Ｉは、ステップＳ４０６で生成された伸長済画像５５に含まれる、ステップＳ４２８で差が第１の閾値以上と判断された画素の画素値を、差に応じて補正する（ステップＳ４３０）。そして、第１の補正部２０Ｉは、補正した画素の画素値を第１の生成部２０Ｆへ出力し、ステップＳ４２０へ戻る。ステップＳ４２０では、第１の生成部２０Ｆは、補正された画素のデータ量を低減し、上記処理が繰返される。

一方、ステップＳ４２６で導出した差が第１の閾値未満である場合（ステップＳ４２８：Ｎｏ）、導出部２６Ｈは、第３の画像５６に含まれる複数の画素の内、差の導出に用いた画素位置の画素を出力対象とする出力対象指示を、第１の出力制御部２０Ｊへ出力する。第１の出力制御部２０Ｊは、第３の画像５６における、出力対象指示に示される画素位置の画素の画素値を、出力対象として保持する（ステップＳ４３２）。

ステップＳ４００で取得した入力画像５０（第１の画像５２、第２の画像５４）の全ての画素について、ステップＳ４１４～ステップＳ４３２の処理が終了すると、ステップＳ４３４へ進む。第１の出力制御部２０Ｊは、上記差が第１閾値未満の画素からなる第３の画像５６である出力画像５８を、学習部１６へ出力する（ステップＳ４３４）。そして、本ルーチンは終了する。

以上説明したように、本実施の形態の情報処理装置１１Ｄは、第２の取得部２６Ｋが、入力画像５０の撮影環境に含まれる複数の検知点の各々の第１のセンサ１８からの距離情報を規定した第１の距離画像を取得する。第３の取得部２６Ｐは、入力画像５０の撮影環境に含まれる物体の第２のセンサ１９からの方向を示す方向情報を取得する。第２の生成部２６Ｒは、第１の距離画像の全領域の内、方向情報に応じた物体領域内の検知点の距離情報について、周辺の他の検知点との距離情報の変化率を増加させた第２の距離画像を生成する。第５の抽出部２６Ｓは、第２の距離画像から第５の特徴点情報を抽出する。導出部２６Ｈは、第１の特徴点情報と第５の特徴点情報とを論理和演算した結果に基づいて生成した第６の特徴点情報と、第２の特徴点情報と、の差を導出する。

ここで、撮影部１２によって得られる入力画像５０である第１の画像５２からは、撮影部１２からの距離または物体の輪郭の複雑さに拘らず、明るさの変化率を示す第１の特徴点情報を抽出可能である。しかし、第１の画像５２では、明るさの差が小さいほど、小さい変化率を示す第１の特徴点情報が得られる。このため、第１の画像５２では、背景との明るさの差の小さい物体ほど、識別することが困難となる。

そこで、本実施の形態では、導出部２６Ｈは、第１の画像５２から抽出した第１の特徴点情報と、第５の特徴点情報と、を論理和演算する。第５の特徴点情報は、第１の距離画像の物体領域を強調した第２の距離画像から抽出した、特徴点情報である。このため、この論理和演算により、論理和演算部２６Ｕは、表示画像５３における、物体の特徴点を示す情報が含まれない画素について、第１の距離画像の物体領域を強調した第５の特徴点情報に応じた情報を、論理和演算の結果に基づいて付与することができる。

そして、導出部２６Ｈは、論理和演算の結果に基づいて生成した第６の特徴点情報と、第２の特徴点情報と、の差を導出する。このため、本実施の形態の情報処理装置１１Ｄでは、第１の距離画像および方向情報から識別される物体の特徴点を強調した第１の画像５２を用いて、該強調後の第１の画像５２の第６の特徴点情報と、第２の特徴点情報と、の差を導出することができる。

従って、本実施の形態の情報処理装置１１Ｄは、上記第１乃至第３の実施の形態の効果に加えて、特徴点欠損を更に抑制し、且つデータ量の低減された画像を提供することができる。

（第５の実施の形態）
本実施の形態では、入力画像５０である第１の画像５２と、距離情報および方向情報から生成した第２の距離画像と、を論理和演算した結果に基づいて生成した第４の画像を用いて、第３の画像５６を補正する形態を説明する。

なお、本実施の形態および以下の実施の形態において、上記第１乃至第４の実施の形態と同じ機能および構成の部分には、同じ符号を付与し、詳細な説明を省略する。

図１７は、本実施の形態の情報処理装置１１Ｅの機能の一例を示す図である。なお、情報処理装置１１Ｅを備えた情報処理システムの構成は、情報処理装置１１Ｄに代えて情報処理装置１１Ｅを備える点以外は、第４の実施の形態の情報処理システム１Ｄと同様である（図１４参照）。また、情報処理装置１１Ｅのハードウェア構成は、第１の実施の形態の情報処理装置１０と同様である（図２参照）。

情報処理装置１１Ｅは、第１の取得部２０Ａと、編集部２０Ｂと、第２の出力制御部２０Ｃと、伸長部２０Ｅと、第１の出力制御部２０Ｊと、を備える。また、情報処理装置１１Ｅは、第２の取得部２６Ｋと、第３の取得部２６Ｐと、第２の生成部２６Ｒと、二値化部２８Ｗと、を備える。また、情報処理装置１１Ｅは、二値化部２８Ｘと、論理和演算部２８Ｙと、第２の補正部２８Ｆと、を備える。

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

第１の取得部２０Ａ、編集部２０Ｂ、第２の出力制御部２０Ｃ、伸長部２０Ｅ、および第１の出力制御部２０Ｊは、第１の実施の形態と同様である。第２の取得部２６Ｋ、第３の取得部２６Ｐ、および第２の生成部２６Ｒは、第４の実施の形態と同様である。

二値化部２８Ｗは、第２の距離画像を、検知点ごとに二値化する。第２の距離画像は、上記第４の実施の形態と同様に、第２の生成部２６Ｒが第１の距離画像を方向情報に基づいて補正することで生成された距離画像である。

二値化部２８Ｗは、距離情報が予め定めた第７の閾値以上である場合に、二値化結果“１”（真）を導出する。また、二値化部２８Ｗは、距離情報が第７の閾値未満である場合、二値化結果“０”（偽）を導出する。第７の閾値には、物体の輪郭線を示す情報であるか否かを判別するための閾値を予め定めればよい。

二値化部２８Ｗは、二値化した結果を、論理和演算部２８Ｙへ出力する。詳細には、例えば、二値化部２８Ｗは、第２の距離画像に含まれる複数の画素の各々の二値化結果と、該二値化結果を示す画素の識別情報とを、論理和演算部２８Ｙへ出力する。画素の識別情報は、入力画像５０（第１の画像５２、第２の画像５４）における位置を示す情報である。

一方、二値化部２８Ｘは、編集部２０Ｂから受付けた表示画像５３を、画素ごとに二値化する。詳細には、例えば、二値化部２８Ｘは、表示画像５３の画素の画素値によって示される明るさが予め定めた第８の閾値以上である場合、二値化結果“１”（真）を導出する。一方、二値化部２８Ｘは、画素値によって示される明るさが第８の閾値未満である場合、二値化結果“０”（偽）を導出する。第８の閾値には、物体の輪郭線を示す情報であるか否かを判別するための閾値を予め定めればよい。

次に、論理和演算部２８Ｙは、表示画像５３と第２の距離画像とを論理和演算した結果に基づいて第４の画像を生成する。詳細には、例えば、論理和演算部２８Ｙは、表示画像５３の二値化結果と第２の距離画像の二値化結果とを論理和演算した結果に基づいて第４の画像を生成する。なお、論理和演算部２８Ｙは、第１の画像５２の二値化結果と第２の距離画像の二値化結果とを論理和演算した結果に基づいて第４の画像を生成してもよい。本実施の形態では、論理和演算部２８Ｙは、編集部２０Ｂから表示画像５３を取得し、表示画像５３の二値化結果と第２の距離画像の二値化結果との論理和演算を行う。

まず、論理和演算部２８Ｙは、表示画像５３の二値化部２８Ｘによる二値化結果と、第２の距離画像の二値化部２８Ｗによる二値化結果と、の論理和を演算する。なお、図１７では、論理和演算部２８Ｙと、二値化部２８Ｘ、２８Ｗを独立した機能部として示したが、論理和演算部２８Ｙが二値化部２８Ｘ、２８Ｗの機能を内部に備えるようにすることもできる。このとき、論理和演算部２８Ｙは、表示画像５３を構成する複数の画素の各々について、表示画像５３の二値化結果と、各画素に対応する位置の検知点の距離情報の二値化結果と、の論理和を演算する。

そして、論理和演算部２８Ｙは、表示画像５３を構成する複数の画素の各々について、論理和演算の結果が“１”（真）の画素については、周辺画素に規定した画素値との変化率が第９の閾値以上となる画素値を規定する。詳細には、例えば、論理和演算部２８Ｙは、表示画像５３における、処理対象の画素の画素値と、該画素の周辺画素の画素値と、を用いて、該処理対象の画素の画素値を上記画素値に規定する。第９の閾値は、物体の輪郭線または境界を示す情報であるか否かを判別するための閾値を予め定めればよい。

一方、論理和演算部２８Ｙは、論理和演算の結果が“０”（偽）の画素については、編集部２０Ｂによる鮮明化後の第１の画像５２である表示画像５３における、処理対象の画素の画素値を規定する。

そして、論理和演算部２８Ｙは、表示画像５３を構成する全ての画素について、論理和演算の結果に応じた画素値を規定することで、第４の画像を生成する。すなわち、論理和演算部２８Ｙは、表示画像５３の二値化結果と第２の距離画像の二値化結果とを論理和演算した結果に基づいて第４の画像を生成する。

このため、論理和演算部２８Ｙは、論理和演算の結果として、表示画像５３に、第２の距離画像から識別される物体の特徴点を強調した第４の画像を生成することができる。すなわち、論理和演算部２８Ｙは、表示画像５３における、物体の特徴点を示す情報が含まれない画素について、第２の距離画像から抽出された特徴点を示す情報を加えることができる。また、本実施の形態では、第２の距離画像は、第１の距離画像に含まれる物体領域の検知点の距離情報について、周辺の検知点との距離情報の変化率を増加させた距離画像である。このため、論理和演算部２８Ｙは、表示画像５３に、第２の距離画像から識別される物体領域を強調した特徴点を加えた情報を、論理和演算の結果に基づいて得ることができる。

ここで、撮影部１２によって得られる入力画像５０である第１の画像５２は、撮影部１２からの距離または物体の輪郭の複雑さに拘らず、明るさの変化率を特定可能な画像である。一方、第１の距離画像および方向情報は、明るさの差の大小に拘らず、距離情報の変化率を特定可能な情報である。そして、本実施の形態では、論理和演算部２８Ｙは、第１の画像５２、第１の距離画像、および方向情報に基づいて、上記処理により、第４の画像を生成する。

このため、第４の画像は、撮影部１２からの距離、物体の輪郭の複雑さ、および、明るさの差の大小に拘らず、高精度に物体の特徴点を規定した画像となる。

第２の補正部２８Ｆは、第１の実施の形態で説明した第１の生成部２０Ｆと同様に、伸長済画像５５のデータ量を低減した、第３の画像５６を生成する。本実施の形態では、第２の補正部２８Ｆは、更に、第３の画像５６を構成する画素の内、特定の画素の画素値を補正する。特定の画素は、第３の画像５６の内、論理和演算部２８Ｙで生成された第４の画像を構成する画素の内の周辺画素の画素値との変化率が第９の閾値以上の画素に対応する画素位置の画素である。

第２の補正部２８Ｆは、第３の画像５６における、第４の画像において周辺画素の画素値との変化率が第９の閾値以上の画素位置に対応する画素について、周辺画素との変化率が現在の変化率より大きくなるように、画素値を補正する。具体的には、第２の補正部２８Ｆは、第４の画像に含まれる上記特定の画素について、周辺画素との明るさの変化率が現在の変化率より大きくなるように、該特定の画素の明るさを補正する。そして、第２の補正部２８Ｆは、第４の画像を補正することで生成した第３の画像５６を、出力画像５８として第１の出力制御部２０Ｊへ出力する。

このため、第２の補正部２８Ｆは、撮影環境に含まれる物体の輪郭線などの物体の特徴点を強調した第３の画像５６を、出力画像５８として第１の出力制御部２０Ｊへ出力することができる。

そして、第１の出力制御部２０Ｊは、第２の補正部２８Ｆから受付けた出力画像５８を、学習部１６へ出力する。

次に、本実施の形態の情報処理装置１１Ｅが実行する、情報処理の流れの一例を説明する。図１８は、本実施の形態の情報処理装置１１Ｅが実行する、情報処理の一例を示すフローチャートである。なお、複数のステップの各々の順番は適宜変更可能であり、図１８の例に限られるものではない。また、複数のステップの少なくとも一部は、適宜並列して実行してもよい。

第１の取得部２０Ａが撮影部１２から入力画像５０を取得する（ステップＳ５００）。編集部２０Ｂは、第１の取得部２０Ａから受付けた第１の画像５２を鮮明化する（ステップＳ５０２）。ステップＳ５０２の処理によって、表示画像５３が生成される。第２の出力制御部２０Ｃは、ステップＳ５０２で生成された表示画像５３を表示部１４へ出力する（ステップＳ５０４）。伸長部２０Ｅは、第１の取得部２０Ａから受付けた第２の画像５４の明るさのヒストグラムを伸長化する（ステップＳ５０６）。ステップＳ５０６の処理によって、伸長済画像５５が生成される。ステップＳ５００～ステップＳ５０６は、第１の実施の形態のステップＳ１００～ステップＳ１０６と同様である。

第２の取得部２６Ｋが、第１のセンサ１８から第１の距離画像を取得する（ステップＳ５０８）。第３の取得部２６Ｐが、第２のセンサ１９から方向情報を取得する（ステップＳ５１０）。ステップＳ５０８で取得する第１の距離画像、および、ステップＳ５１０で取得する方向情報は、ステップＳ５００で取得した入力画像５０と同じタイミングで同じ撮影環境を観測したものである。

第２の生成部２６Ｒが、ステップＳ５０８で取得した第１の距離画像を、ステップＳ５１０で取得した方向情報を用いて補正する。この補正により、第２の生成部２６Ｒは、第１の距離画像から第２の距離画像を生成する（ステップＳ５１２）。

論理和演算部２８Ｙが、ステップＳ５０２で生成した表示画像５３を二値化部２８Ｘで二値化した二値化結果と、ステップＳ５１２で生成した第２の距離画像を二値化部２８Ｗで二値化した二値化結果と、の論理和を演算する（ステップＳ５１４）。

そして、論理和演算部２８Ｙは、表示画像５３を構成する全ての画素について、ステップＳ５１４の論理和演算の結果に応じた画素値を規定することで、第４の画像を生成する（ステップＳ５１６）。

第２の補正部２８Ｆが、ステップＳ５０６で生成した伸長済画像５５のデータ量を低減する（ステップＳ５１８）。第２の補正部２８Ｆは、データ量を低減することで、第３の画像５６を生成する（ステップＳ５２０）。

第２の補正部２８Ｆは更に、生成した第３の画像５６を、ステップＳ５１６で生成した第４の画像を用いて補正する（ステップＳ５２２）。第２の補正部２８Ｆは、第３の画像５６における、第４の画像に含まれる、周辺画素の画素値との変化率が第９の閾値以上の画素位置に対応する画素を特定する。そして、第２の補正部２８Ｆは、特定した画素について、周辺画素との変化率が現在の変化率より大きくなるように、画素値を補正する。

第１の出力制御部２０Ｊは、第２の補正部２８Ｆによって補正された第３の画像５６を、出力画像５８として学習部１６へ出力する（ステップＳ５２４）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置１１Ｅは、第１の取得部２０Ａと、第２の取得部２６Ｋと、第３の取得部２６Ｐと、第２の生成部２６Ｒと、論理和演算部２８Ｙと、第２の補正部２８Ｆと、を備える。

第１の取得部２０Ａは、入力画像５０を取得する。第２の取得部２６Ｋは、入力画像５０の撮影環境に含まれる複数の検知点の各々の第１のセンサ１８からの距離情報を規定した第１の距離画像を取得する。第３の取得部２６Ｐは、入力画像５０の撮影環境に含まれる物体の第２のセンサ１９からの方向を示す方向情報を取得する。第２の生成部２６Ｒは、第１の距離画像の全領域の内、方向情報に応じた物体領域内の検知点の距離情報について、周辺の他の検知点との距離情報の変化率を増加させた第２の距離画像を生成する。論理和演算部２８Ｙは、入力画像５０である第１の画像５２と、第２の距離画像と、を論理和演算した結果に基づいて第４の画像を生成する。第２の補正部２８Ｆは、入力画像５０である第２の画像５４のデータ量を低減した第３の画像５６を構成する画素の内、特定の画素に対応する画素値を補正する。特定の画素は、第４の画像を構成する画素の内の周辺画素との画素値の変化率が閾値（第９の閾値）以上の画素である。

第４の画像は、表示画像５３（または、第１の画像５２）の二値化結果と第２の距離画像の二値化結果とを論理和演算した結果に基づいて生成される画像である。すなわち、第４の画像は、方向情報、第１の距離画像、および第１の画像５２に基づいて生成された、距離、輪郭の複雑さ、または明るさの差の大小に拘らず、高精度に物体の特徴点を規定した画像である。そして、本実施の形態では、第２の補正部２８Ｆは、第３の画像５６における、第４の画像を構成する画素の内の周辺画素との画素値の変化率が閾値以上の画素に対応する、画素の画素値を補正する。

このため、出力画像５８は、データ量の低減処理によって少なくとも一部が消失した物体の輪郭線を出現または強調するように、第３の画像５６を補正した画像となる。言い換えると、出力画像５８は、データ量の低減された第２の画像５４である第３の画像５６を、データ量の低減処理によって欠損した物体が復元するように補正した画像となる。このため、第１の出力制御部２０Ｊは、特徴点欠損を抑制し且つデータ量が低減された画像である出力画像５８を出力することができる。

従って、本実施の形態の情報処理装置１１Ｅは、特徴点欠損を抑制した画像を提供することができる。

以上、実施の形態について説明したが、本願の開示する情報処理装置および情報処理方法は、上述の実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。

なお、上記第１乃至第５の実施の形態の情報処理装置１０、情報処理装置１１Ｂ～情報処理装置１１Ｅは、画像のデータ量を低減する処理を含む各種の装置に適用可能である。例えば、上記第１乃至第５の実施の形態の情報処理装置１０、情報処理装置１１Ｂ～情報処理装置１１Ｅは、監視カメラから得られる映像を処理する監視カメラシステム、または車外の周辺環境の画像を処理する車載システムなどに適用することができる。

１０、１１Ｂ、１１Ｃ、１１Ｄ、１１Ｅ 情報処理装置
１２ 撮影部
１４ 表示部
１６ 学習部
１８ 第１のセンサ
１９ 第２のセンサ
２０Ａ 第１の取得部
２０Ｂ 編集部
２０Ｃ 第２の出力制御部
２０Ｄ 第１の抽出部
２０Ｅ、２４Ｅ 伸長部
２０Ｆ 第１の生成部
２０Ｇ 第２の抽出部
２０Ｈ 導出部
２０Ｉ 第１の補正部
２０Ｊ 第１の出力制御部
２２Ｋ、２６Ｋ 第２の取得部
２２Ｌ 第３の抽出部
２２Ｏ、２６Ｕ、２８Ｙ 論理和演算部
２４Ｐ、２６Ｐ 第３の取得部
２４Ｑ 増加処理部
２６Ｒ 第２の生成部
２６Ｓ 第５の抽出部
２８Ｆ 第２の補正部

Claims (23)

1. 入力画像を取得して、第１の画像および第２の画像を出力する第１の取得部と、
   前記第１の画像から第１の特徴点情報を抽出する第１の抽出部と、
   前記第２の画像のデータ量を低減した第３の画像を生成する第１の生成部と、
   前記第３の画像から第２の特徴点情報を抽出する第２の抽出部と、
   前記第１の特徴点情報と前記第２の特徴点情報との差を導出する導出部と、
   前記差に応じて補正された前記第３の画像を出力画像として出力する第１の出力制御部と、
   を備える情報処理装置。
2. 前記第１の生成部は、
   前記第２の画像のビット深度を現在のビット深度より低減した前記第３の画像を生成する、
   請求項１に記載の情報処理装置。
3. 前記差に応じて前記第２の画像または前記第３の画像を補正する第１の補正部を備え、
   前記第１の出力制御部は、
   前記第１の補正部によって補正された前記第２の画像のデータ量を低減した前記第３の画像、または、前記第１の補正部によって補正された前記第３の画像を、前記出力画像として出力する、
   請求項１または請求項２に記載の情報処理装置。
4. 前記第１の抽出部は、
   前記第１の画像に含まれる複数の画素の各々について、周辺画素との画素値の変化率を、前記第１の特徴点情報として抽出し、
   前記第２の抽出部は、
   前記第３の画像を構成する複数の画素の各々について、周辺画素との画素値の変化率を、前記第２の特徴点情報として抽出し、
   前記導出部は、
   前記第３の画像における前記第１の画像に対応する画素ごとに、前記差を導出し、
   前記第１の補正部は、
   前記差に応じて、前記第２の画像または前記第３の画像の画素値を画素ごとに補正する、
   請求項３に記載の情報処理装置。
5. 前記第１の補正部は、
   前記第２の画像または前記第３の画像に含まれる複数の画素の内、前記差が第１の閾値以上の画素の画素値を補正する、
   請求項３または請求項４に記載の情報処理装置。
6. 前記第１の補正部は、
   前記第２の画像または前記第３の画像に含まれる複数の画素の内、前記差が前記第１の閾値以上であり、且つ第１の明るさ以上の画素の画素値を、前記第１の明るさ未満に補正し、
   前記第２の画像または前記第３の画像に含まれる複数の画素の内、前記差が前記第１の閾値以上であり、且つ前記第１の明るさ未満の画素の画素値を、前記第１の明るさ以上の明るさに補正する、
   請求項５に記載の情報処理装置。
7. 前記第１の出力制御部は、
   画素値が前記第１の補正部によって補正され、前記差が前記第１の閾値未満である画素からなる前記第３の画像である前記出力画像を、入力された前記出力画像に応じた処理結果情報を出力する学習部へ出力する、
   請求項５または請求項６に記載の情報処理装置。
8. 前記導出部は、
   前記第３の画像に含まれる複数の画素の内、前記差が前記第１の閾値未満の画素を出力対象とする出力対象指示を、前記第１の出力制御部へ出力し、
   前記第１の出力制御部は、
   前記第３の画像を構成する全ての画素について、前記出力対象指示を受付けたときに、前記第３の画像を前記出力画像として学習部へ出力する、
   請求項５または請求項６に記載の情報処理装置。
9. 前記第１の画像を表示部へ出力する第２の出力制御部を備える、
   請求項１～請求項８の何れか１項に記載の情報処理装置。
10. 前記第２の画像の明るさのヒストグラムを伸長化する伸長部を備え、
    前記第１の生成部は、
    伸長化された前記第２の画像である伸長済画像のデータ量を低減した前記第３の画像を生成する、
    請求項１～請求項９の何れか１項に記載の情報処理装置。
11. 前記第１の画像を鮮明化する編集部を備え、
    前記第１の抽出部は、
    鮮明化された前記第１の画像である表示画像から前記第１の特徴点情報を抽出する、
    請求項１～請求項１０の何れか１項に記載の情報処理装置。
12. 前記入力画像の撮影環境に含まれる複数の検知点の各々の距離情報を規定した第１の距離画像を取得する第２の取得部と、
    前記第１の距離画像から第３の特徴点情報を抽出する第３の抽出部と、
    を備え、
    前記導出部は、前記第１の特徴点情報と前記第３の特徴点情報とを論理和演算した結果に基づいて生成された第４の特徴点情報と、前記第２の特徴点情報と、の前記差を導出する、
    請求項１～請求項１１の何れか１項に記載の情報処理装置。
13. 前記論理和演算を行う論理和演算部を備え、
    論理和演算部は、前記論理和演算の結果に基づいて前記第１の特徴点情報を修正することにより前記第４の特徴点情報を生成する、
    請求項１２に記載の情報処理装置。
14. 前記第２の取得部は、前記複数の検知点の各々について第１のセンサからの距離情報を規定した前記第１の距離画像を取得する、
    請求項１２または請求項１３に記載の情報処理装置。
15. 前記入力画像の撮影環境に含まれる物体の方向を示す方向情報を取得する第３の取得部と、
    前記第２の画像の全領域の内、前記方向情報によって示される、前記物体が存在する領域である物体領域のデータ量を、前記方向情報に応じて増加させる増加処理部と、
    を備え、
    前記第１の生成部は、
    前記物体領域のデータ量を増加させた前記第２の画像のデータ量を低減した、前記第３の画像を生成する、
    請求項１～請求項１１の何れか１項に記載の情報処理装置。
16. 前記第３の取得部は、少なくとも前記物体の第２のセンサからの方向及び前記物体から前記第２のセンサまでの距離を示す前記方向情報を取得する、
    請求項１５に記載の情報処理装置。
17. 前記入力画像の撮影環境に含まれる複数の検知点の各々の距離情報を規定した第１の距離画像を取得する第２の取得部と、
    前記入力画像の撮影環境に含まれる物体の方向を示す方向情報を取得する第３の取得部と、
    前記第１の距離画像の全領域の内、前記方向情報によって示される、前記物体が存在する領域である物体領域内の前記検知点の距離情報について、周辺の他の前記検知点との距離情報の変化率を増加させた第２の距離画像を生成する第２の生成部と、
    前記第２の距離画像から第５の特徴点情報を抽出する第５の抽出部と、
    を備え、
    前記導出部は、前記第１の特徴点情報と前記第５の特徴点情報とを論理和演算した結果に基づいて生成された第６の特徴点情報と、前記第２の特徴点情報と、の前記差を導出する、
    請求項１～請求項１１の何れか１項に記載の情報処理装置。
18. 前記論理和演算を行う論理和演算部を備え、
    論理和演算部は、前記論理和演算の結果に基づいて前記第１の特徴点情報を修正することにより前記第６の特徴点情報を生成する、
    請求項１７に記載の情報処理装置。
19. 前記第２の取得部は、前記複数の検知点の各々について第１のセンサからの距離情報を規定した前記第１の距離画像を取得し、
    前記第３の取得部は、少なくとも前記物体の第２のセンサからの方向及び前記物体から前記第２のセンサまでの距離を示す前記方向情報を取得する、
    請求項１７または請求項１８に記載の情報処理装置。
20. 入力画像を取得する第１の取得部と、
    前記入力画像の撮影環境に含まれる複数の検知点の各々の距離情報を規定した第１の距離画像を取得する第２の取得部と、
    前記入力画像の撮影環境に含まれる物体の方向を示す方向情報を取得する第３の取得部と、
    前記第１の距離画像の全領域の内、前記方向情報によって示される、前記物体が存在する領域である物体領域内の前記検知点の距離情報について、周辺の他の前記検知点との距離情報の変化率を増加させた第２の距離画像を生成する第２の生成部と、
    前記入力画像である第１の画像と前記第２の距離画像とを論理和演算した結果に基づいて生成された第４の画像を生成する論理和演算部と、
    前記入力画像である第２の画像のデータ量を低減した第３の画像を構成する画素の内、前記第４の画像を構成する画素の内の周辺画素との画素値の変化率が閾値以上の画素に対応する、画素の画素値を補正する第２の補正部と、
    を備える情報処理装置。
21. 前記第２の取得部は、前記複数の検知点の各々について第１のセンサからの距離情報を規定した前記第１の距離画像を取得し、
    前記第３の取得部は、少なくとも前記物体の第２のセンサからの方向及び前記物体から前記第２のセンサまでの距離を示す前記方向情報を取得する、
    請求項２０に記載の情報処理装置。
22. プロセッサを備えた情報処理装置であって、
    前記プロセッサは、
    入力画像を取得して、第１の画像および第２の画像を出力し、
    前記第１の画像から第１の特徴点情報を抽出し、
    前記第２の画像のデータ量を低減した第３の画像を生成し、
    前記第３の画像から第２の特徴点情報を抽出し、
    前記第１の特徴点情報と前記第２の特徴点情報との差を導出し、
    前記差に応じて補正された前記第３の画像を出力画像として出力する、
    処理を実行する情報処理装置。
23. 入力画像を取得して、第１の画像および第２の画像を出力し、
    前記第１の画像から第１の特徴点情報を抽出し、
    前記第２の画像のデータ量を低減した第３の画像を生成し、
    前記第３の画像から第２の特徴点情報を抽出し、
    前記第１の特徴点情報と前記第２の特徴点情報との差を導出し、
    前記差に応じて補正された前記第３の画像を出力画像として出力する、
    処理をコンピュータが実行する情報処理方法。

Images