JPWO2020116170A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

情報処理装置（２０００）は、撮像装置（１０）によって生成される撮像画像（２０）から物体（３０）を検出する。情報処理装置（２０００）は、撮像画像（２０）において物体（３０）を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体（３０）に対応する部分範囲を決定する。情報処理装置（２０００）は、検出された物体（３０）を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する。情報処理装置（２０００）は、出力装置に対し、物体（３０）について決定した部分範囲に対する出力設定を適用する。

Description

本発明は、画像解析に関する。

カメラによって生成される撮像画像を用いて対象物を認識するシステムが開発されている。撮像画像を用いた対象物の認識は、撮像画像から物体を表す画像領域の特徴を抽出し、その特徴を解析することで行われる。物体の特徴とは、例えば、色、エッジ（輪郭）、又は表面テクスチャなどである。

撮像画像から物体の特徴を精度良く抽出できるようにするためには、撮像画像に物体の特徴が十分に表れている必要がある。撮像画像に物体の特徴が十分に表れるようにする方法の一つとして、照明や背景などの撮像環境を適切に設定するという方法がある。例えば、表面に凹凸を持つ白色の物体に対して強い照明を当ててしまうと、撮像画像上で物体の表面が白飛びし、その表面の凹凸が撮像画像上に表れなくなってしまう。そのため、その物体の特徴を撮像画像から抽出することが難しくなってしまう。

撮像環境の適切な設定について言及する先行技術文献として、特許文献１と非特許文献１が挙げられる。特許文献１では、検査ステーション内を通過する製品の複数の特徴を識別して不良品を仕分けるために、複数の照明装置及び検出装置を所定順序で選択的に駆動し、時系列的に得られた複数の画像信号を融合したマルチモーダル画像に対して識別処理を行う仕組みが開示されている。非特許文献１では、調理支援システムにおける食材認識のために、ディスプレイを背景（調理台）として用いて、前景（食材）周辺の背景の色相及び明度を一定範囲で変更しながら、食材の輪郭が最もよく見える背景色、及び食材の色が最も正確に抽出できる背景色を探索する方法を開示している。

特開２０１７−５１８１６４号公報

川西康友、山肩洋子、角所考、及び美濃導彦、「D-12-75 適応的背景変更による食材の領域と色の抽出」、電子情報通信学会総合大会講演論文集 ２００６年、情報・システム（２）、２０７、２００６年

１つの撮像画像に複数の物体が含まれることがある。この場合、撮像画像から各物体の特徴を精度良く抽出できるようにすることが望ましい。しかしながら、いずれか１つの物体の特徴に合わせて撮像環境を設定してしまうと、それ以外の物体の特徴が撮像画像上に十分に表れなくなるおそれがある。特許文献１や非特許文献１は、このように１つの撮像画像に含まれる複数の物体それぞれについての特徴を精度良く抽出できるようにする方法については言及していない。

本発明は、上記課題に鑑みてなされたものであり、その目的の一つは、１つの撮像画像から複数の物体それぞれの特徴を精度良く抽出できるように撮像環境を適切に設定する技術を提供することである。

本発明の情報処理装置は、１）撮像装置によって生成される撮像画像から物体を検出する検出部と、２）撮像画像において物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体に対応する部分範囲を決定する第１決定部と、３）検出された物体を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する第２決定部と、４）出力装置に対し、物体について決定した部分範囲に対する出力設定を適用する制御部と、を有する。

本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）撮像装置によって生成される撮像画像から物体を検出する検出ステップと、２）撮像画像において物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体に対応する部分範囲を決定する第１決定ステップと、３）検出された物体を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する第２決定ステップと、４）出力装置に対し、物体について決定した部分範囲に対する出力設定を適用する制御ステップと、を有する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、１つの撮像画像から複数の物体それぞれの特徴を精度良く抽出できるように撮像環境を適切に設定する技術が提供される。

本実施形態の情報処理装置の動作を概念的に例示する図である。 情報処理装置による照明設定の変更の結果を例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 実施形態２の情報処理装置の動作を概念的に例示する図である。 情報処理装置による背景設定の変更の結果を例示する図である。 実施形態２の情報処理装置によって実行される処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
＜概要＞
図１は、本実施形態の情報処理装置２０００の動作を概念的に例示する図である。なお、図１は、情報処理装置２０００に対する理解を容易にするための例示であり、情報処理装置２０００の機能は図１に表されているものに限定されない。

撮像装置１０は、撮像を行い、その結果として、撮像画像２０を生成する。情報処理装置２０００は、撮像画像２０を画像解析することで、撮像画像２０に含まれる１つ以上の物体３０を検出する。物体３０は、その位置が変化する任意の物体である。なお、物体３０は、その位置を変化させる機構を持つ物体（車両など）であってもよいし、その位置を変化させる機構を持たない物体（ベルトコンベアに乗せられて移動する製品など）であってもよい。

ここで、撮像画像２０を用いて把握することができる物体３０の特徴は、物体３０の撮像環境によって変化する。撮像環境としては、例えば、照明や背景などがある。例えば、黒色でなおかつ凹凸を持つ物体３０を、撮像装置１０で撮像するとする。この場合、照明の強度が弱いと、撮像画像２０において、物体３０を表す画像領域のコントラストが小さくなる。そのため、撮像画像２０を画像解析しても、物体３０が持つ凹凸を把握することが難しい。これに対し、照明の強度を適度に強くすると、撮像画像２０において、物体３０を表す画像領域のコントラストが大きくなる。そのため、撮像画像２０を画像解析することにより、物体３０が持つ凹凸を正確に把握することができる。このように、撮像画像２０から物体３０の特徴を精度良く抽出するためには、照明などといった撮像環境を適切に設定する必要がある。

また、複数の物体３０が存在する場合、適切な撮像環境は、物体３０ごとに異なると考えられる。例えば、黒色の物体３０の特徴を把握するために必要な強い光を白色の物体３０にも照射してしまうと、撮像画像２０において、その白色の物体３０を表す画像領域が白飛びしてしまい、白色の物体３０の特徴を撮像画像２０から把握することが難しくなってしまう。そのため、撮像装置１０の撮像範囲に複数の物体３０が含まれる場合、そのうちの１つの物体３０に合わせて撮像装置１０の撮像範囲全体の撮像環境を決めてしまうと、その他の物体３０の特徴を撮像画像２０から抽出することが難しくなってしまう。

そこで情報処理装置２０００は、物体３０の撮像環境に影響を与える（撮像環境を変化させる）出力装置の設定を、各物体３０に影響を与える範囲について個別に決定する。そのために情報処理装置２０００は、例えば次のような動作を行う。情報処理装置２０００は、撮像画像２０から物体３０を検出する。情報処理装置２０００は、撮像画像２０においてその物体３０を表す画像領域（以下、物体領域）が占める範囲に基づいて、出力装置の出力範囲のうち、その物体３０に対応する（その物体３０の撮像環境に影響を与える）部分範囲を決定する。また、情報処理装置２０００は、上記物体領域の特徴量に基づいて、上記部分範囲に対する出力装置の出力設定を決定する。そして情報処理装置２０００は、出力装置に対し、上記部分範囲について決定した出力設定を適用する。ここで、撮像画像２０から複数の物体３０が検出される場合、情報処理装置２０００は、出力装置に対し、複数の物体３０それぞれについて決定される部分範囲ごとに決定した出力設定を適用する。

以下、説明を分かりやすくするため、本実施形態では、出力装置として、光を照射する照明装置（図１の照明装置５０）を扱う。その他の出力装置については、他の実施形態で説明する。

出力装置が照明装置５０である場合、情報処理装置２０００は、照明装置５０の出力を制御することにより、照明装置５０によって出力される光を制御する。照明装置５０によって出力される光は、撮像装置１０の撮像範囲の一部又は全部を通過するように照射される。なお、後述するように、照明装置５０によって出力される光は可視光に限定されない。

情報処理装置２０００は、照明装置５０から出力される光の設定を、各物体３０に対して照射される範囲について個別に決定する。そのために情報処理装置２０００は、例えば次のような動作を行う。情報処理装置２０００は、撮像画像２０において物体３０を表す物体領域が占める範囲に基づいて、照明装置５０から出力される光が照射される範囲（以下、照射範囲）のうち、その物体３０に光が照射される範囲である部分範囲を決定する。また、情報処理装置２０００は、上記物体領域の特徴量に基づいて、上記部分範囲に照射される光の設定（以下、照明設定）を決定する。そして情報処理装置２０００は、照明装置５０に対し、上記決定した部分範囲について決定した照明設定を適用する。こうすることで、照明装置５０から照射される光のうち、決定した部分範囲に照射される光が、決定した照明設定に従った光となる。

図１では、情報処理装置２０００の動作例として、製品検査の様子を示している。具体的には、複数の物体が、ベルトコンベア４０によって運搬された後、検査エリア（撮像装置１０の撮像範囲）を通過するように落下する。図１の例では、物体３０−１と３０−２が検査エリアを通過している。そのため、これらの物体３０が撮像画像２０に含まれている。情報処理装置２０００は、これら２つの物体３０それぞれについて、部分範囲及び照明設定を決定し、照明装置５０にその設定を適用する。

図２は、情報処理装置２０００による照明設定の変更の結果を例示する図である。図２において、物体３０−１と物体３０−２に対して照射される光の設定がそれぞれ変更されている。

＜作用効果＞
本実施形態の情報処理装置２０００によれば、撮像画像２０から検出される物体３０それぞれについて、その物体３０に対応する出力装置の出力範囲及び出力設定が決定される。そして、出力装置に対し、各部分範囲について決定された出力設定が適用される。こうすることで、撮像装置１０の撮像環境を、撮像範囲に含まれている複数の物体３０それぞれについて個別に調整することができる。例えば前述したように、出力装置として照明装置５０を利用する場合、照明環境を、複数の物体３０それぞれについて個別に調整することができる。よって、撮像画像２０に複数の物体３０が含まれる場合であっても、撮像画像２０から各物体３０の特徴を精度良く抽出できるようになる。その結果、特徴抽出処理の精度や安定性を向上させることができる。

情報処理装置２０００の活用例としては、例えば、前述した製品検査がある。本実施形態の情報処理装置２０００によれば、多品種の製品を扱う工場等において、製品を撮像して画像解析を行うことで製品の検査を行う場合に、一度に複数の製品が撮像されるようにしても、精度の高い製品検査を実現できる。すなわち、精度が高くなおかつ高速な製品検査を実現できる。

その他の活用例としては、ごみ処理場におけるごみの自動分別が考えられる。具体的には、様々な種類のごみを画像認識して自動分別する場合に、一度に複数のごみが撮像されるようにしても、高い精度でごみの分別を行える。そのため、精度が高くなおかつ高速な自動分別を実現できる。

このように、情報処理装置２０００によれば、新たな付加価値を持つリアルタイム IoT システムによるファクトリーオートメーションを実現できる。また情報処理装置２０００は、上述のようなファクトリーオートメーションに限らず、ロボットビジョン、車載、セキュリティ、エンターテイメントなどの各種の分野において幅広く活用できる。

以下、本実施形態についてさらに詳細を述べる。

＜機能構成の例＞
図３は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、検出部２０２０、第１決定部２０４０、第２決定部２０６０、及び制御部２０８０を有する。検出部２０２０は、撮像画像２０から物体３０を検出する。第１決定部２０４０は、撮像画像２０において物体３０を表す画像領域が占める範囲に基づき、撮像画像２０に影響を与える出力を行う出力装置の出力範囲のうち、物体３０に対応する部分範囲を決定する。第２決定部２０６０は、物体３０を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する。制御部２０８０は、出力装置に対し、物体３０について決定した部分範囲の出力設定を適用する。

ここで、撮像画像２０から複数の物体３０が検出された場合、第１決定部２０４０は、それら複数の物体３０それぞれに対応する出力範囲を決定する。また、第２決定部２０６０は、それら複数の物体３０それぞれに対応する出力設定を決定する。そして、制御部２０８０は、出力装置に対し、複数の物体３０それぞれについての設定を行う。

出力装置として照明装置５０を扱う場合、第１決定部２０４０は、撮像画像２０において物体３０を表す画像領域が占める範囲に基づき、照明装置５０の光の照射範囲のうち、物体３０に照射される光の照射範囲を、その物体３０についての部分範囲として決定する。また、第２決定部２０６０は、物体３０について決定された部分範囲に照射される光の設定を、その部分範囲に対する出力設定として決定する。そして、制御部２０８０は、照明装置５０に対し、物体３０について決定した部分範囲の照明設定を適用する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などの可搬型の計算機である。その他にも例えば、計算機１０００は、撮像装置１０であってもよい。この場合、撮像装置１０は、自身で生成した撮像画像２０を用いて、自身の撮像環境に影響を与える出力装置の出力を制御する。このように情報処理装置２０００の機能を持たせる撮像装置１０は、例えば、インテリジェントカメラ、ネットワークカメラ、IP（Internet Protocol）カメラなどと呼ばれるカメラで実現される。なお、計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field−Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース１１００には、撮像装置１０が接続される。

ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

＜撮像装置１０について＞
撮像装置１０は、撮像を行い、その結果として撮像画像を生成する任意の装置である。撮像装置１０は、静止画像を生成するスチルカメラであってもよいし、動画像を生成するビデオカメラであってもよい。また、撮像装置１０には、可視光カメラに限らず、センサの検知結果に基づいて、画像データとして扱えるデータを生成する任意の装置を利用できる。例えば、単一波長の光を撮像するモノクロカメラ、赤外光やその他の波長域の電磁波（テラヘルツ波やミリ波を含む）を撮像するカメラなどであってもよい。

撮像装置１０のフレームレートやシャッタースピードは、撮像対象の物体３０の大きさや移動速度などに基づいて、適切に設定することが好適である。例えば、30cm 程度の高さから自由落下する物体３０を撮像する場合における撮像装置１０の好適な設定例は、フレームレートが 1000fps、かつシャッタースピードが 1/4000 である。

＜照明装置５０について＞
照明装置５０は、光を照射する装置であり、照射する光の設定をその照射範囲の一部ごとに変更できる機能を有する。例えば照明装置５０は、情報処理装置２０００からの制御入力に従って逐次的に駆動する複数の指向性光源の組み合わせによって構成される。ここで、制御系の発散を防ぐため、制御入力に対する照明装置５０の応答速度は、制御入力が入力される周期（すなわち、情報処理装置２０００が照明装置５０の設定の変更を行う周期）よりも速くなるように構成されることが好適である。

例えば照明装置５０は、姿勢を個別に変更可能な複数の指向性点光源を２次元的にアレイ状に並べることで構成される。ただし、各光源は必ずしもアレイ状に配置される必要はない。また、各光源の姿勢は固定されていてもよい。この場合、各光源に対応づけて、光源から照射された光の方向を変更するための機構（例えばミラー）を設けておき、各ミラーの姿勢を制御することにより、各光源から照射される光の方向を変更する。

その他にも例えば、照明装置５０はプロジェクタを用いて構成されてもよい。この場合、プロジェクタに出力させる画像を変更することにより、プロジェクタから出力される光を変更することができる。例えば、プロジェクタにグレースケールの画像を出力させると、白色に近い画素ほど明るい光が出力され、黒色に近い画素ほど暗い光が出力される。

なお、照明装置５０から出力される光は、可視光に限定されない。照明装置５０から出力する光の種類は、撮像装置１０によって感知される光の種類に対応させる。例えば撮像装置１０として可視光を感知するカメラを用いる場合、照明装置５０として、可視光を出力する装置を用いる。その他にも例えば、撮像装置１０として近赤外線を感知するカメラを用いる場合、照明装置５０として、近赤外線を出力する装置を用いる。

＜物体３０について＞
物体３０は、その位置が変化する任意の物体である。ただし、物体３０の位置は常に変化している必要はなく、例えば移動と停止が繰り返されてもよい。物体３０は、その位置を変化させる機構を備えていてもよいし、備えていなくてもよい。前者の場合、例えば物体３０は、車やバイクなどの車両、又はドローンなどの飛翔体などである。

後者の場合、例えば物体３０は、自由落下したり、坂を下ったりするなど、自身が持つ位置エネルギーを運動エネルギーに変えて運動する物体である。その他にも例えば、物体３０は、他の物体によって動かされてもよい。例えば物体３０を動かす他の物体は、ベルトコンベアや、空気などの気体を噴射する装置である。前者の場合、物体３０は、ベルトコンベアに乗って移動する。後者の場合、物体３０は、噴射された気体から受けた力で移動する。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、撮像画像２０を取得する（Ｓ１０２）。検出部２０２０は、撮像画像２０から物体３０を検出する（Ｓ１０４）。

Ｓ１０６からＳ１１４は、撮像画像２０から検出される１つ以上の物体３０それぞれについて実行されるループ処理Ａである。Ｓ１０６において、情報処理装置２０００は、全ての物体３０についてループ処理Ａを実行したか否かを判定する。既に全ての物体３０についてループ処理Ａを実行した場合、図５の処理は終了する。一方、まだループ処理Ａの対象としていない物体３０が存在する場合、図５の処理はＳ１０８に進む。この際、情報処理装置２０００は、まだループ処理Ａの対象としていない物体３０の中から１つを選択する。ここで選択される物体３０を、物体ｉと表記する。

第１決定部２０４０は、撮像画像２０において物体ｉを表す画像領域が占める範囲に基づいて、物体ｉに対応する部分範囲を決定する（Ｓ１０８）。第２決定部２０６０は、物体ｉを表す画像領域の特徴量を算出する（Ｓ１１０）。第２決定部２０６０は、算出した特徴量に基づいて、物体ｉに対応する部分範囲の照明設定を決定する（Ｓ１１２）。

Ｓ１１４はループ処理Ａの終端であるため、図５の処理はＳ１０６に進む。

ループ処理Ａが終了した後、制御部２０８０は、照明装置５０に対し、各物体ｉについて決定された部分範囲についての照明設定を適用する（Ｓ１１６）。

情報処理装置２０００は、撮像装置１０によって生成される撮像画像２０それぞれについて、図５に示す一連の処理を実行する。ただし、図５に示す処理は、撮像装置１０によって生成される全ての撮像画像２０ではなく、一部の撮像画像２０についてのみ実行されてもよい。例えば情報処理装置２０００は、所定の時間間隔で図５に示す処理を実行する。この際、検出部２０２０は、撮像装置１０によって生成された最新の撮像画像２０を取得するようにする。こうすることで、撮像装置１０によって生成される撮像画像２０のうち、所定の割合の撮像画像２０について、図５に示す処理が実行される。上述した所定の時間間隔は、情報処理装置２０００に予め設定しておいてもよいし、情報処理装置２０００からアクセス可能な記憶装置に記憶させておいてもよい。

＜撮像画像２０の取得：Ｓ１０２＞
検出部２０２０は、撮像画像２０を取得する（Ｓ１０２）。検出部２０２０が撮像画像２０を取得する方法は様々である。例えば検出部２０２０は、撮像装置１０から送信される撮像画像２０を受信することで、撮像画像２０を取得する。その他にも例えば、検出部２０２０は、撮像装置１０にアクセスし、撮像装置１０に記憶されている撮像画像２０を取得する。

なお、撮像装置１０は、撮像装置１０の外部に設けられている記憶装置に撮像画像２０を記憶させてもよい。この場合、検出部２０２０は、この記憶装置にアクセスして撮像画像２０を取得する。

情報処理装置２０００の機能が撮像装置１０によって実現される場合、検出部２０２０は、情報処理装置２０００の内部で生成された撮像画像２０を取得する。この場合、撮像画像２０は、例えば情報処理装置２０００の内部にある記憶装置（例えばストレージデバイス１０８０）に記憶されている。

検出部２０２０が撮像画像２０を取得するタイミングは任意である。例えば検出部２０２０は、撮像装置１０によって新たな撮像画像２０が生成される度に、その新たに生成された撮像画像２０を取得する。その他にも例えば、検出部２０２０は、定期的に未取得の撮像画像２０を取得してもよい。この際、検出部２０２０は、最新の撮像画像２０のみを取得してもよいし、複数の（例えば全ての）撮像画像２０を取得してもよい。

＜物体３０の検出：Ｓ１０４＞
検出部２０２０は、撮像画像２０から物体３０を検出する（Ｓ１０４）。ここで、撮像画像から物体を検出する処理には、既存の物体検出処理（背景差分など）を利用することができる。

なお、いずれの撮像画像２０からも検出されていない新規の物体３０を検出する処理は、撮像画像２０内の一部の画像領域のみを対象として行われるようにしてもよい。例えば、ベルトコンベアで運ばれる物体を撮像装置１０で撮像する場合、新規の物体が出現する撮像画像２０上の画像領域は限られている。そこで、そのような新規の物体が出現する画像領域を予め定めておき、検出部２０２０に、その画像領域を対象として、新規の物体３０を検出する処理を行わせる。

既出の物体３０を撮像画像２０から検出する処理には、トラッキングなどといった既存の技術を利用できる。例えば検出部２０２０は、或る撮像画像２０から新規の物体３０を検出したら、その撮像画像２０におけるその物体３０の代表点（例えば重心位置）やサイズを算出し、算出した代表点やサイズに基づいて、その次の撮像画像２０からその物体３０を探索する画像領域（以下、探索領域）を設定する。そして検出部２０２０は、次の撮像画像２０を得たら、その撮像画像２０内の探索領域について物体検出処理を実行することにより、既出の物体３０の検出を行う。

なお、探索領域の設定は、物体３０の移動方向や移動速度をさらに考慮して行われてもよい。例えばベルトコンベアに乗せられて物体３０が移動している場合、ベルトコンベアが物体を移動させる方向やその移動速度は既知である。また、移動速度や移動方向が既知でなくても、複数の撮像画像から検出される物体３０の位置の変化に基づいて、その移動速度や移動方向を算出することができる。

探索領域のサイズは、予め固定で設定されていてもよいし、撮像画像２０から検出された物体３０のサイズに基づいて決定されてもよい。例えば後者の場合、探索領域のサイズを、撮像画像２０から検出された物体３０のサイズの定数倍にする。特に 1000fps のような十分に高いフレームレートで撮像が行われる場合、フレーム間で物体位置はほとんど変化しないため、探索領域のサイズを、撮像画像２０から検出された物体３０のサイズとほぼ同じ程度にまで小さく設定することができる。そのため、物体３０同士の近接に対する頑健さを向上させることができる。また、フレーム間で物体位置がほとんど変化しないという高フレームレートでの撮影には、物体の予想外の動きに対して頑健であるというメリットもある。

＜部分範囲の決定：Ｓ１０８＞
第１決定部２０４０は、撮像画像２０において或る物体３０の物体領域が占める範囲に基づいて、その物体３０に対応する部分範囲を決定する（Ｓ１０８）。出力装置として照明装置５０を扱う場合、物体３０に対応する部分範囲は、照明装置５０によって光が照射される範囲のうち、その物体３０に対して光が照射される範囲を表す。ここで、「その物体３０に対して光が照射される範囲」は、例えば、次の撮像画像２０からその物体３０を探索するために設定される探索範囲（撮像画像２０上の領域）を、照明装置５０の座標系上の領域に変換することで得られる。

撮像画像２０上の領域から照明装置５０の座標系上の領域への変換は、撮像装置１０と照明装置５０のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。

ここで、(u,v) は撮像画像２０上の位置を表し、(x,y,z) は撮像装置１０の座標系において (u,v) に対応する位置を表し、(x',y',z') は照明装置５０の座標系において (u,v) に対応する位置を表す。A は、撮像装置１０の座標系から照明装置５０の座標系への 4x4 の変換行列を表す。B は、撮像画像２０上の位置から撮像装置１０の座標計上の位置への 4x3 の変換行列を表す。A と B は、撮像装置１０と照明装置５０のセッティング位置等に基づいて予め導出しておく。

ここで、撮像画像２０から検出された物体３０に対して光が照射される範囲は、必ずしも、その次の撮像画像２０から物体３０を探索する探索範囲に基づいて設定されなくてもよい。例えば、撮像画像２０から検出された物体３０に対して光が照射される範囲は、その撮像画像２０においてその物体３０を表す物体領域を照明装置５０の座標系上の領域に変換することで求められてもよい。

その他にも例えば、情報処理装置２０００による設定が反映された光が照明装置５０から照射されるまでに要する時間と撮像装置１０のフレームレートに基づき、その設定が反映された光が照射された物体３０が含まれる撮像画像２０が、x 枚先の撮像画像２０であることが分かるとする。この場合、第１決定部２０４０は、x 枚先の撮像画像２０における物体３０の探索範囲を予測し、その探索範囲に対応する照明装置５０の座標系上の領域を、物体３０に対応する部分範囲として決定する。例えばこの探索範囲は、物体３０が現在の移動方向及び移動速度で移動し続けると仮定することで予測することができる。

＜特徴量の算出：Ｓ１１０＞
第２決定部２０６０は、物体領域の特徴量を算出する（Ｓ１１０）。照明設定を決定するために利用される特徴量には、様々なものを用いることができる。例えば、物体領域のコントラストに関する指標値、画素値のばらつきに関する指標値、又は情報の欠損具合（白飛びや黒飛びなど）を表す指標値などを用いることができる。

物体領域のコントラストを表す指標値としては、例えば、Michelson コントラスト、Weber コントラスト、又はコントラスト比などを用いることができる。これらはそれぞれ、以下の式で定義される。

ここで、Imax と Imin はそれぞれ、物体領域に含まれる輝度の最大値と最小値である。

画素値のばらつきに関する指標値は、輝度値の分散やエントロピーで表すことができる。これらはそれぞれ、以下の数式で表される。

ここで、Ik は、物体領域に含まれる画素 k の輝度値である。Iavg は、物体領域に含まれる全ての画素の輝度値の平均である。N は、物体領域に含まれる画素の総数である。Nj は、階調が j の画素の総数である。

情報の欠損具合を表す指標値は、例えば、白飛びが生じている画素の個数、又は黒潰れが生じている画素の個数で表される。白飛びが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の上限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 255）となっている画素の総数である。黒潰れが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の下限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 0）となっている画素の総数である。

＜照明設定の決定：Ｓ１１２＞
第２決定部２０６０は、物体３０を表す物体領域の特徴量に基づいて、その物体３０に対応する部分範囲の照明設定を決定する。（Ｓ１１２）。物体の特徴量に基いて照明設定を決定する具体的な方法は、利用する特徴量に応じて異なる。以下、利用する特徴量ごとに、照明設定の決定方法を説明する。

＜＜コントラストに関する指標値又は画素値のばらつきに関する指標値＞＞
物体領域の特徴量として、コントラストに関する指標値又は画素値のばらつきに関する指標値を用いるとする。この場合、第２決定部２０６０は、指標値をより大きくするように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、これらの指標値のように。その指標値を大きくするように光の強度を設定することが好適である指標値を総称して、第１指標値と呼ぶ。また、時点 t の物体 i の物体領域を D(i, t) と表記し、D(i,t) について算出された第１指標値を C(i,t) と表記する。

例えば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度 T(i,t) を、物体ｉについての第１指標値の前時刻からの変化量ΔC(i,t)（=C(i,t)-C(i,t-1)）、及び物体ｉに対応する部分範囲に照射される光の強度に前回加えた変更の大きさΔT(i,t-1)（=T(i,t-1)-T(i,t-2)）に基づいて決定する。

例えば第２決定部２０６０は、第１指標値の変化量ΔC(i,t) が所定の閾値 Th1 より大きい場合には、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を、前回の変更量ΔT(i,t-1) と同符号の変更量で変更する。一方、第２決定部２０６０は、第１指標値の変化量ΔC(i,t) が所定の閾値 Th1 以下である場合には、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を、前回の変更量ΔT(i,t-1) と逆符号の変更量で変更する。具体的には、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度 T(i,t) を、以下の式（７）及び（８）で決定する。

ここで、αとβはいずれも、任意の正の実数として予め定めておく。ただし、αとβはいずれも、１以下の値とすることが好適である。

＜＜情報の欠損具合に関する指標値＞＞
情報の欠損具合に関する指標値を特徴量として利用する場合、第２決定部２０６０は、指標値を小さくする（すなわち、情報の欠損が少なくなる）ように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、情報の欠損具合に関する指標値のように、その指標値を小さくするように光の強度を設定することが好適である指標値を、第２指標値と呼ぶ。また、物体領域 D(i,t) における白飛びの個数を表す指標値を m1(i,t) と表記し、物体領域 D(i,t) における黒潰れの個数を表す指標値を m2(i,t) と表記する。

白飛びの個数 m1(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の上限値となっている画素の数をカウントすることで得られる。m1(i,t) を利用する場合、第２決定部２０６０は、m1(i,t) が閾値 Th2 以下であるか否かを判定する。m1(i,t)≦Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m1(i,t)>Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度の変更量ΔT(i,t) を、所定の負の値 -ΔT0（ΔT0>0）に設定する。

黒潰れの個数 m2(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の下限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 0）となっている画素の数をカウントすることで得られる。m2(i,t) を利用する場合、第２決定部２０６０は、m2(i,t) が閾値 Th2 以下であるか否かを判定する。m1(i,t)≦Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m2(i,t)>Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t)を、所定の正の値 +ΔT0 に設定する。すなわち、第２決定部２０６０は、ΔT(i,t) を前述した式（７）及び以下の式（１０）で決定する。

ここで、m1(i,t) に関する閾値と m2(i,t) に関する閾値は、互いに異なる値であってもよい。また、m1(i,t) が閾値以上である場合に光の強度に加える変更量の絶対値と、m2(i,t) が閾値以上である場合に光の強度に加える変更量の絶対値も、互いに異なる値であってもよい。

なお、m1 と m2 の双方を利用してもよい。この場合において、m1(i,t) と m2(i,t) の双方が閾値以上であったとする。この場合、第２決定部２０６０は、白飛びと黒潰れの量を均等にするように、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を設定する。具体的には、第２決定部２０６０は、m1(i,t)>m2(i,t) であれば光の強度を小さくし（例えば、-ΔT0 の変更を加える）、m1(i,t)<m2(i,t) であれば光の強度を大きくし（例えば、+ΔT0の変更を加える）、m1(i,t)=m2(i,t) であれば光の強度を変更しない。このようにすることで、白飛びと黒つぶれをバランスさせる。

＜＜第１指標値と第２指標値の併用＞＞
第２決定部２０６０は、第１指標値と第２指標値を併用してもよい。例えば第２決定部２０６０は、第２指標値が閾値以上であれば、第２指標値に基づいて、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t) を決定し（式（９）や式（１０））、第２指標値が閾値未満であれば、第１指標値に基づいてΔT(i,t)を決定する（式（８））。

具体例として、第２指標値として白飛びの数 m1(i,t) を利用するとする。この場合、まず第２決定部２０６０は、m1(i,t) が閾値 Th2 以上であるか否かを判定する。m1(i,t)≧Th2 であれば、第２決定部２０６０は、ΔT(i,t) に -ΔT0 を設定する。一方、m1(i,t)＜Th2 であれば、第２決定部２０６０は、ΔC(i,t) と閾値 Th1 との比較に基づいてΔT(i,t) を決定する。すなわち、第２決定部２０６０は、以下の式（１１）に基づいて量ΔT(i,t) を決定する。

なお、物体３０が検出されていない範囲に照射される光の強度には、任意の値を設定してよい。例えば、この場合に設定する光の強度は、照明装置５０から照射可能な光の強度の最大値に設定する。こうすることで、その範囲に新たな物体が現れた場合に、その物体を撮像画像２０から検出しやすくなる。また、同様に、物体３０が初めて検出された時にその物体３０について決定された部分範囲に照射する光の強度にも、照明装置５０から照射可能な光の強度の最大値などといった任意の強度を設定してよい。

＜設定の適用：Ｓ１１６＞
制御部２０８０は、各物体３０について決定された部分範囲の照明設定を、照明装置５０に適用する（Ｓ１１６）。具体的には、制御部２０８０は、撮像画像２０から検出された複数の物体３０それぞれについて、その物体３０について決定された部分範囲に対し、その物体３０について決定した照明設定に従った光が照射されるようにする。その具体的な制御方法は、照明装置５０の構成による。

例えば照明装置５０が、複数の点光源が並べられた構成を持つとする。この場合、制御部２０８０は、物体３０について決定された部分範囲に対応する１つ以上の点光源を特定し、その点光源から照射される光の設定に、その物体３０について決定された照明設定を適用する。例えば制御部２０８０は、特定した範囲の点光源から照射される光の強度を、第２決定部２０６０によって決定された光の強度に設定する。なお、点光源の光の強度を所望の強度に設定する技術には、既存の技術を利用することができる。上述の設定は、撮像画像２０から検出された物体３０それぞれについて実行される。

その他にも例えば、照明装置５０がプロジェクタで実現されるとする。この場合、制御部２０８０は、プロジェクタに対して出力する画像（以下、照明画像）を、各物体３０について決定された部分範囲及び照明設定に基づいて生成する。照明画像は、例えば、グレースケールの画像である。より具体的には、制御部２０８０は、前回プロジェクタに対して出力した照明画像から、物体３０について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体３０について決定した照明設定に基づいて決定する。例えば照明画像がグレースケース画像である場合、画素の色を白に近づけるほど、その画素に基づいてプロジェクタから照射される光が強くなる。そこで例えば、制御部２０８０は、第２決定部２０６０によって決定された光の強度を、照明画像における画素の値として用いる。上述の設定は、撮像画像２０から検出された物体３０それぞれについて実行される。

［実施形態２］
図６は、実施形態２の情報処理装置の動作を概念的に例示する図である。実施形態２の情報処理装置２０００は、出力装置として、物体３０の背景を出力する装置（以下、背景出力装置６０）を扱う。例えば背景出力装置６０は、任意の画像を表示できるディスプテイ装置である。物体３０が撮像装置１０とこのディスプレイ装置との間に位置することで、このディスプレイ装置に表示される画像が、撮像画像２０において物体３０の背景となる。その他にも例えば、背景出力装置６０は、撮像装置１０から見て物体３０の背後にある投影面（壁やスクリーンなど）に対して光を照射するプロジェクタなどであってもよい。

ここで、物体３０と背景が類似した色であると、撮像画像２０から物体３０の特徴を抽出することが難しい。例えば、物体３０が凹凸を持つ黒色の物体であり、背景の色が黒に近い濃いグレーであるとする。この場合、撮像画像２０において物体３０と背景との色の差が小さく、物体３０が持つ凹凸を把握することが難しい。一方、この物体３０の背景を白色にすれば、撮像画像２０において物体３０と背景との色の差が大きく、物体３０が持つ凹凸を精度良く把握できると言える。そのため、背景の色は、物体３０の色との差が大きい色にすることが好適である。

そこで情報処理装置２０００は、撮像画像２０において物体３０を表す画像領域（すなわち、物体領域）が占める範囲に基づいて、背景出力装置６０が出力する背景の範囲のうち、その物体３０及びその周辺の範囲を、背景の設定を行う部分範囲として決定する。さらに情報処理装置２０００は、その部分範囲について、背景出力装置６０が出力する背景の設定（以下、背景設定）を決定する。部分範囲の背景設定は、物体３０を表す画像領域について算出された特徴量に基づいて決定される。そして情報処理装置２０００は、背景出力装置６０に対し、決定した部分範囲の背景設定を適用する。

図６では、情報処理装置２０００の動作例として、図１と同様の製品検査の様子を示している。情報処理装置２０００は、物体３０−１と物体３０−２それぞれについて、背景となる部分範囲及び背景設定を決定し、背景出力装置６０にその設定を適用する。

図７は、情報処理装置２０００による背景設定の変更の結果を例示する図である。図７では、物体３０−１と物体３０−２の周辺の背景の設定が変更されている。

＜作用効果＞
本実施形態の情報処理装置２０００によれば、撮像画像２０から検出される物体３０それぞれについて、その物体３０に対応する背景の範囲（部分範囲）及び背景設定が決定される。そして、背景出力装置６０に対し、各部分範囲について決定された背景設定が適用される。こうすることで、撮像装置１０における物体３０の背景を、撮像範囲に含まれている複数の物体３０それぞれについて個別に調整することができる。よって、撮像画像２０に複数の物体３０が含まれる場合であっても、撮像画像２０から各物体３０の特徴を精度良く抽出できるようになる。その結果、特徴抽出処理の精度や安定性を向上させることができる。

以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。

＜機能構成について＞
実施形態２の情報処理装置２０００の機能構成は、実施形態１の情報処理装置２０００と同様に、例えば図３で表される。ただし、実施形態２の第１決定部２０４０が物体３０について決定する部分範囲は、背景出力装置６０によって出力される背景の範囲のうち、その物体３０及びその周辺の背景となる範囲である。また、実施形態２の第２決定部２０６０は、上記決定された部分範囲に出力される背景設定を決定する。そして、実施形態２の制御部２０８０は、背景出力装置６０に対し、決定された部分範囲の背景設定を適用する。

＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００のハードウエア構成は、実施形態１の情報処理装置２０００のハードウエア構成と同様に、例えば図４で表される。ただし、実施形態２の情報処理装置２０００を構成するストレージデバイス１０８０には、実施形態２の情報処理装置２０００の機能を実現する各プログラムモジュールが記憶されている。

＜処理の流れ＞
図８は、実施形態２の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。図８のフローチャートが示す処理の流れは、図５のフローチャートが示す処理の流れと同様である。

＜部分範囲の決定：Ｓ２０８＞
第１決定部２０４０は、撮像画像２０において或る物体３０の物体領域が占める範囲に基づいて、その物体３０に対応する部分範囲を決定する（Ｓ２０８）。出力装置として背景出力装置６０を扱う場合、物体３０に対応する部分範囲は、背景出力装置６０によって背景が出力される範囲のうち、その物体３０の周辺の背景が出力される範囲を表す。

背景出力装置６０についての部分範囲は、照明装置５０についての部分範囲と同様に定めることができる。例えば、背景出力装置６０についての部分範囲は、次の撮像画像２０からその物体３０を探索するために設定される探索範囲（撮像画像２０上の領域）を、背景出力装置６０の座標系上の領域に変換することで得られる。

撮像画像２０上の領域から背景出力装置６０の座標系上の領域への変換は、撮像装置１０と背景出力装置６０のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。

ここで、(u,v) と (x,y,z) は撮像画像２０上の位置を表し、(x,y,z) は撮像装置１０の座標系において (u,v) に対応する位置を表す。これらについては、式（１）と同様である。(x',y',z') は背景出力装置６０の座標系において (u,v) に対応する位置を表す。C は、撮像装置１０の座標系から背景出力装置６０の座標系への 4x4 の変換行列を表す。B は、式（１）と同様に、撮像画像２０上の位置から撮像装置１０の座標計上の位置への 4x3 の変換行列を表す。B と C は、撮像装置１０と背景出力装置６０のセッティング位置等に基づいて予め導出しておく。

なお、照明装置５０の部分範囲は、対応する物体３０のみを含めば十分であるのに対し、背景出力装置６０の部分範囲は、対応する物体３０だけでなくその周辺も含むことが好ましい。そのため、前述した探索範囲が物体３０を表す物体領域のサイズとほぼ同一に設定されている場合、背景出力装置６０の部分範囲は、探索範囲よりも広くすることが好適である。そこで例えば、第１決定部２０４０は、探索範囲のサイズを１より大きい所定倍に拡大した画像領域を算出し、その画像領域を背景出力装置６０上の領域に変換することで得られる範囲を、部分範囲としてもよい。

＜特徴量の算出：Ｓ２１０＞
第２決定部２０６０は、物体３０を表す画像領域である物体領域の特徴量を算出する（Ｓ２１０）。例えば、物体領域の色に関する特徴量が算出される。例えば第２決定部２０６０は、物体領域の特徴を表す色空間（例えば、HSV 空間）上の代表点を、物体領域の特徴量として算出する。例えばこの代表点は、部分領域の色相の代表値 Hobj、彩度の代表値 Sobj、及び明度の代表値 Vobj で定まる点 (Hobj, Sobj, Vobj) である。ここで、色相等の代表値とは、各画素について色相等の平均や最頻値などといった統計量である。

なお、第２決定部２０６０は、物体領域の特徴量を複数算出してもよい。例えば第２決定部２０６０は、物体領域の特徴を表す色空間上の代表点を複数算出し、これらの集合をその物体領域の特徴量とする。具体的には、物体領域に含まれる画素の色の分布が色空間上で複数の領域にばらけている場合、第２決定部２０６０は、それら複数の領域それぞれについて代表点を算出し、算出した複数の代表点の集合を、物体領域の特徴量とする。ここで、空間上にばらけている点を複数の領域に分ける方法には、例えば、k-means 法などのクラスタリング手法を利用できる。

＜背景設定の決定：Ｓ２１２＞
第２決定部２０６０は、物体３０を表す物体領域について算出した特徴量を用いて、その物体３０について決定された部分範囲の背景設定を決定する（Ｓ２１２）。例えば第２決定部２０６０は、物体領域の特徴量として算出された色空間上の代表点について、その代表点から十分に離れた点（例えば、最も離れた点）を特定し、その点で表される色を、その物体領域に対応する部分範囲の背景色として決定する。

なお、色空間上の全ての要素ではなく、一部の要素のみに着目して、背景色を決定してもよい。例として、色相に着目するとする。この場合、第２決定部２０６０は、色相の代表値 Hobj を算出する。そして例えば、第２決定部２０６０は、背景色の色相 Hb を、Hobj+180°又はHobj-180°に設定する。背景色の彩度と明度は、任意の値とすることができる。例えば第２決定部２０６０は、背景色を、HSV 表現で (Hobj±180°, Smax, Vmax) と表される色に設定する。ここで、Smax は彩度の最大値を表し、Vmax は明度の最大値を表す。

なお、Hobj に対して加算又は減算する値は、必ずしも 180°である必要はなく、物体領域と背景とを容易に分離できる程度にこれらの色相を色相環上（色空間上）で離すことができる値であればよい。例えば、撮像画像２０を色相に基づいて２値化した場合に、Hobj と Hb が互いに異なる値になるようにすればよい。例えば、Hobj±90°の範囲とそれ以外とで値が変わるように２値化するとする。この場合、Hobj に対して 90°よりも大きく 270°より小さい値を加算又は減算することで Hb を算出すればよい。ただし、物体領域と背景とが色相環上で大きく離間している方が物体領域と背景とを分離しやすいと考えられるため、Hobj に加算又は減算する値は、180°又はそれに近い値であることが好適である。

ここで、物体領域の特徴量として複数の代表点を算出する場合、第２決定部２０６０は、これら複数の代表点に基づいて背景色を決定する。例えば第２決定部２０６０は、各代表点からの距離の総和が最大となる色空間上の点を特定し、その点で表される色を背景色とする。

＜＜撮像装置１０と背景出力装置６０の特性を考慮した背景色の調整＞＞
ここで、撮像装置１０の受光特性や背景出力装置６０の発色特性により、背景出力装置６０によって出力される背景色と、その背景色を撮像装置１０で撮像することで得られた撮像画像２０におけるその背景色との間に、差が生じうる。そこで、第２決定部２０６０は、撮像画像２０上に現れる色が、前述した方法で決定した背景色となるように、背景出力装置６０に出力させる背景色を調整してもよい。すなわち、第２決定部２０６０は、前述した方法で決定した背景色に、さらに所定の変換を施すことで得られる色を、背景出力装置６０に設定する背景色とする。

上記変換は、例えば以下に示す色空間上のアフィン変換で実現される。

ここで、a_back は背景出力装置６０に設定する背景色を表し、a_img は撮像画像２０上に現れる背景色を表す。R と t はそれぞれ、色空間上におけるアフィン変換の回転成分と並進成分を表す。

例えば第２決定部２０６０は、前述した (Hobj±180°, Smax, Vmax) で表される色を式（７）の a_img に代入し、得られた a_back を、背景出力装置６０に設定する背景色とする。

上記変換式は予め定めておく。例えば、背景出力装置６０から様々な色を出力して撮像装置１０で撮像し、撮像画像２０に現れた色と背景出力装置６０から出力された色の各組み合わせを利用することで、式（１３）の変換式を定めることができる。

＜設定の適用：Ｓ２１６＞
制御部２０８０は、各物体３０について決定された部分範囲の背景設定を、背景出力装置６０に適用する（Ｓ２１６）。具体的には、制御部２０８０は、撮像画像２０から検出された複数の物体３０それぞれについて、その物体３０について決定された部分範囲に対し、その物体３０について決定した背景設定に従った背景が出力されるようにする。その具体的な制御方法は、背景出力装置６０の構成による。

例えば背景出力装置６０がディスプレイ装置やプロジェクタで構成されているとする。この場合、制御部２０８０は、背景出力装置６０に対して出力する画像（以下、背景画像）を、各物体３０について決定された部分範囲及び背景設定に基づいて生成する。より具体的には、制御部２０８０は、前回背景画像から、物体３０について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体３０について決定した背景色に設定する。この設定は、撮像画像２０から検出された物体３０それぞれについて実行される。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 撮像装置によって生成される撮像画像から物体を検出する検出部と、
前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定部と、
前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定部と、
前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御部と、を有する情報処理装置。
２． 前記第１決定部は、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
前記第２決定部は、複数の前記物体それぞれに対応する前記出力設定を決定し、
前記制御部は、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、１．に記載の情報処理装置。
３． 前記出力装置は照明装置であり、
前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、１．又は２．に記載の情報処理装置。
４． 前記第２決定部は、
前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、１．に記載の情報処理装置。
５． 前記第２決定部は、
或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、４．に記載の情報処理装置。
６． 前記第２決定部は、前記物体を表す画像領域において、
所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、３．乃至５．いずれか一つに記載の情報処理装置。
７． 前記出力装置は背景を出力する装置であり、
前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、１．又は２．に記載の情報処理装置。
８． 前記第２決定部は、
前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
前記色空間上において前記代表点と所定の関係を満たす点を特定し、
その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、７．に記載の情報処理装置。
９． 前記第２決定部は、
前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
前記算出した代表値と色相環上で所定角度離れている色を特定し、
その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、８．に記載の情報処理装置。
１０． 前記第１決定部は、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、１．乃至９．いずれか一つに記載の情報処理装置。

１１． コンピュータによって実行される制御方法であって、
撮像装置によって生成される撮像画像から物体を検出する検出ステップと、
前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定ステップと、
前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定ステップと、
前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御ステップと、を有する制御方法。
１２． 前記第１決定ステップにおいて、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
前記第２決定ステップにおいて、複数の前記物体それぞれに対応する前記出力設定を決定し、
前記制御ステップにおいて、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、１１．に記載の制御方法。
１３． 前記出力装置は照明装置であり、
前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、１１．又は１２．に記載の制御方法。
１４． 前記第２決定ステップにおいて、
前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、１１．に記載の制御方法。
１５． 前記第２決定ステップにおいて、
或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、１４．に記載の制御方法。
１６． 前記第２決定ステップにおいて、前記物体を表す画像領域において、
所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、１３．乃至１５．いずれか一つに記載の制御方法。
１７． 前記出力装置は背景を出力する装置であり、
前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、１１．又は１２．に記載の制御方法。
１８． 前記第２決定ステップにおいて、
前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
前記色空間上において前記代表点と所定の関係を満たす点を特定し、
その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、１７．に記載の制御方法。
１９． 前記第２決定ステップにおいて、
前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
前記算出した代表値と色相環上で所定角度離れている色を特定し、
その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、１８．に記載の制御方法。
２０． 前記第１決定ステップにおいて、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、１１．乃至１９．いずれか一つに記載の制御方法。

２１． １１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

この出願は、２０１８年１２月５日に出願された日本出願特願２０１８−２２８３４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 撮像装置
２０ 撮像画像
３０ 物体
４０ ベルトコンベア
５０ 照明装置
６０ 背景出力装置
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 情報処理装置
２０２０ 検出部
２０４０ 第１決定部
２０６０ 第２決定部
２０８０ 制御部

Ｓ１０６からＳ１１４は、撮像画像２０から検出される１つ以上の物体３０それぞれについて実行されるループ処理Ａである。Ｓ１０６において、情報処理装置２０００は、全ての物体３０についてループ処理Ａを実行したか否かを判定する。既に全ての物体３０についてループ処理Ａを実行した場合、ループ処理Ａは終了する。一方、まだループ処理Ａの対象としていない物体３０が存在する場合、図５の処理はＳ１０８に進む。この際、情報処理装置２０００は、まだループ処理Ａの対象としていない物体３０の中から１つを選択する。ここで選択される物体３０を、物体ｉと表記する。

撮像画像２０上の領域から照明装置５０の座標系上の領域への変換は、撮像装置１０と照明装置５０のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。

ここで、(u,v) は撮像画像２０上の位置を表し、(x,y,z) は撮像装置１０の座標系において (u,v) に対応する位置を表し、(x',y',z') は照明装置５０の座標系において (u,v) に対応する位置を表す。A は、撮像装置１０の座標系から照明装置５０の座標系への 4x4 の変換行列を表す。B は、撮像画像２０上の位置から撮像装置１０の座標系上の位置への 4x3 の変換行列を表す。A と B は、撮像装置１０と照明装置５０のセッティング位置等に基づいて予め導出しておく。

＜＜コントラストに関する指標値又は画素値のばらつきに関する指標値＞＞
物体領域の特徴量として、コントラストに関する指標値又は画素値のばらつきに関する指標値を用いるとする。この場合、第２決定部２０６０は、指標値をより大きくするように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、これらの指標値のように、その指標値を大きくするように光の強度を設定することが好適である指標値を総称して、第１指標値と呼ぶ。また、時点 t の物体 i の物体領域を D(i, t) と表記し、D(i,t) について算出された第１指標値を C(i,t) と表記する。

黒潰れの個数 m2(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の下限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 0）となっている画素の数をカウントすることで得られる。m2(i,t) を利用する場合、第２決定部２０６０は、m2(i,t) が閾値 Th2 以下であるか否かを判定する。m2(i,t)≦Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m2(i,t)>Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t)を、所定の正の値 +ΔT0 に設定する。すなわち、第２決定部２０６０は、ΔT(i,t) を前述した式（９）及び以下の式（１０）で決定する。

その他にも例えば、照明装置５０がプロジェクタで実現されるとする。この場合、制御部２０８０は、プロジェクタに対して出力する画像（以下、照明画像）を、各物体３０について決定された部分範囲及び照明設定に基づいて生成する。照明画像は、例えば、グレースケールの画像である。より具体的には、制御部２０８０は、前回プロジェクタに対して出力した照明画像から、物体３０について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体３０について決定した照明設定に基づいて決定する。例えば照明画像がグレースケール画像である場合、画素の色を白に近づけるほど、その画素に基づいてプロジェクタから照射される光が強くなる。そこで例えば、制御部２０８０は、第２決定部２０６０によって決定された光の強度を、照明画像における画素の値として用いる。上述の設定は、撮像画像２０から検出された物体３０それぞれについて実行される。

［実施形態２］
図６は、実施形態２の情報処理装置の動作を概念的に例示する図である。実施形態２の情報処理装置２０００は、出力装置として、物体３０の背景を出力する装置（以下、背景出力装置６０）を扱う。例えば背景出力装置６０は、任意の画像を表示できるディスプレイ装置である。物体３０が撮像装置１０とこのディスプレイ装置との間に位置することで、このディスプレイ装置に表示される画像が、撮像画像２０において物体３０の背景となる。その他にも例えば、背景出力装置６０は、撮像装置１０から見て物体３０の背後にある投影面（壁やスクリーンなど）に対して光を照射するプロジェクタなどであってもよい。

撮像画像２０上の領域から背景出力装置６０の座標系上の領域への変換は、撮像装置１０と背景出力装置６０のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。

ここで、(u,v) は撮像画像２０上の位置を表し、(x,y,z) は撮像装置１０の座標系において (u,v) に対応する位置を表す。これらについては、式（１）と同様である。(x',y',z') は背景出力装置６０の座標系において (u,v) に対応する位置を表す。C は、撮像装置１０の座標系から背景出力装置６０の座標系への 4x4 の変換行列を表す。B は、式（１）と同様に、撮像画像２０上の位置から撮像装置１０の座標系上の位置への 4x3 の変換行列を表す。B と C は、撮像装置１０と背景出力装置６０のセッティング位置等に基づいて予め導出しておく。

上記変換は、例えば以下に示す色空間上のアフィン変換で実現される。

ここで、a _back は背景出力装置６０に設定する背景色を表し、a _img は撮像画像２０上に現れる背景色を表す。R と t はそれぞれ、色空間上におけるアフィン変換の回転成分と並進成分を表す。

例えば第２決定部２０６０は、前述した (Hobj±180°, Smax, Vmax) で表される色を式（１３）の a _img に代入し、得られた a _back を、背景出力装置６０に設定する背景色とする。

Claims (21)

1. 撮像装置によって生成される撮像画像から物体を検出する検出部と、
   前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定部と、
   前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定部と、
   前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御部と、を有する情報処理装置。
2. 前記第１決定部は、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
   前記第２決定部は、複数の前記物体それぞれに対応する前記出力設定を決定し、
   前記制御部は、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、請求項１に記載の情報処理装置。
3. 前記出力装置は照明装置であり、
   前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
   前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、請求項１又は２に記載の情報処理装置。
4. 前記第２決定部は、
   前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
   前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、請求項１に記載の情報処理装置。
5. 前記第２決定部は、
   或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
   前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
   前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、請求項４に記載の情報処理装置。
6. 前記第２決定部は、前記物体を表す画像領域において、
   所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
   所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、請求項３乃至５いずれか一項に記載の情報処理装置。
7. 前記出力装置は背景を出力する装置であり、
   前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
   前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、請求項１又は２に記載の情報処理装置。
8. 前記第２決定部は、
   前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
   前記色空間上において前記代表点と所定の関係を満たす点を特定し、
   その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、請求項７に記載の情報処理装置。
9. 前記第２決定部は、
   前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
   前記算出した代表値と色相環上で所定角度離れている色を特定し、
   その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、請求項８に記載の情報処理装置。
10. 前記第１決定部は、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、請求項１乃至９いずれか一項に記載の情報処理装置。
11. コンピュータによって実行される制御方法であって、
    撮像装置によって生成される撮像画像から物体を検出する検出ステップと、
    前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定ステップと、
    前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定ステップと、
    前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御ステップと、を有する制御方法。
12. 前記第１決定ステップにおいて、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
    前記第２決定ステップにおいて、複数の前記物体それぞれに対応する前記出力設定を決定し、
    前記制御ステップにおいて、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、請求項１１に記載の制御方法。
13. 前記出力装置は照明装置であり、
    前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
    前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、請求項１１又は１２に記載の制御方法。
14. 前記第２決定ステップにおいて、
    前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
    前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、請求項１１に記載の制御方法。
15. 前記第２決定ステップにおいて、
    或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
    前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
    前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、請求項１４に記載の制御方法。
16. 前記第２決定ステップにおいて、前記物体を表す画像領域において、
    所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
    所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、請求項１３乃至１５いずれか一項に記載の制御方法。
17. 前記出力装置は背景を出力する装置であり、
    前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
    前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、請求項１１又は１２に記載の制御方法。
18. 前記第２決定ステップにおいて、
    前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
    前記色空間上において前記代表点と所定の関係を満たす点を特定し、
    その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、請求項１７に記載の制御方法。
19. 前記第２決定ステップにおいて、
    前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
    前記算出した代表値と色相環上で所定角度離れている色を特定し、
    その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、請求項１８に記載の制御方法。
20. 前記第１決定ステップにおいて、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、請求項１１乃至１９いずれか一項に記載の制御方法。
21. 請求項１１乃至２０いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images