JP6022331B2

JP6022331B2 - カメラシステム

Info

Publication number: JP6022331B2
Application number: JP2012266576A
Authority: JP
Inventors: 功 ▲高▼橋; 黒川　高晴; 高晴黒川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2012-12-05
Filing date: 2012-12-05
Publication date: 2016-11-09
Anticipated expiration: 2032-12-05
Also published as: JP2014112799A

Description

本発明は、複数のカメラ間での各種カメラパラメータの校正や撮影された物体の形状認識などに用いる基準点として、光源からの照射により形成される照射点をカメラが撮影した画像から自動認識するカメラシステムに関し、特に現実空間における照射点を作業者が容易に設置できるようにしたカメラシステムに関する。

監視カメラを用いて人の追跡を行うカメラシステムが研究されている。そのようなカメラシステムを構築する際、カメラの位置や姿勢等のカメラパラメータを求めて、カメラシステムが認識する仮想空間と現実空間である監視空間との対応をとるための調整が必要となる。この調整作業をキャリブレーション（校正）という。

例えば、キャリブレーションを行うには、カメラ視野内の監視空間に位置計測の基準とする基準点を複数設置し、当該基準点をカメラにて撮影する。そして、撮影した画像から各基準点を検出し、基準点の画像上の検出位置と監視空間における基準点位置との幾何学的関係からカメラパラメータを計測する。

カメラの位置・姿勢などのカメラパラメータは、基準点の３次元座標を与えれば１台のカメラで計測できるが、複数のカメラの共通視野を利用すれば基準点の３次元座標を与えずに計測できる。すなわち、共通視野に複数の基準点を設置して当該視野を共有する複数のカメラで撮影した各画像から同一基準点を検出し、これらの基準点の検出位置が同一位置であるとの幾何学的関係を利用して各カメラのカメラパラメータを計測できる。

また、基準点は、このようなキャリブレーション以外に、監視空間に設置されている什器等の３次元位置・形状の計測にも使用される。例えば、什器等の表面に複数の基準点を設置して、カメラで撮影した画像から各基準点を検出し、各基準点とカメラの位置・姿勢との幾何学的関係から什器等の表面に設置した各基準点の３次元位置を求めることによって、什器等の位置や形状を計測することがある。

従来、かかる基準点を設置するのに、発光装置からスポット光を監視空間に照射し、その照射点を基準点としてカメラのキャリブレーションを実現する画像処理装置が提案されている（特許文献１）。

特開２００４−４６７７２号公報

ところで、昨今のカメラ価格の下落を受けて、多数の監視カメラを設置して広範囲な監視空間を監視するカメラシステムが提案されている。かかる場合、従来技術のように監視空間の外から発光装置を用いてスポット光を照射して、照射点を設置するのが困難になってくる。このため、携帯型のレーザーポインタ等を作業者が手に持ち、カメラの視野内を移動しながらスポット光を照射して照射点を設置することが考えられる。

しかしながら、作業者が照射を行ったにもかかわらず以下に述べる原因で一部の照射点が検出されない場合がある。すなわち、照射点の照明環境が明るく、照射点と背景との間に十分な輝度差が得られない場合に検出漏れが生じる。あるいは、照射点の背景の色が明るく、照射点と背景との間に十分な輝度差が得られない場合に検出漏れが生じる。あるいは、照射点が照射者から遠く、照射点の輝度が低下して照射点と背景との間に十分な輝度差が得られない場合に検出漏れが生じる。あるいは、照射点がカメラから遠かったため照射点の像が小さく、照射点がノイズとして除外されて検出漏れが生じる。あるいは、上述した原因のうち複数の原因が複合して検出漏れが生じる。

検出漏れにより照射点の不足が生じると作業者は照射点の再設定を行うことになる。このとき、広い範囲に多数の照射点を設定した作業者が、再設定すべき位置を判断したり、再設定する照射点を確実に検出させる光源位置を判断したりするのは困難であり、特にカメラが多いときや複数の原因が複合したときは一層困難となるという課題があった。

本発明に係るカメラシステムは、所定の空間内を撮影する一又は複数のカメラと、前記カメラが撮影した画像を処理する制御装置と、前記空間内を照射して前記カメラで撮影可能な照射点を形成する移動可能な光源と、を備えて構成されるカメラシステムであって、前記制御装置は、前記照射点の形成が必要な前記空間内の複数の照射要求位置を少なくとも記憶する記憶部と、前記複数の照射要求位置からの距離の和が最小となる位置を、当該複数の照射要求位置へ照射を行う際の推奨光源位置に定める推奨光源位置決定部と、前記推奨光源位置を出力する出力部と、を備える。

上記本発明に係るカメラシステムにおいては、前記出力部は前記照射要求位置を出力する構成とすることもできる。

他の本発明に係るカメラシステムにおいては、前記推奨光源位置決定部は、前記画像における前記照射要求位置の輝度値を抽出し、当該輝度値に応じて当該照射要求位置からの前記距離に重みを付けて前記和を算出する。

別の本発明に係るカメラシステムにおいては、前記制御装置は、前記画像を区分した区分領域を単位として前記照射要求位置を設定し前記記憶部に記憶させる要求位置設定部を更に有し、前記推奨光源位置決定部は、前記複数の照射要求位置が隣接した領域である場合には、前記輝度値が低いほど前記距離に対する重みを大きくする。

さらに別の本発明に係るカメラシステムにおいては、前記制御装置は、前記画像を区分した区分領域を単位として前記照射要求位置を設定し前記記憶部に記憶させる要求位置設定部を更に有し、前記推奨光源位置決定部は、前記複数の照射要求位置が離れた領域である場合には、前記輝度値が高いほど前記距離に対する重みを大きくする。

これら本発明に係るカメラシステムにおいては、前記カメラは、前記空間内にて共通視野を有するように複数設置され、前記記憶部は、前記空間内における前記カメラの位置・姿勢を含むカメラパラメータを記憶しており、前記制御装置は、前記カメラが撮影した画像から前記照射点を検出する照射点検出部と、前記照射点を基準にして、前記カメラパラメータを校正する校正部と、を更に有し、前記校正部は、前記複数のカメラが同時に撮影した画像それぞれにて前記照射点検出部が前記照射点として照射点像を検出した場合に、当該複数の照射点像が前記空間における同一位置であるとの拘束条件を適用して前記カメラパラメータを校正する構成とすることができる。

本発明によれば、作業者は照射点をより確実に検出させる光源位置（立ち位置）が分かるので、やり直しや試行錯誤を減らして効率的に照射点を検出でき、校正作業や計測作業が容易・迅速となる。

本発明の実施形態に係るカメラシステムの概略の構成を示した模式図である。監視空間の模式的な平面図である。制御装置の概略の構成を示したブロック図である。カメラパラメータのデータ構成をテーブル形式で示す模式図である。カメラ２Ｂとカメラ２Ｃからなるカメラ対に設定する要求位置の例を示す模式図である。照射点を検出し損ねるときの例を示す模式図である。本発明の実施形態に係るカメラシステムの校正処理における画像処理部の動作の概略を示すフロー図である。本発明の実施形態に係るカメラシステムが校正処理にて行う推奨光源位置の提示処理の概略を示すフロー図である。照射点情報のデータ構成をテーブル形式で示す模式図である。要求情報のデータ構成をテーブル形式で示す模式図である。連鎖判定テーブルのデータ構成をテーブル形式で示す模式図である。各画素の輝度が低いほど大きく重み付けた加重平均位置を推奨光源位置とする場合の例を示す画像領域の模式図である。各画素の輝度が高いほど大きく重み付けた加重平均位置を推奨光源位置とする場合の例を示す画像領域の模式図である。図１２に対応する表示部における表示画面の一例である。図１３に対応する表示部における表示画面の一例である。本発明の実施形態に係るカメラシステムの計測処理における動作の概略を示すフロー図である。計測処理における照射要求情報の設定例を示す画像領域の模式図である。

以下、本発明の実施の形態（以下実施形態という）であるカメラシステムについて、図面に基づいて説明する。

［カメラシステム１の構成］
図１は実施形態に係るカメラシステム１の概略の構成を示した模式図である。カメラシステム１は複数のカメラ２（２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈ）、照射器３、制御装置４、表示部５からなる。図１には照射器３及び表示部５を携帯した作業者１０が監視空間内の床面（基準面１１）を照射して床面上に光像を形成している様子が示され、また、床面には物体１２が設置されている。

本実施形態においては光像の重心が照射点１３である。作業者１０は監視空間内を移動して各所に照射点１３を設置する。カメラ２は照射点１３を撮影して、制御装置４は撮影された画像から照射点１３を検出して、カメラ２の校正や物体１２の３次元計測を行う。また制御装置４は、照射点１３の設置が要求される場所である要求位置（照射要求位置）に、検出されやすい照射点１３を形成可能な光源位置（推奨光源位置）を表示部５に出力する。作業者１０は表示された立ち位置から照射を行うことにより失敗を減じて効率良く作業を行うことが可能である。

カメラ２は監視カメラであり、各カメラ２は制御装置４に接続される。各カメラ２は少なくとも他の１台のカメラとの間に共通視野を設けて連鎖配置され、複数のカメラ２の視野の和が監視空間となる。カメラ２は作業者１０と共に移動する照射点１３を所定時間おきに撮影し、撮影した画像を順次、制御装置４に出力する。

図１に示す例ではカメラシステム１には８台のカメラ２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈが配置され、制御装置４はそれらカメラにそれぞれＡ，Ｂ，Ｃ，…，ＨというカメラＩＤを付与して管理する。複数のカメラ２はそれぞれ光軸を鉛直下方へ向けた姿勢で天井に格子状に配置される。図２は監視空間２０の模式的な平面図であり、基準面１１内での物体１２の位置、及び８台のカメラ２（２Ａ〜２Ｈ）の配置を「☆」で示している。カメラ２の間隔は、当該カメラの画角を考慮して、隣り合うカメラ同士が共通視野を有するよう設定されている。この例では、カメラ２Ａが少なくともカメラ２Ｂと共通視野を有し、カメラ２Ｂが少なくともカメラ２Ａ，２Ｃと共通視野を有し、カメラ２Ｃが少なくともカメラ２Ｂ，２Ｄ，２Ｇ，２Ｈと共通視野を有し、カメラ２Ｄが少なくともカメラ２Ｃ，２Ｇ，２Ｈと共通視野を有し、カメラ２Ｅが少なくともカメラ２Ｆと共通視野を有し、カメラ２Ｆが少なくともカメラ２Ｅ，２Ｇと共通視野を有し、カメラ２Ｇが少なくともカメラ２Ｃ，２Ｄ，２Ｆ，２Ｈと共通視野を有し、カメラ２Ｈが少なくともカメラ２Ｃ，２Ｄ，２Ｇと共通視野を有する。同図では、カメラ２Ｂの視野を１００ｂで示し、カメラ２Ｃの視野を１００ｃで示している。その他のカメラ２の視野は図示を省略している。また、領域２００はカメラ２Ｂの視野１００ｂとカメラ２Ｃの視野１００ｃとの共通視野を示している。なお、カメラ２の台数は２台以上であれば任意であり、またカメラ２の位置・姿勢は少なくとも共通視野が連鎖する範囲で任意である。

照射器３はスポット光を出力する光源であり、例えば、レーザーポインタやコリメートＬＥＤライトなどを用いることができる。照射器３は作業者１０により携帯され、作業者１０の操作により基準面１１あるいは什器等の物体１２に光を照射する。この照射により、基準面１１あるいは物体１２の表面に照射点１３が設置される。ちなみに、作業者１０は、カメラ２の位置・姿勢の校正作業においては共通視野における基準面１１を照射し、物体１２の３次元計測作業では共通視野内に存在する物体１２を照射する。照射器３は免許不要で簡単に入手・利用可能なものが好適である。

制御装置４は各カメラ２とイーサネット（登録商標）等のＬＡＮあるいは同軸ケーブル等の配線で接続される。また、表示部５とはブルートゥース等の無線回線で接続される。制御装置４はカメラ２が撮影した画像を取得して当該画像から照射点１３を検出する。制御装置４は要求位置における照射点１３の検出を妨げない作業者立ち位置を算出し、要求位置と作業者立ち位置とを含めた情報を表示部５に出力する。また検出した照射点１３を利用してカメラ２の校正または物体１２の計測を行う。

表示部５は無線通信インターフェースを備え制御装置４と無線回線で接続される。表示部５は液晶タッチパネルディスプレイ等の画像表示装置と演算装置とからなる表示手段を備え、制御装置４から入力された情報を視認可能に表示する。

図３は制御装置４の概略の構成を示したブロック図である。制御装置４は、画像取得部４０、記憶部４１、画像処理部４２及び表示通信部（出力部）４３からなる。

画像取得部４０はカメラ通信部４００と同期制御部４０１とからなり、各カメラ２からの画像を同期させて画像処理部４２に出力する。

カメラ通信部４００はカメラ２と通信して各カメラ２が撮影した画像を順次受信する通信インターフェースであり、受信した画像に当該画像を撮影したカメラ２のカメラＩＤを付与して同期制御部４０１に出力する。ここで、カメラ２がアナログカメラであれば予め設定した接続端子との対応関係からカメラＩＤを特定でき、ＩＰカメラであれば予め設定した送信元アドレスとの対応関係からカメラＩＤを特定できる。

同期制御部４０１はカメラ通信部４００が受信した各カメラ２からの画像の撮影時刻を同期させる。具体的には各カメラ２が基準周期よりも十分に短い撮影周期にて画像を撮影及び送信し、同期制御部４０１は、同時とみなせる程度に設定された許容時間差未満で受信した画像を同期がとれている同時撮影画像とする。同期制御部４０１は、基準周期ごとに同時撮影画像を抽出し、同時撮影画像どうしに共通のフレーム番号を付与して画像処理部４２に出力する。同期制御部４０１は基準周期ごとに同時撮影画像を抽出するために、少なくとも基準周期の時間だけ各カメラ２からの画像を蓄積するバッファ（不図示）と、同時を判定するために時刻情報を生成する計時手段（不図示）とを備える。基準周期は例えば３ｆｐｓ（frame per second）、撮影周期は例えば１５ｆｐｓ、許容時間差は例えば６６ｍｓ（mili second）とすることができる。なお、同期制御部４０１から各カメラ２に基準周期ごとに同期パルスを出力して撮影タイミングを直接コントロールしてもよい。

記憶部４１はＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部４１は各種パラメータ、画像処理部４２のプログラム等を記憶し、画像処理部４２との間でこれらの情報を入出力する。各種パラメータには、カメラパラメータ４１０、照射要求情報４１１、照射限界値４１２、照射点情報４１３及び物体計測情報４１４が含まれる。

カメラパラメータ４１０は各カメラ２の内部パラメータ及び外部パラメータであり、カメラ２のカメラＩＤと対応付けられている。図４はカメラパラメータ４１０のデータ構成をテーブル形式で示す模式図である。

内部パラメータは焦点距離、レンズの光学中心位置を含む。図４において例えば、カメラ２Ａの焦点距離はｆ_Ａ、レンズの光学中心位置はｃ_Ａと表記している。焦点距離及びレンズの光学中心位置は予め正確な値が設定され、カメラ２の校正作業にて変化しない。

外部パラメータは監視空間におけるカメラ２の位置・姿勢の情報を少なくとも含んでおり、具体的には複数のカメラ２に共通する共通座標系（ワールド座標系）で表したカメラ２の設置高、回転行列、並進ベクトル、撮影平面の法線ベクトル、カメラ間距離を含む。

ここで、ワールド座標系は監視空間を模した右手直交座標系ＸＹＺであり、本実施形態では、Ｚ軸を鉛直上向きに設定し、基準面である床面を高さＺ＝０とし、基準面におけるカメラＡの鉛直下の点を座標原点とする。また、カメラＡの画像の水平方向、垂直方向を撮影平面のｘ軸、ｙ軸とし、当該ｘ軸、ｙ軸を基準面に投影した軸をそれぞれＸ軸、Ｙ軸とする。

例えば、カメラ２Ｂの回転行列Ｒ_Ｂはカメラ２Ｂの光軸を中心とした回転を定義する。撮影平面の法線ベクトルｎ_Ｂはカメラ２Ｂの光軸の向きを定義する。また、並進ベクトルはＸＹ面内での２つのカメラ２の相対的な位置関係を定義する２次元ベクトルである。本実施形態では並進ベクトルはカメラ２Ａの位置を起点として定義され、例えば、カメラ２Ｂの並進ベクトルｔ_Ｂはカメラ２Ａ，２ＢそれぞれのＸＹ面内での位置を起点、終点とする。カメラ間距離は基準とするカメラ２からの或るカメラ２の距離であり、両カメラ２のＸＹ面内での距離である。本実施形態ではカメラ間距離はカメラ２Ａを基準として定義される。例えば、図４においてカメラ間距離ｄ_ＡＢはカメラ２Ａ，２Ｂ間の距離を示している。なお、カメラ間距離はカメラ２の３次元座標間の距離としてもよい。

これら外部パラメータのうち、設置高は予め正確な値が設定され、カメラ２の校正作業にて変化しない。回転行列及び撮影平面の法線ベクトルは、設置計画における値である鉛直下向きであることを示す値が初期値として予め設定され、カメラ２の校正作業の対象とされる。並進ベクトル及びカメラ間距離については初期値は設定せず、カメラ２の校正作業にて設定される。

照射要求情報４１１は、校正や３次元計測のために作業者１０に対して照射点１３の設置を要求する必要がある監視空間における位置である要求位置と、当該要求位置を同時撮影することが可能なカメラ対とを対応させた情報を含む。照射要求情報４１１には後述する要求設定部４２２により、要求位置を表す座標データがカメラ対のカメラＩＤと対応付けて設定される。要求位置は点または線とすることもできるが領域とするのがよい。要求位置を領域とすることで、カメラシステム１から作業者１０への要求は当該領域内の任意位置に照射点１３を設置する要求となる。これにより作業者１０は照射する的が大きくなるため負担が軽減される。また領域とすることで、特定の要求位置の一部が明る過ぎるときに当該一部を除く残りの部分を当該要求位置として存続させることができる。そこで本実施形態では要求位置を領域とし、以降、各要求位置の領域をエリアとも呼ぶ。後の処理の説明で用いる図１０は照射要求情報４１１のデータ構成を模式的に示しており、同図において要求位置を示す「Ａ５」等の記号は後述するように領域を示すものである。また、照射要求情報４１１は要求位置への照射点１３の設置要件を規定する要求条件を含む。

照射限界値４１２は照射器３の特性を考慮して事前に設定された照射限界輝度値、及び照射限界距離値である。明るすぎる場所を照射した場合、照射点１３と背景の間に十分な輝度差が得られず、照射点１３を検出できない可能性が高い。照射限界輝度値は、要求位置が照射点１３を検出できないほど明るすぎるか否かを判定するためのしきい値である。また光源から遠すぎる場所も、光像の径が広がることによって単位面積あたりの輝度が低下してしまい、照射点１３を検出できない可能性が高い。照射距離限界値は、要求位置が照射点１３を検出できないほど遠いか否かを判定するためのしきい値である。

照射点情報４１３は後述する照射点検出部４２０により生成され、概略校正部４２１、精密校正部４２４及び物体計測部４２５が利用する。照射点情報４１３は基準周期で同期して撮影された複数のカメラ２の撮影画像から検出された照射点１３の情報であり、撮影画像にて検出された照射点１３の像（照射点像）の検出位置と、当該照射点像を検出した画像に付与されていたカメラＩＤ及びフレーム番号とが対応付けられている。後の処理の説明で用いる図９は照射点情報４１３のデータ構成を模式的に示しており、同図において検出位置を示す（５７，９０）等は撮影画像における照射点像のｘ座標とｙ座標との組を表している。

物体計測情報４１４は監視空間に存在する物体１２の３次元形状を計測して得られた情報であり、物体計測部４２５が照射点情報４１３を基に生成する。物体計測情報４１４はカメラシステム１が監視空間内の人物を検出したり追跡したりするときに背景情報として利用される。

連鎖判定テーブル４１５は、後述する精密校正処理の進捗状況の管理に用いられる情報であり、後の処理の説明で用いる図１１に示すように、精密校正の対象となるカメラ対と精密校正の完了／未了とが対応付けられたデータ構成を有する。

画像処理部４２はＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４１からプログラムを読み出して実行することにより照射点検出部４２０、概略校正部４２１、要求設定部４２２、推奨光源位置算出部４２３、精密校正部４２４、物体計測部４２５等として機能する。

照射点検出部４２０はカメラ２が撮影した画像から照射点１３を検出する。具体的には、各カメラ２が基準周期で撮影した画像にて照射点像の検出処理が行われ、各照射点像の検出位置を、当該照射点像を検出した画像に付与されていたカメラＩＤ及びフレーム番号と対応付けて記憶部４１の照射点情報４１３に記憶させる。検出処理は、背景差分やフレーム間差分にて差分領域を抽出し、抽出した差分領域にラベリング処理を施し、照射器３の光像の大きさに基づき予め設定された大きさ範囲の領域を光像として選別し、選別した光像の重心を照射点１３として検出する。上記大きさ範囲について制限を設けることで作業者１０に起因する差分領域が除外される。

ここで、複数のカメラ２の共通視野に設置された照射点１３は基本的には当該複数のカメラ２それぞれにより同時に撮影され、また、作業者１０が一時点に設置する照射点１３は１つである。よって、照射点情報４１３にて同一のフレーム番号に対応付けられた照射点１３を検索すれば共通視野を有したカメラ対を検出できる。照射点検出部４２０は照射点情報４１３から、フレーム番号が同一である照射点ペアを抽出し、抽出した照射点１３のカメラＩＤを共通視野を有するカメラ対として照射要求情報４１１に記憶させる。

本実施形態においてカメラ２の校正作業はおおまかな校正（概略校正）とより精度の高い校正（精密校正）との２段階で行われる。概略校正処理は概略校正部４２１によって行われ、精密校正処理は精密校正部４２４によって行われる。概略校正部４２１及び精密校正部４２４は、照射点検出部４２０により生成された照射点情報４１３に基づいてそれぞれの校正処理を行う。ここで、精密校正部４２４は概略校正部４２１よりも多い要求位置での照射点１３を用いることで、概略校正より精度の高い校正を行う。

概略校正部４２１及び精密校正部４２４は、照射点情報４１３から、同時撮影画像にて共通に検出された照射点像を抽出して、それら照射点像が監視空間における同一位置に対応するとの拘束条件を適用してカメラ２の位置・姿勢を算出し、当該位置・姿勢で各カメラ２のカメラパラメータ４１０を更新する。具体的には、校正対象とするカメラ対にて検出された照射点像の位置をカメラ２の内部パラメータで歪み補正し、その照射点像の検出位置とカメラ２の設置高とを利用してホモグラフィ行列を導出する。そして、カメラ対ごとのホモグラフィ行列から当該カメラ対をなす各カメラの回転行列、並進ベクトル、撮影平面の法線ベクトル、カメラ間距離を算出し、これらを共通座標系に変換して各カメラ２の位置・姿勢を求める。ホモグラフィ行列を使う位置・姿勢の求め方は「平面シーンの最適三角測量」情報処理学会研究報告.CVIM、2010-CVIM-171(4),1-8,2010-08-11)などにより公知である。また、ホモグラフィ行列を使う方法の他にもエピポーラ幾何を基礎とする各種校正方法を適用可能である。

物体計測部４２５は照射点検出部４２０により同時撮影画像から共通に検出された照射点像が監視空間における同一位置に対応するとの拘束条件を適用して、共通視野に存在する物体１２の３次元位置を計測する。物体計測部４２５による３次元計測機能は、精密校正部４２４が精密校正処理を終えた後に利用される。すなわちカメラの精密位置・姿勢が記憶部４１のカメラパラメータ４１０に記憶されている状態で３次元計測処理（物体計測処理）は実行される。

具体的には、物体計測部４２５は、カメラパラメータ４１０により定まるカメラ対の位置・姿勢、及び照射点情報４１３に記憶されている当該カメラ対が撮影した照射点１３の検出位置に三角測量の原理を適用して各照射点１３の３次元位置を導出する。また物体計測部４２５は、照射点１３のうち対応する要求位置が共通する複数の照射点１３を同一平面上の点とみなして要求位置ごとに当該平面を導出する。さらに物体計測部４２５は、導出した平面同士の接線を導出し、当該接線を各平面の辺として設定する。なお、監視空間は基準面（床面）、カメラ設置高と同じ高さを有する仮想天井、有限範囲のＸＹ座標で規定した仮想壁からなる立体とし、接線は基準面、仮想天井、仮想壁との間でも導出する。

物体計測部４２５は、辺が導出されて輪郭が定義された各平面のデータを物体１２の表面を表す３次元形状データとして記憶部４１の物体計測情報４１４に記憶させる。

上述のように概略校正処理、精密校正処理及び物体計測処理は照射点検出部４２０により検出された照射点１３を用いる。要求設定部（要求位置設定部）４２２は照射点１３の設置が要求される複数の要求位置をカメラ２ごとに共通視野内に設定する。具体的には要求設定部４２２は上述した照射要求情報４１１を生成し記憶部４１に記憶させる。また、要求設定部４２２は要求情報４１１を記憶させた後に基準点情報４１３と照射要求情報４１１とを逐次参照して、照射点検出部４２０が共通視野内の各要求位置に存在する照射点１３を検出したか否かを確認し、照射点１３を検出した場合にのみ当該照射点１３が撮影された要求位置を記憶部４１から削除する。なお、各処理における要求位置の設定基準は異なり、以下、それぞれについて説明する。

（１）概略校正処理における要求位置
共通視野を有するカメラ対の校正処理（概略校正処理及び精密校正処理）において当該共通視野の基準面から複数の照射点１３の検出が必要である。本実施形態では上述したように、各カメラ対にホモグラフィ行列を用いた校正を適用する。この場合、カメラ対ごとに同一直線上にない４個以上の照射点１３が同時撮影画像から検出されること、また、校正の精度を確保する上でこれらの照射点１３は分散していることが望ましい。このことから、対をなす２つのカメラ２で合計８個以上の照射点１３の検出が要求される。そこで、要求設定部４２２は各カメラ２の画像を区分した区分領域を単位として複数の要求位置を設定する。好適な区分の仕方の例は、カメラ２の光軸と撮影平面との交点を中心として画像を放射状に所定角度ごとに区分するというものである。

さらに、上記放射状の複数エリアとは別に、カメラ２の画像領域のうち当該カメラ２の光軸と撮影平面との交点が内部に位置した部分を１エリアとして追加設定する区分の仕方が好適である。これにより、放射状の区分の中心部において複数の放射状エリアの密集を回避でき、中心部の狭い領域にて集中して照射点１３が検出される事態を排除できる。つまり、検出される照射点１３の分散の度合が低くなることを防止でき、校正の精度を確保できる。そこで、本実施形態では、要求設定部４２２は、各カメラ２の鉛直下近傍に相当する円形の１エリアと、その外側に残るエリアを４５度刻みで放射状に区分した８エリアとからなる９エリアを要求位置として設定する。

図５はこのように設定された要求位置を示す模式図であり、同図はカメラ２Ｂとカメラ２Ｃからなるカメラ対に設定する要求位置の例を示している。図５（ａ），（ｂ）はそれぞれ図２に平面図で示す監視空間２０に配置されたカメラ２Ｂ，２Ｃで撮影される画像領域２１ｂ，２１ｃを示している。ちなみに、監視空間２０のうち画像領域２１ｂ，２１ｃに映る範囲は図２に示す監視空間２０の平面図ではそれぞれカメラ２Ｂ，２Ｃの視野１００ｂ，１００ｃで表される。図５（ａ）に示すカメラ２Ｂの画像領域２１ｂには要求位置Ｂ１〜Ｂ９が示されており、図５（ｂ）に示すカメラ２Ｃの画像領域２１ｃには要求位置Ｃ１〜Ｃ９が示されている。具体的には、カメラ２Ｂの鉛直下近傍に相当する円形の１エリアとして基準面１１にて半径ＲとなるエリアＢ１を画像領域２１ｂに設定し、カメラ２Ｂ及び２Ｃそれぞれの鉛直下を結ぶ線を０度として４５度刻みでエリアＢ１の周囲の画像領域を放射状に８区分して順にエリアＢ２〜エリアＢ９を設定する。同様にカメラ２Ｃに関して円形の１エリアであるエリアＣ１とその周囲を放射状に区分したエリアＣ２〜Ｃ９を設定する。

なお、中心部の円形エリアは放射状エリアを分散させる目的で設定するものであり、その大きさは当該目的を達成できるように定められる。また当該目的から、中心部のエリアは円形に限らず、例えば四角形などの多角形とすることもできる。

要求設定部４２２は各カメラ２について、記憶部４１からカメラパラメータ４１０の初期値を読み出してこれを基に上述のカメラ２の画像領域の区分を行い、概略校正処理における要求位置として９エリアを設定する。そして、カメラ対のカメラ２ごとに上記９エリアのうちいずれか４エリアで照射点１３（照射点像）が検出され、カメラ対では合計８エリアにて照射点１３（照射点像）が検出されることを要求条件として設定する。なお、１エリアに２個以上の検出は許容する。

画像領域における要求位置は放射状の区分に限らず、ブロック状（格子状）の区分によっても要求位置を画像領域内にて分散させることができる。

（２）精密校正処理における要求位置
上記（１）にて校正処理として一般的に述べた説明は概略校正処理及び精密校正処理に共通であり、本実施形態での要求設定部４２２は精密校正処理においても上記９エリアを要求位置として設定する。要求設定部４２２は各カメラ２について、記憶部４１から概略校正されたカメラパラメータ４１０を読み出してこれを基に上述のカメラ２の画像領域の区分を行い、精密校正処理における要求位置として９エリアを設定する。そして、カメラ対のカメラ２ごとに上記９エリアの全てで照射点１３（照射点像）が検出され、カメラ対では合計１８エリアにて照射点１３（照射点像）が検出されることを要求条件として設定する。なお、１エリアに２個以上の検出は許容する。

すなわち、精密校正処理における要求位置が概略校正処理における要求位置と相違する点は、精密校正処理における要求位置が要求する照射点１３の数が概略校正処理におけるより多い点、及びエリアの設定に用いるカメラパラメータ４１０が概略校正では初期値であるのに対し、精密校正では概略校正された値である点である。

（３）計測処理における要求位置
計測処理における要求位置は、物体１２の３次元計測のために必要な照射点１３の検出が要求される位置であり、カメラ２のそれぞれが撮影した画像を基に生成される。

本実施形態では、物体表面が平面の集まりであると仮定し、要求設定部４２２は物体表面を構成する平面と推定される領域を要求位置に設定する。また平面を特定するために、要求設定部４２２は当該領域ごとに同一直線上にない３個以上の照射点１３の検出を要求条件として設定する。

具体的には、要求設定部４２２は各カメラ２の画像を互いに色が類似する隣接画素のまとまりに分割して分割領域それぞれを要求位置に設定する。例えば、画素の色と画素の位置とをパラメータとしてクラスタリングを行うことにより画像を分割することができる。

別の実施形態では、要求設定部４２２は各カメラ２の画像にＳｏｂｅｌフィルタなどによるフィルタリングを施してエッジ画像を生成し、エッジ画像をそれぞれがエッジに囲まれた閉領域に分割して、分割領域それぞれを要求位置に設定することができる。

ここで、作業者１０が照射を行っても照射点検出部４２０が照射点を検出し損ねるときがある。図６は照射点を検出し損ねるときの例を示す模式図である。図６（ａ）は窓から差し込む直射日光などにより共通視野に明る過ぎる領域１４が生じている場合を示している。この場合、この領域１４に照射を行っても照射点１５とその周囲の背景との間に有意な輝度差が生じないために当該照射点１５を検出できない。

図６（ｂ）は光源位置から照射点までの距離が離れ過ぎている場合を示している。この場合、光の減衰及び光像の径が大きくなることによる単位面積当たりの輝度低下により、照射点１６とその周囲の背景との間に有意な輝度差が生じないために当該照射点１６を検出できない。

またカメラから照射点までの距離が遠いときも光像が小さくなりすぎてノイズと区別できなくなり当該光像から照射点を検出できない。

さらには、光源位置から照射点までの距離が離れることによる輝度低下と共有視野が明るいこととが複合して検出し損ねることもある。この場合、検出し損ねを生じさせる輝度低下の度合いと明るさの度合いとの組み合わせは様々である。また明るさによる検出し損ねは背景の色そのものが明るいことによっても生じ得る。同様に、カメラから照射点までの距離が離れることによる光像サイズ低下と共通視野の明るさとが複合して検出し損ねる場合など、照射点の検出し損ねは上述した要因の２以上が複合して生じ得る。

これらの検出し損ねは、基本的には要求位置に近づいて照射を行うことにより改善されるが、多数のカメラ２が設置された状態で作業者１０が全ての検出し損ねを把握するのは困難である。また、要求位置の１つ１つに近づいて照射を行うのは効率が悪い。

そこでカメラシステム１は次に説明する推奨光源位置算出部４２３により要求位置の照射に適した光源位置を算出して作業者１０に提示する。つまり、どこから照射すれば確実かつ効率的かを作業者１０に提示する。

推奨光源位置算出部４２３は、注目する要求位置から照射点１３を検出するのに適した光源の位置である推奨光源位置を定める推奨光源位置決定部であり、基本的には複数の要求位置からの距離の和が最小となる位置を、当該複数の要求位置へ照射を行う際の推奨光源位置に定める。本実施形態では、精密校正処理または計測処理を行うカメラ対ごとに要求位置の照射に適した光源位置、特に複数の要求位置からの距離が平均的に近い光源位置を推奨光源位置として算出して撮影画像に要求位置及び推奨光源位置を重畳した合成画像を表示通信部４３に出力する。

これにより１箇所から複数の要求位置に対して確実に照射点１３を検出させることのできる光源位置を作業者１０に提示できる。その結果、作業者１０は当該光源位置から複数の要求位置を照射することによって、照射失敗の回数を減らしつつ効率的に照射点１３を設置できるので、作業負担が格段に減少する。

推奨光源位置は複数の要求位置の重心として求めることができる。具体的には推奨光源位置算出部４２３は撮影画像上で複数の要求位置それぞれに含まれる画素の位置の重心（平均位置）を推奨光源位置として算出する。さらに各要求位置から光源位置までの距離を当該要求位置の明るさで重み付けて重心を算出することによって、作業負担をより減少させることが可能となる。具体的には、推奨光源位置算出部４２３は撮影画像における要求位置に含まれる画素の輝度値を抽出し、各画素の位置を当該画素の輝度値で重み付けて重心を算出する。重み付けには、暗いほど大きな重み付けを行うべき場合と、明るいほど大きな重み付けを行うべき場合の２種類がある。推奨光源位置の算出処理の内容については後に詳述する。

表示通信部４３は制御装置４と表示部５との通信を行う通信インターフェースである。表示通信部４３は、推奨光源位置算出部４２３から入力された要求位置の情報及び当該要求位置に対する推奨光源位置の情報を表示部５へ出力する出力部などとして機能する。

［カメラシステム１の校正処理における動作］
図７はカメラシステム１の校正処理における動作の概略を示すフロー図である。また、図８はカメラシステム１が校正処理にて行う推奨光源位置の提示処理の概略を示すフロー図である。図７及び図８を参照してカメラシステム１の校正処理における動作を説明する。

カメラ２が設置され制御装置４と表示部５とに電源が投入されると校正動作が始まる。起動直後のカメラパラメータ４１０は初期値であり概略校正以前の状態である。各カメラ２は自身の視野を順次撮影し、制御装置４に撮影画像を送信する。

制御装置４の画像取得部４０は同時撮影画像を順次、制御装置４の画像処理部４２に入力する。この状態にて作業者１０は監視空間内を移動しながら照射器３により床面を照射する。

画像取得部４０から画像処理部４２に同時撮影画像が入力されるたびにステップＳ１からステップＳ１４までの処理が繰り返される。以降、繰り返しの時間単位をフレームと呼ぶ。

画像処理部４２は同時撮影画像を取得すると（Ｓ１）、照射点検出部４２０として動作し、各同時撮影画像に差分処理を施して当該同時撮影画像から照射点１３（照射点像）を検出する（Ｓ２）。照射点検出部４２０は、検出した照射点１３の画像上での座標に当該画像のカメラＩＤ及び当該画像のフレーム番号を対応付けて記憶部４１の照射点情報４１３に記憶させる。

次に画像処理部４２は、概略校正部４２１として動作し、新規カメラ対の検出を行う（Ｓ３）。すなわち概略校正部４２１は照射点情報４１３を検索して、フレーム番号が同一である照射点１３に対応付けられたカメラＩＤの対をカメラ対として抽出し、カメラパラメータ４１０を参照して、抽出したカメラ対が精密校正対象に設定されていない新規カメラ対であるか否かを確認する。ここで検出されるカメラ対は視野の少なくとも一部を共有しているカメラである。なおフレーム番号が同一である照射点像の対が４つ以上であることを抽出の条件に加えても良い。

１以上の新規カメラ対を検出した場合（Ｓ３にて「ＹＥＳ」の場合）、画像処理部４２は要求設定部４２２として動作し、当該各カメラ対に対する概略校正用の照射要求情報４１１を生成して記憶部４１に記憶させる（Ｓ４）。具体的には、要求設定部４２２は新規カメラ対を構成する各カメラ２のカメラパラメータ４１０を読み出して当該カメラごとに９エリアを設定すると共に、当該カメラ対において照射点１３が検出される要求位置の数を各カメラでいずれか４エリア、カメラ対で合計８エリアとする要求条件を設定する。

続いて要求設定部４２２は、新規カメラ対それぞれが概略校正用の要求条件を満たすか否かを確認する（Ｓ５）。具体的には、要求設定部４２２は新規カメラ対の照射点情報４１３と照射要求情報４１１とを参照して、当該カメラ対のカメラＩＤと対応付けられている照射点像の座標が属するエリア（要求位置）を削除し、残っている要求位置の数から既検出のエリアがカメラごとに４エリア以上、合計８エリア以上であるかを確認する。

新規カメラ対に要求条件を満たすカメラ対が含まれていた場合（Ｓ５にて「ＹＥＳ」の場合）、画像処理部４２は概略校正部４２１として動作し当該カメラ対の照射点情報４１３を用いて概略校正を行い（Ｓ６）、校正結果である概略位置・姿勢の値をカメラパラメータ４１０に書き込んで当該カメラ対を精密校正対象に設定する（Ｓ７）。

新規カメラ対を精密校正対象に設定した場合、画像処理部４２は要求設定部４２２として動作し、当該カメラ対に対する精密校正用の照射要求情報４１１を生成して記憶部４１に記憶させる（Ｓ８）。すなわち要求設定部４２２は新規カメラ対を構成する各カメラ２のカメラパラメータ４１０を読み出して当該カメラごとに９エリアを設定すると共に、当該カメラ対において照射点１３が検出される要求位置の数を各カメラで９エリア、カメラ対で合計１８エリアとする要求条件を設定する。

ステップＳ８で設定されるエリアは概略校正されたカメラパラメータ４１０を用いて算出されるため、ステップＳ４で設定されるエリアよりも実際のカメラ２の位置・姿勢に適合したエリアとなっている。

新規カメラ対が検出されなかった場合（Ｓ３にて「ＮＯ」の場合）、画像処理部４２は現フレームに対するステップＳ４〜Ｓ８の処理をスキップし、ステップＳ９へ進む。また新規カメラ対は検出されたが概略校正用の要求条件を満たさなかった場合（Ｓ５にて「ＮＯ」の場合）、画像処理部４２は現フレームに対するステップＳ６〜Ｓ８の処理をスキップしステップＳ９に進む。

ここまでの処理により、作業者１０が共通視野を４エリア以上照射したカメラ対が順次、画像処理部４２によって精密校正対象にリストアップされ、精密校正対象の各カメラ対に対する照射要求情報４１１が設定される（Ｓ８）。

次に画像処理部４２は要求設定部４２２として動作し、精密校正対象のカメラ対のうち精密校正が未了のカメラ対があるか確認し（Ｓ９）、未了のカメラ対がある場合には、ステップＳ２での照射点１３の検出結果に基づいて要求位置を更新した上で（Ｓ１０）、当該カメラ対が精密校正用の要求条件を満たしているか否かを確認する（Ｓ１１）。具体的には要求設定部４２２は、カメラパラメータ４１０を参照して精密校正が未了のカメラ対の有無を確認し（Ｓ９）、精密校正未了カメラ対の照射点情報４１３と照射要求情報４１１とを参照して、当該カメラ対のカメラＩＤと対応付けられている照射点１３の座標が属するエリア（要求位置）を削除した上で（Ｓ１０）、残っている要求位置が０個になったか、すなわち照射点１３が１８エリアで検出されているかを確認する（Ｓ１１）。

精密校正が未了のカメラ対に要求条件を満たすカメラ対が含まれていた場合（Ｓ１１にて「ＹＥＳ」の場合）、画像処理部４２は精密校正部４２４として動作し当該カメラ対の照射点情報４１３を用いて精密校正を行い（Ｓ１３）、校正結果である精密位置・姿勢の値をカメラパラメータ４１０に書きこむと共に、当該カメラが精密校正済みであることを示す情報を連鎖判定テーブル４１５に書き込んで、全カメラの精密校正が完了したか否かを確認する（Ｓ１４）。

ステップＳ１４にて精密校正部４２４は、カメラパラメータ４１０を検索して精密校正済みであるカメラの数をカウントすると共に、連鎖判定テーブル４１５にて精密校正済みであるカメラ対の接続関係を確認し、カウントが全カメラの台数と一致し且つ孤立しているカメラ対が無ければ全カメラの精密校正が完了したと判定する。全カメラの精密校正が完了した場合（Ｓ１４にて「ＹＥＳ」の場合）校正処理を終了する（Ｓ１５）。ちなみに冗長な精密校正対象が設定されていれば精密校正未了カメラ対が残っていても校正完了となることがある。

一方、カウントが全カメラの台数より少ない場合または孤立しているカメラ対がある場合は、未完了であるとして処理をステップＳ１に戻して次フレームの次フレームの同時撮影画像に対する処理を行う（Ｓ１４にて「ＮＯ」→Ｓ１）。

図９〜図１１を参照して、要求条件が満たされた場合（Ｓ１１にて「ＹＥＳ」の場合）の処理例を説明する。既に述べたように図９，図１０，図１１はそれぞれ照射点情報４１３、照射要求情報４１１及び連鎖判定テーブル４１５のデータ構成を模式的に表しており、連続する２フレーム間でのそれらの変化を示している。図９（ａ），図１０（ａ），図１１（ａ）はそれぞれ第４１フレームでの状態を示しており、図９（ｂ），図１０（ｂ），図１１（ｂ）はそれぞれ第４２フレームでの状態を示している。

第４１フレームでの照射点情報４１３には、照射点検出部４２０が第１〜４１フレームでの撮影にて検出した照射点１３の情報が記憶されている（図９（ａ））。第３７フレームから第４１フレームまではカメラＢとＣとの共通視野で照射点１３が検出されている。

また、第４１フレームまでの間に概略校正部４２１がカメラ対「Ａ，Ｂ」、「Ａ，Ｃ」、「Ｂ，Ｃ」及び「Ｃ，Ｄ」を概略校正し、その結果、連鎖判定テーブル４１５にはこれらカメラ対が精密校正対象に設定されたことが記録されている（図１１（ａ））。さらに連鎖判定テーブル４１５には、カメラ対「Ａ，Ｂ」については精密校正部４２４による精密校正が完了しており、他のカメラ対は精密校正が未了であることが記録されている（図１１（ａ））。

第４１フレームの時点で、要求設定部４２２がカメラ対「Ｂ，Ｃ」に対して当初要求位置として照射要求情報４１１に設定したエリアＢ１〜Ｂ９及びエリアＣ１〜Ｃ９の１８エリアのうち、エリアＢ３及びＣ４の２エリアが要求位置として残っている（図１０（ａ））。つまり、以降のフレームでエリアＢ３及びＣ４にて照射点１３が検出されるとカメラ対「Ｂ，Ｃ」の精密校正が可能となる。なお、精密校正を完了したカメラ対「Ａ，Ｂ」に関する要求位置は既に照射要求情報４１１から削除されている。

次いで第４２フレームでは照射点検出部４２０がカメラＢ及びＣの画像それぞれから新たに照射点像を検出し、照射点情報４１３にその検出結果が追記される（図９（ｂ））。要求設定部４２２は、カメラＢ側で新たに検出された照射点像がエリアＢ３内であること、及びカメラＣ側で新たに検出された照射点像がエリアＣ４内であることを確認したので、カメラ対「Ｂ，Ｃ」の要求位置であったエリアＢ３及びエリアＣ４を照射要求情報４１１から削除した（ステップＳ１０、図１０（ｂ））。この要求位置更新の結果、カメラ対「Ｂ，Ｃ」の精密校正に必要な要求位置全てにて照射点１３が検出されたことが判定され（ステップＳ１１にて「ＹＥＳ」判定）、精密校正部４２４はカメラ対「Ｂ，Ｃ」の照射点情報４１３を用いて精密校正を行い、精密校正が完了したことを連鎖判定テーブル４１５に記録した（ステップＳ１３、図１１（ｂ））。

このカメラ対「Ｂ，Ｃ」の精密校正が完了した時点で、精密校正が完了しているカメラ対は「Ａ，Ｂ」及び「Ｂ，Ｃ」の２組である（図１１（ｂ））。つまり、カメラＩＤ「Ａ」，「Ｂ」，「Ｃ」の３つのカメラ２について精密校正が終わっている。ここで、カメラ「Ａ」と「Ｃ」とはカメラ「Ｂ」を介して接続しており、これら３つのカメラ２は接続関係があることが連鎖判定テーブル４１５に基づいて判定される。

この時点でカメラＩＤ「Ｄ」〜「Ｈ」の５つのカメラ２が精密校正未了として残っているので、ステップＳ１４ではまだ全校正完了とは判定されない。なお、連鎖判定テーブル４１５からカメラ「Ａ」，「Ｂ」，「Ｃ」は接続関係にあることが判定できるため、連鎖判定テーブル４１５においてカメラ対「Ａ，Ｃ」の精密校正が未了であるとの記録がされていても全校正完了が判定される。つまり、この例では全校正完了の判定に際して、カメラ対「Ａ，Ｃ」の精密校正は全校正完了の必須条件とはならない。

ステップＳ９にて精密校正が未了のカメラ対がない場合には（Ｓ９にて「ＮＯ」の場合）、精密校正部４２４はステップＳ１０〜Ｓ１３をスキップしてステップＳ１４の完了確認を行う。

また、ステップＳ１１にて照射要求情報４１１を満たすカメラ対が無い場合には（Ｓ１１にて「ＮＯ」の場合）、画像処理部４２は推奨立ち位置算出部４２３として動作し、要求位置への照射点設置のために適した作業者１０の立ち位置を算出して作業者１０に提示する（Ｓ１２）。

図８を参照して推奨光源位置の提示処理（Ｓ１２）を説明する。

まず、推奨光源位置算出部４２３は、精密校正が未了であるカメラ対の中から表示部５に推奨光源位置を提示する提示カメラ対を１つ選定する（Ｓ２０）。具体的には推奨光源位置算出部４２３は、１フレーム前に選定した提示カメラ対を選定することで提示のばたつきを抑制する。これにより作業者１０が現在共通視野を照射しているカメラ対が選定されるので作業者１０の無駄な移動を減じることができる。推奨光源位置算出部４２３は、次フレームでの選定に備えて、現フレームにて選定した提示カメラ対を記憶部４１に記憶させておく。

一方、１フレーム前に選定した提示カメラ対から一定期間新たな照射点１３が検出されないときは提示カメラ対を変更する。すなわち、この場合には推奨光源位置算出部４２３は照射点情報４１３を参照してフレーム番号が最新である照射点像に対応付けられたカメラＩＤの精密校正未了カメラ対を選定する。

次に推奨光源位置算出部４２３は、提示カメラ対の照射要求情報４１１を参照して、当該カメラ対を構成するカメラのうち要求位置が多い方のカメラを、推奨光源位置を提示する提示カメラに選定する（Ｓ２１）。また、次フレームでの選定に備えて推奨光源位置算出部４２３は現フレームにて選定した提示カメラを記憶部４１に記憶させておく。なお、要求位置が同数の場合は１フレーム前に選定した提示カメラを選定することで提示のばたつきを抑制する。要求位置の数と前回提示カメラの条件を課しても提示カメラ対の１つを提示カメラとして選定できないときはカメラＩＤが若い方のカメラを選定する。

続いて推奨光源位置算出部４２３は提示カメラの撮影画像において要求位置ごとに照射限界輝度値Ｔｉ以上である高輝度画素をカウントして所定数以上（例えば９０％以上）が高輝度画素である要求位置の有無を確認する（Ｓ２２）。

該当する要求位置が１つ以上あれば（Ｓ２２にて「ＹＥＳ」の場合）、明るすぎて照射点１３を検出することができない検出不能位置が存在するとして推奨光源位置算出部４２３は「遮光してください」とのメッセージを表示通信部４３に出力し（Ｓ２３）、処理を図７のステップＳ１へ戻す。

一方、検出不能位置が存在しなければ（Ｓ２２にて「ＮＯ」の場合）、推奨光源位置算出部４２３は処理Ｓ２４〜Ｓ２９を行い合成画像を出力する。処理Ｓ２４〜Ｓ２９は図１２〜図１５に示す具体例を参照しつつ説明する。図１２は各画素の輝度が低いほど大きく重み付けた加重平均位置を推奨光源位置とする場合におけるカメラ２Ｂ，２Ｃの画像領域２２ｂ，２２ｃの例を示しており、図１４は図１２に対応する表示部５における表示画面の一例である。また、図１３は各画素の輝度が高いほど大きく重み付けた加重平均位置を推奨光源位置とする場合におけるカメラ２Ｂ，２Ｃの画像領域２５ｂ，２５ｃの例を示しており、図１５は図１３に対応する表示部５における表示画面の一例である。

検出不能位置が存在しない場合（Ｓ２２にて「ＮＯ」の場合）、推奨光源位置算出部４２３は要求位置のうち互いに隣接する要求位置を統合し（Ｓ２４）、統合後の要求位置の数をカウントする。

図１２、図１３の各画像領域では、輝度値の違いを３段階に表現しており、縦線領域、横線領域、白抜き領域の順に明るくなる。図１２、図１３の例では、白抜きは窓及び当該窓から差し込んだ光による高輝度画素であり、その高輝度画素の周辺はやや明るくなっていることが表現されている。×印は検出された照射点１３を表しており、×印が存在しないエリアが要求位置となる。太線は要求位置を統合した統合エリアである。図１２の例では提示カメラとするカメラ２Ｃの要求位置Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ７，Ｃ８，Ｃ９が統合されて統合エリアのカウント値は１となり、図１３の例では提示カメラとするカメラ２Ｃの要求位置Ｃ４，Ｃ８は統合されずカウント値は２となる。

図１２の例のように、互いに隣接する要求位置が多い場合は作業の進捗を優先し、１つの光源位置からの照射によって多くの要求位置で確実に照射点１３を検出できるように推奨光源位置を算出するのがよい。そこで推奨光源位置算出部４２３は、隣接する要求位置を統合して統合後の要求位置の数が１つであるか否かを判定し（Ｓ２５）、要求位置が１つに統合された場合、つまり要求位置が互いに隣接し、連続した一体の領域をなす場合には（Ｓ２５にて「ＹＥＳ」の場合）、要求位置それぞれに含まれる画素位置に当該各画素の輝度が低いほど大きく重み付けた加重平均位置を推奨光源位置として算出する（Ｓ２６）。これにより、複数の要求位置から近く、且つ照射点１３の検出が容易な暗めの場所に光源を誘導できるので作業効率が向上する。

具体的には、要求位置が１つに統合された場合（Ｓ２５にて「ＹＥＳ」の場合）、推奨光源位置算出部４２３は統合された要求位置に含まれる画素のうち輝度値が照射限界輝度値Ｔｉ未満である各画素の画素位置Ｐ（ｘ_ｐ，ｙ_ｐ）に当該画素の輝度値Ｉ（ｘ_ｐ，ｙ_ｐ）が低いほど大きく重み付けた加重平均位置を次式により算出し、推奨光源位置Ｑ（ｘ_ｑ，ｙ_ｑ）とする（Ｓ２６）。

ここで、ｆ(Ｉ)は実験を通じて予め設定された輝度Ｉの変域にて値域が正値である単調増加関数であり、Ｓは、Ｐ（ｘ_ｐ，ｙ_ｐ）の集合である。

図１２の例では要求位置はカメラ２Ｂ，２Ｃいずれについても１つに統合されているが、カメラ２Ｃの方が要求位置が多い。そこで既に述べたようにカメラ２Ｃを提示カメラとし、推奨光源位置は、要求位置が多いカメラ２Ｃ側で求めている。実線の２重丸２２０が輝度による重み付けを行った加重平均位置で与えられる推奨光源位置である。ちなみに、点線の２重丸２２１は輝度による重み付けを行わなかった単純平均位置を示している。加重平均位置は単純平均位置と比べて高輝度画素やその周辺の明るい領域から離れている。

一方、図１３のように互いに隣接する要求位置が少ない場合、すなわち複数の要求位置が孤立している場合は、単純平均した位置よりも明るい要求位置寄りに光源位置を誘導することで、明るい要求位置での照射点１３の検出し損ねを減じるのがよい。そこで推奨光源位置算出部４２３は、隣接する要求位置を統合して統合後の要求位置が複数である場合、つまり要求位置が１つの統合されず離れた領域を形成する場合には（Ｓ２５にて「ＮＯ」の場合）、要求位置それぞれに含まれる画素位置に当該各画素の輝度が高いほど大きく重み付けた加重平均位置を推奨光源位置として算出する（Ｓ２７）。これにより、複数の要求位置から近く、且つ照射点１３の検出が難しい明るめの場所寄りに光源を誘導できるので失敗を減じて作業効率が向上する。

具体的には、要求位置が１つに統合されなかった場合（Ｓ２５にて「ＮＯ」の場合）、推奨光源位置算出部４２３は各要求位置に含まれる画素のうち輝度値が照射限界輝度値Ｔｉ未満である各画素の画素位置Ｐ（ｘ_ｐ，ｙ_ｐ）に当該画素の輝度値Ｉ（ｘ_ｐ，ｙ_ｐ）が高いほど大きく重み付けた加重平均位置を次式により算出し、推奨光源位置Ｑ（ｘ_ｑ，ｙ_ｑ）とする（Ｓ２７）。

ここで、ｇ(Ｉ)は実験を通じて予め設定された輝度Ｉの変域にて値域が正値である単調増加関数であり、Ｓは、Ｐ（ｘ_ｐ，ｙ_ｐ）の集合である。

図１３の例では、カメラ２Ｃの方がカメラ２Ｂより要求位置の数が多い。そこで既に述べたようにカメラ２Ｃを提示カメラとし、推奨光源位置は、要求位置が多いカメラ２Ｃ側で求めている。実線の２重丸２５０が輝度による重み付けを行った加重平均位置で与えられる推奨光源位置である。また、点線の２重丸２５１は輝度による重み付けを行わなかった単純平均位置を示している。加重平均位置は単純平均位置と比べて高輝度画素やその周辺の明るい領域に近づいている。

なお、ステップＳ２５において、統合後の領域の数で場合分けする代わりに統合された要求位置の数で場合分けしてもよい。例えば３個以上の要求位置が統合されたか否かでステップＳ２６とＳ２７への場合分けを行う。

上述のように推奨光源位置は撮影画像上で複数の要求位置それぞれに含まれる画素位置の重心（加重平均位置）を推奨光源位置として算出する。ここで、照射限界輝度値を超える輝度の領域は照射点１３が検出される可能性が極めて低いため作業者１０が照射しても無駄な作業となる。そこで、推奨光源位置の算出に際して、撮影画像上で輝度が照射限界輝度値を超えている高輝度画素を平均位置算出の元データから除外することが好適である。これにより、輝度値が高いほど大きく重み付けた加重平均位置を算出する場合において、照射点１３がその検出可能性が低い高輝度領域に誘導されることを回避して、作業者１０の作業効率を上げることができる。また、輝度値が低いほど大きく重み付けた加重平均位置を算出する場合においては、照射点１３はより暗めの場所に誘導され検出が容易となる。なお、照射限界輝度値を超えている高輝度画素を除外して平均位置算出を行う場合は、表示部５にて作業者１０に提示する要求位置からも高輝度画素を除外する。

推奨光源位置算出部４２３は、要求位置から輝度値が照射限界輝度値Ｔｉ以上である高輝度画素を除き、これとステップＳ２６またはＳ２７にて算出した推奨光源位置及びメッセージを提示カメラの画像に重畳して合成画像を生成し（Ｓ２８）、合成画像を表示通信部４３に出力する（Ｓ２９）。

合成画像を入力された表示通信部４３は当該合成画像を表示部５に送信し、当該合成画像を受信した表示部５は当該合成画像をディスプレイに表示する。
前述した例では、図１４や図１５の合成画像が表示される。

図１４、図１５はそれぞれ図１２、図１３の結果に基づく表示部５における表示画面の例であり、推奨光源位置、要求位置及びメッセージをカメラ２Ｃによる撮影画像に合成した合成画像を模式的に示している。ちなみに、推奨光源位置２３と要求位置２４とは色分けなどにより識別容易なように表示することが好適であり、例えば、図１４、図１５では推奨光源位置２３は赤色（横線領域）、要求位置２４は緑色（斜線領域）で表示される。表示部５に出力される要求位置２４は上述したように高輝度画素を除外したものとなっている。

こうして要求位置及び推奨光源位置が作業者１０に提示され、作業者１０は推奨光源位置から照射器３で要求位置を照射する。推奨光源位置から形成した照射点１３はより確実に検出されるので、作業者１０は要求位置から照射点１３を検出できない失敗を回避して、少ない作業負担で校正作業を完了することが可能となる。さらに、ステップＳ２８の合成にて推奨光源位置を撮影画像に重畳したことで実際に光源を設置する位置、または作業者１０が照射器３を持って立つ位置を作業者１０が判断できる。

推奨光源位置の提示を行うと、画像処理部４２は処理を図７のステップＳ１へ戻して次フレームの同時撮影画像に対する処理を行う。

［カメラシステム１の３次元計測処理における動作］
校正処理を終えたカメラシステム１は監視空間を３次元計測する計測処理へと移行する。

図１６はカメラシステム１の計測処理における動作の概略を示すフロー図である。図１６を参照してカメラシステム１の計測処理における動作を説明する。

３次元計測処理の実行時において、上述の校正処理と同様、各カメラ２は自身の視野を順次撮影し、制御装置４に撮影画像を送信する。制御装置４の画像取得部４０は同時撮影画像を順次、制御装置４の画像処理部４２に入力する。この状態にて作業者１０は監視空間内を移動しながら照射器３により監視空間に存在する什器等の物体を照射する。

画像処理部４２は同時撮影画像を取得すると（Ｓ５０）、要求設定部４２２として動作し、各画像を互いに色が類似する隣接画素のまとまりに分割して分割領域を生成し（Ｓ５１）、各分割領域をそれぞれ３個以上の照射点１３の検出を要求する要求位置とする照射要求情報４１１を生成して記憶部４１に記憶させる（Ｓ５２）。図１７は照射要求情報４１１の設定例を示す画像領域の模式図である。図１７はカメラ２Ｂ，２Ｃに対する照射要求情報４１１の例を示しており、画像領域２６ｂに示すようにカメラ２Ｂに対しては、什器の面に要求位置ｂ３，ｂ４、壁の面に要求位置ｂ１，ｂ５、及び床面に要求位置ｂ２がそれぞれ設定される。また、画像領域２６ｃに示すようにカメラ２Ｃに対しては、什器の面に要求位置ｃ２，ｃ３，ｃ４、壁の面に要求位置ｃ５，ｃ６、及び床面に要求位置ｃ１がそれぞれ設定される。

照射要求情報４１１の生成後、画像処理部４２は同時撮影画像が入力されるたびにステップＳ５３〜Ｓ６２の処理を繰り返す。

まず、画像処理部４２は同時撮影画像を取得すると（Ｓ５３）、照射点検出部４２０として動作し、各同時撮影画像に差分処理を施して当該同時撮影画像から照射点１３を検出し、当該照射点１３の画像上での座標に当該画像のカメラＩＤ及び当該画像のフレーム番号を対応付けて記憶部４１の照射点情報４１３に記憶させる（Ｓ５４）。

次に画像処理部４２は要求設定部４２２として動作し、照射点情報４１３と照射要求情報４１１とを参照して３個以上の照射点１３が検出された要求位置があるか否かを確認する（Ｓ５５）。

該当する要求位置があれば（Ｓ５５にて「ＹＥＳ」の場合）、画像処理部４２は物体計測部４２５として動作し、当該要求位置にて検出された照射点１３に三角測量の原理を適用して３次元計測を行い（Ｓ５７）、当該要求位置である分割領域の平面を導出する（Ｓ５８）。そして、導出した平面の情報を記憶部４１の物体計測情報４１４に記憶させる（Ｓ５９）。またこのとき要求設定部４２２は、３次元計測を行った要求位置を照射要求情報４１１から削除する。

一方、３個以上の照射点１３が検出された要求位置がない場合（Ｓ５５にて「ＮＯ」の場合）、画像処理部４２は推奨光源位置算出部４２３として動作し、照射点１３が３個未満である要求位置に対する推奨光源位置を提示する（Ｓ５６）。ステップＳ５６における推奨光源位置の提示処理は図８を用いて説明した処理と同じである。これにより、校正処理の場合と同様、要求位置及び推奨光源位置が作業者１０に提示され、要求位置から照射点１３を検出する作業の効率が向上する。なお、各要求位置に複数個の照射点１３の検出を要求する計測処理では、表示部５の画面表示は、要求位置ごとに既検出の照射点１３の個数が作業者１０に分かるように行うこともできる。例えば、画面に要求位置のエリアの区画と当該エリアでの検出個数の数字を表示したり、エリアごとに検出個数に応じて色の濃さを変えるなどとしたりできる。これにより、作業者１０には、要求位置として表示されていたエリアが要求位置ではなくなり表示部５に表示されなくなったことだけでなく、より詳細な作業進捗状況を提示でき、作業効率の向上を図れる。

ここで、計測処理においては照射点１３の設置が困難な要求位置が含まれている場合がある。例えば、物体１２の高さが高いときに、床面に立つ作業者１０が物体１２の上面である要求位置ｂ３やｃ２に照射を行うことは困難である。このようなとき、作業者１０が表示部５の提示画像内で設置困難な要求位置を指定して要求解除の入力を行う。ステップＳ６０にて要求設定部４２２は要求解除入力を確認し、入力があれば該当要求位置を照射要求情報４１１から削除する（Ｓ６０にて「ＹＥＳ」→Ｓ６１）。一方、要求解除入力がない場合はステップＳ６１はスキップする（Ｓ６０にて「ＮＯ」の場合）。

続いて物体計測部４２５は、照射要求情報４１１を確認し（Ｓ６２）、要求位置の情報が無くなっていれば計測処理を終了する（Ｓ６２にて「ＹＥＳ」→Ｓ６３）。一方、要求位置が残っていれば（Ｓ６２にて「ＮＯ」）、画像処理部４２は処理をステップＳ５３に戻して次フレームの同時撮影画像に対する処理を行う。

［変形例］
（１）上述の実施形態では、照射点１３を用いてカメラのＸＹ座標及び光軸方向の概略校正値を設定する例を示したが、概略校正値としてカメラ配置に関する工事計画時の値を事前設定し、概略校正を省略してもよい。

（２）照射器３は上述したスポット光を出力するものに代えて、予め定めた十字パターンなどのパターン光を出力する光源でもよい。この場合、照射点検出部４２０は光像の重心に代えて十字パターン中の交点など、パターン中の所定形状点を照射点１３として検出してもよい。

（３）上記実施形態の推奨光源位置の提示処理（Ｓ１２）は、共通視野を有するカメラ対の一方を提示カメラとして選択し、当該提示カメラの要求位置への照射に好適な光源位置を算出する。この点に関し、カメラ対の両方のカメラの要求位置への照射に好適な光源位置を算出して提示してもよい。これにより、同時撮影画像にてカメラ対で共通に照射点１３の検出を必要とする校正処理や３次元計測の作業の一層の効率化を図ることができる。

例えば、推奨光源位置算出部４２３は、提示カメラ対の双方のカメラそれぞれについて（１）式又は（３）式で推奨光源位置Ｑを算出し、さらに両カメラの推奨光源位置Ｑに基づいて表示部５に提示する推奨光源位置Ｑを算出する。具体的には、両カメラの推奨光源位置Ｑの中点、又は加重平均位置を提示することができる。加重平均を行う際には、各カメラにおける要求位置の数や要求位置に含まれる画素数を重みとすることができる。

（４）上記実施形態で述べたようにカメラ２の校正処理には一般的には、同一直線上にない４個以上の照射点１３が同時撮影画像から検出されることを要する。しかし、カメラ２の位置・姿勢の自由度のうち一部が既知であり校正不要であるような場合には、校正処理に最低限必要とされる照射点１３の検出個数は４個未満とすることもできる。

（５）上記実施形態では推奨光源位置の出力は表示通信部４３から表示部５のディスプレイへの画像出力としているが、当該出力の形態はこれに限定されない。例えば、音声出力や、紙などの媒体への印刷とすることができる。

（６）上記実施形態では推奨光源位置算出部４２３は推奨光源位置を撮影画像上の座標系で簡易的に算出しているが、ワールド座標系でより厳密に算出してもよい。この場合、推奨光源位置算出部４２３は、提示カメラの各要求位置を当該カメラのカメラパラメータ４１０を用いて基準面１１上の座標に変換し、変換後の座標の重心位置ないし重み付け重心位置を推奨光源位置として算出する。この形態はカメラ２を傾けた姿勢にて設置するカメラシステムにおいて有用である。

１カメラシステム、２，２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈカメラ、３照射器、４制御装置、５表示部、１０作業者、１１基準面、１２物体、４０画像取得部、４１記憶部、４２画像処理部、４３表示通信部、４００カメラ通信部、４０１同期制御部、４１０カメラパラメータ、４１１照射要求情報、４１２照射限界値、４１３照射点情報、４１４物体計測情報、４２０照射点検出部、４２１概略校正部、４２２要求設定部、４２３推奨光源位置算出部、４２４精密校正部、４２５物体計測部。

Claims

所定の空間内を撮影する一又は複数のカメラと、前記カメラが撮影した画像を処理する制御装置と、前記空間内を照射して前記カメラで撮影可能な照射点を形成する移動可能な光源と、を備えて構成されるカメラシステムであって、
前記制御装置は、
前記照射点の形成が必要な前記空間内の複数の照射要求位置を少なくとも記憶する記憶部と、
前記複数の照射要求位置からの距離の和が最小となる位置を、当該複数の照射要求位置へ照射を行う際の推奨光源位置に定める推奨光源位置決定部と、
前記推奨光源位置を出力する出力部と、
を備えたことを特徴とするカメラシステム。
前記出力部は前記照射要求位置を出力すること、を特徴とした請求項１に記載のカメラシステム。
前記推奨光源位置決定部は、前記画像における前記照射要求位置の輝度値を抽出し、当該輝度値に応じて当該照射要求位置からの前記距離に重みを付けて前記和を算出すること、を特徴とした請求項１又は請求項２に記載のカメラシステム。
前記制御装置は、前記画像を区分した区分領域を単位として前記照射要求位置を設定し前記記憶部に記憶させる要求位置設定部を更に有し、
前記推奨光源位置決定部は、前記複数の照射要求位置が隣接した領域である場合には、前記輝度値が低いほど前記距離に対する重みを大きくすること、
を特徴とした請求項３に記載のカメラシステム。
前記制御装置は、前記画像を区分した区分領域を単位として前記照射要求位置を設定し前記記憶部に記憶させる要求位置設定部を更に有し、
前記推奨光源位置決定部は、前記複数の照射要求位置が離れた領域である場合には、前記輝度値が高いほど前記距離に対する重みを大きくすること、
を特徴とした請求項３に記載のカメラシステム。
前記カメラは、前記空間内にて共通視野を有するように複数設置され、
前記記憶部は、前記空間内における前記カメラの位置・姿勢を含むカメラパラメータを記憶しており、
前記制御装置は、
前記カメラが撮影した画像から前記照射点を検出する照射点検出部と、
前記照射点を基準にして、前記カメラパラメータを校正する校正部と、を更に有し、
前記校正部は、前記複数のカメラが同時に撮影した画像それぞれにて前記照射点検出部が前記照射点として照射点像を検出した場合に、当該複数の照射点像が前記空間における同一位置であるとの拘束条件を適用して前記カメラパラメータを校正すること、
を特徴とした請求項１から請求項５のいずれか１つに記載のカメラシステム。