JP5857805B2 - カメラ較正装置 - Google Patents

Description

本発明は、カメラ較正装置に関する。

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障害の診断支援装置が求められている。このような診断支援装置は、複数のステレオカメラを用いるため、被験者に対しては自然な状態での診断を可能としており、このように複数のステレオカメラを容易且つ精度よく較正する必要がある。

特開２０１１−２０６５４２号公報 特開２００８−１２５６１９号公報 特開２００６−２１４７３５号公報

発達障害早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障害を診断支援する方法が提案されている。

特許文献１には、対面式の検出装置が記載されている。この装置では、２組のステレオカメラを別々に設置している。このため、測定のたびにチェスボードなどを用いたキャリブレーション（較正）が必要になる。また、少しでもカメラの位置が動いたり、温度により三脚が伸びたりすると測定できなくなる問題があり、更なる改善が求められていた。

本発明は、上記に鑑みてなされたものであって、複数のカメラの較正を容易且つ高精度に実行できるカメラ較正装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるカメラ較正装置は、複数の撮像部と、複数の前記撮像部を支持する回転台と、前記回転台の回転角度を予め定められた複数の規定角度のいずれかに位置決めする第１位置決め部と、複数の前記規定角度それぞれに対応して、複数の前記撮像部のそれぞれの座標系における位置が既知である部材と、前記回転台の回転角度が前記規定角度に位置決めされたときに撮影された前記部材の画像と、位置決めされた前記規定角度に対応する前記座標系とに基づいて、前記撮像部の内部パラメータおよび外部パラメータを算出する較正処理を実行する較正部と、複数の前記撮像部に含まれる第１撮像部に対する前記較正処理で用いられた第１座標系で表される第１座標値を、複数の前記撮像部に含まれる第２撮像部に対する前記較正処理で用いられた第２座標系で表される第２座標値に変換する変換部と、を備える。

本発明にかかるカメラ較正装置は、複数のカメラの較正を容易且つ高精度に実行できるという効果を奏する。

図１は、第１の実施形態の診断支援装置の外観構成の一例を示す斜視図である。 図２は、診断支援装置の機能の概要を示す図である。 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。 図４は、２組のステレオカメラの座標系の一例を説明する図である。 図５は、２組のステレオカメラの座標系の他の例を説明する図である。 図６は、対象者の目の位置と被験者の視点検出を説明するための図である。 図７は、図６を鉛直上方から観察した場合の説明図である。 図８は、注視点判定処理の一例を示すフローチャートである。 図９は、較正処理の一例を示すフローチャートである。 図１０は、変形例１の診断支援装置の外観構成の例を示す斜視図である。 図１１は、図１０の診断支援装置を側面から観察した場合の図である。 図１２は、変形例１の診断支援装置で用いる共通座標系の一例を示す図である。 図１３は、変形例１の診断支援装置を鉛直上方から観察した場合の概略図である。 図１４は、図１の診断支援装置に対応した較正装置の構成例を示す図である。 図１５−１は、パターンボードの一例を示す図である。 図１５−２は、パターンボードの一例を示す図である。 図１６は、較正装置の上面図である。 図１７は、較正装置の機能構成の一例を示すブロック図である。 図１８は、カメラ較正処理の一例を示すフローチャートである。 図１９は、変形例１の診断支援装置を載せた場合の較正装置の外観図である。 図２０は、変形例１の診断支援装置を載せた場合の較正装置の外観図である。 図２１は、変形例３の較正装置の構成例を示す図である。 図２２は、変形例３の較正装置の構成例を示す図である。

以下に、本発明にかかる診断支援装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

（第１の実施形態）
従来は、モニタに映した顔などの目を被験者が見る頻度を測定して発達障害を診断していた。第１の実施形態の診断支援装置では、相互に所定角度（例えば約１８０°）反転した向きに設置された２組のステレオカメラにより、被験者の視線と、被験者に対面した対象者の目の位置を求めて、被験者の注視点を求める。そして、被験者が対象者の目付近を見ている状況を判断して、発達障害のスクリーニングを行う。

すなわち、一方のステレオカメラより得られた画像を基に、対象者の瞳孔中心位置を計測し、目の位置を求める。他方のステレオカメラで被験者の瞳孔中心と角膜反射の位置を計測し、視線を求める。そして、被験者が対象者の目付近を注視しているか否かを測定して発達障害診断を支援する。このような構成により、事前にカメラにより撮影した顔映像などを観察させるのではなく、被験者と実際に対面する対象者を観察させることができる。したがって、違和感のない自然な雰囲気の中での診断補助が実現できる。

また、従来、同一の対象物を撮像できないカメラの較正は、世界座標上の座標が明確な対象物を撮像する必要があった。本実施形態では、複数のステレオカメラを搭載した診断支援装置を所定の角度で回転させながら同一の較正用パターンを撮像して個別にカメラ較正した後に回転軸に関連した共通座標に変換する。これにより、コンパクトで高精度なカメラ較正が実現できる。

図１は、第１の実施形態の診断支援装置の外観構成の一例を示す斜視図である。図１に示すように、第１の実施形態の診断支援装置１００は、筐体１０１と、ステレオカメラ１０２ａ、１０２ｂと、較正用ＬＥＤ（Light Emitting Diode）１０４ａ〜１０４ｃと、スピーカ１０５と、ボタン１０６と、赤外線通信部１０７と、コネクタ１０８と、を備えている。

ステレオカメラ１０２ａ、１０２ｂは、赤外線によるステレオ撮影が可能な撮像部である。以下、区別する必要がない場合は、ステレオカメラ１０２ａ、１０２ｂを単にステレオカメラ１０２という場合がある。ステレオカメラ１０２は、例えばプログレッシブカメラにより構成できる。ステレオカメラ１０２のレンズの直前には、円周方向に赤外ＬＥＤ光源（詳細は後述）が配置される。赤外ＬＥＤ光源は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。

２組のステレオカメラ１０２ａ、１０２ｂは、互いに撮像面が反対方向となるように設置される。これにより、ステレオカメラ１０２ａ、１０２ｂが、それぞれ対面する被験者（例えば幼児）と対象者（例えば母親）の顔を撮影できるようになっている。

較正用ＬＥＤ１０４ａ〜１０４ｃは、較正用の注視点となるＬＥＤである。なお、このＬＥＤを用いる較正処理は、個人ごとの目の特性に応じて視線検出のための計算パラメータを修正するための較正処理（視線検出用較正）であり、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正（詳細は後述））とは異なる。視線検出用較正時に被験者に注視させる必要があるため、較正用ＬＥＤ１０４ａ〜１０４ｃは、可視光を発光するＬＥＤ光源である。

スピーカ１０５は、視線検出用較正時に被験者に注意を促すための音声、および、測定結果を示す音声などを出力する。ボタン１０６は、例えば診断支援装置１００の操作者が、測定開始を指示するためのボタンである。なお、ボタン１０６は操作のためのインタフェースの一例であり、操作インタフェースとしては他のあらゆるインタフェースを適用できる。例えば、複数のボタンを備えるように構成してもよい。また、タッチパネル、キーボード、およびマウスなどのインタフェースを適用してもよい。

赤外線通信部１０７は、外部装置との間で赤外線通信を行うためのインタフェースである。赤外線通信部１０７は、例えば、後述する較正装置を用いてステレオカメラ１０２を較正（カメラ較正）するときに、較正装置との間でデータを送受信するときに利用される。なお、通信は赤外線通信に限られるものではなく、他の無線通信方式、および、有線通信方式などを用いてもよい。

コネクタ１０８は、測定結果の数値および画像などを表示するモニタ（表示部）を接続する場合のコネクタである。

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、ステレオカメラ１０２ａと、ステレオカメラ１０２ｂと、較正用ＬＥＤ１０４ａ〜１０４ｃと、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部２１０と、を含む。

ステレオカメラ１０２ａは、被験者の測定に用いる構成を含むモジュールを表す。また、ステレオカメラ１０２ｂは、対象者の測定に用いる構成を含むモジュールを表す。ステレオカメラ１０２ｂはステレオカメラ１０２ａと同様の構成であるため、図２では詳細を省略している。

ステレオカメラ１０２ａは、右カメラ２０２ａと、左カメラ２０４ａと、赤外ＬＥＤ光源２０３ａ、２０５ａとを備えている。赤外ＬＥＤ光源２０３ａ、２０５ａは、それぞれ右カメラ２０２ａおよび左カメラ２０４ａのレンズの前に取り付けられる。

駆動・ＩＦ部２０８は、ステレオカメラ１０２ａおよびステレオカメラ１０２ｂに含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２ａおよびステレオカメラ１０２ｂに含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、診断支援装置１００の全体の処理を制御する。制御部３００は、例えばＣＰＵ（Central Processing Unit）によって実現できる。制御部３００の機能の詳細は後述する。表示部２１０は、必要に応じて診断支援結果を表示する。

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５、３１７、３１８と、ＬＥＤ駆動制御部３１６と、ＬＥＤ駆動部３２０ａ〜３２０ｃと、スピーカ駆動部３２６と、を含む。

ＬＥＤ駆動制御部３１６は、赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂを駆動する。赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂは、それぞれ波長が異なるＬＥＤを含んでいる。

赤外ＬＥＤ光源２０３ａは、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５ａは、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。赤外ＬＥＤ光源２０３ｂは、波長１−ＬＥＤ３０７と、波長２−ＬＥＤ３０８と、を備えている。赤外ＬＥＤ光源２０５ｂは、波長１−ＬＥＤ３０９と、波長２−ＬＥＤ３１０と、を備えている。

波長１−ＬＥＤ３０３、３０５、３０７、３０９は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６、３０８、３１０は、波長２の赤外線を照射する。

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。

ＬＥＤ駆動部３２０ａ〜３２０ｃは、それぞれ較正用ＬＥＤ１０４ａ〜１０４ｃを駆動する。スピーカ駆動部３２６は、スピーカ１０５を駆動する。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５、３１７、３１８を介して、それぞれ、右カメラ２０２ａ、左カメラ２０４ａ、右カメラ２０２ｂ、左カメラ２０４ｂが接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者や対象者を撮像する。

右カメラ２０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４ａと、ＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込むように制御できる。

例えば、右カメラ２０２ａ、左カメラ２０４ａ、赤外ＬＥＤ光源２０３ａ、赤外ＬＥＤ光源２０５ａが、被験者用のモジュールであり、右カメラ２０２ｂ、左カメラ２０４ｂ、赤外ＬＥＤ光源２０３ｂ、赤外ＬＥＤ光源２０５ｂが、対象者用のモジュールである。

対象者用のモジュールでは、発光および撮像は、第３フレームおよび第４フレームで実施する。このように、４フレームをサイクルとして撮像を行っていく。また、１フレーム内において、カメラの高速シャッター機能と赤外線短時間発光を組み合わせて、２種類の波長それぞれが干渉しないようにして撮像することも可能である。

制御部３００は、方向検出部３５１と、位置検出部３５２と、変換部３５３と、判定部３５４と、較正部３５５と、を備えている。

方向検出部３５１は、被験者用のモジュール（ステレオカメラ１０２ａ）で撮影された画像から、被験者の視線方向を検出する。方向検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、方向検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。方向検出部３５１は、左右のカメラ（右カメラ２０２ａ、左カメラ２０４ａ）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、方向検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、方向検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。

位置検出部３５２は、対象者用のモジュール（ステレオカメラ１０２ｂ）で撮影された画像から、対象者の目の位置を検出する。対象者の目の位置は、例えば、方向検出部３５１が瞳孔の位置を算出する方法と同様の方法により検出できる。

なお、被験者の視線方向、および、対象者の目の位置の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視線方向、および、対象者の目の位置を検出してもよい。

変換部３５３は、２組のステレオカメラ１０２ａ、１０２ｂそれぞれが用いる座標系間の変換を行う。被験者の視線方向および対象者の目の位置は、それぞれ座標系が異なるステレオカメラ（ステレオカメラ１０２ａ、ステレオカメラ１０２ｂ）で撮影された画像から検出され、異なる座標系の座標値で表される。このため、変換部３５３が、両座標系間の座標値の変換を行う。座標系の変換の詳細については後述する。

判定部３５４は、被験者の視線方向と、対象者の目の位置とから、被験者が対象者の目を注視しているか否かを判定する。例えば被験者を診断する医師は、判定部３５４の判定結果を参照することにより、被験者が発達障害であるか否かを診断することが可能となる。

較正部３５５は、視線方向を検出するために用いる計算パラメータを較正（視線検出用較正）する。一般に個人ごとに目の光軸と視線方向とが異なる。このため、光軸と視線方向が一致するように補正する必要があるためである。視線検出用較正処理では、所定の座標系上で既知である所定の位置（例えば較正用ＬＥＤ１０４ａ〜１０４ｃ）を被験者に注視させて、その時の瞳孔の中心（瞳孔の位置）と角膜反射位置とを測定する。そして、較正部３５５は、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータを修正する。

所定の位置は、例えば１点、２点、および３点のいずれかが設定される。本実施形態の例では、例えば較正用ＬＥＤ１０４ａのみ（１点）、較正用ＬＥＤ１０４ａおよび１０４ｂ（２点）、および、較正用ＬＥＤ１０４ａ〜１０４ｃ（３点）などが設定される。点数が少ないほど、較正時間が短く、点数が多いほど高精度となる傾向がある。

なお、対象者については、目の位置検出だけでよいので視線検出用較正は不要である。また、較正部３５５は、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正）を行う（詳細は後述）。

方向検出部３５１、位置検出部３５２、変換部３５３、判定部３５４、および較正部３５５の一部または全部は、ハードウェアにより実現してもよいし、ＣＰＵなどにより実行されるソフトウェア（プログラム）により実現してもよい。

本実施形態の診断支援装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の診断支援装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の診断支援装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の診断支援装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の診断支援装置１００で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

次に、このように構成された診断支援装置１００で用いられる座標系について説明する。２組のステレオカメラを用いて撮像した対象の位置関係を規定するためには、共通の座標系で計算する必要がある。図４は、２組のステレオカメラの座標系の一例を説明する図である。

ステレオカメラ１０２ａおよび１０２ｂは、それぞれ個別の座標系である座標系４０１および４０２でカメラ較正を行う。座標系４０１および４０２は、機械的にそれぞれの位置関係が決まっている。従って、この位置関係に基づいて座標系４０１および４０２の間で座標変換を行えば、共通の座標系の座標値を計算できる。

例えば、（１）座標系４０１を、Ｙ軸（鉛直方向の座標軸）を中心に１８０°回転させ、（２）座標系４０２のＹ軸に重なるように平行移動させれば、座標系４０２を共通の座標系（共通座標系）として利用できる。なお、逆の操作で座標系４０１を共通座標系としてもよい。図４の方法では、平行移動が必要となるため、機械的な取り付け精度などの影響が大きくなる可能性がある。

図５は、２組のステレオカメラの座標系の他の例を説明する図である。図５の例では、Ｙ軸は最初から共通になっている。このため、Ｙ軸周りの回転のみで座標変換が実現される。この座標系を用いる場合のステレオカメラのカメラ較正については後述する。

なお、座標系の変換のために回転する角度（所定角度）は１８０°に限られるものではなく、予め定められる角度であればどのような角度であってもよい。一方、２組のステレオカメラのそれぞれは、筐体１０１を挟んで対面する被験者および対象者を、可能な限り正面方向から撮像できることが望ましい。従って、所定角度は１８０°に近いほうが高精度なカメラ較正が可能となり、結果として高精度な診断が可能となる。

図６は、対象者の目の位置と被験者の視点検出を説明するための図である。上述のように、方向検出部３５１は、被験者の瞳孔位置および角膜反射位置から、被験者の視線方向を検出する。位置検出部３５２は、対象者の目の位置（瞳孔位置）を検出する。瞳孔位置は共通座標系で表現される。また、被験者の目の位置（瞳孔位置）および視線方向（視線ベクトルなど）も、共通座標系で表現される。このため、判定部３５４が、被験者の視線が対象者の目の位置付近にあるか否かを判断することが可能となる。

図７は、図６を鉛直上方から観察した場合の説明図である。図７を用いて、注視点を測定する方法について説明する。方向検出部３５１は、被験者用のステレオカメラ１０２ａで撮影した画像から、被験者の左右それぞれの瞳孔と赤外線光源の角膜反射位置の三次元位置を計測する。次に、方向検出部３５１は、瞳孔中心と角膜反射位置との位置関係により視線方向を求める。

同時に、位置検出部３５２は、対象者用のステレオカメラ１０２ｂで撮影した画像から、対象者の左右それぞれの瞳孔の三次元位置を計測する。

判定部３５４は、被験者の左右それぞれの視線方向と、対象者の左右の目の位置におけるそれぞれのＸＹ平面（平面７０１および平面７０２）との交点を求める。この交点が対象者の目の位置付近における被験者の注視点となる。

被験者が対象者の左目付近を注視した場合、右目の視線方向はＬ１となり、左目の視線方向はＬ２となる。また、被験者が対象者の右目付近を注視した場合、右目の視線方向はＬ３となり、左目の視線方向はＬ４となる。また、両目の視線方向が得られた場合は、被験者の左右の視線の交点（Ｌ１とＬ２、Ｌ３とＬ４）を求めることによっても注視点を計測できる。

図８は、注視点判定処理の一例を示すフローチャートである。まず、較正部３５５が、被験者の目の特性個人差を吸収するための視線検出用較正（キャリブレーション）を行う（ステップＳ１００）。次に、方向検出部３５１が、被験者の瞳孔位置および角膜反射位置を検出する（ステップＳ１０１）。例えば、方向検出部３５１は、まず被験者用の右カメラ２０２ａの画像から、瞳孔位置と角膜反射位置とを検出する。また、方向検出部３５１は、被験者用の左カメラ２０４ａの画像から、瞳孔位置と角膜反射位置とを検出する。

次に、変換部３５３が、検出された各位置を共通座標系で表される位置に変換する（ステップＳ１０２）。次に、方向検出部３５１は、瞳孔中心と角膜反射位置との関係を用いて、被験者の視線方向を計算する（ステップＳ１０３）。

位置検出部３５２は、対象者の目の位置（例えば対象者の瞳孔位置）を検出する（ステップＳ１０４）。例えば、位置検出部３５２は、まず対象者用の右カメラ２０２ｂの画像から瞳孔位置を検出する。また、位置検出部３５２は、対象者用の左カメラ２０４ｂの画像から瞳孔位置を検出する。

次に、変換部３５３が、検出された各位置を共通座標系で表される位置に変換する（ステップＳ１０５）。対象者用のステレオカメラ１０２ｂの座標系が共通座標系になっている場合にはこの処理は不要となる。

次に、判定部３５４は、視線方向と対象者の目（瞳孔）の位置におけるＸＹ平面との交点（注視点）を求める（ステップＳ１０６）。次に、判定部３５４は、注視点と、ＸＹ平面上の対象者の目の位置と、を比較して両者の距離を算出する（ステップＳ１０７）。判定部３５４は、距離が所定の閾値以下であるか否かを判定する（ステップＳ１０８）。距離が閾値以下であれば（ステップＳ１０８：Ｙｅｓ）、判定部３５４は、被験者が対象者の目を注視していると判定する（ステップＳ１０９）。距離が閾値より大きければ（ステップＳ１０８：Ｎｏ）、判定部３５４は、被験者が対象者の目を注視していないと判定する（ステップＳ１１０）。最終的には、測定時間全体（測定回数）に対する目を見た時間（回数）の割合で、発達障害の可能性を示すことができる。

図９は、ステップＳ１００の視線検出用較正処理の一例を示すフローチャートである。まず、較正部３５５は、較正のモード設定を行う（ステップＳ２０１）。較正のモードは、何点で較正を行うかを指定するものである。例えば、１点による較正（１点較正）、２点による較正（２点較正）および３点による較正（３点較正）のいずれかの較正モードが設定される。

較正部３５５は、較正モードが３点較正であるかを判定する（ステップＳ２０２）。３点較正の場合（ステップＳ２０２：Ｙｅｓ）、較正部３５５は、較正用ＬＥＤ１０４ａを点滅させて、注意を促すようにスピーカ１０５から音声を出力する（ステップＳ２０７）。被験者が１歳半程度の幼児である場合には、動物の鳴き声や鈴の音などを出力すると、所定位置がより注視されやすくなる。較正用ＬＥＤ１０４ａの位置での較正が終了したら、較正部３５５は、次の較正用ＬＥＤ１０４ｂを点滅させて同様に較正を行う（ステップＳ２０８）。次に、較正部３５５は、較正用ＬＥＤ１０４ｃで同様の較正を行う（ステップＳ２０９）。

３点較正でない場合（ステップＳ２０２：Ｎｏ）、較正部３５５は、較正モードが２点較正であるかを判定する（ステップＳ２０３）、２点較正の場合（ステップＳ２０３：Ｙｅｓ）、較正部３５５は、較正用ＬＥＤ１０４ｂ、較正用ＬＥＤ１０４ｃを順に点滅させて、同様に較正を行う（ステップＳ２０５、ステップＳ２０６）。

２点較正でない場合、すなわち、較正モードが１点較正の場合（ステップＳ２０３：Ｎｏ）、較正部３５５は、較正用ＬＥＤ１０４ａを点滅させて、同様に較正を行う（ステップＳ２０４）。

（変形例１）
図１０は、変形例１の診断支援装置１００−２の外観構成（一部）の例を示す斜視図である。変形例１は、２組のステレオカメラ１０２が向かい合って設置される。各ステレオカメラ１０２は、対向する他方のステレオカメラ１０２越しに被験者および対象者を撮像する。これにより、被験者と対象者との距離を短くすることができる。

図１０に示すように診断支援装置１００−２は、筐体１０１−２と、ステレオカメラ１０２ａと、スピーカ１０５と、較正用ＬＥＤ１０４ａ〜１０４ｃとを備えている。図１０では省略しているが、図１と同様の他の構成を備えてもよい。

図１１は、図１０の診断支援装置１００−２を側面から観察した場合の図である。図１１に示すように、本変形例では、２組のステレオカメラ１０２ａ、１０２ｂが向かい合って設置されている。例えば、ステレオカメラ１０２ａは、筐体１０１−２の一方の端部（第１端部）側に設けられ、この端部と対向する端部（第２端部）の方向に位置する被験者を撮像する。ステレオカメラ１０２ｂは、筐体１０１−２の第２端部側に設けられ、第１端部の方向に位置する対象者を撮像する。このように、本変形例では、被験者に近い方のステレオカメラ１０２で対象者を撮像し、対象者に近い方のステレオカメラ１０２で被験者を撮像する。この構造により、被験者と対象者との間の距離を短くすることが可能になる。従って、より実生活に近い状態で測定が可能になる。

被験者と対象者との間の距離を短くするために、図１に示すような構成で、短焦点のレンズを使用することも可能である。しかし、短焦点のレンズではレンズによる歪が大きくなるため、カメラ較正を実施するとしても、精度の点では、変形例の構成の方が有利である。

図１２は、変形例１の診断支援装置１００−２で用いる共通座標系の一例を示す図である。４台のカメラの中心鉛直方向がＹ軸となっている。座標系およびカメラ較正については後述する。

図１３は、変形例１の診断支援装置１００−２を鉛直上方から観察した場合の概略図である。図１と同様の構成には同一の符号を付し説明を省略する。本変形例では、診断支援装置１００−２は、両ステレオカメラ１０２の間の位置に搭載されたタッチパネル付の表示部２１０−２（モニタ）を備える。診断支援装置１００−２は、タッチパネルにより機器の操作を受付け、表示部２１０−２に測定結果などを表示する。

次に、ステレオカメラ１０２の較正（カメラ較正）について説明する。図１４は、図１の診断支援装置１００に対応した較正装置５００の構成例を示す図である。較正装置５００に診断支援装置１００を乗せた撮像システム全体をカメラ較正装置ともいう。

図１４に示すように、較正装置５００は、ベース台１４００と、回転台１４０４と、モータ１４０５と、回転軸１４０６と、プランジャ１４０７と、パターンボード１４０８と、キャリッジ１４０９と、ステッピングモータ１４１０と、リードスクリュー１４１１と、雌ネジ部１４１２と、保持部１４１３と、を備えている。

回転台１４０４は、診断支援装置１００を乗せて支持する台である。回転台１４０４は、回転軸１４０６を中心に回転可能である。モータ１４０５は、回転台１４０４を低速で回転させるモータである。プランジャ１４０７は、回転停止の位置決めを行うために用いられる。プランジャ１４０７の先端は例えば針状となっている。プランジャ１４０７の針状の先端部が、当該先端部に対応したピボット穴（図１６参照）に落ちることで、回転台１４０４の回転が停止される。

パターンボード１４０８は、各ステレオカメラ１０２の座標系での位置が既知の部材であり、カメラ較正時の撮影対象物として用いられる。キャリッジ１４０９は、パターンボード１４０８から診断支援装置１００に向かう方向（後述するＺ軸方向）に移動可能に構成されている。ステッピングモータ１４１０は、キャリッジ１４０９を移動させるモータである。リードスクリュー１４１１は、ステッピングモータ１４１０に連結される。雌ネジ部１４１２は、リードスクリュー１４１１に嵌合する。保持部１４１３は、ベース台１４００に固定され、リードスクリュー１４１１の端部を保持する。

図１５−１および図１５−２は、パターンボード１４０８の一例を示す図である。パターンボード１４０８は、ステレオカメラ１０２で撮影され、黒い四角部分の角、中心および交点などが検出される。検出された位置は、予め定められた世界座標系で存在すべき位置を表す空間座標と比較され、両者が一致するように、ステレオカメラ１０２のレンズの内部パラメータおよび外部パラメータが算出される。

図１６は、較正装置５００の上面図である。図１４と共通する部分には同一の符号を付し説明を省略する。較正装置５００は、図１４の構成に加え、さらに、凸部１４１４ａ〜１４１４ｄと、ピボット穴１５０１および１５０２と、フォトリフレクタ１５０３と、塗装エリア１５０４ａ、１５０４ｂ、および１５０４ｃと、赤外線通信部１５０５と、シャフト１５０７と、保持部１５０８と、遮光部１５０９と、フォトインタラプタ１５１０と、を備えている。

凸部１４１４ａ〜１４１４ｄは、診断支援装置１００を回転台１４０４上に位置決めする。凸部１４１４ｄは、診断支援装置１００の切り欠き部と嵌合するようになっており、回転台１４０４に乗せるだけで被験者用のステレオカメラ１０２ａおよび対象者用のステレオカメラ１０２ｂの位置を確定できる。

回転台１４０４には、プランジャ１４０７の針状の先端部に対応したピボット穴１５０１および１５０２が設けられる。モータ１４０５によって回転台１４０４を低速に回転させて、プランジャ１４０７の先端部をピボット穴１５０１または１５０２に落とすことで回転停止の位置決めを行う。

図１６の例では、プランジャ１４０７の先端部が落ちたときに、ピボット穴１５０１および１５０２を結ぶ直線が回転台１４０４の回転中心を通り、かつ、Ｚ軸と平行になるようにピボット穴１５０１および１５０２が形成されている。また、凸部１４１４ａ〜１４１４ｄは、回転台１４０４の回転が停止されたときに、ステレオカメラ１０２の撮像面がＸＹ平面と平行になり、撮影方向がＺ軸方向となるように、回転台１４０４上に診断支援装置１００を位置決めするように形成されている。これにより、位置決めされたステレオカメラ１０２の座標系として、図５に示すような座標系を適用できる。

なお、図１６では、ピボット穴１５０１および１５０２にプランジャ１４０７の先端部が落ちたときの回転台１４０４の回転角度の差分が１８０°となる例が示されている。例えば、ピボット穴１５０１にプランジャ１４０７の先端部が落ちたときの回転台１４０４の回転角度を０°とすると、ピボット穴１５０２にプランジャ１４０７の先端部が落ちたときの回転台１４０４の回転角度が１８０°となる。言い換えると、回転台１４０４の回転角度は、予め定められた複数の角度（規定角度）である０°および１８０°のいずれかに位置決めされる。

なお、複数の規定角度の差分が求められればよいので、回転角度の基準はこれに限られるものではなく任意に設定できる。また、規定角度の差分は１８０°に限られるものではない。規定角度の差分は、複数のステレオカメラに応じた複数の座標系の相互の変換のための所定角度と一致していればよい。回転台１４０４の位置決めのための規定角度の差分と、座標系の変換のための所定角度が一致していれば、規定角度でカメラ較正した複数のステレオカメラ間の座標を、所定角度の回転により変換可能となる。

回転台１４０４の側面は、黒、灰色および白に塗装されている。例えば、塗装エリア１５０４ａ、１５０４ｂ、および１５０４ｃが、それぞれ黒、灰色、および白の塗装エリアとなる。回転台１４０４の側面に対向するベース台１４００の所定の位置にフォトリフレクタ１５０３が取り付けられる。白、灰色および黒により反射光量が変化するため、回転位相の位置を知ることができる。

赤外線通信部１５０５は、診断支援装置１００の赤外線通信部１０７との間で赤外線通信を行うためのインタフェースである。これにより較正装置５００と診断支援装置１００との間でデータを通信することが可能である。

シャフト１５０７は、キャリッジ１４０９を保持する。保持部１５０８は、シャフト１５０７をベース台１４００に保持する。遮光部１５０９は、キャリッジ１４０９がフォトインタラプタ１５１０に向けて移動すると、フォトインタラプタ１５１０の発光部および受光部間の光を遮光するように、キャリッジ１４０９に設置される。遮光部１５０９によりフォトインタラプタ１５１０の出力が所定値となった位置が、キャリッジ１４０９の基準位置となる。キャリッジ１４０９が基準位置のときに、回転軸１４０６の中心とパターンボード１４０８との間の距離が予め測定される。較正部３５５は、キャリッジ１４０９を所定量ずつ回転台１４０４側に移動させながらカメラ較正を行う。

通常、同一の対象物を撮像できない複数のカメラのカメラ較正は困難である。例えば、複数のカメラそれぞれの較正用の対象物となる２つのパターンボードを用いる方法が考えられる。しかしこの方法では、２つのパターンボード間の位置関係を高精度に定めるか測定する必要が生じるため、実現が困難となる。

これに対し、本実施形態の較正装置５００は、診断支援装置１００を高精度に回転させて同一のパターンボード１４０８を撮像することにより、複数のステレオカメラ１０２ａ、１０２ｂのカメラ較正を実現している。また、回転させて１つのパターンボード１４０８を共通に使用するため、占有スペースも約１／２とすることができる。

図１７は、較正装置５００の機能構成の一例を示すブロック図である。図１４および図１６と共通する部分には同一の符号を付し説明を省略する。較正装置５００は、図１４および図１６の構成に加え、さらに、制御部１７０１と、プランジャ駆動部１７０２と、テーブル回転モータ制御部１７０４と、ＡＤ（アナログデジタル）変換器１７０６と、ＡＤ変換器１７０８と、ステッピングモータ制御部１７１０と、を備えている。

制御部１７０１は、較正装置５００の全体を制御する。制御部１７０１は、例えばＣＰＵによって実現できる。制御部１７０１には、表示部１７１３（モニタ）が接続される。また、制御部１７０１には、プランジャ駆動部１７０２を介してプランジャ１４０７が接続される。また、制御部１７０１には、テーブル回転モータ制御部１７０４を介してモータ１４０５が接続される。

ＡＤ変換器１７０６は、フォトリフレクタ１５０３の出力をアナログデジタル変換する。制御部１７０１は、アナログデジタル変換されたフォトリフレクタ１５０３の出力を取り込む。

ＡＤ変換器１７０８は、フォトインタラプタ１５１０の出力をアナログデジタル変換する。制御部１７０１は、アナログデジタル変換されたフォトインタラプタ１５１０の出力を取り込む。

また、制御部１７０１は、ステッピングモータ制御部１７１０を介してステッピングモータ１４１０を制御する。さらに、制御部１７０１は、赤外線通信部１５０５が接続される。

図１８は、カメラ較正処理の一例を示すフローチャートである。まず、制御部１７０１は、プランジャ１４０７を解除して回転台１４０４から離す（ステップＳ３０１）。次に、制御部１７０１は、フォトリフレクタ１５０３の出力を、ＡＤ変換器１７０６を介して読み込む（ステップＳ３０２）。制御部１７０１は、フォトリフレクタ１５０３の出力が黒であるか否かを判断する（ステップＳ３０３）。出力が黒相当であれば（ステップＳ３０３：Ｙｅｓ）、制御部１７０１は、回転台１４０４（テーブル）を右回転させて（ステップＳ３０４）、ステップＳ３０２に戻る。

出力が黒でない場合（ステップＳ３０３：Ｎｏ）、制御部１７０１は、フォトリフレクタ１５０３の出力が白であるか否かを判断する（ステップＳ３０５）。出力が白相当であれば（ステップＳ３０５：Ｙｅｓ）、制御部１７０１は、回転台１４０４を左回転させて（ステップＳ３０６）、ステップＳ３０２に戻る。

この結果、回転台１４０４の側面の灰色部分がフォトリフレクタ１５０３に対向するようなる。この状態になったところで、制御部１７０１は、モータ１４０５を停止させる（ステップＳ３０７）。

次に、制御部１７０１は、プランジャ１４０７をオンとする（ステップＳ３０８）。これによりプランジャ１４０７の先部分は回転台１４０４に押圧される。次に、制御部１７０１は、回転台１４０４を右回転させる（ステップＳ３０９）。次に、制御部１７０１は、タイマーにより所定時間を計測する（ステップＳ３１０）。所定時間は、回転台１４０４が１８０°を超えて回転するのに必要な時間として定められる。制御部１７０１は、所定時間の間、回転台１４０４を回転させるモータ１４０５を通電する。

所定時間の間、プランジャ１４０７の先端は、回転台１４０４の側面に押圧されながら回転するが、ピボット穴と重なったところで、プランジャ１４０７の先端部がピボット穴に落ちて、回転が停止する。すなわち、制御部１７０１は、所定時間が経過したら回転台１４０４の回転を停止する（ステップＳ３１１）。モータ１４０５の駆動が停止するとプランジャ１４０７の針状の先端部分は、ピボット穴の最深部に落ちて精度を出すことができる。

次に、制御部１７０１は、フォトインタラプタ１５１０の出力を読み込む（ステップＳ３１２）。制御部１７０１は、読み込んだ出力を参照して、フォトインタラプタ１５１０が遮光部１５０９により遮光されているか否かを判断する（ステップＳ３１３）。遮光されていない場合（ステップＳ３１３：Ｎｏ）、制御部１７０１は、キャリッジ１４０９を基準位置の方向へ移動させ（ステップＳ３１４）、ステップＳ３１２に戻る。

フォトインタラプタ１５１０が遮光部１５０９により遮光された状態となった場合（ステップＳ３１３：Ｙｅｓ）、制御部１７０１は、キャリッジ１４０９を停止させる（ステップＳ３１５）。これで、キャリッジ１４０９は、基準位置となる。

次に、制御部１７０１は、赤外線通信部１５０５を介して、パターンボード１４０８の画像を診断支援装置１００に取り込ませる（ステップＳ３１６）。画像の取り込みが完了したら、制御部１７０１は、キャリッジ１４０９を所定量、回転台１４０４の方向に移動させる（ステップＳ３１７）。

制御部１７０１は、カメラ較正に必要な位置それぞれでの画像の取り込みが終了したかを判断する（ステップＳ３１８）。終了していなければ（ステップＳ３１８：Ｎｏ）、制御部１７０１は、ステップＳ３１６に戻り処理を繰り返す。

必要な画像の取り込みが終了した場合（ステップＳ３１８：Ｙｅｓ）、診断支援装置１００の較正部３５５は、取り込んだ画像を用いたカメラ較正を実行する（ステップＳ３１９）。例えば、較正部３５５は、画像より求めたパターンの所定位置（四角部分など）の座標と、予め定められた世界座標系での当該所定位置の座標との対応について計算を行い、ステレオカメラ１０２の内部パラメータと外部パラメータを求める。

ステレオカメラ１０２のうち、他方についてもステップＳ３０１〜ステップＳ３１９と同様に処理を行い、内部パラメータと外部パラメータを求める（ステップＳ３２０〜ステップＳ３３８）。

共通座標系は、例えば以下のように決定する。まず、回転台１４０４の回転中心をＹ軸とする。また、パターンの中心を通りパターンボード１４０８（キャリッジ１４０９）の移動方向に延長される直線と、Ｙ軸との交点を原点とする。原点からパターンの中心に向かう直線の方向（移動延長方向）がＺ軸となる。Ｙ軸およびＺ軸に対して直角となる軸がＸ軸となる。この結果、図５の共通座標系が決定される。パターンの中心の高さをステレオカメラ１０２の高さと一致させれば、Ｚ軸がステレオカメラ１０２の高さと一致する。

本実施形態の較正装置５００を用いることにより、２台のステレオカメラ１０２を別々にカメラ較正しても、片方のステレオカメラ１０２の座標系を、Ｙ軸を中心に１８０°回転させるだけで共通座標系へ変換することが可能となる。

図１９および図２０は、変形例１の診断支援装置１００−２（図１０、図１１）を載せた場合の較正装置５００の外観図である。基本構造は、図１４および図１６と同じである。異なるのは、Ｚ軸がカメラ高さより高くなることであるが、カメラ較正処理は図１８と同様となる。本実施形態の較正装置５００を用いれば、変形例１の診断支援装置１００−２に対しても、片方のステレオカメラ１０２の座標系を、Ｙ軸を中心に１８０°回転させるだけで共通座標系へ変換することが可能となる。

（変形例３）
図２１および図２２は、変形例３の較正装置５００−２の構成例を示す図である。図１４および図１５と同様の構成については同一の符号を付し、説明を省略する。較正装置５００（図１４および図１５）と異なる点は、９０°分割で配置された４組のステレオカメラ１０２ａ〜１０２ｄを備える撮像装置の較正に対応できることである。この撮像装置は、全方位の撮像と、対象物の共通座標系での特定が可能であり、発達障害診断支援以外にも使用可能である。

また、図２２に示すように、較正装置５００−２は、回転台１４０４の規定角度が０°、９０°、１８０°、２７０°となるように４つのピボット穴１５０１〜１５０４が形成されている。

カメラ較正は、９０°ごとに設定して、４組のステレオカメラについて実施する必要がある。そこで、較正装置５００−２は、ロータリーエンコーダ２１０１を備えている。ロータリーエンコーダ２１０１は、例えば、アブソリュート型のロータリーエンコーダであり、回転位相を検出することが可能である。これにより、回転台１４０４を所定のピボット穴付近まで、プランジャ１４０７を解除した状態で回転させ、その後プランジャ１４０７をオンとして回転台を回転させて、プランジャ１４０７の先端部をピボット穴に落として所定の位置決めが可能となる。

以上のように、本発明におけるカメラ較正の実施形態によれば、例えば以下のような効果が得られる。
（１）モニタ画面等を用いなくても較正が可能となる。
（２）複数のカメラそれぞれについて、カメラ単体でカメラ較正を行うことができるため、大掛かりな全体のカメラ較正を省略できる。
（３）複数のカメラを順次較正を行い、共通座標へ変換することが可能になる。
（４）カメラの較正時にも場所をとらないコンパクトな構成を実現できる。
（５）世界座標系を特定できる全方位カメラを実現できる。

１００ 診断支援装置
１０１ 筐体
１０２ａ、１０２ｂ ステレオカメラ
１０４ａ〜１０４ｃ 較正用ＬＥＤ
１０５ スピーカ
１０６ ボタン
１０７ 赤外線通信部
１０８ コネクタ
２０２ａ、２０２ｂ 右カメラ
２０４ａ、２０４ｂ 左カメラ
２０８ 駆動・ＩＦ部
２１０ 表示部
５００ 較正装置
１４００ ベース台
１４０４ 回転台
１４０５ モータ
１４０６ 回転軸
１４０７ プランジャ
１４０８ パターンボード
１４０９ キャリッジ
１４１０ ステッピングモータ
１４１１ リードスクリュー
１４１２ 雌ネジ部
１４１３ 保持部
１４１４ａ〜１４１４ｄ 凸部
１５０１、１５０２ ピボット穴
１５０３ フォトリフレクタ
１５０４ａ、１５０４ｂ、１５０４ｃ 塗装エリア
１５０５ 赤外線通信部
１５０７ シャフト
１５０８ 保持部
１５０９ 遮光部
１５１０ フォトインタラプタ
１７０１ 制御部
１７０２ プランジャ駆動部
１７０４ テーブル回転モータ制御部
１７０６、１７０８ ＡＤ変換器
１７１０ ステッピングモータ制御部
１７１３ 表示部

Claims (3)

1. 複数の撮像部と、
   複数の前記撮像部を支持する回転台と、
   前記回転台の回転角度を予め定められた複数の規定角度のいずれかに位置決めする第１位置決め部と、
   複数の前記規定角度それぞれに対応して、複数の前記撮像部のそれぞれの座標系における位置が既知である部材と、
   前記回転台の回転角度が前記規定角度に位置決めされたときに撮影された前記部材の画像と、位置決めされた前記規定角度に対応する前記座標系とに基づいて、前記撮像部の内部パラメータおよび外部パラメータを算出する較正処理を実行する較正部と、
   複数の前記撮像部に含まれる第１撮像部に対する前記較正処理で用いられた第１座標系で表される第１座標値を、複数の前記撮像部に含まれる第２撮像部に対する前記較正処理で用いられた第２座標系で表される第２座標値に変換する変換部と、
   を備えるカメラ較正装置。
2. 前記第１座標系は、前記第１座標系に対応する前記規定角度と前記第２座標系に対応する前記規定角度との差分に相当する角度分、前記第２座標系の鉛直方向の座標軸まわりに前記第２座標系を回転させた座標系である、
   請求項１に記載のカメラ較正装置。
3. 前記部材を基準位置に位置決めする第２位置決め部と、
   前記部材を前記基準位置から所定距離移動させる移動制御部と、をさらに備える、
   請求項１に記載のカメラ較正装置。

Images