以下に、本発明にかかる診断支援装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
(第1の実施形態)
従来は、モニタに映した顔などの目を被験者が見る頻度を測定して発達障害を診断していた。第1の実施形態の診断支援装置では、相互に所定角度(例えば約180°)反転した向きに設置された2組のステレオカメラにより、被験者の視線と、被験者に対面した対象者の目の位置を求めて、被験者の注視点を求める。そして、被験者が対象者の目付近を見ている状況を判断して、発達障害のスクリーニングを行う。
すなわち、一方のステレオカメラより得られた画像を基に、対象者の瞳孔中心位置を計測し、目の位置を求める。他方のステレオカメラで被験者の瞳孔中心と角膜反射の位置を計測し、視線を求める。そして、被験者が対象者の目付近を注視しているか否かを測定して発達障害診断を支援する。このような構成により、事前にカメラにより撮影した顔映像などを観察させるのではなく、被験者と実際に対面する対象者を観察させることができる。したがって、違和感のない自然な雰囲気の中での診断補助が実現できる。
また、従来、同一の対象物を撮像できないカメラの較正は、世界座標上の座標が明確な対象物を撮像する必要があった。本実施形態では、複数のステレオカメラを搭載した診断支援装置を所定の角度で回転させながら同一の較正用パターンを撮像して個別にカメラ較正した後に回転軸に関連した共通座標に変換する。これにより、コンパクトで高精度なカメラ較正が実現できる。
図1は、第1の実施形態の診断支援装置の外観構成の一例を示す斜視図である。図1に示すように、第1の実施形態の診断支援装置100は、筐体101と、ステレオカメラ102a、102bと、較正用LED(Light Emitting Diode)104a〜104cと、スピーカ105と、ボタン106と、赤外線通信部107と、コネクタ108と、を備えている。
ステレオカメラ102a、102bは、赤外線によるステレオ撮影が可能な撮像部である。以下、区別する必要がない場合は、ステレオカメラ102a、102bを単にステレオカメラ102という場合がある。ステレオカメラ102は、例えばプログレッシブカメラにより構成できる。ステレオカメラ102のレンズの直前には、円周方向に赤外LED光源(詳細は後述)が配置される。赤外LED光源は、発光する波長が相互に異なる内周のLEDと外周のLEDとを含む。赤外LED光源により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献2に記載された方法などを適用できる。
2組のステレオカメラ102a、102bは、互いに撮像面が反対方向となるように設置される。これにより、ステレオカメラ102a、102bが、それぞれ対面する被験者(例えば幼児)と対象者(例えば母親)の顔を撮影できるようになっている。
較正用LED104a〜104cは、較正用の注視点となるLEDである。なお、このLEDを用いる較正処理は、個人ごとの目の特性に応じて視線検出のための計算パラメータを修正するための較正処理(視線検出用較正)であり、ステレオカメラ102の内部パラメータおよび外部パラメータの較正処理(カメラ較正(詳細は後述))とは異なる。視線検出用較正時に被験者に注視させる必要があるため、較正用LED104a〜104cは、可視光を発光するLED光源である。
スピーカ105は、視線検出用較正時に被験者に注意を促すための音声、および、測定結果を示す音声などを出力する。ボタン106は、例えば診断支援装置100の操作者が、測定開始を指示するためのボタンである。なお、ボタン106は操作のためのインタフェースの一例であり、操作インタフェースとしては他のあらゆるインタフェースを適用できる。例えば、複数のボタンを備えるように構成してもよい。また、タッチパネル、キーボード、およびマウスなどのインタフェースを適用してもよい。
赤外線通信部107は、外部装置との間で赤外線通信を行うためのインタフェースである。赤外線通信部107は、例えば、後述する較正装置を用いてステレオカメラ102を較正(カメラ較正)するときに、較正装置との間でデータを送受信するときに利用される。なお、通信は赤外線通信に限られるものではなく、他の無線通信方式、および、有線通信方式などを用いてもよい。
コネクタ108は、測定結果の数値および画像などを表示するモニタ(表示部)を接続する場合のコネクタである。
図2は、診断支援装置100の機能の概要を示す図である。図2では、図1に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図2に示すように、診断支援装置100は、ステレオカメラ102aと、ステレオカメラ102bと、較正用LED104a〜104cと、スピーカ105と、駆動・IF部208と、制御部300と、表示部210と、を含む。
ステレオカメラ102aは、被験者の測定に用いる構成を含むモジュールを表す。また、ステレオカメラ102bは、対象者の測定に用いる構成を含むモジュールを表す。ステレオカメラ102bはステレオカメラ102aと同様の構成であるため、図2では詳細を省略している。
ステレオカメラ102aは、右カメラ202aと、左カメラ204aと、赤外LED光源203a、205aとを備えている。赤外LED光源203a、205aは、それぞれ右カメラ202aおよび左カメラ204aのレンズの前に取り付けられる。
駆動・IF部208は、ステレオカメラ102aおよびステレオカメラ102bに含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ102aおよびステレオカメラ102bに含まれる各部と、制御部300とのインタフェースとなる。
制御部300は、診断支援装置100の全体の処理を制御する。制御部300は、例えばCPU(Central Processing Unit)によって実現できる。制御部300の機能の詳細は後述する。表示部210は、必要に応じて診断支援結果を表示する。
図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。図3に示すように、制御部300には、表示部210と駆動・IF部208が接続される。駆動・IF部208は、カメラIF314、315、317、318と、LED駆動制御部316と、LED駆動部320a〜320cと、スピーカ駆動部326と、を含む。
LED駆動制御部316は、赤外LED光源203a、205a、203b、205bを駆動する。赤外LED光源203a、205a、203b、205bは、それぞれ波長が異なるLEDを含んでいる。
赤外LED光源203aは、波長1−LED303と、波長2−LED304と、を備えている。赤外LED光源205aは、波長1−LED305と、波長2−LED306と、を備えている。赤外LED光源203bは、波長1−LED307と、波長2−LED308と、を備えている。赤外LED光源205bは、波長1−LED309と、波長2−LED310と、を備えている。
波長1−LED303、305、307、309は、波長1の赤外線を照射する。波長2−LED304、306、308、310は、波長2の赤外線を照射する。
波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長とする。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
LED駆動部320a〜320cは、それぞれ較正用LED104a〜104cを駆動する。スピーカ駆動部326は、スピーカ105を駆動する。
駆動・IF部208には、カメラIF314、315、317、318を介して、それぞれ、右カメラ202a、左カメラ204a、右カメラ202b、左カメラ204bが接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者や対象者を撮像する。
右カメラ202aからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ204aと、LED駆動制御部316とに入力される。これにより、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED303、波長1−LED305)を発光させ、それに対応して左右カメラ(右カメラ202a、左カメラ204a)による画像を取り込み、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED304、波長2−LED306)を発光させ、それに対応して左右カメラ(右カメラ202a、左カメラ204a)による画像を取り込むように制御できる。
例えば、右カメラ202a、左カメラ204a、赤外LED光源203a、赤外LED光源205aが、被験者用のモジュールであり、右カメラ202b、左カメラ204b、赤外LED光源203b、赤外LED光源205bが、対象者用のモジュールである。
対象者用のモジュールでは、発光および撮像は、第3フレームおよび第4フレームで実施する。このように、4フレームをサイクルとして撮像を行っていく。また、1フレーム内において、カメラの高速シャッター機能と赤外線短時間発光を組み合わせて、2種類の波長それぞれが干渉しないようにして撮像することも可能である。
制御部300は、方向検出部351と、位置検出部352と、変換部353と、判定部354と、較正部355と、を備えている。
方向検出部351は、被験者用のモジュール(ステレオカメラ102a)で撮影された画像から、被験者の視線方向を検出する。方向検出部351は、例えば、特許文献1および2に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、方向検出部351は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。方向検出部351は、左右のカメラ(右カメラ202a、左カメラ204a)で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、方向検出部351は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、方向検出部351は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
位置検出部352は、対象者用のモジュール(ステレオカメラ102b)で撮影された画像から、対象者の目の位置を検出する。対象者の目の位置は、例えば、方向検出部351が瞳孔の位置を算出する方法と同様の方法により検出できる。
なお、被験者の視線方向、および、対象者の目の位置の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視線方向、および、対象者の目の位置を検出してもよい。
変換部353は、2組のステレオカメラ102a、102bそれぞれが用いる座標系間の変換を行う。被験者の視線方向および対象者の目の位置は、それぞれ座標系が異なるステレオカメラ(ステレオカメラ102a、ステレオカメラ102b)で撮影された画像から検出され、異なる座標系の座標値で表される。このため、変換部353が、両座標系間の座標値の変換を行う。座標系の変換の詳細については後述する。
判定部354は、被験者の視線方向と、対象者の目の位置とから、被験者が対象者の目を注視しているか否かを判定する。例えば被験者を診断する医師は、判定部354の判定結果を参照することにより、被験者が発達障害であるか否かを診断することが可能となる。
較正部355は、視線方向を検出するために用いる計算パラメータを較正(視線検出用較正)する。一般に個人ごとに目の光軸と視線方向とが異なる。このため、光軸と視線方向が一致するように補正する必要があるためである。視線検出用較正処理では、所定の座標系上で既知である所定の位置(例えば較正用LED104a〜104c)を被験者に注視させて、その時の瞳孔の中心(瞳孔の位置)と角膜反射位置とを測定する。そして、較正部355は、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータを修正する。
所定の位置は、例えば1点、2点、および3点のいずれかが設定される。本実施形態の例では、例えば較正用LED104aのみ(1点)、較正用LED104aおよび104b(2点)、および、較正用LED104a〜104c(3点)などが設定される。点数が少ないほど、較正時間が短く、点数が多いほど高精度となる傾向がある。
なお、対象者については、目の位置検出だけでよいので視線検出用較正は不要である。また、較正部355は、ステレオカメラ102の内部パラメータおよび外部パラメータの較正処理(カメラ較正)を行う(詳細は後述)。
方向検出部351、位置検出部352、変換部353、判定部354、および較正部355の一部または全部は、ハードウェアにより実現してもよいし、CPUなどにより実行されるソフトウェア(プログラム)により実現してもよい。
本実施形態の診断支援装置100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の診断支援装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の診断支援装置100で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の診断支援装置100で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施形態の診断支援装置100で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
次に、このように構成された診断支援装置100で用いられる座標系について説明する。2組のステレオカメラを用いて撮像した対象の位置関係を規定するためには、共通の座標系で計算する必要がある。図4は、2組のステレオカメラの座標系の一例を説明する図である。
ステレオカメラ102aおよび102bは、それぞれ個別の世界座標系である座標系401および402でカメラ較正を行う。座標系401および402は、機械的にそれぞれの位置関係が決まっている。従って、この位置関係に基づいて座標系401および402の間で座標変換を行えば、共通の座標系の座標値を計算できる。
例えば、(1)座標系401を、Y軸(鉛直方向の座標軸)を中心に180°回転させ、(2)座標系402のY軸に重なるように平行移動させれば、座標系402を共通の座標系(共通座標系)として利用できる。なお、逆の操作で座標系401を共通座標系としてもよい。図4の方法では、平行移動が必要となるため、機械的な取り付け精度などの影響が大きくなる可能性がある。
図5は、2組のステレオカメラの座標系の他の例を説明する図である。図5の例では、Y軸は最初から共通になっている。このため、Y軸周りの回転のみで座標変換が実現される。この座標系を用いる場合のステレオカメラのカメラ較正については後述する。
なお、座標系の変換のために回転する角度(所定角度)は180°に限られるものではなく、予め定められる角度であればどのような角度であってもよい。一方、2組のステレオカメラのそれぞれは、筐体101を挟んで対面する被験者および対象者を、可能な限り正面方向から撮像できることが望ましい。従って、所定角度は180°に近いほうが高精度なカメラ較正が可能となり、結果として高精度な診断が可能となる。
図6は、対象者の目の位置と被験者の視点検出を説明するための図である。上述のように、方向検出部351は、被験者の瞳孔位置および角膜反射位置から、被験者の視線方向を検出する。位置検出部352は、対象者の目の位置(瞳孔位置)を検出する。瞳孔位置は共通座標系で表現される。また、被験者の目の位置(瞳孔位置)および視線方向(視線ベクトルなど)も、共通座標系で表現される。このため、判定部354が、被験者の視線が対象者の目の位置付近にあるか否かを判断することが可能となる。
図7は、図6を鉛直上方から観察した場合の説明図である。図7を用いて、注視点を測定する方法について説明する。方向検出部351は、被験者用のステレオカメラ102aで撮影した画像から、被験者の左右それぞれの瞳孔と赤外線光源の角膜反射位置の三次元位置を計測する。次に、方向検出部351は、瞳孔中心と角膜反射位置との位置関係により視線方向を求める。
同時に、位置検出部352は、対象者用のステレオカメラ102bで撮影した画像から、対象者の左右それぞれの瞳孔の三次元位置を計測する。
判定部354は、被験者の左右それぞれの視線方向と、対象者の左右の目の位置におけるそれぞれのXY平面(平面701および平面702)との交点を求める。この交点が対象者の目の位置付近における被験者の注視点となる。
被験者が対象者の左目付近を注視した場合、右目の視線方向はL1となり、左目の視線方向はL2となる。また、被験者が対象者の右目付近を注視した場合、右目の視線方向はL3となり、左目の視線方向はL4となる。また、両目の視線方向が得られた場合は、被験者の左右の視線の交点(L1とL2、L3とL4)を求めることによっても注視点を計測できる。
図8は、注視点判定処理の一例を示すフローチャートである。まず、較正部355が、被験者の目の特性個人差を吸収するための視線検出用較正(キャリブレーション)を行う(ステップS100)。次に、方向検出部351が、被験者の瞳孔位置および角膜反射位置を検出する(ステップS101)。例えば、方向検出部351は、まず被験者用の右カメラ202aの画像から、瞳孔位置と角膜反射位置とを検出する。また、方向検出部351は、被験者用の左カメラ204aの画像から、瞳孔位置と角膜反射位置とを検出する。
次に、変換部353が、検出された各位置を共通座標系で表される位置に変換する(ステップS102)。次に、方向検出部351は、瞳孔中心と角膜反射位置との関係を用いて、被験者の視線方向を計算する(ステップS103)。
位置検出部352は、対象者の目の位置(例えば対象者の瞳孔位置)を検出する(ステップS104)。例えば、位置検出部352は、まず対象者用の右カメラ202bの画像から瞳孔位置を検出する。また、位置検出部352は、対象者用の左カメラ204bの画像から瞳孔位置を検出する。
次に、変換部353が、検出された各位置を共通座標系で表される位置に変換する(ステップS105)。対象者用のステレオカメラ102bの座標系が共通座標系になっている場合にはこの処理は不要となる。
次に、判定部354は、視線方向と対象者の目(瞳孔)の位置におけるXY平面との交点(注視点)を求める(ステップS106)。次に、判定部354は、注視点と、XY平面上の対象者の目の位置と、を比較して両者の距離を算出する(ステップS107)。判定部354は、距離が所定の閾値以下であるか否かを判定する(ステップS108)。距離が閾値以下であれば(ステップS108:Yes)、判定部354は、被験者が対象者の目を注視していると判定する(ステップS109)。距離が閾値より大きければ(ステップS108:No)、判定部354は、被験者が対象者の目を注視していないと判定する(ステップS110)。最終的には、測定時間全体(測定回数)に対する目を見た時間(回数)の割合で、発達障害の可能性を示すことができる。
図9は、ステップS100の視線検出用較正処理の一例を示すフローチャートである。まず、較正部355は、較正のモード設定を行う(ステップS201)。較正のモードは、何点で較正を行うかを指定するものである。例えば、1点による較正(1点較正)、2点による較正(2点較正)および3点による較正(3点較正)のいずれかの較正モードが設定される。
較正部355は、較正モードが3点較正であるかを判定する(ステップS202)。3点較正の場合(ステップS202:Yes)、較正部355は、較正用LED104aを点滅させて、注意を促すようにスピーカ105から音声を出力する(ステップS207)。被験者が1歳半程度の幼児である場合には、動物の鳴き声や鈴の音などを出力すると、所定位置がより注視されやすくなる。較正用LED104aの位置での較正が終了したら、較正部355は、次の較正用LED104bを点滅させて同様に較正を行う(ステップS208)。次に、較正部355は、較正用LED104cで同様の較正を行う(ステップS209)。
3点較正でない場合(ステップS202:No)、較正部355は、較正モードが2点較正であるかを判定する(ステップS203)、2点較正の場合(ステップS203:Yes)、較正部355は、較正用LED104b、較正用LED104cを順に点滅させて、同様に較正を行う(ステップS205、ステップS206)。
2点較正でない場合、すなわち、較正モードが1点較正の場合(ステップS203:No)、較正部355は、較正用LED104aを点滅させて、同様に較正を行う(ステップS204)。
(変形例1)
図10は、変形例1の診断支援装置100−2の外観構成(一部)の例を示す斜視図である。変形例1は、2組のステレオカメラ102が向かい合って設置される。各ステレオカメラ102は、対向する他方のステレオカメラ102越しに被験者および対象者を撮像する。これにより、被験者と対象者との距離を短くすることができる。
図10に示すように診断支援装置100−2は、筐体101−2と、ステレオカメラ102aと、スピーカ105と、較正用LED104a〜104cとを備えている。図10では省略しているが、図1と同様の他の構成を備えてもよい。
図11は、図10の診断支援装置100−2を側面から観察した場合の図である。図11に示すように、本変形例では、2組のステレオカメラ102a、102bが向かい合って設置されている。例えば、ステレオカメラ102aは、筐体101−2の一方の端部(第1端部)側に設けられ、この端部と対向する端部(第2端部)の方向に位置する被験者を撮像する。ステレオカメラ102bは、筐体101−2の第2端部側に設けられ、第1端部の方向に位置する対象者を撮像する。このように、本変形例では、被験者に近い方のステレオカメラ102で対象者を撮像し、対象者に近い方のステレオカメラ102で被験者を撮像する。この構造により、被験者と対象者との間の距離を短くすることが可能になる。従って、より実生活に近い状態で測定が可能になる。
被験者と対象者との間の距離を短くするために、図1に示すような構成で、短焦点のレンズを使用することも可能である。しかし、短焦点のレンズではレンズによる歪が大きくなるため、カメラ較正を実施するとしても、精度の点では、変形例の構成の方が有利である。
図12は、変形例1の診断支援装置100−2で用いる共通座標系の一例を示す図である。4台のカメラの中心鉛直方向がY軸となっている。座標系およびカメラ較正については後述する。
図13は、変形例1の診断支援装置100−2を鉛直上方から観察した場合の概略図である。図1と同様の構成には同一の符号を付し説明を省略する。本変形例では、診断支援装置100−2は、両ステレオカメラ102の間の位置に搭載されたタッチパネル付の表示部210−2(モニタ)を備える。診断支援装置100−2は、タッチパネルにより機器の操作を受付け、表示部210−2に測定結果などを表示する。
次に、ステレオカメラ102の較正(カメラ較正)について説明する。図14は、図1の診断支援装置100に対応した較正装置500の構成例を示す図である。較正装置500に診断支援装置100を乗せた撮像システム全体をカメラ較正装置ともいう。
図14に示すように、較正装置500は、ベース台1400と、回転台1404と、モータ1405と、回転軸1406と、プランジャ1407と、パターンボード1408と、キャリッジ1409と、ステッピングモータ1410と、リードスクリュー1411と、雌ネジ部1412と、保持部1413と、を備えている。
回転台1404は、診断支援装置100を乗せて支持する台である。回転台1404は、回転軸1406を中心に回転可能である。モータ1405は、回転台1404を低速で回転させるモータである。プランジャ1407は、回転停止の位置決めを行うために用いられる。プランジャ1407の先端は例えば針状となっている。プランジャ1407の針状の先端部が、当該先端部に対応したピボット穴(図16参照)に落ちることで、回転台1404の回転が停止される。
パターンボード1408は、各ステレオカメラ102の世界座標系での位置が既知の部材であり、カメラ較正時の撮影対象物として用いられる。キャリッジ1409は、パターンボード1408から診断支援装置100に向かう方向(後述するZ軸方向)に移動可能に構成されている。ステッピングモータ1410は、キャリッジ1409を移動させるモータである。リードスクリュー1411は、ステッピングモータ1410に連結される。雌ネジ部1412は、リードスクリュー1411に嵌合する。保持部1413は、ベース台1400に固定され、リードスクリュー1411の短部を保持する。
図15−1および図15−2は、パターンボード1408の一例を示す図である。パターンボード1408は、ステレオカメラ102で撮影され、黒い四角部分の角、中心および交点などが検出される。検出された位置は、予め定められた世界座標系で存在すべき位置を表す空間座標と比較され、両者が一致するように、ステレオカメラ102のレンズの内部パラメータおよび外部パラメータが算出される。
図16は、較正装置500の上面図である。図14と共通する部分には同一の符号を付し説明を省略する。較正装置500は、図14の構成に加え、さらに、凸部1414a〜1414dと、ピボット穴1501および1502と、フォトリフレクタ1503と、塗装エリア1504a、1504b、および1504cと、赤外線通信部1505と、シャフト1507と、保持部1508と、遮光部1509と、フォトインタラプタ1510と、を備えている。
凸部1414a〜1414dは、診断支援装置100を回転台1404上に位置決めする。凸部1414dは、診断支援装置100の切り欠き部と嵌合するようになっており、回転台1404に乗せるだけで被験者用のステレオカメラ102aおよび対象者用のステレオカメラ102bの位置を確定できる。
回転台1404には、プランジャ1407の針状の先端部に対応したピボット穴1501および1502が設けられる。モータ1405によって回転台1404を低速に回転させて、プランジャ1407の先端部をピボット穴1501または1502に落とすことで回転停止の位置決めを行う。
図16の例では、プランジャ1407の先端部が落ちたときに、ピボット穴1501および1502を結ぶ直線が回転台1404の回転中心を通り、かつ、Z軸と平行になるようにピボット穴1501および1502が形成されている。また、凸部1414a〜1414dは、回転台1404の回転が停止されたときに、ステレオカメラ102の撮像面がXY平面と平行になり、撮影方向がZ軸方向となるように、回転台1404上に診断支援装置100を位置決めするように形成されている。これにより、位置決めされたステレオカメラ102の世界座標系として、図5に示すような座標系を適用できる。
なお、図16では、ピボット穴1501および1502にプランジャ1407の先端部が落ちたときの回転台1404の回転角度の差分が180°となる例が示されている。例えば、ピボット穴1501にプランジャ1407の先端部が落ちたときの回転台1404の回転角度を0°とすると、ピボット穴1502にプランジャ1407の先端部が落ちたときの回転台1404の回転角度が180°となる。言い換えると、回転台1404の回転角度は、予め定められた複数の角度(規定角度)である0°および180°のいずれかに位置決めされる。
なお、複数の規定角度の差分が求められればよいので、回転角度の基準はこれに限られるものではなく任意に設定できる。また、規定角度の差分は180°に限られるものではない。規定角度の差分は、複数のステレオカメラに応じた複数の世界座標系の相互の変換のための所定角度と一致していればよい。回転台1404の位置決めのための規定角度の差分と、座標系の変換のための所定角度が一致していれば、規定角度でカメラ較正した複数のステレオカメラ間の世界座標を、所定角度の回転により変換可能となる。
回転台1404の側面は、黒、灰色および白に塗装されている。例えば、塗装エリア1504a、1504b、および1504cが、それぞれ黒、灰色、および白の塗装エリアとなる。回転台1404の側面に対向するベース台1400の所定の位置にフォトリフレクタ1503が取り付けられる。白、灰色および黒により反射光量が変化するため、回転位相の位置を知ることができる。
赤外線通信部1505は、診断支援装置100の赤外線通信部107との間で赤外線通信を行うためのインタフェースである。これにより較正装置500と診断支援装置100との間でデータを通信することが可能である。
シャフト1507は、キャリッジ1409を保持する。保持部1508は、シャフト1507をベース台1400に保持する。遮光部1509は、キャリッジ1409がフォトインタラプタ1510に向けて移動すると、フォトインタラプタ1510の発光部および受光部間の光を遮光するように、キャリッジ1409に設置される。遮光部1509によりフォトインタラプタ1510の出力が所定値となった位置が、キャリッジ1409の基準位置となる。キャリッジ1409が基準位置のときに、回転軸1406の中心とパターンボード1408との間の距離が予め測定される。較正部355は、キャリッジ1409を所定量ずつ回転台1404側に移動させながらカメラ較正を行う。
通常、同一の対象物を撮像できない複数のカメラのカメラ較正は困難である。例えば、複数のカメラそれぞれの較正用の対象物となる2つのパターンボードを用いる方法が考えられる。しかしこの方法では、2つのパターンボード間の位置関係を高精度に定めるか測定する必要が生じるため、実現が困難となる。
これに対し、本実施形態の較正装置500は、診断支援装置100を高精度に回転させて同一のパターンボード1408を撮像することにより、複数のステレオカメラ102a、102bのカメラ較正を実現している。また、回転させて1つのパターンボード1408を共通に使用するため、占有スペースも約1/2とすることができる。
図17は、較正装置500の機能構成の一例を示すブロック図である。図14および図16と共通する部分には同一の符号を付し説明を省略する。較正装置500は、図14および図16の構成に加え、さらに、制御部1701と、プランジャ駆動部1702と、テーブル回転モータ制御部1704と、AD(アナログデジタル)変換器1706と、AD変換器1708と、ステッピングモータ制御部1710と、を備えている。
制御部1701は、較正装置500の全体を制御する。制御部1701は、例えばCPUによって実現できる。制御部1701には、表示部1713(モニタ)が接続される。また、制御部1701には、プランジャ駆動部1702を介してプランジャ1407が接続される。また、制御部1701には、テーブル回転モータ制御部1704を介してモータ1405が接続される。
AD変換器1706は、フォトリフレクタ1503の出力をアナログデジタル変換する。制御部1701は、アナログデジタル変換されたフォトリフレクタ1503の出力を取り込む。
AD変換器1708は、フォトインタラプタ1510の出力をアナログデジタル変換する。制御部1701は、アナログデジタル変換されたフォトインタラプタ1510の出力を取り込む。
また、制御部1701は、ステッピングモータ制御部1710を介してステッピングモータ1410を制御する。さらに、制御部1701は、赤外線通信部1505が接続される。
図18は、カメラ較正処理の一例を示すフローチャートである。まず、制御部1701は、プランジャ1407を解除して回転台1404から離す(ステップS301)。次に、制御部1701は、フォトリフレクタ1503の出力を、AD変換器1706を介して読み込む(ステップS302)。制御部1701は、フォトリフレクタ1503の出力が黒であるか否かを判断する(ステップS303)。出力が黒相当であれば(ステップS303:Yes)、制御部1701は、回転台1404(テーブル)を右回転させて(ステップS304)、ステップS302に戻る。
出力が黒でない場合(ステップS303:No)、制御部1701は、フォトリフレクタ1503の出力が白であるか否かを判断する(ステップS305)。出力が白相当であれば(ステップS305:Yes)、制御部1701は、回転台1404を左回転させて(ステップS306)、ステップS302に戻る。
この結果、回転台1404の側面の灰色部分がフォトリフレクタ1503に対向するようなる。この状態になったところで、制御部1701は、モータ1405を停止させる(ステップS307)。
次に、制御部1701は、プランジャ1407をオンとする(ステップS308)。これによりプランジャ1407の先部分は回転台1404に押圧される。次に、制御部1701は、回転台1404を右回転させる(ステップS309)。次に、制御部1701は、タイマーにより所定時間を計測する(ステップS310)。所定時間は、回転台1404が180°を超えて回転するのに必要な時間として定められる。制御部1701は、所定時間の間、回転台1404を回転させるモータ1405を通電する。
所定時間の間、プランジャ1407の先端は、回転台1404の側面に押圧されながら回転するが、ピボット穴と重なったところで、プランジャ1407の先端部がピボット穴に落ちて、回転が停止する。すなわち、制御部1701は、所定時間が経過したら回転台1404の回転を停止する(ステップS311)。モータ1405の駆動が停止するとプランジャ1407の針状の先端部分は、ピボット穴の最深部に落ちて精度を出すことができる。
次に、制御部1701は、フォトインタラプタ1510の出力を読み込む(ステップS312)。制御部1701は、読み込んだ出力を参照して、フォトインタラプタ1510が遮光部1509により遮光されているか否かを判断する(ステップS313)。遮光されていない場合(ステップS313:No)、制御部1701は、キャリッジ1409を基準位置の方向へ移動させ(ステップS314)、ステップS312に戻る。
フォトインタラプタ1510が遮光部1509により遮光された状態となった場合(ステップS313:Yes)、制御部1701は、キャリッジ1409を停止させる(ステップS315)。これで、キャリッジ1409は、基準位置となる。
次に、制御部1701は、赤外線通信部1505を介して、パターンボード1408の画像を診断支援装置100に取り込ませる(ステップS316)。画像の取り込みが完了したら、制御部1701は、キャリッジ1409を所定量、回転台1404の方向に移動させる(ステップS317)。
制御部1701は、カメラ較正に必要な位置それぞれでの画像の取り込みが終了したかを判断する(ステップS318)。終了していなければ(ステップS318:No)、制御部1701は、ステップS316に戻り処理を繰り返す。
必要な画像の取り込みが終了した場合(ステップS318:Yes)、診断支援装置100の較正部355は、取り込んだ画像を用いたカメラ較正を実行する(ステップS319)。例えば、較正部355は、画像より求めたパターンの所定位置(四角部分など)の座標と、予め定められた世界座標系での当該所定位置の座標との対応について計算を行い、ステレオカメラ102の内部パラメータと外部パラメータを求める。
ステレオカメラ102のうち、他方についてもステップS301〜ステップS319と同様に処理を行い、内部パラメータと外部パラメータを求める(ステップS320〜ステップS338)。
共通座標系は、例えば以下のように決定する。まず、回転台1404の回転中心をY軸とする。また、パターンの中心を通りパターンボード1408(キャリッジ1409)の移動方向に延長される直線と、Y軸との交点を原点とする。原点からパターンの中心に向かう直線の方向(移動延長方向)がZ軸となる。Y軸およびZ軸に対して直角となる軸がX軸となる。この結果、図5の共通座標系が決定される。パターンの中心の高さをステレオカメラ102の高さと一致させれば、Z軸がステレオカメラ102の高さと一致する。
本実施形態の較正装置500を用いることにより、2台のステレオカメラ102を別々にカメラ較正しても、片方のステレオカメラ102の座標系を、Y軸を中心に180°回転させるだけで共通座標系へ変換することが可能となる。
図19および図20は、変形例1の診断支援装置100−2(図10、図11)を載せた場合の較正装置500の外観図である。基本構造は、図14および図16と同じである。異なるのは、Z軸がカメラ高さより高くなることであるが、カメラ較正処理は図18と同様となる。本実施形態の較正装置500を用いれば、変形例1の診断支援装置100−2に対しても、片方のステレオカメラ102の座標系を、Y軸を中心に180°回転させるだけで共通座標系へ変換することが可能となる。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)被験者である乳幼児が、対象者である母親の顔を直接見ながらの診断支援ができるため、診断の精度が向上する。
(2)1つの筐体でコンパクトに構成できるので、診断支援装置1台をテーブル(回転台)に載せる形で診断支援が実現できる。
(3)診断支援装置と被験者との距離、および、診断支援装置と対象者との距離を短く設定できるため、狭いスペースでも診断支援が実現できる。
(4)モニタ画面等を用いなくても較正が可能となる。
(5)複数のカメラそれぞれについて、カメラ単体でカメラ較正を行うことができるため、大掛かりな全体のカメラ較正を省略できる。