JP6214746B1 - 球状物体間距離測定をするためのシステム、方法及びプログラム - Google Patents

球状物体間距離測定をするためのシステム、方法及びプログラム Download PDF

Info

Publication number
JP6214746B1
JP6214746B1 JP2016223991A JP2016223991A JP6214746B1 JP 6214746 B1 JP6214746 B1 JP 6214746B1 JP 2016223991 A JP2016223991 A JP 2016223991A JP 2016223991 A JP2016223991 A JP 2016223991A JP 6214746 B1 JP6214746 B1 JP 6214746B1
Authority
JP
Japan
Prior art keywords
circle
image
channel
value
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016223991A
Other languages
English (en)
Other versions
JP2018081537A (ja
Inventor
鈴木 貴博
貴博 鈴木
好規 久米
好規 久米
吉郎 小林
吉郎 小林
伊織 酒井
伊織 酒井
義則 稲垣
義則 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CAC Corp
Original Assignee
CAC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CAC Corp filed Critical CAC Corp
Priority to JP2016223991A priority Critical patent/JP6214746B1/ja
Priority to EP17837934.3A priority patent/EP3349177B1/en
Priority to PCT/JP2017/019691 priority patent/WO2018092332A1/ja
Application granted granted Critical
Publication of JP6214746B1 publication Critical patent/JP6214746B1/ja
Publication of JP2018081537A publication Critical patent/JP2018081537A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B67/00Sporting games or accessories therefor, not provided for in groups A63B1/00 - A63B65/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

【課題】球状物体間距離測定を行うシステム、方法及びプログラムを提供する。【解決手段】球状物体間距離測定のためのシステム300であって、該システム300は、ある光軸を有し、移動可能な撮像手段310と、光軸の傾きに応じた出力を行う検知手段320と、撮像手段310からの出力画像における所定の位置に所定の大きさの球状物体が撮像されたかを判定する第1判定手段332と、検知手段320からの出力を用いて、光軸に垂直な平面が水平であるかを判定する第2判定手段333と、撮像手段310からの出力画像における所定の位置に所定の大きさの球状物体が撮像されたと判定され、且つ、撮像手段の光軸に垂直な平面が水平であると判定されたときに、撮像手段からの出力画像を特定画像として自動的に記録する特定画像記録手段334とを備える。【選択図】図3

Description

本発明は、球状物体間距離測定をするための技術に関する。より詳細には、本発明は、ボール間距離測定用画像を取得して、該画像からボール間距離を測定する技術に関する。
「ボッチャ」と呼ばれる、ヨーロッパで生まれた重度脳性麻痺者又は同程度の四肢重度機能障がい者のために考案されたスポーツが存在し、パラリンピックの正式種目にもなっている。
ボッチャにおいては、ジャックボール(目標球)と呼ばれる白いボールに、赤及び青のそれぞれ6球ずつのボールを投げたり、転がしたり、他のボールに当てたりして、いかに近づけるかが競われる。特に、ボッチャにおける勝敗は、ジャックボールである白いボールと、赤及び青のそれぞれのボールとの距離(ボールの中心を基準とした距離ではなく、ボールの表面を基準とした距離)に基づいて行われる。
なお、ジャックボール自体、選手によって投げられる等するため、ボッチャを行うコート上の白いボールの初期位置は様々であり、更に、試合中の他のボールとの衝突により、白いボールの位置は初期位置から移動しうる。また、ボールは、色(赤、青及び白)、重量(275g±12g)及び周長(270mm±8mm)が定められているものの、材質に関する制限はない。また、ボールには、切れ目を入れたり、シールを張ったりなどの改造があってはならないが、模様(印刷されたメーカーのロゴ等)がそもそも存在する場合がある。
現在、ボッチャにおけるボール間の距離は、メジャー等を用いて人手により測定されている。しかしながら、このような手法によると、重量が比較的軽いこともあり、測定時に誤ってボールを動かしてしまうことがある。
ところで、距離を測定することに関連した先行技術として、特開2008−228773号公報には、遊戯装置に固定されたCCDカメラ等により所定のエリアを撮影し、初期画像から基準円の中心点(基準点)の座標を求め、判定画像から遊戯媒体の中心点の位置座標を求め、そして基準点から遊戯媒体の中心点までの直線距離を求める遊戯装置が記載されている(当該文献の段落[0100]及び[0148]並びに図2等を参照。)
特開2008−228773号公報
ボッチャにおいて、ジャックボールは比較的広いコートのどこにでも位置する可能性がある。また、ボールの材質に制限がないため、試合中にボールがゆがんでしまうことや、そもそも最初からゆがんだボールが用いられることもある一方で、距離は、ボールの表面を基準として測定される。
そのため、予め定められたエリアのみを撮影する固定されたカメラを用いる手法や、物体の中心間の距離を単に測定する手法は、ボッチャにおけるボール間距離測定には不適当である。
誤ってボールを動かしてしまう恐れなく、ボッチャにおけるような条件のもと、ボール間距離測定をできる手法があれば、そのような手法は非常に有用である。
本発明は、以上に鑑みてなされたものである。
本発明の基本的な実施形態の一例は、球状物体間距離測定のためのシステムである。このシステムは、ある光軸を有し、移動可能な撮像手段と、光軸の傾きに応じた出力を行う検知手段と、撮像手段からの出力画像における所定の位置に所定の大きさの球状物体が撮像されたかを判定する第1判定手段と、検知手段からの出力を用いて、光軸に垂直な平面が水平であるかを判定する第2判定手段と、撮像手段からの出力画像における所定の位置に所定の大きさの球状物体が撮像されたと判定され、且つ、撮像手段の光軸に垂直な平面が水平であると判定されときに、撮像手段からの出力画像を特定画像として自動的に記録する手段とを備えたものである。
本発明の基本的な実施形態の別の一例は、物体間距離測定のための方法である。この方法は、コンピュータが実行するものであり、第1判定ステップと第2判定ステップとを含んでいる。第1判定ステップは、カメラから出力画像を得るステップと、出力画像に所定の位置に所定の大きさの球状物体が撮像されたかを判定するステップとを含むものである。第2判定ステップは、センサから、カメラの光学系の光軸の傾きに応じた出力を得るステップと、得られた出力を用いて、カメラの光学系の光軸に垂直な平面が水平であるかを判定するステップとを含むものである。この方法は、更に、カメラからの出力画像における所定の位置に所定の大きさの球状物体が撮像されたと判定され、且つ、カメラの光学系の光軸に垂直な平面が水平であると判定されたときに、カメラからの出力画像を特定画像として自動的に記録するステップを含んでいる。
本発明の基本的な実施形態のまた別の一例は、コンピュータに、上記方法を実行させるプログラムである。
本発明の実施例の第1の画面を示している。 本発明の実施例の第2の画面を示している。 本発明の実施形態の一例であるシステム300のブロック図である。 円検出手段331をより詳細に説明するためのブロック図である。 色特定手段338をより詳細に説明するためのブロック図である。 本発明の実施形態の一例である方法600のフローチャートである。 第1判定ステップ700のフローチャートである。 第2判定ステップ800のフローチャートである。 円検出ステップ731をより詳細に説明するためのフローチャートである。 色特定ステップ638をより詳細に説明するためのフローチャートである。 水平にすることの意義について説明するための図である。 複数チャネルの画像を用いることの意義について説明するための図である。 輪郭検出手段335の処理について説明するための図である。 コンピュータについて説明するための図である。
1 本発明の実施の一例
まず、本発明についての理解が容易となるように、一般的なスマートフォンを利用して本発明を実施した例について説明する。
本スマートフォンは、少なくとも、ハードウエア資源として、タッチパネル・ディスプレイ、カメラ、加速度センサ、スピーカ、メモリ及びプロセッサを備えるものとし、タッチパネル・ディスプレイ、カメラ、加速度センサ及びスピーカは、メモリに格納されたプログラム(ソフトウエア)に従い、プロセッサにより制御されるものとする。
また、本スマートフォンは、平板状の外観を有し、その平板の一方の面に、少なくとも主要部が平面であるタッチパネル・ディスプレイが取り付けられ、その他方の面に、カメラが取り付けられているものとする。カメラは、その光学系の光軸に垂直な平面が、平板の面と平行であるように固定されているものとする。従って、本スマートフォンが水平であれば、カメラの光軸に垂直な平面もまた水平である。
更に、加速度センサは、本スマートフォンの傾きに応じた信号を出力するものとする。従って、加速度センサは、本スマートフォンに固定されたカメラの傾き即ち光軸の傾きに応じた信号を出力するともいえる。なお、上記のような加速度センサの代わりに、カメラの光学系の光軸の傾きを検知する任意の別のタイプのセンサを用いてもよいことはいうまでもない。
図1は、タッチパネル・ディスプレイに表示される第1の画面100を表している。
画面100は、カメラからの出力画像110を含んでいる。なお、出力画像110は、スマートフォンの動きに応じて刻一刻と変化する。120、130及び140は、それぞれ、白、赤及び青のボールを撮影したものを示している。150は、ボールが置かれている床を撮影したものを示している。160は、出力画像110に重ねて表示されるガイドを示している。
171及び181は、加速度センサの出力から求められた、スマートフォンの傾きの度合いを示し、172及び182は、どのように傾ければスマートフォンが水平になるかを示している。
171が示す「0.2」は、本稿の紙面を基準とすると、画面100の上方が下方よりも、水平から0.2度だけ紙面表側に傾いていることを表している。172が示す上矢印は、画面100の下方を上方に対して紙面表側に傾けることにより、スマートフォンが水平になることを表している。従って、逆に、画面100の下方が上方よりも紙面表側に傾いているならば、171が示す値は負となり、172が示す矢印は下矢印となる。なお、スマートフォンが水平である場合、171が示す値は0となり、172が示す矢印は表示されなくなる。
同様に、181が示す「7.8」は、本稿の紙面を基準とすると、画面100の右方が左方よりも、水平から7.8度だけ紙面表側に傾いていることを表している。182が示す右矢印は、画面100の左方を右方に対して紙面表側に傾けることにより、スマートフォンが水平になることを表している。従って、逆に、画面100の左方が右方よりも紙面表側に傾いているならば、181が示す値は負となり、182が示す矢印は左矢印となる。なお、スマートフォンが水平である場合、181が示す値は0となり、182が示す矢印は表示されなくなる。
タッチパネル・ディスプレイに画面100が表示されているとき、ユーザは、当該画面を見ながら、スマートフォンが水平となるように、且つ、白のボール120がガイド160と重なるように、スマートフォンの傾きを調整し且つスマートフォンを上下前後左右に動かすことを要求される。スマートフォンがほぼ水平となった状態が一定時間継続し、且つ、白のボール120がガイド160とほぼ重なっていると、スマートフォンは、自動的に、そのときの出力画像110を特定画像として記録する。
ここで、スマートフォンを水平となるようにする技術的意義について説明する。上述したように、スマートフォンが水平であることは、カメラの光学系の光軸に垂直な平面が水平であることを意味する。一般的に、カメラの光学系の光軸に垂直な平面と、撮像される物体との垂直距離に応じて、当該物体の出力画面上の大きさの縮尺は、異なったものとなる。例えば、図11を用いて説明すると、水平な地面1110に置かれた同じ大きさの2つのボール1120a及び1120bを、カメラ1105の光学系の光軸1130に垂直なある平面1140が水平でない場合に撮像したとき、各ボールと当該平面との垂直距離1150a及び1150bは異なることがあり、そのような場合には、出力画像1160上の各ボールを撮像したものの大きさ1170a及び1170bが異なったものとなってしまう。このことは、そのような出力画像1160の2点間の距離が、当該2点の当該画像上の位置によって異なりうることも意味している。
次に、白のボール120がガイド160と重なることの技術的意義について説明する。スマートフォンには、白のボールの所定の単位での大きさ(例えば、cm単位での直径)と、ガイド160の画像110上の大きさ(ガイド160は、幅のある線で描かれた円として画像110上に表示されているため、例えば、当該円に重なるある円のピクセル単位での直径)との関係を、変換係数(例えば、単位はcm/ピクセル)として予め記憶しておくことができる。従って、ガイド160に白のボール120が重なったとき、画像110上の2点間の所定の単位での距離は、画像110上の2点間の距離×変換係数として求めることが可能となる(上述したように、画像110は、スマートフォンが水平な状態で得られたものであると仮定している。)。
更に、自動的に画像を記録することの技術的意義について説明する。上記条件が満たされた後、何らかの入力、特に物理的入力に応答して画像を記録するようにすると、そのような入力によって条件が満たされなくなる場合がある。例えば、タッチパネル・ディスプレイへのタップは、スマートフォンを移動させたり傾けたりさせうる。条件が満たされたときの自動的な画像記録は、そのような問題に対処するものである。
なお、スマートフォンが水平であるか、及び、白のボール120がガイド160と重なっているかの一方又は双方は、スピーカからの音によって示すようにしてもよい。例えば、スマートフォンが水平から離れている場合には間隔の大きな繰り返し音(ピッ、ピッ、ピッ…)が、水平に近い場合には間隔の小さな繰り返し音(ピッピッピッ…)が、白のボール120がガイド160から外れている場合には低い音(プププ…のような音)が、入っている場合には高い音(ピピピのような音)がスピーカから発されるようにスマートフォンを構成することもできる。
190は、ガイド160の大きさを変更するためのUI(ユーザ・インターフェース)を示している。ここで、ガイド160の大きさを大きくした場合(近接)、白のボール120をガイド160と重なるようにするために、スマートフォンを当該ボールにより近接させることになり、結果、撮影される床150の領域が狭くなる一方で、距離測定の精度は向上する。逆に、ガイド160の大きさを小さくした場合(広範囲)、白のボール120をガイド160と重なるようにするために、スマートフォンを当該ボールからより遠ざけることになり、結果、撮影される床150はより広範囲となる一方で、距離測定の精度は悪くなる。なお、UI190は、ガイド160の大きさはそのままに、カメラの光学又はデジタル・ズームの倍率を変更するものであってもよい。また、UI190によって撮影距離が変更される場合を想定して、スマートフォンは、それぞれの撮影距離に対応する複数の変換係数を予め記憶しておくか、又は、1つの変換係数から任意の撮影距離に対応した変換係数を導出できるように構成することができる。
なお、極端にいえば、表示も見ずに音も聞かずに、スマートフォンを適当な場所で上下前後左右に適当に動かし傾きを調節するだけでも、所定の条件が満たされれば、適切な出力画像110は記録される。即ち、画面100の表示や音は必須でないことに留意されたい。このことは、ディスプレイやスピーカを備えていないデバイスであっても、本発明は実施しうることを意味している。
図2は、ある瞬間の出力画像110が特定画像210として記録された後で、タッチパネル・ディスプレイに表示される第2の画面200を表している。画面200には、記録された特定画像210も表示されている。
220(破線)は、特定画像210から検出された、白のボール120に対応した円を示している。230及び240(破線)は、同様に検出された、赤のボール130及び青のボール140に対応した円である。
225及び235は、それぞれ、白のボール120と赤のボール130及び白のボールと青のボール140の、測定された所定の単位(例えば、cm)での距離を示している。ここで、測定された距離の基準は、ボールの検出された輪郭(図示せず)である。輪郭は、ボールについて検出された円220、230及び240を利用して求められるものであり、後述する。
251、252、253及び254は、その先端が距離測定の基準点(輪郭)を示すマーカである。輪郭の検出が失敗し、正しい距離が得られていない場合には、その先端が正しい基準点を指すようにマーカ251、252、253又は254を手動で移動させることにより、再計算された距離225又は235が表示される。マーカは、追加したり削除したりすることもできる。
なお、画面200は、スマートフォン自体に表示される必要はないことを理解されたい。例えば、本発明の実施例をボッチャの大会において用いる場合、その会場に据え付けられたスクリーン上に、画面200を表示することができる。
2 本発明の実施形態の第1例
以下、本発明の実施形態の一例である球状物体間距離測定のためのシステムについて説明する。
2−1 実施形態の概要
図3は、本システム300が含む主な手段を表したブロック図である。なお、ブロック間の矢印は、情報の例示の流れを示している。システム300は、一部の手段を含まないことや、図示しない手段を含むことがあるし、また、情報は図示したものとは異なる経路で流れることがあることは理解されたい。
310は、ある光軸を有し、移動可能な撮像手段を示している。当該手段は、例えばハードウエア資源としての少なくともカメラとソフトウエアとの協働により実現される手段である。撮像手段310の光軸は、例えばカメラを用いる場合、カメラの光学系の光軸である。なお、先にスマートフォンのカメラを例示したが、撮像手段310を実現するためのハードウエア資源としてはこれに限定されず、例えば、ドローンに搭載されたカメラを用いることも想定される。
320は、撮像手段310の光軸の傾きに応じた出力を行う検知手段である。当該手段は、例えばハードウエア資源としての少なくともセンサとソフトウエアとの協働により実現される手段である。センサの一例は、先に例示した加速度センサであるが、複数のカメラを用いるなどして、光学的に傾きを検知するセンサも想定される。
330は、図3において示されている以下に説明する各手段を含む(一部手段は実施例によっては含まない場合がある)制御手段を示している。当該手段は、例えばハードウエア資源としての少なくともプロセッサ及びメモリとソフトウエアとの協働により実現される手段である。
332は、撮像手段310からの出力画像における所定の位置に、所定の大きさの球状物体が撮像されたかを判定する第1判定手段を示している。なお、一般的に、カメラの光学系は固有の収差を有するが、「撮像手段310からの出力画像」は、そのような収差の少なくとも一部が公知の手法により補正された後の画像であってよい。
第1判定手段332が用いる判定手法は任意であるが、一例を述べると、第1判定手段332は、撮像手段310からの出力画像において、所定の位置に仮定された所定の大きさの円の内側が、当該円の外側よりも有意に明るいときに、所定の位置に所定の大きさの球状物体が撮像されたと判定することができる。即ち、第1判定手段は、当該円内の少なくとも1つのピクセルの輝度値に基づく値と、当該円外の少なくとも1つのピクセルの輝度値に基づく値との比較による判定を行うことができる。より詳細には、例えば、当該円の円周付近且つ当該円内の少なくとも2つのピクセルの輝度値の平均値又は中央値に所定の割合を乗じた値が、当該円の円周付近且つ当該円外の少なくとも2つのピクセルの輝度値の平均値又は中央値よりも大きいときに、第1判定手段332は、所定の位置に所定の大きさの球状物体が撮像されたと判定することができる。また、例えば、当該円内のピクセルの輝度値の平均値又は中央値に所定の割合を乗じた値が、当該円に外接する四角形内且つ当該円外のピクセルの輝度値の平均値又は中央値よりも大きいときに、第1判定手段332は、所定の位置に所定の大きさの球状物体が撮像されたと判定することができる。ここで、「所定の割合」は110%程度であってよい。
なお、上記例示手法は、球状物体が白いボールであるときに特に好適なものであり、次に述べる例示手法に比べて計算量が少ないものである。また、システム300が後述する表示手段340を含む場合、上記例示手法における「所定の位置に仮定された所定の大きさの円」は、重ね合わせて表示される円と同一であることができる。
第1判定手段332が用いる判定手法の別例は、撮像手段310からの出力画像に基づいて検出された、当該画像において所定の範囲の大きさの円を用いたものであり、第1判定手段332は、撮像手段310からの出力画像において、所定の位置からの距離が所定の閾値以下である中心を有する所定の範囲の大きさの円が検出されたときに、所定の位置に所定の大きさの球状物体が撮像されたと判定することができる。なお、円の検出は、図示しない手段により、後述する円検出手段331が行う処理と同様の処理によって行うことができる。また、システム300が後述する表示手段340を含む場合、上記例示手法における「所定の範囲の大きさ」は、重ね合わせて表示される円の大きさを含むものであり、上記例示手法における「所定の位置」は、当該円の中心であり、上記例示手法における「所定の閾値」は、当該円の半径であることができる。
上に例示した2つの手法によると、システム300が表示手段340を含む場合、重ね合わせて表示される円と、撮像された球状物体とがほぼ重なったときに、第1判定手段332は、真という判定をすることになる。
333は、検知手段320からの出力を用いて、撮像手段310の光軸に垂直な平面が水平であるかを判定する第2判定手段を示している。ここで、「水平」とは、「完全に水平」であることを要しないことに留意されたい。また、第2判定手段は、検知手段320からの出力が、所定の時間、撮像手段310の光軸に垂直な平面が水平であることを示すときに、水平であるとの判定をすることができる。即ち、第2判定手段333は、所定の時間例えば1秒間、所定の範囲例えば適切な誤差の範囲で水平であるときに、水平であると判定してよい。
334は、出力画像における所定の位置に所定の大きさの球状物体が撮像されたと判定され、且つ、撮像手段310の光軸に垂直な平面が水平であると判定されたときに、撮像手段310からの出力画像を特定画像として自動的に記録する特定画像記録手段を示している。
なお、本例では、特定画像記録手段334は、第1判定手段332から、判定に係る出力画像をも受けるものとしているが、別例では、特定画像記録手段334は、判定の結果を第1判定手段332から、出力画像を撮像手段310から受けることができる。後者の場合、第1判定手段332が判定に用いた画像と、撮像手段310から受けた出力画像とが同じではなく、時間的に前後する場合がありうるが、そのような時間的なズレは十分に小さければ許容されうる。
340は、システム300が含むことのできる、所定の大きさの円と、撮像手段310の光軸の傾きに応じた表示とを重ね合わせて、撮像手段310からの出力画像を表示する表示手段を示している。当該手段は、例えばハードウエア資源としての少なくともディスプレイとソフトウエアとの協働により実現される手段である。重ね合わせて表示される円は、図1のガイド160に対応するものである。検出する円の大きさは、第1判定手段332の上述した例示の判定手法において又は後述する円検出手段331が検出する円の大きさの範囲内であることができる。言い換えると、検出される円の大きさの範囲は、ガイドとしての円の大きさを基準とすることができる(例えば、所定の大きさの±20%)。また、傾きに応じた表示は、図1の171、172、181及び182に対応する。
331は、システム300が含むことのできる、特定画像記録手段334が記録した出力画像、即ち特定画像に基づいて、当該画像において所定の範囲の大きさの円を検出するための円検出手段を示している。円の検出には、例えば公知のHough変換を用いることができる。また、円を検出するための公知のライブラリ、例えば、OpenCVが存在し、ソフトウエアとしてそのようなライブラリを用いることができる。
なお、検出する円の大きさを所定の範囲に限定したのは、既定の大きさの球状物体例えばボールを検出することを前提としているためである。このようにすることで、円形として検出されうるが大きさの異なる床の模様等の誤検出を防ぐことができる。
335は、システム300が含むことのできる、特定画像に基づいて、輪郭を検出する輪郭検出手段を示している。輪郭の検出には、例えば公知のCannyアルゴリズムを用いることができる。なお、輪郭検出手段335は、検出された円のうちの各円について、少なくとも、当該円の中心と、検出された円のうちの他の円の中心とを結ぶ線分上であり、且つ、当該円の中心から所定の範囲にある輪郭を、当該円に関連した輪郭として検出すればよい。なお、そのような輪郭が複数存在する場合には、当該複数の輪郭のうち、当該円の中心から最も外側の輪郭、言い換えると、当該円の中心から最も遠い輪郭を、当該円に関連した輪郭として検出することが好ましい。このように検出された輪郭は、図2のマーカ251、252、253及び254の先端に対応する。
なお、輪郭検出手段335が用いる「所定の範囲」は、円検出手段331が用いる「所定の範囲の大きさ」の「所定の範囲」と同じであっても異なっていてもよい。また、特定画像によっては、適切に輪郭が検出できず、特に、ある円について、当該円の中心と他の円の中心とを結ぶ線分上の当該円の中心から所定の範囲に輪郭が検出できないことがある。このような場合、輪郭検出手段335は、当該円と当該線分との交点を輪郭として検出することができる。
ここで、輪郭検出手段335の上記処理について、図13を用いて説明する。図13(a)を参照すると、1300は、例示の特定画像のCbチャネルの画像の一部である。なお、1300は、図13(b)及び図13(c)においても共通である。1311は、白いボールを撮像したものを示し、1312は白いボールが置かれた床を撮像したものを示し、1313は床の模様(水色線)を撮像したものを示している。1320(白いボールを撮像したもの1311を取り囲むように存在する灰色のドットの集合。図13(b)の1333、1335及び1336を含む)は、画像の一部1300から検出された輪郭を示している。
図13(b)を参照すると、1331(点線で描かれた二重円)は、画像の一部1300から検出された円(図13(c)における1342)の中心1332から所定の範囲を示している。「当該円の中心から所定の範囲にある輪郭」とは、この二重円1331の円と円の間にある輪郭を意味しており、従って、例えば1333が示す輪郭は、検出から除外されことが理解されよう。この処理は、床の模様等に由来する輪郭(即ち、輪郭1333)の誤検出を防ぐことを目的とするものである。更に、1334は、中心1332から、図示しない別の検出された円の中心へと引いた線分を示しており、1335及び1336は、線分1334上にある輪郭を示している(図13(a)も参照されたい)。即ち、線分1334上に複数の輪郭が存在していることが理解されよう。この場合、「当該複数の輪郭のうち、当該円の中心から最も外側の輪郭、言い換えると、当該円の中心から最も遠い輪郭を、当該円に関連した輪郭として検出する」ことにより、例えば輪郭1336が、検出された円1342に関連した輪郭として検出される。この処理は、ボール内部の模様等に由来する輪郭(即ち、輪郭1335)の誤検出を防ぐことを目的とするものである。
図13(c)を参照すると、1344は、中心1332から、図示しないまた別の検出された円の中心へと引いた線分を示している。このとき、検出された円1342について、線分1344の当該円の中心から所定の範囲に輪郭が検出できない(図13(a)も参照されたい)。「当該円と当該線分との交点を輪郭として検出する」とは、このようなときに、検出された円1342と線分1344との交点1345を、検出された輪郭として用いることを意味している。
336は、システム300が含むことのできる、検出された円のうちの第1の円の中心と第2の円の中心とを結ぶ線分上にある、輪郭検出手段335により検出された輪郭間の、上記特定画像における距離を測定する距離測定手段を示している。
337は、システム300が含むことのできる、測定された上記特定画像における距離を、変換係数を用いて、所定の単位の距離に変換する距離変換手段を示している。
なお、上述した表示手段340は、距離変換手段337により得られた所定の単位の距離を表示することができる。この際、表示手段340は、円検出手段331により検出された円と、輪郭検出手段335により得られた輪郭の少なくとも一部に対応した表示と、距離測定手段336が測定した距離に対応する表示と、距離変換手段337により得られた所定の単位の距離とを重ねて、特定画像記録手段334が記録した特定画像を表示してもよい。そのように表示される画面の例が、図2の画面200である。
338は、システム300が含むことのできる、上記特定画像に基づいて、検出された円に対応した色を特定する色特定手段を示している。
色特定手段338により特定された色は、輪郭検出手段335が用いることができる。輪郭検出手段335は、ある色に対応した円を検出する際に、最初に、当該色に対応したチャネルの画像から輪郭の検出を試み、輪郭の検出ができなかった場合に、異なるチャネルの画像から輪郭の検出を試みることができる。例えば、ある円に対応した色が白である場合、当該円は、白いボールを表していることが期待される。一般的に、白いボールと当該ボールが置かれた床とは明るさが異なることが多いため、そのようなときには、Yチャネルの画像を優先的に用いて輪郭の検出を試みて、その検出が失敗した場合に、異なるチャネルの画像から改めて輪郭の検出を試みることができる。即ち、白に対応したチャネルは、Yチャネルであってよい。同様に、赤及び青に対応したチャネルは、それぞれ、Crチャネル及びCbチャネルであってよい。
2−2 円検出手段
図4は、円検出手段331が含みうる、より詳細な手段を表したブロック図である。
410は、特定画像に基づいて、複数のチャネルの画像を生成するチャネル別画像生成手段を示している。ここで、複数のチャネルは、Rチャネル、Gチャネル、Bチャネル、Yチャネル、Crチャネル、Cbチャネル及びその他のチャネルのうちの2以上を含むことができる。
その他のチャネルの画像の一例は、各ピクセルが、Rチャネル、Gチャネル、Bチャネル、Yチャネル、Crチャネル又はCbチャネルの画像の対応するピクセルの値をガンマ補正した値を有するものである。
その他のチャネルの画像の別例は、各ピクセルが、Crチャネルの画像の対応するピクセルの値と、Crチャネルの画像の全ピクセルの値の中央値との差の絶対値と、Cbチャネルの画像の対応するピクセルの値と、Cbチャネルの画像の全ピクセルの値の中央値との差の絶対値との和をガンマ補正した値を有するものである。
その他のチャネルの画像の更に別例は、各ピクセルが、Yチャネルの画像の対応するピクセルの値と、Yチャネルの画像の全ピクセルの値の中央値との差の絶対値をガンマ補正した値を有するものである。
420a、420b、…は、チャネル別画像生成手段により生成された各チャネルの画像から、所定の範囲の大きさの円を検出するチャネル別円検出手段を示している。図4においてチャネル別円検出手段は2つのみ示されているが、「…」で示されている通り、チャネル別円検出手段は、生成されたチャネル別画像の数だけ存在しうる。
ここで、複数のチャネルの画像から円を検出するのは、ボールの色とそのボールの置かれた背景(例えば、床)の色との関係により、あるチャネルの画像からは円を検出できないが、別のチャネルの画像からは円を検出できるといったことが起こりうるからである。
430は、チャネル別円検出手段420a、420b、…の各々において検出された円を統合する検出円統合手段である。ここで、検出円統合手段430は、少なくとも、異なるチャネルの画像からそれぞれ検出された少なくとも2つの円の中心間の距離が所定の閾値以下である場合に、少なくとも2つの円のうち、チャネル別円検出手段により各チャネルの画像から検出された全ての円の大きさの平均に最も近い大きさの円以外の円を、検出された円から除外するものである。
ここで、検出円統合手段430が行う処理の技術的意義について、図12を用いて説明する。1200は、ある色のボールを撮像した画像を示している。1210は、画像のうちのボールそのものに対応する部分を示し、1220はボールの影に対応するものを示している。このような画像において円検出をした場合、あるチャネルの画像では1230(点線)で示す円が検出される一方、別のチャネルの画像では1240(点線)で示す円が検出されることがある。このとき、検出されるべき円は、1230で示すものである。複数のボールが撮像されている場合、各チャネルの画像では、他にも、そのボール又は他のボールについての複数の円が検出されていることが期待される。そのように検出された円には、当然、1240が示すような誤った円も含まれている場合もある。しかしながら、複数のボールが様々な色のボールからなるが大きさが等しいとき、それら複数の検出される円の大きさの平均は、多くの場合、検出されるべき円の大きさに近いことが判明している。以上に鑑みて、検出円統合手段430は上記のような処理を行っている。
2−3 色特定手段
図5は、色特定手段338が含みうる、より詳細な手段を表したブロック図である。
510は、検出された円のうち、所定の位置にある円に対応した色を白と特定する白特定手段である。この所定の位置は、第1判定手段332が判定に用いている所定の位置と同一であってよい。
520は、特定画像のCrチャネルの画像から検出された円のうち、当該画像における当該円内の少なくとも1つのピクセルの値に基づく値が、所定の値より大きく、且つ、特定画像のCbチャネルの画像における対応するピクセルの値に基づく値に所定の割合を乗じた値よりも大きい円に対応した色を赤と特定する赤特定手段を示している。
530は、特定画像のCbチャネルの画像から検出された円のうち、当該画像における当該円内の少なくとも1つのピクセルの値に基づく値が、所定の値より大きく、且つ、特定画像のCrチャネルの画像における対応するピクセルの値に基づく値に所定の割合を乗じた値よりも大きい円に対応した色を青と特定する青特定手段を示している。
ここで、上記「ピクセルの値に基づく値」の例は、当該ピクセルがただ1つのピクセルである場合、そのピクセルの値であり、当該ピクセルが複数のピクセルである場合、それら複数のピクセルの値の平均値又は中央値である。
また、上記「対応するピクセル」とは、Cb(又はCr)チャネルの画像における少なくとも1つのピクセルの位置と、Cr(又はCb)チャネルの画像において同様の位置にあるピクセルのことである。例えば、少なくとも1つのピクセルが、Cb(又はCr)チャネルの画像において、4隅の座標が(x0,y0),(x1,y0),(x0,y1),(x1,y1)である四角形に含まれるピクセルである場合、対応するピクセルは、Cr(又はCb)チャネルの画像において、4隅の座標が(x0,y0),(x1,y0),(x0,y1),(x1,y1)である四角形に含まれるピクセルである。
更に、ピクセルがとりうる値が0から255の範囲である場合、上記「所定の値」及び「所定の割合」は、それぞれ192及び125%程度であってよい。
このように構成された色特定手段338は、測定に係る球状物体が白、赤及び青からなるボールからなる場合に、特に有用である。
2−4 その他の手段
撮像手段310からの出力画像には、通常、撮像手段310の特性(例えば、カメラのセンサの特性)や、撮像するもの(例えば、床の木目やカーペットの細かい模様)に由来するノイズが含まれている。そのため、上述したように各種画像に基づいて円検出、輪郭検出、複数のチャネルの画像生成、色特定等を行う際には、図示しない手段により、事前に画像からノイズ除去処理を行うことができる。そのようなノイズ除去処理の例は、ガウスぼかしやバイラテラルフィルタを用いた処理である。
ここで、ガウスぼかしには、sigmaというパラメータにより、どの程度の範囲でぼかしをかけるかについて調整することができる。このとき、画像に木目のような比較的大きな模様が映ることが想定される場合には、sigmaを大きく、カーペットのように細かい模様が映ることが想定される場合には、sigmaを小さくすることができる。
また、バイラテラルフィルタは、輪郭をなるべく維持しつつ平滑化を行うフィルタであり、ガウスぼかしのsigmaと同様のsigmaSpaceというパラメータや、ぼかしをかける色域の範囲(どのくらい似ている色をぼかすか)を指定するsigmaColorといったパラメータが存在する。
上述したように、円の検出には公知のHough変換を用いることができる。Hough変換においては投票というという概念が登場し、投票数が閾値を上回ったときに当該投票に関連した円が検出されることになる。また、上述したように、輪郭の検出には公知のCannyアルゴリズムを用いることができる。Cannyアルゴリズムにおいても、閾値を用いて輪郭かどうかを判定している。ここで、閾値を大きく設定すると、はっきりした輪郭のみが検出されるようになり、結果、検出される輪郭が少なくなる。
しかしながら、適切な閾値は画像によって異なる。例えば、Yチャネルの画像においては、物体であるかそうでないか、例えば、ボールなのか床なのかがかなりくっきり表れる。これは、ボールと床との明るさが比較的異なるためである。一方、CrチャネルやCbチャネルの画像においては、そうではない。
そのため、円検出については、Yチャネルの画像については閾値を高く、CrやCbチャネルについては閾値を低くすることが好ましい。輪郭検出についても、Yチャネルの画像については閾値を高くしてはっきりとした輪郭のみを抽出するようにし、CrやCbチャネルについては閾値を低くして曖昧な輪郭についても抽出するようにして抽出漏れを防ぐことが好ましい。
上述したようなパラメータや閾値は、その最適な値が、撮像する物体が置かれた平面(例えば、地面やカーペットや体育館の床)の状態(色合い、木目の濃さ、床の滑らかさ、汚れ具合、照明の明るさと映り込み方など)や、撮像する物体(例えば、ボール)の色合い(同じ色であるとしても、若干相違することがある)によって異なる。
上記に鑑みて、システム300は、予め記憶されたパラメータ及び閾値の複数のセットを切り替えるための入力手段(図示せず)を含んでいてもよい。また、システム300は、更に、特定画像記録手段334が記録した1つの特定画像について、パラメータ及び閾値の複数のセットを順次切り替えて距離変換手段337による所定の単位の距離の計算までを行い、図2の画面200に相当する画面を表示手段340に順次表示するようにしてもよい。
3 本発明の実施形態の第2例
以下、本発明の実施形態の一例である球状物体間距離測定のための方法について説明する。なお、この方法はコンピュータが実行するものである。また、「コンピュータ」について、節4にて後述しているため、参照されたい。
図6は、本方法600が含む主なステップを表したフローチャートである。方法600は、一部のステップを含まないことや、図示しないステップを含むことがあるし、また、ステップの前後関係は図示するものに限られないことは理解されたい。
610は、ある2つの判定ステップにおける2つの判定の双方が真であるかを判定するステップを示している。便宜上、上記2つの判定ステップを第1判定ステップ及び第2判定ステップといい、判定ステップ610自体を第3判定ステップという。第3判定ステップ610における判定が真である場合(T)、ステップ620に進む。第3判定ステップ610における判定が偽である場合(F)には、本例においては第3判定ステップ610を結果的に繰り返すことになるが、別例においては、このような処理に限定されるわけではない。なお、第1の判定ステップ、第2の判定ステップ及び第3の判定ステップは、互いに独立して実行されうる。従って、これら3つの判定ステップの実行順序は順不同である。
ここで、第1判定ステップについて、図7を用いて説明する。図7が表わすフローチャート全体700が、第1判定ステップを示している。
710は、カメラから出力画像を得る画像取得ステップを示している。なお、一般的に、カメラの光学系は固有の収差を有するが、カメラから得た「出力画像」は、そのような収差の少なくとも一部が公知の手法により補正された後の画像であってよい。
732は、得られた出力画像における所定の位置に、所定の大きさの球状物体が撮像されたかを判定する判定ステップを示している。判定ステップ732を、便宜上第4判定ステップという。第4判定ステップ732における判定手法は、第1判定手段332が用いるものと同様のものであってよい。第4判定ステップ732における判定が真である場合(T)、第1判定ステップ700全体としての判定が真となり、第1判定ステップ700は終了する。第4判定ステップ732における判定が偽である場合(F)には、本例においてはステップ710に戻ることになるが、別例においては、このような処理に限定されるわけではない。
次に、第2判定ステップについて、図8を用いて説明する。図8が表わすフローチャート全体800が、第2判定ステップを示している。
820は、センサから、カメラの光学系の光軸の傾きに応じた出力を得るセンサ出力取得ステップを示している。このカメラは、ステップ710において出力画像を得るものである。
833は、センサ出力取得ステップ820において得た出力を用いて、カメラの光学系の光軸に垂直な平面が水平であるかを判定する判定ステップを示している。判定ステップ833を、便宜上第5判定ステップという。第5判定ステップ833における判定が真である場合(T)、第2判定ステップ800全体としての判定が真となり、第2判定ステップ800は終了する。第5判定ステップ833における判定が偽である場合(F)には、本例においてはステップ820に戻ることになるが、別例においては、このような処理に限定されるわけではない。
図6に戻ると、620は、第3判定ステップ610における判定が真であるときに、カメラからの出力画像を特定画像として自動的に記録する特定画像記録ステップを示している。
なお、重要なのは、得られた出力画像における所定の位置に所定の大きさの球状物体が撮像されたと判定され、且つ、カメラの光学系の光軸に垂直な平面が水平であると判定されたときに、特定画像記録ステップ620に進むことである。従って、そのようなとき、本例においては、第1判定ステップ700における判定と第2判定ステップ800における判定との双方が真となるように構成されているが、別例においては異なる(例えば、第1判定ステップ700における判定と第2判定ステップ800における判定との双方が偽であるときに条件を満たす)ように構成されうることに留意されたい。
640は、方法600が含むことのできる、所定の大きさの円と、カメラの光軸の傾きに応じた表示とを重ね合わせて、カメラからの出力画像をディスプレイに表示する表示ステップを示している。表示ステップ640で行う処理は、表示手段340が行う処理に対応する。なお、表示ステップ640において用いる、カメラからの出力画像及びカメラの光軸の傾きは、ぞれぞれ、当該ステップとは独立して直近に実行された画像取得ステップ710及びセンサ出力取得ステップ820において取得されたものであってよい。
731は、特定画像に基づいて、当該画像において所定の範囲の大きさの円を検出する円検出ステップを示している。このステップで行う処理は、上述した円検出手段331が行う処理に対応する。
638は、方法600が含むことのできる色特定ステップを示している。このステップで行う処理は、上述した色特定手段338が行う処理に対応する。
635は、方法600が含むことのできる輪郭検出ステップを示している。このステップで行う処理は、上述した輪郭検出手段335が行う処理に対応する。
636は、方法600が含むことのできる距離測定ステップを示している。このステップが行う処理は、上述した距離測定手段336が行う処理に対応する。
637は、方法600が含むことのできる距離変換ステップを示している。このステップで行う処理は、上述した距離変換手段337が行う処理に対応する。
図9は、円検出ステップ731が含みうる、より詳細なステップを表したフローチャートである。
910は、チャネル別画像生成ステップを示している。このステップが行う処理は、上述したチャネル別画像生成手段410が行う処理に対応する。
920a,920b、…は、チャネル別円検出ステップを示している。これらステップが行う処理は、上述したチャネル別円検出手段420a,420b、…が行う処理に対応する。図9においてチャネル別円検出ステップは2つのみ示されているが、「…」で示されている通り、チャネル別円検出ステップは、生成されたチャネル別画像の数だけ存在しうる。また、図9では、ステップ920aの次にステップ920bが実行されるように示されているが、各チャネル別円検出ステップは、並列又は同時に実行されうる。
930は、検出円統合ステップを示している。このステップが行う処理は、検出円統合手段430が行う処理に対応する。
図10は、色特定ステップ638が含みうる、より詳細なステップを表したフローチャートである。1010、1020及び1030は、それぞれ、白特定ステップ、赤特定ステップ及び青特定ステップを示している。これらステップが行う処理は、それぞれ、上述した白特定手段510、赤特定手段520及び青特定手段530が行う処理に対応する。なお、図10では、ステップ1010.ステップ1020、ステップ1030の順に実行されるように示されているが、実行の順番はこれに限定されず、各ステップは、並列又は同時に実行されうる。
4 本発明の実施形態の第3例
本発明の一例は、球状物体間距離測定のための方法を、コンピュータに実行させるプログラム若しくは命令又は当該プログラム若しくは命令を記憶したコンピュータ可読記憶媒体である。
ここで、「コンピュータ」は1以上のコンピュータを意味し、また、据え置き型であるかモバイル型であるかを問わない。据え置き型コンピュータは、デスクトップ・コンピュータ、ワークステーション、ラックマウント・コンピュータ等を含み、モバイル型コンピュータは、ノートブック・コンピュータ、スマートフォン、タブレット等を含む。
図14は、コンピュータのハードウエア構成の一例を表している。同図に示すように、コンピュータ1400は、主に、プロセッサ1410と、主記憶装置1420と、補助記憶装置1430と、ユーザインターフェース1440と、通信インターフェース1450とを備えており、これらはアドレスバス、データバス、コントロールバス等を含むバスライン1460を介して相互に接続されている。なお、バスライン1460と各ハードウエア資源との間には適宜インターフェース回路(図示せず)が介在している場合もある。
プロセッサ1410は、コンピュータ全体の制御を行う。
主記憶装置1420は、プロセッサ1410に対して作業領域を提供し、例えばSRAM、DRAM等の揮発性メモリである。
補助記憶装置1430は、ソフトウエアであるプログラム等や各種データ等を記憶する、例えば、ハードディスクドライブ、フラッシュメモリ等の不揮発性メモリである。当該プログラムは、任意の時点で補助記憶装置1430からバスライン1460を介して主記憶装置1420へとロードされる。
ユーザインターフェース1440は、ユーザに情報を提示すること及びユーザから情報の入力を受けることの一方又は双方を行うものであり、例えば、キーボード、マウス、ディスプレイ、タッチパネル・ディスプレイ、マイク、スピーカ等である。
通信インターフェース1450は、ネットワーク1470と接続されるものであり、ネットワーク1470を介してデータを送受する。通信インターフェース1450とネットワーク1470とは、有線又は無線で接続されうる。
4 むすび
以上、本発明の実施例について説明してきたが、他の類似する実施態様の採用や、適宜態様の変更又は追加を行うことができることは理解されたい。

Claims (19)

  1. ある光軸を有し、移動可能な撮像手段と、
    前記光軸の傾きに応じた出力を行う検知手段と、
    前記撮像手段からの出力画像における所定の位置に所定の大きさの球状物体が撮像されたかを判定する第1判定手段と、
    前記検知手段からの出力を用いて、前記光軸に垂直な平面が水平であるかを判定する第2判定手段と、
    前記出力画像における所定の位置に前記所定の大きさの球状物体が撮像されたと判定され、且つ、
    前記光軸に垂直な平面が水平であると判定された
    ときに、前記撮像手段からの出力画像を特定画像として自動的に記録する手段と
    を備えたシステム。
  2. 請求項1に記載のシステムであって、
    前記所定の大きさの円と、前記光軸の傾きに応じた表示とを重ね合わせて、前記撮像手段からの出力画像を表示する手段であって、前記円は、前記出力画像における前記所定の位置に表示される、手段
    を更に備えたシステム。
  3. 請求項2に記載のシステムであって、
    前記第1判定手段は、前記出力画像における、重ね合わせて表示される前記円内の少なくとも1つのピクセルの輝度値に基づく値と、前記円外の少なくとも1つのピクセルの輝度値に基づく値との比較により、前記出力画像における所定の位置に所定の大きさの球状物体が撮像されているかを判定する、システム。
  4. 請求項1から3のうちの何れか一項に記載のシステムであって、
    前記特定画像に基づいて、当該画像において第1の所定の範囲の大きさの円を検出するための円検出手段と、
    前記特定画像に基づいて、検出された前記円のうちの各円について、当該円の中心と、検出された前記円のうちの他の円の中心とを結ぶ線分上にあり、且つ、当該円の中心から第2の所定の範囲にある輪郭であって、当該輪郭が複数存在する場合には、前記複数の輪郭のうち、当該円の中心から最も外側にある輪郭を、当該円に関連した輪郭として検出する輪郭検出手段と、
    検出された前記円のうちの第1の円の中心と第2の円の中心とを結ぶ線分上にある、検出された前記輪郭であって前記第1の円及び前記第2の円に関連した輪郭間の、前記特定画像における距離を測定する手段と、
    を更に備えたシステム。
  5. 請求項4に記載のシステムであって、
    測定された前記距離を、変換係数を用いて、所定の単位の距離に変換する手段
    を更に備え、前記表示手段は、前記所定の単位の距離を表示する、システム。
  6. 請求項4又は5に記載のシステムであって、前記円検出手段は、
    前記特定画像に基づいて、複数のチャネルの画像を生成するチャネル別画像生成手段と、
    前記チャネル別画像生成手段により生成された各チャネルの画像から、前記第1の所定の範囲の大きさの円を検出するチャネル別円検出手段と、
    前記チャネル別円検出手段により異なるチャネルの画像からそれぞれ検出された少なくとも2つの円の中心間の距離が所定の閾値以下である場合に、前記少なくとも2つの円のうち、前記チャネル別円検出手段により各チャネルの画像から検出された全ての円の大きさの平均に最も近い大きさの円以外の円を、検出された円から除外する手段と
    を含む、システム。
  7. 請求項6に記載のシステムであって、前記複数のチャネルは、Rチャネル、Gチャネル、Bチャネル、Yチャネル、Crチャネル、Cbチャネル、第1複合チャネル及び第2複合チャネルのうちの2以上を含み、
    前記第1複合チャネルの画像の各ピクセルは、
    Crチャネルの画像の対応するピクセルの値と、Crチャネルの画像の全ピクセルの値の中央値との差の絶対値と、
    Cbチャネルの画像の対応するピクセルの値と、Cbチャネルの画像の全ピクセルの値の中央値との差の絶対値と
    の和をガンマ補正した値を有し、
    前記第2複合チャネルの画像の各ピクセルは、Yチャネルの画像の対応するピクセルの値と、Yチャネルの画像の全ピクセルの値の中央値との差の絶対値をガンマ補正した値を有する、システム。
  8. 請求項6又は7に記載のシステムであって、
    前記特定画像に基づいて、検出された前記円のうちの少なくとも1つの円に対応した色を特定する色特定手段
    を更に備え、前記輪郭検出手段は、ある色に対応した円を検出する際に、当該色に対応したチャネルの画像から輪郭の検出を試み、輪郭の検出ができなかった場合に、異なるチャネルの画像から輪郭の検出を試みる、システム。
  9. 請求項8に記載のシステムであって、前記色特定手段は、
    検出された前記円のうち、前記所定の位置にある円に対応した色を白と特定する手段と、
    前記特定画像のCrチャネルの画像から検出された円のうち、当該画像における当該円内の少なくとも1つのピクセルの値に基づく値が、所定の値より大きく、且つ、前記特定画像のCbチャネルの画像における対応するピクセルの値に基づく値に所定の割合を乗じた値よりも大きい円に対応した色を赤と特定する手段と、
    前記特定画像のCbチャネルの画像から検出された円のうち、当該画像における当該円内の少なくとも1つのピクセルの値に基づく値が、所定の値より大きく、且つ、前記特定画像のCrチャネルの画像における対応するピクセルの値に基づく値に所定の割合を乗じた値よりも大きい円に対応した色を青と特定する手段と
    のうちの1以上を含む、システム。
  10. コンピュータが実行する方法であって、
    第1判定ステップであって、
    カメラから出力画像を得るステップと、
    前記出力画像における所定の位置に所定の大きさの球状物体が撮像されたかを判定するステップと
    を含む、ステップと、
    第2判定ステップであって、
    センサから、前記カメラの光学系の光軸の傾きに応じた出力を得るステップと、
    前記出力を用いて、前記光軸に垂直な平面が水平であるかを判定するステップと
    を含む、ステップと、
    前記出力画像における所定の位置に前記所定の大きさの球状物体が撮像されたと判定され、且つ、
    前記光軸に垂直な平面が水平であると判定された
    ときに、前記カメラからの出力画像を特定画像として自動的に記録するステップと
    を含む方法。
  11. 請求項10に記載の方法であって、
    前記所定の大きさの円と、前記光軸の傾きに応じた表示とを重ね合わせて、前記カメラからの出力画像をディスプレイに表示するステップであって、前記円は、前記出力画像における前記所定の位置に表示される、ステップ
    を更に含む、方法。
  12. 請求項11に記載の方法であって、
    前記第1判定ステップは、前記出力画像における、重ね合わせて表示される前記円内の少なくとも1つのピクセルの輝度値に基づく値と、前記円外の少なくとも1つのピクセルの輝度値に基づく値との比較により、前記出力画像における所定の位置に所定の大きさの球状物体が撮像されているかを判定するステップを含む、方法。
  13. 請求項10から12のうちの何れか一項に記載の方法であって、
    前記特定画像に基づいて、当該画像において第1の所定の範囲の大きさの円を検出する円検出ステップと、
    前記特定画像に基づいて、検出された前記円のうちの各円について、当該円の中心と、検出された前記円のうちの他の円の中心とを結ぶ線分上にあり、且つ、当該円の中心から第2の所定の範囲にある輪郭であって、当該輪郭が複数存在する場合には、前記複数の輪郭のうち、当該円の中心から最も外側にある輪郭を、当該円に関連した輪郭として検出する輪郭検出ステップと、
    検出された前記円のうちの第1の円の中心と第2の円の中心とを結ぶ線分上にある、検出された前記輪郭であって前記第1の円及び前記第2の円に関連した輪郭間の、前記特定画像における距離を測定するステップと
    を更に含む方法。
  14. 請求項13に記載の方法であって、
    測定された前記距離を、変換係数を用いて、所定の単位の距離に変換するステップと、
    前記所定の単位の距離をディスプレイに表示するステップと
    を更に含む方法。
  15. 請求項13又は14に記載の方法であって、前記円検出ステップは、
    前記特定画像に基づいて、複数のチャネルの画像を生成するチャネル別画像生成ステップと、
    前記チャネル別画像生成ステップにおいて生成された各チャネルの画像から、前記第1の所定の範囲の大きさの円を検出するチャネル別円検出ステップと、
    前記チャネル別円検出ステップにおいて異なるチャネルの画像からそれぞれ検出された少なくとも2つの円の中心間の距離が所定の閾値以下である場合に、前記少なくとも2つの円のうち、前記チャネル別円検出ステップにおいて各チャネルの画像から検出された全ての円の大きさの平均に最も近い大きさの円以外の円を、検出された円から除外するステップと
    を含む、方法。
  16. 請求項15に記載の方法であって、前記複数のチャネルは、Rチャネル、Gチャネル、Bチャネル、Yチャネル、Crチャネル、Cbチャネル、第1複合チャネル及び第2複合チャネルのうちの2以上を含み、
    前記第1複合チャネルの画像の各ピクセルは、
    Crチャネルの画像の対応するピクセルの値と、Crチャネルの画像の全ピクセルの値の中央値との差の絶対値と、
    Cbチャネルの画像の対応するピクセルの値と、Cbチャネルの画像の全ピクセルの値の中央値との差の絶対値と
    の和をガンマ補正した値を有し、
    前記第2複合チャネルの画像の各ピクセルは、Yチャネルの画像の対応するピクセルの値と、Yチャネルの画像の全ピクセルの値の中央値との差の絶対値をガンマ補正した値を有する、方法。
  17. 請求項15又は16に記載の方法であって、
    前記特定画像に基づいて、検出された前記円のうちの少なくとも1つの円に対応した色を特定する色特定ステップ
    を更に含み、前記輪郭検出ステップは、ある色に対応した円を検出する際に、当該色に対応したチャネルの画像から輪郭の検出を試み、輪郭の検出ができなかった場合に、異なるチャネルの画像から輪郭の検出を試みるステップを含む、方法。
  18. 請求項17に記載の方法であって、前記色特定ステップは、
    検出された前記円のうち、前記所定の位置にある円に対応した色を白と特定するステップと、
    前記特定画像のCrチャネルの画像から検出された円のうち、当該画像における当該円内の少なくとも1つのピクセルの値に基づく値が、所定の値より大きく、且つ、前記特定画像のCbチャネルの画像における対応するピクセルの値に基づく値に所定の割合を乗じた値よりも大きい円に対応した色を赤と特定するステップと、
    前記特定画像のCbチャネルの画像から検出された円のうち、当該画像における当該円内の少なくとも1つのピクセルの値に基づく値が、所定の値より大きく、且つ、前記特定画像のCrチャネルの画像における対応するピクセルの値に基づく値に所定の割合を乗じた値よりも大きい円に対応した色を青と特定するステップと
    のうちの1以上を含む、方法。
  19. 請求項10〜18のうちの何れか一項に記載の方法をコンピュータに実行させるプログラム。
JP2016223991A 2016-11-17 2016-11-17 球状物体間距離測定をするためのシステム、方法及びプログラム Active JP6214746B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016223991A JP6214746B1 (ja) 2016-11-17 2016-11-17 球状物体間距離測定をするためのシステム、方法及びプログラム
EP17837934.3A EP3349177B1 (en) 2016-11-17 2017-05-26 System, method, and program for measuring distance between spherical objects
PCT/JP2017/019691 WO2018092332A1 (ja) 2016-11-17 2017-05-26 球状物体間距離測定をするためのシステム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016223991A JP6214746B1 (ja) 2016-11-17 2016-11-17 球状物体間距離測定をするためのシステム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6214746B1 true JP6214746B1 (ja) 2017-10-18
JP2018081537A JP2018081537A (ja) 2018-05-24

Family

ID=60107341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016223991A Active JP6214746B1 (ja) 2016-11-17 2016-11-17 球状物体間距離測定をするためのシステム、方法及びプログラム

Country Status (3)

Country Link
EP (1) EP3349177B1 (ja)
JP (1) JP6214746B1 (ja)
WO (1) WO2018092332A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191483A (zh) * 2018-09-19 2019-01-11 南昌航空大学 一种直升机桨叶图像中圆形标识的快速分水岭检测方法
TWI677365B (zh) * 2019-01-10 2019-11-21 長庚大學 地板滾球訓練系統及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283502A (ja) * 2007-05-11 2008-11-20 Casio Comput Co Ltd デジタルカメラ、及び撮影制御方法、撮影制御プログラム
JP2009033237A (ja) * 2007-07-24 2009-02-12 Nikon Corp 電子カメラ
JP2016220047A (ja) * 2015-05-20 2016-12-22 インターマン株式会社 定点撮影プログラム
JP2017103657A (ja) * 2015-12-03 2017-06-08 Gmoメディア株式会社 撮像装置、撮像方法、及び撮像装置用コンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228773A (ja) 2007-03-16 2008-10-02 Namco Bandai Games Inc 遊戯装置、プログラム及び情報記憶媒体
JP2013042250A (ja) * 2011-08-12 2013-02-28 Sony Corp 撮像装置および撮像方法
US9696897B2 (en) * 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283502A (ja) * 2007-05-11 2008-11-20 Casio Comput Co Ltd デジタルカメラ、及び撮影制御方法、撮影制御プログラム
JP2009033237A (ja) * 2007-07-24 2009-02-12 Nikon Corp 電子カメラ
JP2016220047A (ja) * 2015-05-20 2016-12-22 インターマン株式会社 定点撮影プログラム
JP2017103657A (ja) * 2015-12-03 2017-06-08 Gmoメディア株式会社 撮像装置、撮像方法、及び撮像装置用コンピュータプログラム

Also Published As

Publication number Publication date
EP3349177B1 (en) 2021-09-15
EP3349177A1 (en) 2018-07-18
JP2018081537A (ja) 2018-05-24
EP3349177A4 (en) 2018-11-21
WO2018092332A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
US9105122B2 (en) Image processing apparatus and image processing method
JP5710589B2 (ja) 改良されたハンドヘルド画面検知ポインタ
US8031941B2 (en) Image display apparatus, image display method, and image display program
US20120133797A1 (en) Imaging apparatus, imaging method and computer program
US9336619B2 (en) Method and apparatus for generating photograph image
CN108965839B (zh) 一种自动调整投影画面的方法及装置
US20200389573A1 (en) Image processing system, image processing method and storage medium
EP2435957A1 (en) Color calibration for object tracking
CN107864342B (zh) 图像亮度调节方法及装置
US10721449B2 (en) Image processing method and device for auto white balance
WO2019128534A1 (zh) 摄像头模组倾斜度测试方法、装置、存储介质及电子设备
US20090128652A1 (en) Image processing apparatus
CN107103865B (zh) 检测显示屏中显示区域的方法和装置
JP6214746B1 (ja) 球状物体間距離測定をするためのシステム、方法及びプログラム
CN107018407B (zh) 信息处理装置、评价用图、评价系统、以及性能评价方法
JPH0638221A (ja) テレビジョンカメラの自動調整方法
US20200167933A1 (en) Image processing apparatus, image processing method, and a non-transitory computer readable storage medium
US9684828B2 (en) Electronic device and eye region detection method in electronic device
US10924721B2 (en) Volumetric video color assignment
US20150117771A1 (en) Image processing apparatus, image processing method, and storage medium
CN107087219B (zh) 人体姿势识别装置
CN110769225A (zh) 基于幕布的投影区域获取方法及投影装置
JP2016168184A (ja) ボール個別位置判別装置
WO2021217445A1 (zh) 图像处理方法、装置、系统和存储介质
JP5884798B2 (ja) ボール個別位置判別装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R150 Certificate of patent or registration of utility model

Ref document number: 6214746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250