JP6110883B2 - 写真判定画像の三次元表示用装置 - Google Patents

Description

本発明は、スポーツ競技時の時間データの表示に関し、より詳細には、判定線における写真判定用の表示に関する。

時間が計測されるスポーツレース又は競技、特に、運動競技レースでは、計時装置は、一般に、音による合図に同期した手法で開始し、各競技者がゴールした時に各競技者それぞれに対して停止される。しかし、計時システムの分解能は、例えば、典型的には、１００分の１秒であり、これは、測定時間が同一の２人の競技者を識別するのには不十分である。これを達成するため、計時を補助するために補助装置が必要となる。この目的のために、判定線（finish line）に非常に正確に位置を合わされて撮影される高解像度カメラによって順に撮影された画像を視覚認識することに基づく手動システムがある。競技者がレースを終えた後、オペレーターは、非同期な手法で、所定の時間に撮影され、必然的に測定時間に対応する画像のシーケンスを分析する。この分析によって、各競技者に対してより正確な線通過時間を決定することが可能になる。例えば、１０００分の１秒までである。そして、信頼できる手法で競技者の順位を決定することが可能になる。この種の補助的計時表示は、通常、「写真判定（photo finishing）」装置と呼ばれる。

この種の補助的表示システムは、比較的古くから知られており、例えば、犬レースに関連する米国特許第３５０２００９号に記載されている。この写真判定装置は、計時装置に位置合わせされた第１のレンズを使用して得られた時間値が、判定線に位置合わせされた第２のレンズを使用して得られた競技者の画像の上に重ね合わされることを可能にする。このようにして、現像済みの写真によって、線を通過する最初の犬、及びそのラップないし終了時間を判断することができる。

競技者どうしで重なり合ってしまう問題によって、オペレーターが行う測定時間近くの画像のシーケンスの適切な分析が阻害されることがある。この問題を克服するために、写真判定システムが複数のカメラを使用することが多い。しかし、正確に判定線に位置合わせする必要性があるために、使用されているカメラのいずれも、この重なり合いの問題を解決するために横方向にずれることができない。このため、使用される２台のカメラが判定線の両側にそれぞれ置かれる。

また、三次元像の表示用の立体視の光学系が知られている。これは、画像を見る人に対して、ユーザーフレンドリーで直観的な表現を提供する。これらの立体視のシステムは、脳と同じ方法で立体的にされた画像の構築手法に基づいている。すなわち、別個の視線軸に沿って撮影された２つの二次元画像を分析することによって行われる。このようにして、これらの立体視のシステムは、典型的には、２系統のレンズカメラを使用し、そのレンズ間の空間は、例えば、平均眼間空間（すなわち、約７５〜８０ミリメートル）に対応する。しかし、これらの光学系は、写真判定システムには不運にも適さない。なぜなら、写真撮影軸間で必要な水平方向のずれによって、同時に判定線に位置合わせされることができず、したがって、このような計時システムの欠点を信頼ができて正確な手法で克服することはできないからである。

したがって、これらの既知の制約がない補助的計時システムの必要性がある。

本発明は、三次元の写真判定画像の表示のための装置及び方法を提供することを目的とする。

本発明は、実装することが簡単で廉価なこの種の装置及び方法を提供することを別の目的とする。

上記目的は、具体的には、判定線に位置合わせされた第１のカメラを有する写真判定システム用撮像装置であって、三次元の立体視画像を表示するために、前記第１のカメラとは第１の高さの分ずれるように前記判定線に位置合わせされた第２のカメラを有することを特徴とする撮像装置によって達成される。

上記目的は、具体的には、三次元の写真判定画像を形成する方法であって、撮影継続時間を定めるステップと、判定線に位置合わせされ基準時間にて前記判定線で高さの分互いにずらしている第１のカメラと第２のカメラとを時間同期させるステップと、前記第１のカメラによって前記基準時間に対する第１の画像を形成するステップと、前記第２のカメラによって前記基準時間に対する第２の画像を形成するステップと、立体視画像を形成するために前記第１及び第２の画像を集めるステップとを有することを特徴とする方法によっても達成される。

本発明の特定の実施形態は、従属請求項において定められている。

本発明の利点の１つは、複雑な画像処理ツールを必要とせずに単純な手法で、競技場にいる観客や自身のテレビスクリーンの前にいる観客に対して容易に表示することができる立体的な写真判定画像を作ることができる点にある。

この手法の別の利点は、立体表示システム及び方法の実装のためにモジュール的なアーキテクチャーを提供することであり、これによって、通常の既存の写真判定システム用のインフラストラクチャーをほとんど改変することがなくなる。

以下の説明及び添付図面において、本発明の好ましい実施例が提示されている。

図１Ａ、１Ｂは、本発明の好ましい実施形態において使用される複数のカメラの判定線の軸から見た正面図、及び平面図である。 図２は、本発明の好ましい実施形態に係る使用されるカメラ及び立体視画像作成用の画像管理システムの図を示す。 図３は、本発明の好ましい実施形態に係る画像を形成し表示する様々な処理ステップの図を示す。

図１Ａは、本発明の好ましい実施形態において使用される複数のカメラの判定線の軸から見た正面図を示す。この図は、運動競技トラックの通常のレーンであるいくつものレーンＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８と、及び運動競技トラックの両側の特定の高さに配置された４つのカメラＣ１、Ｃ２、Ｃ３、Ｃ４とを示す。この好ましい実施形態によれば、立体視画像はそれぞれ、互いに垂直方向においてずれている両方のカメラによって同じ基準時点で撮影された２つの画像から形成される。したがって、両方が判定線上で位置合わせされる第１のカメラＣ１及び第２のカメラＣ２どうしは、第１の高さｈ分互いにずらしている。同様に、両方が判定線上で位置合わせされる第３のカメラＣ３及び第４のカメラＣ４どうしは、第２の高さｈ’の分互いにずらしている。判定線の両側に置かれる２対のカメラを配置すること、すなわち、対Ｃ１−Ｃ２及び対Ｃ３−Ｃ４を形成することによって、重なり合いを避けるために、判定線にいる様々な競技者の位置に応じて最も好ましいカメラ対を選ぶことができるという利点がある。第１のカメラ対、例えば、対Ｃ１−Ｃ２に対して、主要カメラ対の立場を与えることができる。すなわち、本発明に係る撮像装置によって使用されるデフォルトカメラ対である。これに対し、第１のカメラ対Ｃ１−Ｃ２で撮影された画像において競技者どうしが重なり合っている場合にのみ使用される補助的なカメラ対として、第２のカメラ対Ｃ３−Ｃ４を使用することができる。同一の８つのレーンＬ１〜Ｌ８及び判定線０が描かれている図１Ｂは、判定線０上での４つのカメラＣ１、Ｃ２、Ｃ３、Ｃ４の位置合わせ、及び判定線０の両側での４つのカメラＣ１、Ｃ２、Ｃ３、Ｃ４の対Ｃ１−Ｃ２及び対Ｃ３−Ｃ４へのグループ分けを示す。各対のカメラどうしは、軸がわずかにずれており、これによって、お互いから容易に識別することができる。

各対のカメラどうしがずれている高さは、実用上の理由から、カメラの位置決めを促進するために、眼間空間より相当に大きいように選ばれる。実際上、好ましくは４０〜５０ｃｍの第１の空間ｈ及び第２の空間ｈ’が選択され、これによって、カメラ対の第１のカメラを所定の位置に配置した後に、カメラ対の第２のカメラを取り付ける十分な空間を確保することができ、同時に、平均眼間空間に対する各対のカメラ間の距離の倍数因子をズーム効果によって修正することを可能にする。これは、カメラレンズの焦点距離を変更することによって修正される。しかし、第１の空間ｈ及び第２の空間ｈ’は、必ずしも等しくする必要がなく、競技が行われる場所の制約に応じて調整することができる。これによって、既存のインフラストラクチャーに対するいずれの調整も必要となることを避け、よって、提案される撮像システムの空間的制約を最小限にする。

図２は、本発明の好ましい実施形態による写真判定システム用撮像装置の図を示す。これは、図１Ｂに示された上記２台のカメラＣ１及びＣ２の物理的なアーキテクチャー、及びこれの計時システム６及び立体表示システム３との相互作用を詳細に示している。

第１のカメラＣ１及び第２のカメラＣ２のそれぞれは、レンズ組立体の端において第１及び第２のレンズ（各カメラに対してそれぞれ符号１０、２０を付与）をそれぞれ有する。これによって、第１及び第２のカメラＣ１及びＣ２それぞれに対して符号１１、２１を付与した、第１及び第２の線走査電荷結合素子（ＬＳ−ＣＣＤ）又はＣＭＯＳを介して、高さＨ及び幅ｌの第１及び第２の狭間隔画像（各カメラに対してそれぞれ符号１、２を付与 − 一般に「フレーム」とも呼ばれる）をそれぞれ形成する。この狭間隔画像のサイズは、数千ピクセルになることがある。このようなレンズ組立体は、所定の高さＨの画像を表示するために、判定線上で好ましくは調整される。これは、図３Ａ及び３Ｂに示す行列のピクセル数Ｎを使用して達成される。ＬＳ−ＣＣＤ／ＣＭＯＳセンサーは、好ましくは、単一のピクセル列を備えた行列によって構成することができる。これによって、フレーム１及び２が対応する単位幅ｌは、完全に、画像の高さＨ及びセンサーの列のピクセル数Ｎによって決定される。変形例によれば、いくつかの列を備えるＣＣＤ／ＣＭＯＳ行列センサーが使用され、その所定の１列だけが判定線の画像を形成するために使用される。

第１及び第２の画像サンプラー／コントローラー（第１及び第２のカメラＣ１、Ｃ２に対してそれぞれ符号１５−２５を付与）は、それぞれ規則的な間隔で第１及び第２のＬＳＣＭＯＳセンサー１１−２１それぞれの明るさレベルを検知し、その後、第１及び第２のゲイン制御増幅器（第１及び第２のカメラＣ１−Ｃ２それぞれに対して符号１２、２２を付与）を使用して出力信号を増幅し、これらを第１及び第２のアナログ−デジタル変換器（Ａ／Ｄ − 第１及び第２のカメラＣ１及びＣ２それぞれに対して符号１３−２３を付与）を使用してデジタル変換し、これらを第１及び第２のバッファー（第１及び第２のカメラＣ１及びＣ２それぞれに対して符号１４−２４を付与）にそれぞれ記憶する。このようにして、第１及び第２のカメラＣ１、Ｃ２によって撮影された一連のフレーム１及び２のそれぞれは、好ましくは１０００以上の標本化周波数で、第１及び第２のピクセル列１０１及び１０２の形態で（下記図３Ａを参照）保存される。これによって、最大１０００分の１秒によって分離される基準回数に対応する画像を、異なる第１及び第２のピクセル列１０１、１０２を集めることによって形成することができる。このようにして、標本化周波数は計時精度を定める。バッファーは、数時間分の画像を有するために数百メガバイトのＲＡＭを有することが好ましい。例えば、ＳＤＲＡＭ（同期型ダイナミックＲＡＭ）である。

相対的基準時間、すなわち、絶対時間だけでなくレースのスタートに関連しての基準時間において、第１及び第２のカメラＣ１、Ｃ２の間の同期を確実にするために、各カメラは計時システム６に接続される。基準時間に対応する送信されるピクセル列のそれぞれを、基準時間に対応するフラグとともに保存し、これによって、その後のデータ処理を容易に行うことができる。

第１のカメラＣ１及び第２のカメラＣ２は、それぞれ画像管理システム４に接続され、これは、例えば、コンピューターサーバーであり、第１及び第２のカメラＣ１及びＣ２の第１及び第２のバッファー１４−２４の出力で回復して立体視画像３０を形成するデータを処理するプロセッサー４１及びメモリー装置４２を有する。また、画像管理システム４は、モニター画面５に接続され、ブロードキャスト線のような伝送線路３１を介してテレビジョン受信機（例えばＤＶＢ標準に一致するデジタルヘルツネットワークによる）へと又はＩＰマルチキャストネットワークを介してインターネットに接続される一群のコンピューターへと画像を送信する前に、オペレーターが画像を見ることを可能にする。

したがって、画像管理システム４及び伝送線路３１への接続が含まれている図２に説明される立体表示システム３は、まず、第１及び第２のカメラＣ１及びＣ２から受けたフレームから立体視画像３０を形成し、また、遠隔のレシーバー（この図において図示せず）の表示のためのこの画像を送信することができる。

なお、図２に示したものと同様の物理的なアーキテクチャーを、判定線の反対側に配置される第３及び第４のカメラＣ３及びＣ４にも使用することが好ましいことを理解できるであろう。第３及び第４のカメラＣ３及びＣ４も、コンピューター画像管理システム４及び計時システム６に接続される。これらの接続は、接続される装置の間の距離及び要求されるデータ伝送フローに依存して、Ｗｉ−Ｆｉ型の無線技術に基づくことができる。小型にするために、必要でなければ有線ケーブルを使用しないことが要求されるであろう。

図３は、立体視の写真判定画像３を生成する方法の好ましい変形例を示す。この三次元の写真判定画像を形成する方法は、表示する必要がある画像のサイズ（より明確には、画像の全幅Ｌ）を決定する、撮影継続時間（Ｔ）を定める予備的ステップ（Ａ）を有する。実際に、画像片又はフレームそれぞれが単位幅ｌを有するのであれば、標本化周波数（例、１０００分の１秒ごと）及び１０００分の１の倍数であるように選ばれる撮影継続時間Ｔ（例、１秒）は、対応する画像の全幅Ｌを定めるピクセル数Ｍを決定する。これらの図では、右端のフレームが撮影される時点である、選択された基準時点Ｔｏから、右から左へと時間軸ｔが進み、他のすべてのフレームは、この基準時点の後に続いて撮影される。しかし、このようにレースの方向が逆になっているので、カメラＣ３及びＣ４が使用される場合は、時間軸ｔが左から右に進むことを理解できるであろう。これは、依然としてレースの方向とは反対方向である。

図３に示すように、第１及び第２のカメラＣ１及びＣ２によって撮影された第１及び第２の画像にはそれぞれ符号Ｉ１及びＩ２を付与する。これらの第１及び第２の画像は、高さＨ及び幅Ｌに対応するピクセル行列Ｎ×Ｍの形態でデジタル化される。フレーム１及び２にそれぞれ対応する様々なピクセル列１０１及び１０２を集めることによって、ピクセル行列が得られる。

各カメラＣ１及びＣ２の第１及び第２の画像Ｉ１及びＩ２それぞれが同じ時点Ｔｏに対応するために、第１のカメラＣ１及び第２のカメラＣ２に対して時間同期ステップ（Ｂ０）を実行する必要がある。これら両方のカメラは、立体視画像３０を形成することができる前に判定線０上で位置合わせされる。なぜなら、この好ましい実施形態によれば、立体視画像を形成する画像のそれぞれは、各目が同時に見るものに対応する必要があるからである。計時システム６への各カメラの接続の結果としてこの同期が行われると、ステップＢ１及びＢ２にて、基準時間Ｔｏに対して第１のカメラＣ１から得られた第１の画像Ｉ１と、及び基準時間Ｔｏに対して第２のカメラＣ２から得られた第２の画像Ｌ２とが形成され、これらは、画像管理システム４によって交互又は同時に作成される。

立体視画像３０を形成するために第１及び第２の画像（Ｉ１、Ｉ２）を集める前に、さらに、表示される画像を閲覧することを簡単にするために、画像を調整するステップＣを実行してもよい。実際に、２つの第１及び第２のカメラＣ１、Ｃ２の軸 − そして、判定線の反対側の第３及び第４のカメラＣ３、Ｃ４の軸 − は、判定線の平面において垂直であり、これらは、立体視画像を知覚する目の方向の視線を決定する。すなわち、第１のカメラＣ１が左又は右の一方の目で、第２のカメラＣ２が他方の目であるかのように、立体視画像が形成される。これによって、他の予備画像処理なしでは、第１及び第２の画像Ｉ１及びＩ２によって形成された立体視画像３０を適切に見るために、右又は左に頭を９０度曲げることをテレビ視聴者に強いてしまう。したがって、本発明の好ましい変形例によれば、調整動作がコンピューター画像処理システム４によって行われる際に、例えば、逆スタックするサブステップＣ’及び行列転置のサブステップＣ”を有する付加的な画像調整ステップＣを行う。並び替えをするサブステップＣ’によって、新しいデータスタックにおいてＬＩＦＯモード（ラストインファーストアウト）で画像Ｉ１及びＩ２のフレームに対応するピクセル列をすべて保存することによって、中央軸の対称性を実現することが可能になる。一方、行列転置操作は、行列の線及び列を逆にすることを伴う。Ｃ’と後続するＣ”のステップシーケンスによって、画像のそれぞれを反時計回りに９０度回転することを可能にし、一方、Ｃ”と後続するＣ’のステップシーケンスによって、時計回りの９０度の回転を可能にする。以下のように１つのシーケンス又は他を選択することによって、１台のカメラを１つの目に仮想的に割り当て、視線軸を決定する。ステップＣ’と後続するステップＣ”によって、第１のカメラＣ１を右の目に関連づけ、競技者の正面視によって立体視画像３０を作るように画像Ｉ１及びＩ２を調整する。そして、逆のシーケンス、すなわち、ステップＣ”と後続するＣ’によって、競技者の背面視によって第１のカメラＣ’を左の目に関連づける。これが、調整ステップＣの後に得られた画像が、選択されたシーケンスに依存して、図２において符号Ｉ１／Ｉ２及びＩ２／Ｉ１となる理由である。

この調整ステップが行われると、集めるステップＤにおいて２つの調整された画像を集めることによって、コンピューター画像管理システム４によって立体視画像３０を形成することができる。その後、後のステップＥにおいて、立体表示システム３は、放送網のような伝送ネットワーク３１に立体視画像３０を送ることができ、これによって、オペレーターがモニター画面上で検証した後に遠隔のレシーバー（例えば、テレビジョン受像機）での遠隔表示することができる。基準時間Ｔｏを決定するために、この写真判定システムのオペレーターがモニター画面５上で予備的な表示を反復して行うことができることは明白であろう。また、この予備的ステップは、第１のカメラＣ１で重なり合いがあること、そして、判定線の反対側の第３及び第４のカメラＣ３、Ｃ４の対に切り替える必要があることを確定することができる。

図示した好ましい実施形態によれば、このように、コンピューター画像管理システム４を介して立体視画像を形成する前に、画像を調整するためにデジタル加工手段が使用される。代替的な実施形態によれば、４５度の戻し機能を有する潜望鏡型の光学的手段を使用することを想起することができる。これによって、データ処理ステップの必要性がなくなる。判定線で使用されるカメラの既存の構成に何らかの改造を行うことを回避するために、モジュール的な手法でレンズに取り付けられる潜望鏡ガラスを使用することができる。

立体視画像を形成するための方策を運動競技に関して説明したが、本発明の範囲から逸脱せずに、上記装置及び方法を、自転車競技、スピードスケート、漕艇のような他の種類のスポーツのために使用することもできることを理解できるであろう。

また、上記装置及び方法は、他の角度からの画像取得のための付加的なカメラを単に追加する必要性があり得るだけで、既存の写真判定システムの物理的なアーキテクチャーの改造をほとんど必要としないという利点を有する。したがって、提案したシステム及び方法全体の知的努力をインフラストラクチャーのバックエンドに費やすことができる。すなわち、観客には見えない部分において、判定線における一又は複数のカメラによって得られた従来の写真判定画像を後加工する追加のモジュール、三次元像を形成するための特定の立体表示手段に費やすことができる。

Claims (6)

1. 判定線（０）に位置合わせされた第１のカメラ（Ｃ１）と、
   三次元の立体視画像を表示するために、前記第１のカメラ（Ｃ１）とは第１の高さ（ｈ）分ずらして前記判定線（０）に位置合わせされた第２のカメラ（Ｃ２）と、
   前記第１のカメラ（Ｃ１）から得られた所定時間間隔の第１の狭間隔の画像の列（Ｉ１）を形成する手段と、
   前記第２のカメラ（Ｃ２）から得られた前記所定時間間隔の第２の狭間隔の画像の列（Ｉ２）を形成する手段と、
   前記第１の狭間隔の画像の列（Ｉ１）と前記第２の狭間隔の画像の列（Ｉ２）をそれぞれ逆順に並べ替え、次いで前記第１の狭間隔の画像の列（Ｉ１）と前記第２の狭間隔の画像の列（Ｉ２）を含む行列の行と列とを逆にして、競技者の正面視による立体視画像を形成する手段と、
   前記第１の狭間隔の画像の列（Ｉ１）と前記第２の狭間隔の画像の列（Ｉ２）を含む行列の行と列とを逆にし、次いで前記第１の狭間隔の画像の列（Ｉ１）と前記第２の狭間隔の画像の列（Ｉ２）のそれぞれを逆順に並べ替えて、競技者の背面視による立体視画像を形成する手段と
   を有することを特徴とする写真判定システム用撮像装置。
2. 前記第１及び第２のカメラ（Ｃ１、Ｃ２）どうしがずれている高さ（ｈ）は、眼間空間より大きいことを特徴とする請求項１に記載の写真判定システム用撮像装置。
3. さらに、第１のカメラ（Ｃ１）とは前記判定線（０）の反対側に配置され前記判定線（０）に位置合わせされる第３のカメラ（Ｃ３）と、前記第３のカメラ（Ｃ３）と前記判定線の同じ側に配置され前記判定線（０）に位置合わせされる第４のカメラ（Ｃ４）とを有し、
   前記第４のカメラ（Ｃ４）は、前記第３のカメラ（Ｃ３）とは第２の高さ（ｈ’）分ずらしていることを特徴とする請求項１又は２に記載の写真判定システム用撮像装置。
4. 前記第１及び第２のカメラ（Ｃ１、Ｃ２）のそれぞれは、第１及び第２の線走査（ＬＳ−ＣＣＤ／ＣＭＯＳ）センサー（１１、２１）を使用することを特徴とする請求項１〜３のいずれか一項に記載の写真判定システム用撮像装置。
5. 三次元の写真判定画像を形成する方法であって、
   （Ａ）撮影継続時間（Ｔ）を定めるステップと、
   （Ｂ０）判定線（０）に位置合わせされた第１のカメラ（Ｃ１）と前記判定線（０）に位置合わせされた第２のカメラ（Ｃ２）とを時間同期させるステップであって、
   前記第１及び第２のカメラ（Ｃ１、Ｃ２）は、基準時間Ｔｏにて前記判定線（０）で高さ（ｈ）分互いにずらしている、ステップと、
   （Ｂ１）前記第１のカメラ（Ｃ１）から得られた前記基準時間Ｔｏに対する第１の画像の列（Ｉ１）を形成するステップと、
   （Ｂ２）前記第２のカメラ（Ｃ２）から得られた前記基準時間Ｔｏに対する第２の画像の列（Ｉ２）を形成するステップと、
   （Ｄ）立体視画像（３０）を形成するために前記第１及び第２の画像の列（Ｉ１、Ｉ２）を集めるステップであって、（Ｄ１）前記第１の画像の列（Ｉ１）と前記第２の画像の列（Ｉ２）をそれぞれ逆順に並べ替え、次いで前記第１の画像の列（Ｉ１）と前記第２の画像の列（Ｉ２）を含む行列の行と列とを逆にして、競技者の正面視による立体視画像を形成するステップと、（Ｄ２）前記第１の画像の列（Ｉ１）と前記第２の画像の列（Ｉ２）を含む行列の行と列とを逆にし、次いで前記第１の画像の列（Ｉ１）と前記第２の画像の列（Ｉ２）のそれぞれを逆順に並べ替えて、競技者の背面視による立体視画像を形成するステップとを含む、集めるステップと
   を有することを特徴とする方法。
6. 当該方法は、さらに、
   （Ｅ）遠隔のレシーバーに遠隔表示するために伝送ネットワーク（３１）に前記立体視画像（３０）を送信するステップを有することを特徴とする請求項５に記載の方法。

Images