JP6982930B2

JP6982930B2 - 情報処理システム及び情報処理方法

Info

Publication number: JP6982930B2
Application number: JP2017015113A
Authority: JP
Inventors: 健太郎戸倉; 直樹永元; 孝夫掛橋; 基博池原; 英昭内山
Original assignee: Kyushu University NUC; Sumitomo Mitsui Construction Co Ltd
Current assignee: Kyushu University NUC; Sumitomo Mitsui Construction Co Ltd
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2021-12-17
Anticipated expiration: 2037-01-31
Also published as: JP2018125637A

Description

本発明は、所定の点滅パターンで点滅する光源を使った情報処理システム及び情報処理方法に関する。

従来、光源を点滅させると共にその点滅のパターンで情報をやり取りする情報処理システムや情報処理方法については種々のタイプのものが提案されている（例えば、特許文献１及び２参照）。

図５は、情報処理システムの従来構成の一例を示す模式図であって、図中の符号１０は、所定の点滅パターンでそれぞれ点滅して所定の情報を発信する光源を示し、符号１０３は、該光源１０２の点滅パターンを撮影するカメラを示し、符号１０５は、該カメラ１０３を搭載して移動する自動車を示している。このようなシステムにおいては、前記光源１０２の点滅パターンを撮影して解析することにより、各光源１０２が発信する情報を取得するように構成されていた。

特許第４４７８８８５号公報特許第５６９８７６４号公報

ところで、上述のように光源１０２の点滅パターンを解析するためには、前記カメラ１０３で撮影した撮影画像における各光源１０２の位置を把握する必要がある。しかしながら、図６（ａ）に示すようにカメラ１０３を移動させて光源１０２を撮影する場合には、同図（ｂ）〜（ｄ）に例示するように、撮影される画像中を該光源１０２が移動することとなる。かかる場合、点灯状態にある光源１０２_ｏｎは画像中の位置を明確に認識できるが、消灯状態にある光源１０２_ｏｆｆは（撮影する条件によっては）画像中の位置を認識できないこともあり、そのような場合には、その光源１０２の点滅パターンを解析できず、ひいては、該光源１０２が発信する情報も取得できないというおそれがあった。

本発明は、上述の問題を解消することのできる情報処理システム及び情報処理方法を提供することを目的とするものである。

本発明の第１の観点は、図１に符号１で例示するものであって、所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源（２）と、
該点滅する複数の光源（２）を所定のフレームレートで撮影するカメラ（３）と、
該カメラ（３）によって撮影された撮影画像（図２（ａ）の符号Ｐｉ参照）から特徴点（同図の符号ＣＰ１，…参照）を抽出する特徴点抽出手段（４）と、
該特徴点（ＣＰ１，…）を抽出した撮影画像（Ｐｉ）の後に撮影される後続撮影画像（図２（ｂ）（ｃ）の符号Ｐｉ＋１，Ｐｉ＋２参照）において前記特徴点（ＣＰ１，…）を追跡する特徴点追跡手段（５）と、
該特徴点追跡手段（５）によって追跡された前記特徴点（ＣＰ１，…）の位置に基づいて消灯している消灯光源（２_ｏｆｆ）の前記後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）上での位置を推定する光源位置推定手段（６）と、
該後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）において点灯している点灯光源（２_ｏｎ）が前記複数の光源（２）のどの光源であるかを特定すると共に、前記光源位置推定手段（６）によって位置が推定された前記消灯光源（２_ｏｆｆ）が前記複数の光源（２）のどの光源であるかを特定する光源特定手段（７）と、
該光源特定手段（７）が取得したデータに基づき各光源（２）の点滅パターンを取得するパターン取得手段（８）と、
該パターン取得手段（８）による取得データに基づき前記各光源（２）が発信する情報を取得する情報取得手段（９）と、
を備えたことを特徴とする情報処理システムに関する。

本発明の第２の観点は、前記特徴点追跡手段（５）が、順次撮影される複数の後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）の間でオプティカルフロー法を用いて前記特徴点（ＣＰ１，…）を追跡していくことを特徴とする。

本発明の第３の観点は、前記特徴点抽出手段（４）が、前記カメラ（３）によって撮影された撮影画像（Ｐｉ）に交差する線（図３の符号ＧＬ参照）を追加すると共に該交差する線（ＧＬ）の交点を前記特徴点（ＣＰ１，…）として抽出することを特徴とする。

本発明の第４の観点は、前記各光源（２）が、その点滅パターンにより自身の位置情報を発信し、
前記情報取得手段（９）は、前記各光源（２）の位置情報を取得することを特徴とする。

本発明の第５の観点は、前記各光源（２）のＩＤと位置情報とを対応づけて記憶するデータベース（１０）、
を備え、
前記各光源（２）は、その点滅パターンにより自身のＩＤ情報を発信し、
前記情報取得手段（９）は、前記パターン取得手段（８）が取得した各光源（２）のＩＤ情報と前記データベース（１０）に記憶されているデータとに基づいて該各光源（２）の位置を算出することを特徴とする。

本発明の第６の観点は、図１及び図４に例示するものであって、所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源（２）を所定のフレームレートで撮影する撮影工程（Ｓ１）と、
該撮影された撮影画像（Ｐｉ）から特徴点（ＣＰ１，…）を抽出する特徴点抽出工程（Ｓ２）と、
該特徴点（ＣＰ１，…）を抽出した撮影画像（Ｐｉ）の後に撮影される後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）において前記特徴点（ＣＰ１，…）を追跡する特徴点追跡工程（Ｓ３）と、
該追跡された前記特徴点（ＣＰ１，…）の位置に基づいて消灯している消灯光源（２_ｏｆｆ）の前記後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）上での位置を推定する光源位置推定工程（Ｓ４）と、
該後続撮影画像（Ｐｉ＋１，Ｐｉ＋２）において点灯している点灯光源（２_ｏｎ）が前記複数の光源（２）のどの光源であるかを特定すると共に、前記位置が推定された前記消灯光源（２_ｏｆｆ）が前記複数の光源（２）のどの光源であるかを特定する光源特定工程（Ｓ５）と、
該光源特定工程（Ｓ５）にて取得したデータに基づき各光源（２）の点滅パターンを取得するパターン取得工程（Ｓ６）と、
該パターン取得工程（Ｓ６）にて取得した取得データに基づき前記各光源（２）が発信する情報を取得する情報取得工程（Ｓ７）と、
を備えたことを特徴とする情報処理方法に関する。

なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。

上記した第１、２及び６の観点によれば、前記カメラを移動させながら撮影する場合においても各光源が発信する情報を適確に取得することができる。

上記した第３の観点によれば、前記撮影画像の全体に亘ってほぼ均一に特徴点を抽出（設定）することができ（つまり、該特徴点が画像の一部に偏在するような事態を防止でき）、前記光源位置推定手段による前記消灯光源の位置の推定を正確に行うことができる。

上記した第４及び５の観点によれば、カメラを移動させながら撮影する場合であっても、各光源の位置情報を適確に取得することができる。

図１は、本発明に係る情報処理システムの構成の一例を示すブロック図である。図２（ａ）〜（ｃ）は、所定のフレームレートで光源や景色等を撮影した一連の撮影画像の一例を示す模式図である。図３は、撮影画像において特徴点を抽出する様子の一例を示す模式図である。図４は、本発明に係る情報処理方法の一例を示すフローチャート図である。図５は、情報処理システムの従来構成の一例を示す模式図である。図６は、従来の問題点を説明するための模式図であり、同図（ａ）は、カメラを移動させて撮影する様子を示す模式図、同図（ｂ）〜（ｄ）は、点滅する光源を所定のフレームレートで撮影した一連の撮影画像の一例を示す模式図である。

以下、図１乃至図４に沿って、本発明の実施の形態について説明する。

本発明に係る情報処理システムは、図１に符号１で例示するものであって、
・所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源２と、
・該点滅する複数の光源２を所定のフレームレートで撮影するカメラ３と、
を備えている。ここで、本発明に用いる光源２は、可視光を発するもの（例えば、ＬＥＤ光源や白熱球など）に限るものではなく、赤外光を発するものも含む概念である。そして、前記カメラ３には、該光源２が発する光を撮影できるものを用いると良い。また、該カメラ３の撮影タイミングは、該光源２の点滅に同期するように設定しておくと良い。つまり、各光源２は一定の周波数（点滅周波数）で点灯状態又は消灯状態を切り換えるが、前記カメラ３のフレームレートをその点滅周波数に一致させておくと良い。さらに、該光源２がその点滅パターンによって発信する所定の情報としては、
・各光源自身の位置情報や、
・各光源自身のＩＤ情報
などを挙げることができる。

一方、本発明に係る情報処理システム１は、前記カメラ３によって撮影された撮影画像（図2（ａ）の符号Ｐｉ参照。以下、“抽出用撮影画像”とする）から特徴点（実空間では３次元点）ＣＰ１，…を抽出する特徴点抽出手段４を備えている。この特徴点ＣＰ１，…は複数抽出することが好ましく、該抽出用撮影画像Ｐｉに映っている背景（つまり、前記光源２以外のものであって、しかも、移動しないもの）に抽出するようにすると良い。

また、本発明に係る情報処理システム１は、前記特徴点ＣＰ１，…を抽出した抽出用撮影画像Ｐｉの後に撮影される後続撮影画像（図２（ｂ）（ｃ）の符号Ｐｉ＋１，Ｐｉ＋２参照）において前記特徴点ＣＰ１，…を追跡する特徴点追跡手段５を備えている。この場合の特徴点ＣＰ１，…の追跡は、順次撮影される複数の後続撮影画像Ｐｉ＋１，Ｐｉ＋２の間でオプティカルフロー法を用いて行うようにすると良い。

さらに、本発明に係る情報処理システム１は、前記特徴点追跡手段５によって追跡された前記特徴点ＣＰ１，…の位置に基づいて消灯している光源（つまり、消灯状態にある光源を言い、本明細書においては“消灯光源“とする）２_ｏｆｆの前記後続撮影画像Ｐｉ＋１，Ｐｉ＋２上での位置を推定する光源位置推定手段６を備えている。この光源位置推定手段６は、前記特徴点ＣＰ１，…の追跡結果から平面射影行列を算出することで、図２（ａ）に示す撮影画像Ｐｉの画素が図２（ｂ）や（ｃ）に示す後続撮影画像Ｐｉ＋１，Ｐｉ＋２のどの画素に対応するかを算出し、それによって、前記消灯光源２_ｏｆｆの位置を推定するように構成されている。

またさらに、本発明に係る情報処理システム１は光源特定手段７を備えており、該光源特定手段７は、
・前記後続撮影画像Ｐｉ＋１，Ｐｉ＋２において点灯している光源（つまり、点灯状態にある光源を言い、本明細書においては“点灯光源”とする）２_ｏｎが前記複数の光源２のどの光源であるかを特定すると共に、
・前記光源位置推定手段６によって位置が推定された前記消灯光源２_ｏｆｆが前記複数の光源２のどの光源であるかを特定する、
ように構成されている。

また、本発明に係る情報処理システム１は、前記光源特定手段７が取得したデータに基づき各光源２の点滅パターンを取得するパターン取得手段８を備えている。

さらに、本発明に係る情報処理システム１は、前記パターン取得手段８による取得データに基づき前記各光源２が発信する情報を取得する情報取得手段９を備えている。なお、前記各光源２がその点滅パターンにより発信する情報が自身の位置情報である場合には、該情報取得手段９は、該点滅パターンから該各光源２の位置情報を取得することとなる。また、前記各光源２がその点滅パターンにより発信する情報が自身のＩＤ情報である場合には、該各光源２のＩＤと位置情報とを対応づけて記憶するデータベース１０を設けておき、前記情報取得手段９は、前記パターン取得手段８が取得した各光源２のＩＤ情報と前記データベース１０に記憶されているデータとに基づいて該各光源２の位置を算出するようにすると良い。さらに、該算出した各光源２の位置に基づいてカメラ３の位置や姿勢を算出するようにしても良い。

本発明によれば、各光源２の画像上での位置は該画像に写っている光源自身のみによって求められるのではなく前記特徴点ＣＰ１，…を使って推定されるので、前記カメラ３を固定している場合だけでなく該カメラ３を移動させながら撮影する場合においても各光源２が発信する情報を適確に取得することができる。

ところで、上述した特徴点抽出手段４は、図３に例示するように、前記カメラ３によって撮影された抽出用撮影画像Ｐｉに交差する線（いわゆるグリッド線）ＧＬを追加すると共に該交差する線ＧＬの交点を前記特徴点ＣＰ１，…として抽出するようにすると良い。そのようにした場合には、前記抽出用撮影画像Ｐｉの全体に亘ってほぼ均一に特徴点ＣＰ１，…を抽出（設定）することができ（つまり、該特徴点が画像の一部に偏在するような事態を防止でき）、前記光源位置推定手段６による前記消灯光源２_ｏｆｆの位置の推定を正確に行うことができる。

一方、本発明に係る情報処理方法は、図４等に例示するものであって、
・所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源２を所定のフレームレートで撮影する撮影工程Ｓ１と、
・該撮影された抽出用撮影画像Ｐｉから特徴点ＣＰ１，…を抽出する特徴点抽出工程Ｓ２と、
・該特徴点ＣＰ１，…を抽出した抽出用撮影画像Ｐｉの後に撮影される後続撮影画像Ｐｉ＋１，Ｐｉ＋２において前記特徴点ＣＰ１，…を追跡する特徴点追跡工程Ｓ３と、
・該追跡された前記特徴点ＣＰ１，…の位置に基づいて消灯している消灯光源２_ｏｆｆの前記後続撮影画像Ｐｉ＋１，Ｐｉ＋２上での位置を推定する光源位置推定工程Ｓ４と、
・該後続撮影画像Ｐｉ＋１，Ｐｉ＋２において点灯している点灯光源２_ｏｎが前記複数の光源２のどの光源であるかを特定すると共に、前記位置が推定された前記消灯光源２_ｏｆｆが前記複数の光源２のどの光源であるかを特定する光源特定工程Ｓ５と、
・該光源特定工程Ｓ５にて取得したデータに基づき各光源２の点滅パターンを取得するパターン取得工程Ｓ６と、
・該パターン取得工程Ｓ６にて取得した取得データに基づき前記各光源２が発信する情報を取得する情報取得工程Ｓ７と、
を備えたことを特徴とする。

１情報処理システム
２光源
２_ｏｆｆ消灯光源
２_ｏｎ点灯光源
３カメラ
４特徴点抽出手段
５特徴点追跡手段
６光源位置推定手段
７光源特定手段
８パターン取得手段
９情報取得手段
１０データベース
ＣＰ１，… 特徴点
ＧＬ交差する線
Ｐｉ撮影画像
Ｐｉ＋１，Ｐｉ＋２後続撮影画像

Claims

所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源と、
該点滅する複数の光源を所定のフレームレートで撮影するカメラと、
該カメラによって撮影された撮影画像から特徴点を抽出する特徴点抽出手段と、
該特徴点を抽出した撮影画像の後に撮影される後続撮影画像において前記特徴点を追跡する特徴点追跡手段と、
該特徴点追跡手段によって追跡された前記特徴点の位置に基づいて消灯している消灯光源の前記後続撮影画像上での位置を推定する光源位置推定手段と、
該後続撮影画像において点灯している点灯光源が前記複数の光源のどの光源であるかを特定すると共に、前記光源位置推定手段によって位置が推定された前記消灯光源が前記複数の光源のどの光源であるかを特定する光源特定手段と、
該光源特定手段が取得したデータに基づき各光源の点滅パターンを取得するパターン取得手段と、
該パターン取得手段による取得データに基づき前記各光源が発信する情報を取得する情報取得手段とを備え、
前記特徴点抽出手段は、前記カメラによって撮影された撮影画像に交差する線を追加すると共に該交差する線の交点を前記特徴点として抽出することを特徴とする、情報処理システム。
前記特徴点追跡手段は、順次撮影される複数の後続撮影画像の間でオプティカルフロー法を用いて前記特徴点を追跡していく、
ことを特徴とする請求項１に記載の情報処理システム。
前記各光源は、その点滅パターンにより自身の位置情報を発信し、
前記情報取得手段は、前記各光源の位置情報を取得する、
ことを特徴とする請求項１又は２に記載の情報処理システム。
前記各光源のＩＤと位置情報とを対応づけて記憶するデータベース、
を備え、
前記各光源は、その点滅パターンにより自身のＩＤ情報を発信し、
前記情報取得手段は、前記パターン取得手段が取得した各光源のＩＤ情報と前記データベースに記憶されているデータとに基づいて該各光源の位置を算出する、
ことを特徴とする請求項１又は２記載の情報処理システム。
所定の点滅パターンでそれぞれ点滅して所定の情報を発信する複数の光源を、カメラを用いて所定のフレームレートで撮影する撮影工程と、
前記カメラによって撮影された撮影画像に交差する線を追加すると共に該交差する線の交点を特徴点として抽出する特徴点抽出工程と、
該特徴点を抽出した撮影画像の後に撮影される後続撮影画像において前記特徴点を追跡する特徴点追跡工程と、
該追跡された前記特徴点の位置に基づいて消灯している消灯光源の前記後続撮影画像上での位置を推定する光源位置推定工程と、
該後続撮影画像において点灯している点灯光源が前記複数の光源のどの光源であるかを特定すると共に、前記位置が推定された前記消灯光源が前記複数の光源のどの光源であるかを特定する光源特定工程と、
該光源特定工程にて取得したデータに基づき各光源の点滅パターンを取得するパターン取得工程と、
該パターン取得工程にて取得した取得データに基づき前記各光源が発信する情報を取得
する情報取得工程と、
を備えたことを特徴とする情報処理方法。