JP7043681B2 - 光通信装置を用いた自律移動可能な機器の案内方法 - Google Patents

Description

本発明は、自律移動可能な機器の案内に関し、より具体的には、光通信装置を用いた自律移動可能な機器の案内方法に関する。

現在、自律移動可能な機器（たとえば、ドローン）の案内は、通常、ＧＰＳ、ＩＭＵなどの技術によって行われているが、これらの技術では、測位精度に限界がある。たとえば、ＧＰＳは、通常、数メートルから数十メートルの誤差があり、そして、その信号伝播は使用環境による影響を受け、遅延誤差がしばしば生じる。そのため、従来のナビゲーション技術では、通常、ドローンを目標位置の付近（たとえば、目標位置の付近の数十メートルの範囲）に案内することができるが、最終的には非常に正確な目標位置に案内することは困難である。

近年、多くのメーカーは貨物の配達にドローンを使うことに取り込んでいる。たとえば、アマゾンの特許である米国特許第９５３６２１６号では、ＧＰＳと高度計に基づいてドローンをナビゲーションし、ドローンのカメラを介して遠隔地でナビゲーションを手動で補助し得る、ドローンを用いた貨物配達システムが記載されている。しかし、上記システムは、ドローンに対する正確なナビゲーションを実現することはできない。アマゾンが公開している別の技術案では、まず、ＧＰＳでドローンを目的地の付近まで案内し、その後、ドローンはその視界内でユニークな「マーク」を探し、この「マーク」は、顧客が好適な着陸地点に設置された、所定のパターンを有する電子認識パッドである。「マーク」を見つけると、ドローンは視覚的案内によりマークのところに飛行してパッケージを卸す。しかしながら、上記方式では、買手が貨物を受け取るのに適した庭を持ち、その庭にユニークな「マーク」を配置する必要がある。また、この「マーク」自体は買手を区別するために用いることはできないので、目的地の付近に複数の買手が複数の「マーク」を配置している場合、ドローンはどの「マーク」にパッケージを卸すかを決定することができない。このため、上記技術案は、都市部のマンションに住んでいる人には適用できない。

従来の２次元コードは異なるユーザを認識することができるが、２次元コードの認識距離は非常に制限されている。たとえば、２次元コードの場合、カメラを用いて走査する際に、このカメラは通常、２次元コードの幅の１５倍程度のような比較的近い距離に配置されなければならない。たとえば、幅２０ｃｍの２次元コードの場合、カメラを配置したドローンは、２次元コードを認識するには、２次元コードから３ｍ程度離れたところまで飛行しなければならない。このため、２次元コードの遠隔認識が実現できなかったり、非常に大きな２次元コードをカスタマイズしなければならなかったりするが、コストの上昇を招くことがあり、また、ほかの様々な制約（たとえば、スペースの大きさによる制限）により実現できない場合も多い。また、２次元コードを認識する場合、カメラはその２次元コードにほぼ正対して撮影する必要があり、ズレ角度が大きすぎると認識できなくなる。

米国特許第９５３６２１６号公報

本発明の一態様は、自律移動可能な機器の案内方法に関し、
前記光通信装置は、関連付けられている標識情報と位置情報を有し、前記自律移動可能な機器にはカメラが搭載されており、前記方法は、
前記自律移動可能な機器が飛行する、目的地の周辺の１つ以上の光通信装置を目的地で走査して認識することによって決定される前記目的地の位置情報を受信するステップと、
前記自律移動可能な機器に搭載されたカメラで、前記自律移動可能な機器の周囲の１つ以上の光通信装置を走査して認識することによって、前記自律移動可能な機器の位置情報を決定するステップと、
前記目的地の位置情報と前記自律移動可能な機器の位置情報とに基づいて、前記自律移動可能な機器と前記目的地との相対位置関係を決定し、前記自律移動可能な機器又はその一部を前記目的地に向けて飛行制御するステップと、を含む。

好ましくは、前記光通信装置の標識情報と位置情報はサーバに記憶されている。

好ましくは、前記自律移動可能な機器が前記目的地に向かって飛行する際に、前記自律移動可能な機器は、前記目的地まで正確に飛行することを支援するために、その周囲の光通信装置を走査して認識することによってその現在位置を決定する。

好ましくは、前記自律移動可能な機器に搭載されたカメラで、前記自律移動可能な機器の周囲の１つ以上の光通信装置を走査して認識することによって、前記自律移動可能な機器の位置情報を決定するステップは、
光通信装置によって伝達された情報を認識し、光通信装置の標識情報を取得するステップと、
前記標識情報を介して光通信装置の位置情報をサーバに問い合わせるステップと、
前記自律移動可能な機器と光通信装置との相対位置関係を決定するステップと、
前記相対位置関係と光通信装置の位置情報とに基づいて、前記自律移動可能な機器の位置情報を決定するステップとを含む。

好ましくは、前記自律移動可能な機器と光通信装置との相対位置関係を決定するステップは、
前記自律移動可能な機器によって取得される前記光通信装置の撮像に基づいて、前記自律移動可能な機器と前記光通信装置との相対位置関係を相対測位によって決定するステップを含む。

好ましくは、前記目的地の周囲の１つ以上の光通信装置を前記目的地で走査して認識することによって前記目的地の位置情報を決定する前記ステップは、
前記目的地にあるカメラ付き撮像装置を用いて、光通信装置によって伝達された情報を認識し、光通信装置の標識情報を取得するステップと、
前記標識情報を介して光通信装置の位置情報をサーバに問い合わせるステップと、
前記撮像装置と光通信装置との相対位置関係を決定するステップと、
前記相対位置関係と光通信装置の位置情報とに基づいて、前記目的地の位置情報として前記撮像装置の位置情報を決定するステップと、を含む。

好ましくは、前記撮像装置は、ユーザによって保持されるか、又は他の機器に取り付けられる。

好ましくは、光通信装置によって伝達された情報を認識するステップは
前記光通信装置の連続した複数のフレームの画像をカメラで取得するステップと、
各フレームの画像について、前記光源の位置に対応する前記画像上の部分に縞が存在するか否か、又は、どのタイプの縞が存在するかを判定するステップと、
各フレームの画像が表す情報を決定するステップと、を含む。

好ましくは、前記サーバはさらに、光通信装置のサイズ情報及び／又は向き情報を記憶するように構成されており、前記方法は、
前記標識情報を介して、光通信装置のサイズ情報及び／又は向き情報をサーバに問い合わせるステップをさらに含む。

好ましくは、前記方法は、まず、前記自律移動可能な機器を目的地付近まで飛行制御するステップをさらに含む。

好ましくは、前記光通信装置は、光源を備え、
前記光源は、少なくとも２つのモードで動作可能に構成されており、前記少なくとも２つのモードは、第１のモードと第２のモードとを含み、前記第１のモードでは、第１の頻度を有する光源制御信号により、前記光源から発せられる光の属性が第１の頻度で連続的に変化するように制御し、それにより、ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に縞を現出させ、前記第２のモードでは、前記ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に縞を現出させないか、前記第１のモードでの縞とは異なる縞を現出させる。

好ましくは、前記第２のモードでは、前記第１の頻度とは異なる第２の頻度を有する光源制御信号により、前記光源から発せられる光の属性が第２の頻度で連続的に変化するように制御し、それにより、前記ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に縞を現出させないか、前記第１のモードでの縞とは異なる縞を現出させる。

好ましくは、前記第２のモードでは、前記光源から発せられる光の属性が前記第１の頻度で連続的に変化し、前記ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に前記第１のモードでの縞とは異なる縞を現出させる。

好ましくは、前記自律移動可能な機器は、その一部のみが移動可能な機器を含む。

本発明の別の態様は、カメラと、プロセッサと、前記プロセッサによって実行されると、上記方法を実現するためのコンピュータプログラムが記憶されたメモリとを備える自律移動可能な機器に関する。

本発明の別の態様は、実行されると、上記方法を実現するためのコンピュータプログラムが記憶された記憶媒体に関する。

以下、図面を参照しながら本発明の実施例をさらに説明する。
ＣＭＯＳ撮像デバイスの模式図である。 ＣＭＯＳ撮像デバイスが画像を取得する方向の図である。 本発明に係る一実施例の光源である。 本発明に係る他の実施例の光源である。 ＣＭＯＳ撮像デバイスの撮像のタイミング図である。 ＣＭＯＳ撮像デバイスの別の撮像のタイミング図である。 光源が第１モードで動作している場合の各段階でのＣＭＯＳ撮像デバイスの撮像図を示す。 本発明による一実施例において光源が第１のモードで動作している場合のＣＭＯＳ撮像デバイスの撮像のタイミング図を示す。 本発明に係る一実施例において光源が第２モードで動作している場合のＣＭＯＳ撮像デバイスの撮像のタイミング図を示す。 本発明に係る他の実施例において光源が第１のモードで動作している場合のＣＭＯＳ撮像デバイスの撮像のタイミング図を示す。 本発明に係る他の実施例において、図８と異なる縞を実現するＣＭＯＳ撮像デバイスの撮像のタイミング図を示す。 異なる設定で取得される光源の２種類の縞付き画像を示す。 異なる設定で取得される光源の２種類の縞付き画像を示す。 取得される光源の縞無し画像を示す。 本発明に係る一実施例において３つの独立した光源を用いた光ラベルの撮像図である。 本発明に係る一実施例における測位標識を含む光ラベルの撮像図である。 本発明に係る一実施例における１つの参照光源と２つのデータ光源とを含む光ラベルを示す。 図１７に示す光ラベルに対するＣＭＯＳ撮像デバイスの撮像のタイミング図を示す。 本発明に係る一実施例の光ラベルによるドローン案内システムを示す。 本発明に係る一実施例の光ラベルによるドローン案内方法を示す。 本発明に係る他の実施例の光ラベルによるドローン案内システムを示す。

本発明の目的、技術案、及び利点をより明確にするために、以下、図面を参照しながら、具体的な実施例を通じて本発明をより詳細に説明する。

光通信装置（本明細書では、「光ラベル」とも呼ばれる）は、異なる光を発することによって情報を伝送するものであり、遠い認識距離を実現することができる。本発明の態様は、自律移動可能な機器（たとえば、ドローン）の案内を光ラベルによって実現し、説明の便宜上、以下、ＣＭＯＳ撮像デバイスを使用して認識される光ラベルを例として説明するが、当業者が理解できるように、他のタイプの光ラベルも同様に本発明の案内態様に適用し得る。

ＣＭＯＳ撮像デバイスは、現在広く使用されている撮像デバイスであり、図１に示すように、画像感知ユニット（画像センサとも呼ばれる）アレイ及びいくつかの他の素子を含む。画像センサアレイは、各画像センサが１つの画素に対応するフォトダイオードアレイであってもよい。各列の画像センサは１つの列アンプに対応しており、この列アンプの出力信号は後でＡ／Ｄ変換器（ＡＤＣ）に送信されてＡ／Ｄ変換された後、インターフェース回路を介して出力される。画像センサアレイにおけるいずれかの画像センサについて、露光開始時にゼロクリアし、露光時間が経過した後、信号値を読み出す。ＣＭＯＳ撮像デバイスは、通常、ローリングシャッタ撮像方式を採用している。ＣＭＯＳ撮像デバイスでは、データの読み出しがシリアルであるので、ゼロクリア／露光／読み出しも生産ラインのように行ごとに順次行い、画像センサアレイのすべての行の処理が完了した後に１フレームの画像に合成するしかない。したがって、ＣＭＯＳ画像センサアレイ全体は実際には行ごとに露光され（場合によっては、ＣＭＯＳ画像センサアレイは、１回に複数のラインを一緒に露光する方式を採用することもある）、その結果、行間に小さな遅延が生じる。この小さな遅延により、光源が一定の頻度で点滅するときに、ＣＭＯＳ撮像デバイスで撮影された画像にいくつかの縞が現れる。

本発明の一実施例は、異なる光を発光することにより異なる情報を伝送することができる光通信装置に関する。該光通信装置は、本明細書では「光ラベル」とも呼ばれ、両者は本願全体を通じて交換可能に使用され得る。光通信装置は、光源と、コントローラとを備え、該コントローラは、光源制御信号により、前記光源が２つ以上のモードで動作するように制御することができ、前記２つ以上のモードは、第１のモードと第２のモードとを含み、前記第１のモードでは、光源制御信号は、第１の頻度を有し、前記光源から発せられる光の属性が第１の頻度で連続的に変化して第１の情報を伝送し、前記第２のモードでは、前記光源から発せられる光の属性が第２の頻度で連続的に変化するか、又は変化しないようにして、第１の情報とは異なる第２の情報を伝送する。

本願では、光の属性は、光学撮像デバイス（たとえば、ＣＭＯＳ撮像デバイス又はＣＣＤ撮像デバイス）によって認識され得る任意の属性を意味し、たとえば、光の強度、色、波長など、人眼により視認可能な属性であってもよく、人眼により視認可能な範囲外の電磁波長の強度、色、又は波長の変化など、人眼により視認不能な他の属性であってもよく、上記属性の任意の組み合わせであってもよい。これにより、光の属性変化は、単一の属性の変化であってもよく、２つ以上の属性の組み合わせの変化であってもよい。光の強度を属性とする場合、光源の点灯又は消灯を選択するだけで実現できる。以下、簡素化から、光源を点灯又は消灯することにより光の属性を変更するが、当業者が理解できるように、光の属性を変更する他の方式も可能である。なお、上記第１のモードにおいて第１の頻度で変化する光の属性は、上記第２のモードにおいて第２の頻度で変化する光の属性と同一であっても異なっていてもよい。好ましくは、前記第１のモードと第２のモードとで変化する光の属性は同じである。

光源が第１のモード又は第２のモードで動作している場合、ローリングシャッタ撮像装置（たとえば、ＣＭＯＳ撮像デバイス、又はＣＭＯＳ撮像デバイスを有する装置（たとえば、携帯電話、タブレット、スマートグラスなど））を用いて、光源を撮像することができ、すなわち、ローリングシャッタ方式で撮像することができる。以下、図２に示すように、携帯電話をＣＭＯＳ撮像デバイスとする場合を例に説明する。図２には、この携帯電話の行走査方向が垂直方向として示されているが、当業者が理解できるように、基礎となるハードウェア構成によっては、行走査方向が水平方向であってもよい。

光源は、ＣＭＯＳ撮像デバイスによって感知され得るある特性が異なる頻度で変化できる限り、様々な形態の光源であってもよい。たとえば、この光源は、１つのＬＥＤランプ、複数のＬＥＤランプからなるアレイ、表示画面、又はこれらの一部であってもよく、光の照射領域（たとえば、壁上の光の照射領域）も光源とされてもよい。この光源の形状は、円形、正方形、長方形、帯状、Ｌ字状、十字状、球状等の様々な形状であってもよい。光源には、導光板、柔光板、拡散反射器などの様々な一般的な光学デバイスが含まれ得る。１つの好ましい実施例では、光源は、複数のＬＥＤランプからなる２次元アレイであってもよく、この２次元アレイの１つの次元は、他の次元よりも長く、好ましくは、２つの次元の間の比は、約６～１２：１である。たとえば、このＬＥＤランプアレイは、複数のＬＥＤランプを一列に配置して構成することができる。該ＬＥＤランプアレイは、発光する際に略長方形の光源として示され、コントローラによって光源の動作を制御される。

図３は本発明に係る一実施例の光源を示す。ＣＭＯＳ撮像デバイスを用いて図３に示す光源を撮像する場合、図３に示す光源の長辺をＣＭＯＳ撮像デバイスの行方向（たとえば、図２に示す携帯電話の行走査方向）に対して垂直又は略垂直にすることにより、他の条件が同じである場合にできるだけ多くの縞を撮像することが好ましい。しかしながら、ユーザが携帯電話の行走査方向を把握できない場合があり、携帯電話がいずれの姿勢でも認識可能であり、縦画面及び横画面のいずれでも最大の認識距離を実現できるように、光源は、図４に示すように、複数の長方形の組み合わせ、たとえばＬ状光源であってもよい。

別の実施例では、光源は、平面光源に限定されるのではなく、たとえば、帯状の円筒光源、立方体光源などの立体光源として実現され得る。該光源は、たとえば、広場に配置されたり、屋内の場所（たとえば、レストラン、会議室など）の略中央にぶら下がって配置されたりすることにより、付近の各方向にいるユーザが、すべて携帯電話を通じて該光源を撮影し、該光源によって伝達された情報を取得することができる。

図５はＣＭＯＳ撮像デバイスの撮像のタイミング図を示しており、各行はＣＭＯＳ撮像デバイスの１行のセンサに対応している。ＣＭＯＳ撮像センサアレイの各行を撮像する際には、主に露光時間と読み出し時間の２つの段階が含まれる。各行の露光時間は重なる可能性があるが、読み出し時間は重ならない。

なお、図５には少数の行のみが模式的に示されており、実際のＣＭＯＳ撮像デバイスでは、解像度の違いに応じて、通常、数千行以上のセンサがある。たとえば、１０８０ｐの解像度では、１９２０×１０８０個の画素を有し、１０８０という数字は、１０８０本の走査行があることを意味し、１９２０という数字は、行ごとに１９２０個の画素があることを意味する。１０８０ｐの解像度では、各行の読み出し時間はほぼ８．７マイクロ秒（すなわち、８．７×１０^－６秒）である。

露光時間が長すぎると、隣接する行間で露光時間が大きく重なる場合、撮像するときに顕著に遷移する縞が生じる可能性があり、たとえば、純粋な黒色の画素行と純粋な白色の画素行との間に異なるグレースケールを有する複数の画素行がある。本発明は、できるだけ鮮明な画素行を表示することが期待され、そのため、比較的短い露光時間を選択するために、ＣＭＯＳ撮像デバイス（たとえば、携帯電話）の露光時間を設定又は調整（たとえば、携帯電話にインストールされたＡＰＰを介して設定又は調整）することができる。好ましい実施例では、露光時間は、実質的に各行の読み出し時間以下とすることができる。１０８０ｐの解像度の例では、その１行当たりの読み出し時間は約８．７マイクロ秒であり、この場合、携帯電話の露出時間は約８．７マイクロ秒以下に調整することが考えられる。図６は、この場合のＣＭＯＳ撮像デバイスの撮像のタイミング図を示す。この場合、１行当たりの露光時間は実質的に重ならないか、重なり部分が少ないので、撮像するときに境界が鮮明な縞を取得することができ、そのため、認識しやすくなる。なお、図６は本発明の１つの好ましい実施例にすぎず、より長い露光時間（たとえば、各行の読み出し時間の２倍、３倍又は４倍以下など）又はより短い露光時間も可能である。たとえば、本願の図１２及び図１３に示す縞付き画像の撮像過程には、各行の読み出し時間は約８．７マイクロ秒であり、各行の露光時間は１４マイクロ秒に設定されている。また、縞を現出させるためには、光源の１周期の時間を露光時間の約２倍以上に設定してもよく、好ましくは露光時間の約４倍以上に設定してもよい。

図７は、コントローラを用いて光源を第１のモードで動作させる場合の、各段階でのＣＭＯＳ撮像デバイスの撮像図を示しており、この第１のモードでは、光源から発せられる光の属性をある頻度で変化させ、この例では、光源を点灯・消灯させる。

図７の上部は、各段階での光源の状態の変化図を示し、下部は、各段階における該光源のＣＭＯＳ撮像デバイスでの撮像図を示し、ＣＭＯＳ撮像デバイスは、行方向が垂直方向であり、左から右に走査する。ＣＭＯＳ撮像デバイスが収集した画像は行ごとに走査するため、高周波点滅信号を撮像すると、光源の撮像位置に対応する、取得される１フレームの画像上の部分に図７の下部に示すような縞が形成され、具体的には、期間１では、光源が点灯し、その期間で露光された最左端部分の走査行が明るい縞を現出させ、期間２では、光源が消灯し、その期間で露光された走査行が暗い縞を現出させ、期間３では、光源が点灯し、その期間で露光された走査行が明るい縞を現出させ、期間４では、光源が消灯し、この期間で露光された走査行が暗い縞を現出させる。

現れる縞の幅は、光源制御信号によって光源の点滅の頻度を設定したり、光源の毎回の点灯と消灯の時間を設定したりすることによって調整することができ、通常、点灯又は消灯の時間が長いほど、対応する縞の幅が広くなる。たとえば、図６に示す場合、光源の毎回の点灯時間と消灯時間を、ＣＭＯＳ撮像デバイスの１行当たりの露光時間（該露光時間は、携帯電話にインストールされたＡＰＰや手動で設定可能）とほぼ等しく設定すれば、撮像するときに１画素のみの幅の縞を現出させることができる。光ラベルの遠距離認識を可能にするためには、縞を狭くするほど好ましい。しかし、実際には、１画素のみの幅の縞は、光の干渉、同期化などの要因により、あまり安定していないか、又は容易に認識できない可能性があり、したがって、認識の安定性を向上させるために、２画素の幅の縞を実現することが好ましい。たとえば、図６に示す場合、光源の毎回の点灯又は消灯の時間をＣＭＯＳ撮像デバイスの１行当たりの露光時間の約２倍とほぼ等しく設定することで、約２画素の幅の縞が実現され、具体的には、図８に示すように、図８の上部の信号は光源制御信号であり、そのハイレベルが光源の点灯に対応し、ローレベルが光源の消灯に対応する。図８に示す実施例では、光源制御信号のデューティ比は約５０％に設定され、各行の露光時間は各行の読み出し時間とほぼ等しく設定されているが、当業者が理解できるように、認識可能な縞を現出させ得る限り、他の設定も可能である。説明の便宜上、図８には、光源の点灯と消灯の時間がＣＭＯＳ撮像デバイスのある行の露光時間の開始又は終了時点に略一致するように、光源とＣＭＯＳ撮像デバイスとを同期化させているが、当業者が理解できるように、両者が図８のように同期化していなくても、ＣＭＯＳ撮像デバイスに明らかな縞を現出させることができ、この場合、いくつかの遷移縞が存在するかもしれないが、光源が常に消灯しているときに露光される行（すなわち、最も暗い縞）と、光源が常に点灯しているときに露光される行（すなわち、最も明るい縞）とが必ず存在し、両方の間に１画素の間隔がある。このような画素行の明暗の変化（すなわち縞）は、（たとえば、光源撮像領域内のいくつかの画素の輝度又はグレースケールを比較することによって）容易に検出することができる。さらに、光源が常に消灯しているときに露光される行（すなわち、最も暗い縞）と、光源が常に点灯しているときに露光される行（すなわち、最も明るい縞）が存在しない場合にも、露光時間のうち光源が点灯した時間ｔ１が所定の時間長よりも小さい、又は露光時間全体に占める割合が小さい行（すなわち、暗い縞）、及び、露光時間のうち光源が点灯した時間ｔ２が所定の時間長よりも大きい、又は露光時間全体に占める割合が大きい行（すなわち、明るい縞）があり、且つ、ｔ２―ｔ１＞明暗縞の差分の閾値（たとえば、１０マイクロ秒）、又はｔ２／ｔ１＞明暗縞の割合の閾値（たとえば、２）であれば、これらの画素行間の明暗変化も検出できる。上記明暗縞の差分の閾値及び割合の閾値は、光ラベルの発光強度、感光デバイスの属性、撮影距離などに関連している。当業者が理解できるように、コンピュータによって認識可能な縞を現出させることができる限り、他の閾値も可能である。縞が認識されると、その時点で光源によって伝達された情報、たとえばバイナリデータ０又はデータ１を決定することができる。

本発明に係る一実施例の縞認識方法は以下のとおりである。光ラベルの画像を取得して、光源の撮像領域を投影により分割し、さまざまな構成（たとえば、異なる距離、異なる光源の点滅頻度など）での縞付きピクチャと縞無しピクチャを収集し、収集したすべてのピクチャを特定のサイズ、たとえば６４＊１６画素に統一的に正規化し、各画素特徴を入力特徴として抽出し、機械学習分類器を構築し、縞付きピクチャであるか非縞付きピクチャであるかをバイナリ分類により判別する。縞の認識に関しては、本分野で公知するほかの任意の方法で処理することもでき、これについては詳細に説明しない。

長さ５ｃｍの帯状光源の場合、現在市販されている携帯電話を使用すると、解像度を１０８０ｐに設定し、当該携帯電話から１０ｍ離れた場所（つまり、距離は光源の長さの２００倍）で撮影したときに、該帯状光源は、その長さ方向に約６画素を占め、各縞の幅が２画素であれば、この６画素の幅の範囲内に少なくとも１つの明らかな縞が示され、このような縞は容易に認識することができる。解像度を高く設定したり、光学ズームを用いたりすれば、光源の長さの３００倍や４００倍などのより遠距離においても縞を認識することができる。

コントローラは、光源を第２のモードで動作させることもできる。一実施例では、第２のモードでは、光源制御信号は、第１のモードとは異なる別の頻度を有し、たとえば、光源を点灯・消灯するなど、光源から発せられる光の属性を変化させることができる。一実施例では、コントローラは、第２のモードにおいて、第１のモードと比較して、光源の点灯と消灯の頻度を高めることができる。たとえば、第１のモードの頻度は、８０００回／秒以上であってもよく、第２のモードの頻度は、第１のモードの頻度よりも大きくてもよい。図６に示す場合、ＣＭＯＳ撮像デバイスの１行当たりの露光時間内に光源を少なくとも１回点灯・消灯するように構成してもよい。図９は、各行の露光時間内に光源の点灯と消灯が１回だけ行われた場合を示しており、図９の上部の信号は、光源制御信号であり、そのハイレベルが光源の点灯に対応し、ローレベルが光源の消灯に対応する。光源は、各行の露光時間内に、同様な方式で１回点灯・消灯するため、各露光時間ごとに取得される露光強度エネルギーはほぼ均等であり、したがって、最終的に撮像される光源の各画素行間で輝度に大きな差が生じることはなく、縞が存在しない。当業者が理解できるように、点灯と消灯の頻度を高くすることも可能である。また、説明の便宜上、図９には、光源の点灯時間が、ＣＭＯＳ撮像デバイスのある行の露光期間の開始時点にほぼ対応するように、光源とＣＭＯＳ撮像デバイスとを同期化させているが、当業者が理解できるように、両者が図９のように同期化しなくても、最終的に撮像される光源の画素行間で輝度に大きな差が生じることはなく、縞が存在しない。縞が認識されない場合、その時点で光源によって伝達された情報、たとえばバイナリデータ１又はデータ０を決定することができる。人眼の場合、本発明の光源は、上記した第１のモード又は第２のモードで動作したときに、いかなる明滅現象も知覚されない。また、第１のモードと第２のモードとの切り替え時に人眼に知覚され得る明滅現象を回避するために、第１のモードと第２のモードのデューティ比を略等しく設定することができ、異なるモードで略同一のフラックスを実現することができる。

別の実施例において、第２のモードでは、光源から属性が実質的に変化しない光を発するように、光源に直流電流を供給してもよく、したがって、光源がＣＭＯＳ画像センサによって撮影されたときに得られる該光源の画像の１フレームに縞を現出させることはない。また、この場合、第１のモードと第２のモードとの切り替え時に人眼に知覚される明滅現象を回避するために、異なるモードで略同一のフラックスを実現することもできる。

以上の図８は、光源から発せられる光の強度を変化させることによって（たとえば、光源を点灯又は消灯することによって）縞を現出させる実施例を説明したが、別の実施例では、図１０に示すように、光源から発せられる光の波長又は色を変化させることによって縞を現出させてもよい。図１０に示す実施例では、光源には、赤色光を発することができる赤色ランプと、青色光を発することができる青色ランプとが含まれている。図１０の上部の２つの信号は、それぞれ赤色光制御信号と青色光制御信号であり、ハイレベルが対応する光源の点灯に対応し、ローレベルが対応する光源の消灯に対応する。この赤色光制御信号と青色光制御信号との位相が１８０°ずれており、つまり、両者のレベルが反対する。この赤色光制御信号と青色光制御信号により、光源が赤色光と青色光とを交互に発光するようにすることができ、それによって、ＣＭＯＳ撮像デバイスを用いて光源を撮像したときに赤と青の縞を現出させることができる。

ＣＭＯＳ撮像デバイスにより撮像された１フレームの画像上の、光源に対応する部分に縞が存在するか否かを判定することにより、各フレームの画像によって伝達される情報、たとえばバイナリデータ１又はデータ０を判定することができる。さらに、ＣＭＯＳ撮像デバイスにより光源の連続した複数フレームの画像を撮影することにより、バイナリデータ１及び０からなる情報シーケンスを決定し、光源からＣＭＯＳ撮像デバイス（たとえば、携帯電話）への情報伝達を実現することができる。一実施例では、光源の連続した複数フレームの画像をＣＭＯＳ撮像デバイスで撮影する際に、光源の動作モードの切り替えの時間間隔をＣＭＯＳ撮像デバイスが１フレームで撮像する時間長と等しくするようにコントローラで制御することで、光源と撮像デバイスのフレームを同期化し、すなわち１フレーム当たり１ビットの情報を伝送することを可能にする。３０フレーム／秒の撮影速度では、１秒間あたり３０ビットの情報を伝送することができ、符号化空間は２^３０に達し、この情報は、たとえば、開始フレームマーク（フレームヘッダ）、光ラベルのＩＤ、パスワード、チェックコード、ウェブアドレス情報、アドレス情報、タイムスタンプ、又はそれらの各種の組み合わせなどを含み得る。構造化方法によって、上記の各情報の順序関係を設定してパケット構造を形成することができる。１つの完全なパケット構造を受信するたびに、１組の完全なデータ（１つのパケット）が取得されたものとみなされ、さらにこの完全なデータについてデータの読み取りとチェック分析を行うことができる。本発明の一実施例に係るパケット構造を以下に示す。

以上の説明では、各フレームの画像において光源の撮像位置に縞が存在するか否かを判定することにより、該フレームの画像によって伝達された情報を決定する。他の実施例では、各フレームの画像において光源の撮像位置における異なる縞を認識することにより、該フレームの画像によって伝達された異なる情報を決定することができる。たとえば、第１のモードでは、第１の頻度を有する光源制御信号により、光源から発せられる光の属性が第１の頻度で連続的に変化するように制御し、それにより、ＣＭＯＳ画像センサにより光源を撮影したときに得られる光源の画像に第１の縞を現出させ、第２のモードでは、第２の頻度を有する光源制御信号により光源から発せられる光の属性が第２の頻度で連続的に変化するように制御し、それにより、ＣＭＯＳ画像センサで光源を撮影したときに得られる光源の画像に第１の縞とは異なる第２の縞を現出させる。縞の違いは、たとえば、幅、色、明るさなど、又はそれらの任意の組み合わせに基づくことができるが、その違いが認識可能であればよい。

一実施例では、異なる幅の縞は、異なる光源制御信号の頻度に基づいて実現されてもよく、たとえば、第１のモードでは、光源は、図８に示す方式で動作することで、約２画素の幅の第１の縞を実現し、第２のモードでは、具体的には、図１１に示すように、図８の光源制御信号の各周期内のハイレベル及びローレベルの持続時間をそれぞれ元の２倍に変更することで、約４画素の幅の第２の縞を実現することができる。

別の実施例では、異なる色の縞を実現することができ、たとえば、光源は、赤色光を発することができる赤色ランプと青色の光を発することができる青色ランプとを含むように構成され、第１のモードでは、青色ランプを消灯し、赤色ランプを図８に示すように動作させて、赤黒縞を実現し、第２のモードでは、赤色ランプを消灯し、青色ランプを図８に示すように動作させて、青黒縞を実現することができる。上記実施例では、第１のモードと第２のモードでは、同じ頻度を有する光源制御信号を用いて赤黒縞と青黒縞とを実現したが、第１のモードと第２のモードでは、異なる頻度を有する光源制御信号を用いてもよいことが理解できる。

また、当業者が理解できるように、２つ以上の縞を実現することによって２つ以上の情報を示すこともでき、たとえば、上記光源に赤色ランプ及び青色ランプが含まれる実施例では、第３のモードがさらに設定されてもよく、この第３のモードでは、図１０に示すように赤色ランプ及び青色ランプを制御することで、赤色及び青色の縞、すなわち第３の情報を実現する。もちろん、あるいは、縞を現出させない第４のモードにより、さらに別の情報、すなわち第４の情報を表わすこともできる。上記の４つのモードのうちの複数のモードを任意に選択して情報を伝達してもよく、さらに他のモードと組み合わせてもよく、異なるモードが異なる縞の模様を生成すればよい。

図１２は、毎秒１６,０００回の頻度で点滅するＬＥＤランプ（各周期の持続時間は６２．５マイクロ秒、点灯時間と消灯時間はそれぞれ約３１．２５マイクロ秒）について、１０８０ｐの解像度の撮像装置を用いて、各行の露光時間を１４マイクロ秒に設定した場合、実験を通じて得た画像上の縞を示している。図１２から分かるように、ほぼ２～３画素の幅の縞が示されている。図１３は、図１２のＬＥＤランプの点滅頻度を毎秒８,０００回（各周期の持続時間は１２５マイクロ秒、点灯時間と消灯時間はそれぞれ約６２．５マイクロ秒）に調整した後、他の条件を変えずに実験を通じて得た画像上の縞を示している。図１３から分かるように、ほぼ５～６画素の幅の縞が示されている。図１４は、図１２のＬＥＤランプの点滅頻度を毎秒６４,０００回（各周期の持続時間は１５．６マイクロ秒、点灯時間と消灯時間はそれぞれ約７．８マイクロ秒）に調整した後、他の条件を変えずに実験を通じて得た画像を示しており、各行の露光時間の１４マイクロ秒にはＬＥＤランプの１つの点灯時間と１つの消灯時間が実質的に含まれているので、画像には縞が存在しない。
以上、説明の便宜上、方形波を例に、対応する頻度を有する光源制御信号を説明したが、当業者が理解できるように、光源制御信号は、たとえば正弦波、三角波などの他の波形を使用してもよい。

以上、１つの光源が使用された場合について説明したが、いくつかの実施例では、２つ以上の光源が使用されてもよい。コントローラは、各光源の動作を個別に制御することができる。図１５は、本発明に係る一実施例の３つの独立した光源を使用した光ラベルの１つの撮像図であり、２つの光源の撮像位置に縞が発生し、１つの光源の撮像位置に縞が発生しておらず、この組の光源のこの１フレームの画像は、バイナリデータ１１０などの情報を伝達することに使用され得る。

一実施例では、光ラベルには、情報伝達光源の付近に位置する１つ以上の測位標識も含まれていてもよく、この測位標識は、たとえば、特定の形状又は色のランプであってもよく、このランプは、たとえば、動作中に常に点灯したままであり得る。この測位標識は、ＣＭＯＳ撮像デバイス（たとえば、携帯電話）のユーザが光ラベルを容易に発見することに寄与する。また、ＣＭＯＳ撮像デバイスが光ラベルを撮影するモードに設定されている場合、測位標識の撮像が明らかであり、認識されやすい。したがって、情報伝達光源の付近に配置された１つ以上の測位標識は、携帯電話が情報伝達光源の位置を迅速に決定することにも役立ち、さらに情報伝達光源に対応する撮像領域に縞が存在するか否かを認識することに役立つ。一実施例では、縞が存在するか否かを認識する際に、まず、画像内で測位標識を認識して、画像内で光ラベルの大まかな位置を決定する。測位標識が認識されると、測位標識と情報伝達光源との間の相対位置関係に基づいて、情報伝達光源の撮像位置をカバーする画像内の１つ以上の領域を決定することができる。次に、これらの領域を認識して、縞が存在するか否か、又はどのような縞が存在するかを判定する。図１６は、本発明に係る一実施例の測位標識を含む光ラベルの撮像図であり、ここで、水平に配置された３つの情報伝達光源、及び情報伝達光源の両側に垂直に配置された２つの測位標識ランプが含まれている。

一実施例では、光ラベルには環境光の強度を検出するための環境光検出回路を含むことができる。コントローラは、検出された環境光の強度に基づいて、点灯時に光源から発せられる光の強度を調整することができる。たとえば、環境光が強い場合（たとえば、昼間）には、光源から発せられる光の強度を大きくし、一方、環境光が弱い場合（たとえば、夜間）には、光源から発せられる光の強度を小さくする。

一実施例では、光ラベルには環境光の頻度を検出するための環境光検出回路を含むことができる。コントローラは、検出された環境光の頻度に基づいて、点灯時に光源から発せられる光の頻度を調整することができる。たとえば、同一頻度で明滅する光源が環境光に存在する場合、光源から発せられる光を占有されていない他の頻度に切り替える。

実際の応用環境では、大量のノイズが存在したり、認識距離が非常に遠かったりする場合、認識精度に悪影響を与える可能性がある。したがって、認識の正確性を向上させるために、本発明の一実施例では、光ラベルには、情報を伝達するための上記光源（明確にするため、以下、「データ光源」と称する）に加えて、少なくとも１つの参照光源も含まれ得る。参照光源自体は、情報を伝達するために使用されるのではなく、データ光源によって伝達された情報の認識を支援するために使用される。参照光源は、物理的構造的にはデータ光源と類似していてもよいが、予め定められた動作モードで動作し、この動作モードは、データ光源の様々な動作モードのうちの１つ以上であってもよい。このようにして、データ光源の復号化を、参照光源の画像と一致（たとえば、相関性）する計算に変換することで、復号化の正確性を向上させることができる。

図１７は、本発明に係る一実施例の、１つの参照光源と２つのデータ光源とを含む光ラベルを示しており、ここで、３つの光源が並んで配置され、第１の光源が参照光源として機能し、残りの２つの光源がそれぞれ第１のデータ光源及び第２のデータ光源として機能する。なお、光ラベルの参照光源の数は、１つに限定されるものではなく、１つ以上であってもよく、同様に、データ光源の数も、２つに限定されるものではなく、１つ以上であってもよい。また、参照光源は、認識を支援するために使用されるので、データ光源と形状やサイズが同じである必要はない。たとえば、一実施例では、参照光源の長さはデータ光源の半分であってもよい。

一実施例では、図１７に示す第１のデータ光源及び第２のデータ光源の各々は、たとえば、縞なし画像、２画素の縞幅の画像、４画素の縞幅の画像をそれぞれ表示するための３つのモードで動作するように構成されている。一方、参照光源は、上記３つの画像のうちの１つを表示するために、常に３つのモードのうちの１つで動作するか、異なるフレームにおいて上記３つの画像のうちの任意の２つ又はすべてを交互に表示するために、異なるモードで交互に動作するように構成されてもよく、それによって、データ光源の画像認識のために比較基準又は参照を提供する。たとえば、参照光源が異なるフレームにおいて２画素の縞幅の画像と４画素の縞幅の画像とを交互に表示する例では、各フレームにおけるデータ光源の画像は、その画像のタイプを判定するために、現在のフレーム及び１つの隣接するフレーム（たとえば、前又は後のフレーム）における参照光源の画像（これらの画像には、２画素の縞幅の画像及び４画素の縞幅の画像が必ず含まれている）と比較することができ、あるいは、ある期間内の参照光源の連続する複数のフレームの画像を収集し、奇数のフレーム番号の画像と偶数のフレーム番号の画像をそれぞれ１組とし、各組の画像の特徴を平均化し（たとえば、各組の画像の縞幅の平均値を求める）、縞幅に基づいて、どの組の画像が２画素の縞幅の画像又は４画素の縞幅の画像に対応するかを判明することによって、２画素の縞幅の画像の平均特徴及び４画素の縞幅の画像の平均特徴が得られ、次に、各フレームにおけるデータ光源の画像がこれらの平均特徴の１つに適合するか否かを判定する。

参照光源は、データ光源と実質的に同じ位置にあり、同じ環境照明条件、干渉、ノイズなどを受けるので、画像認識のための１つ以上の基準画像又は参照画像をリアルタイムで提供することで、データ光源によって伝達された情報の認識の正確性及び安定性を向上させることができる。たとえば、データ光源の撮像を参照光源の撮像と比較することによってデータ光源の動作モードを正確に認識し、それによって伝達されたデータを認識することができる。

さらに、ＣＭＯＳ撮像原理によれば、複数の光源が同じ頻度且つ異なる位相で属性を変化させると、同じ幅で異なる位相の縞パターンが生成され、同じ幅で異なる位相の縞パターンはマッチングする方法により正確に判定することができる。一実施例では、参照光源が所定の動作モードで動作するように制御されてもよく、この動作モードでは、該参照光源の画像にはたとえば４画素の幅の縞が現れる。このとき、データ光源が動作モードで動作するように同時に制御し、データ光源と参照光源との位相を一致させている場合、このデータ光源の画像に現れる縞は、参照光源の画像上に現れる縞と類似し（たとえば、幅は４画素）であり、位相差がなく、データ光源がこの動作モードで動作するように同時に制御しているが、データ光源の位相が参照光源の位相と一致しないようにする（たとえば、逆位相又は位相差は１８０°）場合、このデータ光源の画像上に現れる縞は、参照光源の画像上に現れる縞と類似している（たとえば、幅は４画素）が、位相差がある。

図１８は、図１７に示す光ラベルに対するＣＭＯＳ撮像デバイスの撮像のタイミング図を示している。図１８の上部には、参照光源、第１のデータ光源、及び第２のデータ光源のそれぞれの制御信号が示されており、ここで、ハイレベルが光源の点灯に対応し、ローレベルが光源の消灯に対応してもよい。図１８に示すように、３つの制御信号の頻度は同じであり、第１のデータ光源制御信号は参照光源制御信号と位相が一致し、第２のデータ光源制御信号は参照光源制御信号と位相差が１８０°である。このようにして、ＣＭＯＳ撮像デバイスを用いてこの光ラベルを撮像すると、参照光源、第１のデータ光源、及び第２のデータ光源の画像にほぼ４画素の幅の縞が現れるが、第１のデータ光源と参照光源の画像上の縞の位相は一致している（たとえば、参照光源の明るい縞を含む行は第１のデータ光源の明るい縞を含む行と一致し、参照光源の暗い縞を含む行は第１のデータ光源の暗い縞を含む行と一致している）。一方、第２のデータ光源と参照光源の画像上の縞の位相は逆位相である（たとえば、参照光源の明るい縞を含む行は、第２のデータ光源の暗い縞を含む行と一致し、参照光源の暗い縞を含む行は、第２のデータ光源の明るい縞を含む行と一致する）。

参照光源を提供し、データ光源に位相制御を適用することによって、認識能力を改善しつつ、データ光源が１回に伝達可能な情報量をさらに向上させることができる。図１７に示す光ラベルの場合、第１のデータ光源及び第２のデータ光源が第１のモード及び第２のモードで動作するように構成されている場合、第１のモードでは縞を現出させず、第２のモードでは、縞を現出させる。参照光源が提供されていない場合、各データ光源は、１フレームの画像内で０又は１のような２つのデータのうちの１つを伝達することができる。一方、参照光源を提供して、参照光源を第２のモードで動作させ、またデータ光源が第２のモードで動作するときに位相制御を提供することによって、第２のモード自体で複数種類のデータを伝達することができるようにする。図１８に示す方式を例にすれば、位相制御と組み合わせた第２のモードは、それ自体で２種類のデータのうちの１つを伝達することに使用することができ、それによって、各データ光源は、１フレームの画像内で３種類のデータのうちの１つを伝達することができる。

上記方式では、参照光源を導入することにより、データ光源への位相制御が可能となり、したがって、光ラベルのデータ光源の符号化密度を向上させ、それに応じて光ラベル全体の符号化密度を向上させることができる。たとえば、上記実施例では、参照光源が使用されていない場合（すなわち、参照光源が第３のデータ光源として使用される場合）、各データ光源は、１フレームの画像内で２種類のデータのうちの１つを伝達することができ、したがって、光ラベル全体（３つのデータ光源を含む）は、１フレームの画像内で２^３種類のデータの組み合わせのうちの１つを伝達することができる。一方、参照光源が使用されている場合、各データ光源は１フレームの画像内で３種類のデータのうちの１つを伝達することができ、したがって、光ラベル全体（２つのデータ光源を含む）は１フレームの画像内で３^２種類のデータの組み合わせの１つを伝達

することができる。この効果は、光ラベル内のデータ光源の数を増加させると、より顕著になり、たとえば、以上の実施例では、５つの光源を含む光ラベルを使用し、参照光源を使用しない場合、光ラベル全体（５つのデータ光源を含む）は１フレームの画像内で２^５種類のデータの組み合わせの１つを伝達することができる。一方、光源の１つを参照光源として選択した場合、光ラベル全体（４つのデータ光源を含む）は１フレームの画像内で３^４種類のデータの組み合わせの１つを伝達することができる。同様に、光ラベル内の参照光源の数を増加させることによっても、光ラベル全体の符号化密度をさらに向上させることができる。以下、データ光源の画像と参照光源の画像をマッチングして計算（たとえば、相関計算）するためのいくつかの試験データを提供する。ここで、計算結果は次のように定義される。
０．００～±０．３０ 微相関
±０．３０～±０．５０ 実相関
±０．５０～±０．８０ 有意な相関
±０．８０～±１．００ 高度相関

ここで、正の値は正の相関を表し、負の値は負の相関を表す。データ光源と参照光源の頻度と位相の両方が一致していれば、理想的には、２つの光源の画像は完全に一致しているので、相関計算の結果は＋１となり、完全に正の相関を示す。データ光源と参照光源は、頻度が一致しているが、位相が逆である場合、理想的には、２つの光源の画像の縞幅は同じであるが、明るい縞と暗い縞の位置は反対であるため、相関計算の結果は－１となり、完全な負の相関を示す。なお、実際の撮像過程では、干渉や誤差などの存在によって、完全に正の相関と完全に負の相関の画像を取得することは困難である。データ光源と参照光源とが異なる動作モードで動作して、異なる幅の縞を表示する場合、又はその一方が縞を表示しない場合、両者の画像は通常微相関である。

以下の表１、表２には、データ光源と参照光源に同一頻度、同一位相が使用されている場合の相関計算結果と、データ光源と参照光源に同一頻度、逆位相が使用されている場合の相関計算結果がそれぞれ示されている。ここで、それぞれの場合について５枚の画像が撮影され、各フレームの画像中の参照光源画像と該フレームの画像中のデータ光源画像との相関計算が行われる。

上表から分かるように、データ光源と参照光源に同一頻度、同一位相が使用されている場合、相関計算の結果は両者が有意な正の相関であることを示す。データ光源と参照光源に同一頻度、逆位相が使用されている場合、相関計算結果は両者が有意な負の相関であることを示す。

従来技術である２次元コードの約１５倍の認識距離に比べて、本発明の光ラベルの少なくとも２００倍の認識距離には明らかな優位性がある。この遠距離認識能力は特に屋外認識に適しており、２００倍の認識距離を例にすれば、道路に設置された長さ５０ｃｍの光源では、該光源から１００ｍの範囲内にいる人が携帯電話を介してこの光源とインタラクションすることができる。また、本発明の態様では、撮像装置が光ラベルから一定の距離にあること、撮像装置と光ラベルとの間の時間が同期化すること、さらに各縞の境界及び幅を正確に検出することを必要としないので、実際の情報伝送において非常に高い安定性及び信頼性を有する。また、本発明の態様は、特に帯状、球状の光源を有する光ラベルの場合、光ラベルを認識するために撮像装置が光ラベルに実質的に正対しなければならないことを必要としない。たとえば、広場に設置された帯状又は柱状の光ラベルについては、その周囲３６０°の範囲内の撮像装置であれば、この光ラベルを認識することができる。この帯状又は柱状の光ラベルを壁に配置する場合、その周囲のほぼ１８０°の範囲内の撮像装置であれば、この光ラベルを認識することができる。広場に設置された球形の光ラベルの場合、その周囲の３次元空間内のどの位置の撮像装置でも認識できる。

光ラベルは、視野範囲内の正確な案内、たとえば、自律移動可能な機器への案内を実現することができる。特に、以上、ＣＭＯＳ撮像デバイスを使用して認識される光ラベルを説明したが、それは、光ラベルの一例に過ぎず、光ラベルを使用して案内する本発明の態様は、上記光ラベルに限定されるものではなく、光ラベルには、少なくとも２００倍の認識距離を達成することも求められず、付近の自律移動可能な機器（たとえば、ドローン）に搭載された様々な光学カメラ（たとえば、ＣＭＯＳ又はＣＣＤカメラ）によって認識されることができればよい。

本発明の一実施例は、自律移動可能な機器（たとえば、ドローン）を光ラベルによって案内するシステムに関し、図１９に示すように、該システムは、サーバ３４と、ドローン３２と、上記のいずれかの実施例で説明された光ラベル３１とを含む。サーバ３４には、光ラベル３１の標識情報及び正確な位置情報（たとえば、光ラベル３１の正確な緯度経度、高さ情報など）が記憶され得る。サーバ３４には、光ラベル３１の他の関連情報、たとえば、サイズ情報、向き情報なども記憶されていてもよい。ドローン３２には、光ラベル３１によって伝達された情報を収集して認識することができるカメラが搭載されている。たとえば、ドローン３２は、光ラベル３１によって伝達された標識情報を認識し、この標識情報を介してサーバ３４から光ラベル３１の位置情報及び必要に応じて他の関連情報を問い合わせることができる。このシステムによれば、ドローン３２をユーザ３３の位置に正確に案内することができる。

以下、ネットショッピングへのドローン配達の応用を例に説明する。ユーザは、屋外で活動する（たとえば、広場や公園で遊んだり、ショッピングしたりする）ときにネットショッピングして、ユーザの現在位置、ユーザが飛行しようとしている位置（たとえば、ドローンが到着したときにユーザがいる位置）、又は貨物を受け取る他のユーザ（たとえば、ユーザの友人）の位置などのような位置に貨物を配達してほしい場合がある。このため、ユーザは、ネットショッピングを行う際に、ネットショッピングプラットフォーム上でドローンによる貨物の配達先を示す位置情報を入力することができる。この位置情報は、ある光ラベルの付近にあることが好ましいが、特に正確である必要はなく、たとえば、ユーザの手入力、地図からの選択、ユーザの携帯電話の測位モジュール（たとえば、ＧＰＳ）など、従来技術における様々な実行可能な方法で提供することができる。一実施例では、ユーザは、その周囲の光ラベルを介して、より正確な位置情報をネットショッピングプラットフォームに提供することができ、たとえば、ユーザは、その撮像装置（たとえば、携帯電話）を用いて、その周囲の１つ以上の光ラベルを走査して認識し、光ラベルの標識情報を取得し、標識情報を介して問い合わせて光ラベルの正確な位置情報を取得し、この正確な位置情報を貨物の配達先として提供することができる。あるいは、ユーザは、さらに光ラベルとの相対位置関係を決定し、光ラベルの正確な位置情報に基づいて、ユーザの現在の正確な位置情報を決定し、その位置情報を貨物の配達先としてもよい。撮像装置と光ラベルとの相対位置関係は、本分野で公知の様々な相対測位（リバースポジショニングとも呼ばれる）方法を用いて、光ラベルの撮像に基づいて決定することができる。一実施例では、撮像装置と光ラベルとの相対距離は（たとえば、光ラベルの撮像サイズ、又は携帯電話上の測距機能を有する任意のアプリケーションによって）決定され、撮像装置と光ラベルとの相対位置関係は、２つ以上の光ラベルを用いて三角測位によって決定される。一実施例では、撮像装置上に撮像された光ラベルのサイズ及び透視変形を解析することによって、撮像装置と光ラベルとの相対位置関係を決定することができる。一実施例では、撮像装置と光ラベルとの相対位置関係を決定する際に、光ラベルのサイズ情報及び／又は向き情報などがさらに使用されている。このサイズ情報及び／又は向き情報は、光ラベルの標識情報と関連付けてサーバに記憶され得る。光ラベルは、統一された物理的寸法を有することも可能である。一実施例では、携帯電話の現在の向き情報は、携帯電話に内蔵されたセンサによって取得することができ、この向き情報に基づいて、ユーザと光ラベルとの相対方向を取得することができる（好ましくは、画像内の光ラベルの位置をさらに組み合わせることによって、ユーザと光ラベルとの相対方向をより正確に決定することができる）。また、現在市販されている撮像装置の多くは、通常、両眼カメラや奥行きカメラを搭載しており、両眼カメラや奥行きカメラを搭載した撮像装置を用いて光ラベルの画像収集を行うことにより、この撮像装置と光ラベルとの相対距離を容易に取得することができる。別の実施例では、ユーザと光ラベルとの相対方向を決定するために、光ラベルの向き情報をサーバに記憶することができ、ユーザが光ラベルの標識情報を認識した後、標識情報を用いてサーバからこの向き情報を取得し、次に、光ラベルの向き情報とユーザの携帯電話上での光ラベルの撮像の透視変形とに基づいて、ユーザと光ラベルとの相対方向を算出することができる。

ユーザがネットショッピングプラットフォームを通じてショッピングを完了した後、ネットショッピングプラットフォームはドローンを派遣して上記位置に貨物を配達することができる。ユーザは、貨物の配達中に、ドローンによる貨物の配達先を示す位置情報を変更することができる。たとえば、ユーザが広場や公園で遊んでいる間、その位置は絶えず変化する可能性があるので、ユーザはリアルタイムな位置を新しい貨物配達先として定期的にネットショッピングプラットフォームに送信することができ、このようにして、ネットショッピングプラットフォームはユーザのリアルタイムな位置をドローンに通知することができる。

本発明に係る一実施例において、光ラベルを用いたドローン案内方法は、具体的には、図２０に示すように、ステップ１０１～ステップ１０４を含む。

ステップ１０１：ドローンを貨物の配達先付近まで飛行制御する。

ドローンは、ユーザに配達されるべき貨物を受け取った後、ユーザがネットショッピングプラットフォームに提供した貨物の配達先を示す位置情報に基づいて、その配達先に向かって飛行する。一実施例では、この目的地は、ドローンによる貨物の配達中に変更することがある。この目的地が変更された場合、新しい目的地の位置情報をドローンに送信し、ドローンは新しい目的地に向かって飛行する。ステップ１０１は、本分野における様々な可能性のある従来の方式で実現することができる。たとえば、ドローンはＧＰＳナビゲーションなどの方式で貨物の配達先付近まで飛行することができ、従来のＧＰＳナビゲーション方式では、数十メートルの精度範囲を達成することができる。

なお、このステップ１０１は、本発明の必須なステップではなく、場合によっては省略されてもよい。たとえば、貨物の配達先自体が既にドローンの付近にある場合、たとえばドローンの視界の範囲内にある。

ステップ１０２：貨物の配達先にいる貨物を受け取るユーザの位置情報（つまり、最終的に貨物を配達する位置の情報）を受信し、ここで、該位置情報は、ユーザの周囲の１つ以上の光ラベルを走査して認識することによって決定する。

上記したように、貨物を受け取るユーザは、ネットショッピングを行うユーザであってもよいし、ユーザの友人などの他のユーザであってもよい。一実施例では、ドローンは、貨物配達先の付近に到着した後、ネットショッピングプラットフォームにそのことを通知し、そうすると、ネットショッピングプラットフォームは、貨物を受け取るユーザにその位置情報を提供するように通知する。別の実施例では、ユーザは、その位置情報を自発的に提供することもできる。ユーザの位置情報は、サードパーティ（たとえば、ネットショッピングプラットフォーム）によって受信してもよく、たとえば、サードパーティを介してドローンに送信されるように、ドローンによって受信してもよい。

ユーザは、カメラを有する撮像装置（たとえば、携帯電話）を使用して、その周囲の１つ以上の光ラベルを走査して認識することで、その位置情報を決定することができる。たとえば、広場や公園に光ラベルが設置されている場合、ユーザはその光ラベルの付近にドローン配達先を設定することができる。ドローンが付近に到着すると、ユーザはこの光ラベルを走査して認識することで、ユーザの位置情報を決定することができる。

具体的には、ユーザは、携帯している携帯電話を使用して、周囲のある光ラベルによって伝達された情報を収集し、伝送された情報を認識する。たとえば、ユーザは、携帯電話のカメラを介して、ある光ラベルの連続した複数のフレームの画像を取得し、各フレームの画像について、光源の位置に対応するこの画像上の部分に縞が存在するか否か、又はどのタイプの縞が存在するかを判定することにより、各フレームの画像が表す情報を決定することができる。このようにして、この光ラベルの標識情報を取得することができる。そして、この標識情報を介して問い合わせてこの光ラベルの正確な位置情報を取得し、ユーザと光ラベルとの相対位置関係を判定することにより、ユーザの現在の位置情報を決定することができる。ユーザ（実際にはユーザの撮像装置）と光ラベルとの間の相対位置関係は、ユーザの撮像装置によって取得される光ラベルの撮像に基づいて、本分野で公知の様々な相対測位方法を用いて決定することができる。

ステップ１０３：ドローンは、それに搭載されたカメラでその周囲の１つ以上の光ラベルを走査して認識し、このドローンの位置情報を決定する。

ドローンは、その視野範囲内の光ラベルを検索し、搭載されたカメラを介して、検索した光ラベルから伝送された情報を収集し、伝送された情報を認識することによって、光ラベルの標識情報を取得することができる。そして、この標識情報を介して問い合わせてこの光ラベルの正確な位置情報を取得し、ドローンとこの光ラベルとの相対位置関係を決定することにより、ドローンの現在の位置情報を決定することができる。ドローンによって取得される光ラベルの撮像に基づいて、本分野で公知の様々な相対測位方法を用いて、ドローンと光ラベルとの間の相対位置関係を決定することができる。

なお、ドローンのカメラが走査する光ラベルは、ユーザが走査する光ラベルと同じ場合も、異なる場合も、部分的に同じ場合もある。たとえば、貨物の配達先に複数の光ラベルがある場合、ドローンとユーザが走査する光ラベルが異なる可能性があるが、ドローンやユーザが対応する位置情報を決定することには影響を及ぼさない。

ステップ１０４：ドローンの位置情報とユーザの位置情報とに基づいて、ドローンとユーザとの相対位置関係を決定し、ドローンをユーザに向けて飛行制御する。

前記のように、ステップ１０１では、ドローンは、貨物の配達先の付近、たとえば、数十メートルの範囲まで飛行している。このとき、貨物を受け取るユーザも貨物の配達先の付近にいる。これにより、ドローンと貨物を受け取るユーザとの相対距離はあまり遠くない。ドローンの位置情報とユーザの位置情報とに基づいてドローンとユーザとの相対位置関係を決定した後、ドローンは、従来のナビゲーション方式（たとえば、慣性ナビゲーション）により、ユーザの位置まで正確に飛行し、貨物を配達することができる。一実施例では、サードパーティ（たとえば、ネットショッピングプラットフォーム）によってドローンの位置情報及びユーザの位置情報を受信し、さらに、ドローンとユーザとの相対位置関係を決定することができ、この相対位置関係は、後でドローンに送信され得る。一実施例では、ドローンによってユーザの位置情報を受信し、さらに、ドローンとユーザとの相対位置関係を決定することができる。

好ましくは、一実施例では、ドローンは、飛行中に、その周囲の光ラベルを走査して認識することにより、ドローンの現在位置を決定することができ、それにより、ドローンがユーザの位置まで正確に飛行することに寄与する。ユーザの位置に到着した後、ドローンは貨物の配達を行う。

上記方法によれば、１つ以上の光ラベルをドローンとユーザの測位アンカーとして、ドローンとユーザとの間の正確な相対位置関係を決定することができ、それによって、ドローンによる貨物配達の最後の数十メートルについての問題を解決することができる。

一実施例では、ネットショッピングプラットフォームは、ドローンの到着予定時刻をユーザに知らせ、ユーザは、その時刻までに自由に活動することができ、到着予定時刻に貨物配達先の付近に戻るだけでよい。一実施例では、ユーザは、ある時刻で到着すると予想されるあるアドレスを貨物の配達先として設定し、その時刻でそのアドレスの付近に貨物を配達するようにネットワークショッピングプラットフォームに指示することもできる。ユーザは、貨物の配達先の付近に到着した後、周囲の１つ以上の光ラベルを走査して認識することによって得られる位置情報を能動的に提供することができる

以上、ネットショッピングへのドローン配達の応用を例に説明したが、光ラベルによるドローン案内は、上記応用に限定されるものではなく、ドローンによる自動充電、ドローンによる自動駐車、ドローンによる経路ナビゲーションなど、ドローンの正確な測位を必要とする様々な応用に利用できることが理解される。

また、当業者が理解できるように、本発明の光ラベルに基づく案内は、ドローンだけに適用されるのではなく、自律移動可能な他の機器、たとえば、無人自動車、ロボットなどにも適用できる。無人自動車やロボットにはカメラを搭載することができ、ドローンと同様に光ラベルとインタラクションすることができる。一実施例では、この自律移動可能な機器の一部は移動可能であるが、他の部分は固定されている。たとえば、この自律移動可能な機器は、生産ライン又は倉庫内に配置された、通常は固定位置を有する機器であってもよく、この機器の本体部分は、ほとんどの場合、固定されていてもよいが、１つ以上の可動ロボットアームを有する。カメラは、光ラベルの位置を決定するために機器の固定部分に取り付けられ、それによって、機器の可動部分（たとえばロボットアーム）を光ラベルの位置に案内することができる。このような機器では、上記ステップ１０１が不要であることは明らかである。また、カメラは、この機器の可動部、たとえば各ロボットアームに取り付けることも可能である。

一実施例では、ドローン又は自律移動可能な他の機器は、ユーザの位置ではなく、他の機器にもカメラを搭載している限り、他の機器の位置に案内されてもよい。この他の機器は、そのカメラを介して周囲のある光ラベルから伝送された情報を収集し、伝送された情報を認識することによって、この光ラベルの標識情報を取得することができる。そして、この標識情報を介して問い合わせてこの光ラベルの正確な位置情報を取得し、この他の機器とこの光ラベルとの相対位置関係を決定することによって、他の機器の現在の位置情報を決定することができる。図２１は、図１９と比較して、ユーザ３３がカメラ付き自動車３５に置き換えられたシステムを示しており、該カメラは、たとえば自動車１５の屋根に取り付けられることができる。

本明細書では、「様々な実施例」、「いくつかの実施例」、「一実施例」、又は「実施例」などに関する参照は、前記実施例に関して説明された特定の特徴、構造、又は特性が少なくとも一実施例に含まれることを意味する。したがって、「様々な実施例では」、「いくつかの実施例では」、「一実施例では」、又は「実施例では」などの語句が本明細書のあらゆる場所において記載される場合、必ずしも同じ実施例を指す必要はない。さらに、特定の特徴、構造、又は特性は、１つ以上の実施例において任意の適切な方法で組み合わせることができる。したがって、一実施例を参照しながら示された又は記載された特定の特徴、構造又は特性は、その組み合わせが非論理的又は作動不能ではない限り、１つ以上の他の実施例の特徴、構造又は特性と全体的に又は部分的に制限なく組み合わせることができる。本明細書に記載の「Ａによる」又は「Ａに基づく」のような表現は、非排他的なものを意味し、すなわち、「Ａによる」は、「Ａのみによる」であることが特に記載されているか、文脈から明確に知られていない限り、「Ａのみによる」又は「ＡとＢによる」を包含することができる。本明細書では、説明を明確にするために、いくつかの例示的な動作ステップがある順序で説明されているが、当業者が理解できるように、これらの動作ステップの各々が必須ではなく、これらのステップのいくつかは省略されるか、他のステップと置き換えてもよい。これらの動作ステップは、必ず示したように順次実行されるとは限らず、逆に、新しい実行方式が非論理的又は動作不能ではない限り、これらの動作ステップのいくつかは、実際の必要に応じて異なる順序で、又は並列的に実行され得る。

以上、本発明の少なくとも一実施例のいくつかの態様が記載されているが、なお、様々な変更、修正、及び改良が当業者にとって容易に行われ得る。このような変更、修正及び改良は、本発明の趣旨及び範囲内にあることを意図する。

Claims (15)

1. 光通信装置を用いた自律移動可能な機器の案内方法であって、
   前記光通信装置は、関連付けられている標識情報、位置情報及び向き情報を有し、前記自律移動可能な機器にはカメラが搭載されており、前記方法は、
   前記自律移動可能な機器が飛行する目的地の位置情報を受信するステップであって、前記目的地の位置情報は、前記目的地にあるカメラ付き撮像装置により、前記目的地の周辺の１つ以上の光通信装置を前記目的地で走査して認識することによって決定されるステップと、
   前記自律移動可能な機器に搭載されたカメラで、前記自律移動可能な機器の周囲の１つ以上の光通信装置を走査して認識することによって、前記自律移動可能な機器の現在位置情報を決定するステップであって、
   該位置情報は前記光通信装置の位置情報及び前記光通信装置に対する前記自律移動可能な機器の相対位置関係に基づいて決定し、
   前記相対位置関係は相対距離と相対方向を含み、前記相対方向を決定するとき、前記光通信装置の向き情報を使うステップと、
   前記目的地の位置情報と前記自律移動可能な機器の現在位置情報とに基づいて、前記自律移動可能な機器と前記目的地との相対位置関係を決定し、前記自律移動可能な機器又はその一部を前記目的地に向けて飛行制御するステップと、を含む方法。
2. 前記光通信装置の標識情報、位置情報及び向き情報はサーバに記憶されている、請求項１に記載の方法。
3. 前記自律移動可能な機器が前記目的地に向かって飛行する際に、前記自律移動可能な機器は、前記目的地まで正確に飛行することを支援するために、その周囲の光通信装置を走査して認識することによってその現在位置を決定する、請求項１に記載の方法。
4. 前記自律移動可能な機器に搭載されたカメラで、前記自律移動可能な機器の周囲の１つ以上の光通信装置を走査して認識することによって、前記自律移動可能な機器の位置情報を決定するステップは、
   光通信装置によって伝達された情報を認識し、光通信装置の標識情報を取得するステップと、
   前記標識情報を介して光通信装置の位置情報及び向き情報をサーバに問い合わせるステップと、
   前記自律移動可能な機器と光通信装置との相対位置関係を決定するステップと、
   前記相対位置関係と光通信装置の位置情報とに基づいて、前記自律移動可能な機器の位置情報を決定するステップとを含む、請求項１に記載の方法。
5. 前記自律移動可能な機器と光通信装置との相対位置関係を決定するステップは、
   前記自律移動可能な機器によって取得される前記光通信装置の撮像に基づいて、前記自律移動可能な機器と前記光通信装置との相対位置関係を相対測位によって決定するステップを含む、請求項４に記載の方法。
6. 前記目的地の周囲の１つ以上の光通信装置を前記目的地で走査して認識することによって前記目的地の位置情報を決定する前記ステップは、
   前記目的地にあるカメラ付き撮像装置を用いて、光通信装置によって伝達された情報を認識し、光通信装置の標識情報を取得するステップと、
   前記標識情報を介して光通信装置の位置情報をサーバに問い合わせるステップと、
   前記撮像装置と光通信装置との相対位置関係を決定するステップと、
   前記相対位置関係と光通信装置の位置情報とに基づいて、前記目的地の位置情報として前記撮像装置の位置情報を決定するステップと、を含む、請求項１に記載の方法。
7. 前記撮像装置は、ユーザによって保持されるか、又は他の機器に取り付けられる、請求項６に記載の撮像方法。
8. 光通信装置によって伝達された情報を認識するステップは
   前記光通信装置の連続した複数のフレームの画像をカメラで取得するステップと、
   各フレームの画像について、前記光源の位置に対応する前記画像上の部分に縞が存在するか否か、又は、どのタイプの縞が存在するかを判定することにより、各フレームの画像により表される情報を決定するステップと、
   を含む、請求項４又は６に記載の方法。
9. さらに、前記目的地の位置情報を受信した後、まず、従来の任意のナビゲーション方式によって、前記自律移動可能な機器を前記目的地付近まで飛行制御するステップをさらに含む、請求項１に記載の方法。
10. 前記光通信装置は、光源を備え、
    前記光源は、少なくとも２つのモードで動作可能に構成されており、前記少なくとも２つのモードは、第１のモードと第２のモードとを含み、前記第１のモードでは、第１の頻度を有する光源制御信号により、前記光源から発せられる光の属性が第１の頻度で連続的に変化するように制御し、それにより、ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に縞を現出させ、前記第２のモードでは、前記ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に縞を現出させないか、前記第１のモードでの縞とは異なる縞を現出させる、請求項１に記載の方法。
11. 前記第２のモードでは、前記第１の頻度とは異なる第２の頻度を有する光源制御信号により、前記光源から発せられる光の属性が第２の頻度で連続的に変化するように制御し、それにより、前記ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に縞を現出させないか、前記第１のモードでの縞とは異なる縞を現出させる、請求項１０に記載の方法。
12. 前記第２のモードでは、前記光源から発せられる光の属性が前記第１の頻度で連続的に変化し、前記ローリングシャッターカメラで前記光源を撮影したときに得られる前記光源の画像に前記第１のモードでの縞とは異なる縞を現出させる、請求項１０に記載の方法。
13. 前記自律移動可能な機器は、その一部のみが移動可能な機器を含む、請求項１に記載の方法。
14. カメラと、プロセッサと、メモリとを備え、前記メモリには、前記プロセッサによって実行されると、請求項１～１３のいずれかに記載の方法を実現するためのコンピュータプログラムが記憶されている、自律移動可能な機器。
15. プロセッサによって実行されると、請求項１～１３のいずれかに記載の方法を実現するためのコンピュータプログラムが記憶された記憶媒体。

Images