JP4694701B2 - 情報検索方法、情報検索装置およびロボットの動作制御装置 - Google Patents
情報検索方法、情報検索装置およびロボットの動作制御装置 Download PDFInfo
- Publication number
- JP4694701B2 JP4694701B2 JP2001006350A JP2001006350A JP4694701B2 JP 4694701 B2 JP4694701 B2 JP 4694701B2 JP 2001006350 A JP2001006350 A JP 2001006350A JP 2001006350 A JP2001006350 A JP 2001006350A JP 4694701 B2 JP4694701 B2 JP 4694701B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- information
- camera
- data
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Manipulator (AREA)
Description
【発明の属する技術分野】
本発明は、対象物を特定し、特定した対象物に関する情報を検索する情報検索方法、情報検索装置およびロボットの動作制御装置に関する。
【0002】
【従来の技術】
カメラなどのセンサを塔載するパソコンで対象物の特定を行う場合を考える。パソコンは、カメラで撮像される画像データの中に、自らが記憶している対象物のデータと一致するデータがあるか否かを判定して対象物を特定する。この場合には、あらかじめパソコンに対して、▲1▼対象物の形状、▲2▼対象物の大きさなどの情報を記憶させておく必要がある。
【0003】
【発明が解決しようとする課題】
このようなパソコンでは、パソコンに特定させようとする対象物の数を多くするほど、あらかじめパソコンに記憶させておく情報量が多くなる。
【0004】
本発明の目的は、あらかじめ記憶させておく情報量をさほど増やすことなく、数多くの対象物を特定するようにした情報検索方法、情報検索装置、およびロボットの動作制御装置を提供することにある。
【0005】
【課題を解決するための手段】
本発明に係る情報検索装置は、検索対象物をカメラで撮影することにより、前記検索対象物の形状に関するデータを外部データ記憶手段から検索して前記検索対象物を特定する情報検索装置であって、前記カメラにより撮影された前記検索対象物の撮像データ中から、前記検索対象物に付与されている識別標識を抽出する識別標識抽出手段と、前記識別標識抽出手段により抽出された前記識別標識に基づいて前記識別標識の属性情報を予め内部データ記憶手段に記憶されているデータから読み出す属性情報読出手段と、前記属性情報読出手段により読み出された前記属性情報に基づき前記検索対象物の形状データの情報入手先を特定し前記外部データ記憶手段から前記検索対象物の形状に関するデータをネットワークを介して検索することにより前記検索対象物の検索範囲を限定するネットワーク検索手段と、検索した前記検索対象物の形状に関するデータと前記カメラで撮影した前記検索対象物の形状に関するデータとに基づいて前記検索対象物を判定する判定手段とを備えている。
本発明に係るロボットの動作制御装置は、上記の情報検索装置と、前記判定手段の判定出力と前記情報検索装置により入手された情報とに基づいて前記検索対象物を操作するロボットハンドの駆動手段とを備えている。
本発明に係る情報検索方法は、検索対象物をカメラで撮影して得た撮像データをコンピュータに入力し、前記コンピュータに接続されているネットワークを介して、前記検索対象物を特定するための関連データを外部データ記憶手段からコンピュータが検索する情報検索方法として、前記カメラにより撮影された前記検索対象物の撮像データ中から、前記検索対象物に付与されている識別標識を前記コンピュータが抽出する識別標識抽出工程と、前記識別標識抽出工程により抽出された前記識別標識の属性情報を、前記コンピュータの内部データメモリに予め記憶されているデータから前記コンピュータが読み出す属性情報読出工程と、前記属性情報読出工程により読み出された前記属性情報に基づき、前記検索対象物の形状に関するデータを、前記ネットワークを介して、前記外部データ記憶手段から前記コンピュータが検索することにより検索範囲を限定するネットワーク検索工程と、検索した前記検索対象物の形状に関するデータと、前記カメラで撮影した前記検索対象物の形状に関するデータとに基づいて前記検索対象物を判定する判定工程とを有する。
【0006】
本発明は、以下に述べる実施の形態により限定されるものではない。
【0007】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
−第一の実施の形態−
図1は、本発明の第一の実施の形態による情報検索装置の概念を表す図である。図1において、パソコン11はカメラ12を備え、カメラ12は対象物31を撮影する。カメラ12で撮影された画像データは、パソコン11内の不図示の演算回路により画像処理される。パソコン11には不図示のネットワークインターフェイス回路が備えられており、ネットワークインターフェイス回路を介して、たとえば、インターネットによるネットワーク41に接続されている。ネットワーク41には、データベース42,43,44が接続されている。データベース42〜44の少なくとも1つには、対象物31に関する情報が記憶されている。
【0008】
対象物31には、タグ310が設けられている。タグ310は、抽出が容易な特徴が付与されたもので、たとえば、バーコードのように画像データから容易に抽出できるような幾何学的図形や色の組み合わせなどによって表わされる。タグ310には、対象物31の属性情報が与えられている。属性情報は、たとえば、対象物31を製造したメーカ名、商品名、対象物31に関する情報が提供されているURL(Uniform Resource Locator)などである。タグ310によって異なる対象物31の属性情報を表す場合は、タグ310の幾何学的図形の組み合わせや色の組み合わせなどを変化させるだけで、タグ310が有する特徴は同じである。
【0009】
パソコン11は、▲1▼カメラ12で撮影される画像データの中からタグ310を抽出し(発見段階)、▲2▼抽出したタグ310によって与えられる属性情報を読み取る(読み取り段階)。パソコン11は、必要に応じてカメラ12のズーミングを調整し、タグ310から属性情報を読みとれるようにする。属性情報が読みとれないものは、タグではないとみなす。パソコン11は、タグ310から対象物31の属性情報を読み取ることにより、対象物31を特定する。パソコン11はさらに、▲3▼ネットワーク41にアクセスして、データベース42〜44から対象物31に関する情報を検索する(情報取得段階)。対象物31に関する情報は、タグ310によって与えられる製造メーカが提供するコンテンツ、タグ310によって与えられる情報提供者のURLのいずれから検索してもよい。
【0010】
対象物31にタグ310を設けると、パソコン11は対象物31を特定するとき、画像データの中から対象物31の画像ではなく、タグ310の画像を探せばよい。タグは、上述したように抽出が容易である上に、それぞれが異なる対象物に設けられているタグであっても共通の特徴を有する。したがって、パソコン11はタグの形状のデータのみをあらかじめメモリに記憶し、カメラ12で撮影される画像データの中から、記憶している形状データと一致するタグ310の画像を探す。この結果、パソコン11は、タグ310が設けられている対象物31の形状に係わらず、画像データからタグ310のみを探せばよいので、探す処理に要する時間が短縮される。
【0011】
複数の対象物が用意されているとき、これらの複数の対象物の中から特定の対象物31を選択する場合は、選択すべき対象物の属性情報をあらかじめパソコン11のメモリに記憶しておく。パソコン11は、対象物が複数存在する場合でも、画像データの中からタグのみを抽出し、タグによって与えられる属性情報がメモリに記憶されている属性情報と一致するタグを探す。パソコン11は、属性情報が一致するタグが設けられている対象物を、選択すべき対象物31として特定する。パソコン11は、タグによって与えられる属性情報がメモリに記憶されている属性情報と一致しなければ、画像データの中から別のタグを探す。
【0012】
もし、対象物31にタグ310が設けられていないと、パソコン11は特定する対象物31の形状のデータをあらかじめメモリに記憶し、カメラ12で撮影される画像データの中から、あらかじめ記憶している形状データと一致する対象物31の画像を探すことが必要になる。特定しようとする対象物31の形状が複雑であったり、特定しようとする対象物の種類が多くなると、あらかじめパソコン11のメモリに記憶させておく形状データが多くなる。また、画像データの中から対象物31の全体の形状を抽出するので、画像データからタグ310のみを抽出する場合に比べて、処理に時間がかかる。
【0013】
タグ310によって属性情報が与えられることで、パソコン11が対象物31の情報を入手するために要する時間が短縮される。たとえば、タグ310により対象物31の製造メーカが特定できる場合は、画像データ内の対象物31が「A社製品のうちのどの製品か」を判断すればよい。対象物31の製造メーカが特定できない場合は、画像データ内の対象物31が「全てのメーカの製品のうちのどの製品か」を判断する必要がある。すなわち、タグ310が与える属性情報を使えば、対象物31に関する情報の検索範囲を限定することができる。
【0014】
なお、タグ310が付与されている対象物31に関する情報は、製造メーカや情報提供者によって、データベース42〜44に随時蓄積、更新されている。データベース42〜44に蓄積されている情報は、ネットワーク41を経由して利用することができる。
【0015】
タグがバーコードで表される場合を例にあげて、タグの抽出処理について説明する。図2は、バーコード310が印刷されている箱の一部を撮影した画像である。この画像データに周知の処理を施して微分画像を生成すると、図3の微分画像が得られる。パソコン11は、この微分画像データを用いてバーコードの特徴の抽出を行う。この場合の特徴は、単方向領域(UNIVAR)の性質、全方向領域(OMNIVAR)の性質、無変動領域(NOVAR)の性質とする。単方向領域の性質については、単方向に領域をベタに埋め尽くす応答、およびエッジに沿った応答(これらをPEGと記す)を算出して抽出する。ここで、エッジとは画像の濃淡値が急激に変化するところである。全方向領域の性質については、端点やコーナでの孤立的応答、端点列に沿った帯状の応答、および等方的テクスチャ領域をベタに埋め尽くす応答(これらをQEGと記す)を算出して抽出する。単方向領域(UNIVAR)および全方向領域(OMNIVAR)に属さないところが無変動領域(NOVAR)である。画像データの単方向領域(UNIVAR)、全方向領域(OMNIVAR)、および無変動領域(NOVAR)には、次式(1)〜(4)の関係が成立する。
【数1】
UNIVAR+OMNIVAR+NOVAR=画像全体 (1)
UNIVAR・OMNIVAR=φ (2)
OMNIVAR・NOVAR=φ (3)
UNIVAR・NOVAR=φ (4)
【0016】
図3において、単方向領域(UNIVAR)の性質を示す応答PEGが所定の面積以上、所定の充填率以上、および所定の一様性をもって得られるとき、これらの単方向性領域を連結した連結領域310Bをバーコードの候補とする。図4はバーコードの例である。図4において、バーによる明暗変化に情報を符号化した方向をコード軸、コード軸に直交する方向をバー軸とする。パソコン11は、バーの変化方向θEGの均質性からバー軸を検出し、バーコード(ここではバーコードの候補)の形状の平行四辺形への適合度からコード軸を検出する。パソコン11はさらに、バーコードの候補の対向する2辺が無変動領域(NOVAR)に隣接していることをチェックする。
【0017】
図4のバーコードをカメラ12で撮影する場合の幾何学モデルは図5のようになる。図5において、カメラ12によって撮影される像面120の中にバーコード310の像310Aがある。空間座標(X,Y,Z)の点の像面座標(x,y)は、次式(5)で表される。なお、図5は幾何学モデルを表すもので、カメラ12のレンズなどのカメラのパラメータについては省略されている。
【数2】
バーコード310の中心座標をvR0=(X0,Y0,Z0)、コード軸の単位ベクトルをvu=(ux,uy,uz)、バー軸の単位ベクトルをvv=(vx,vy,vz)とする。なお、符号の先頭の「v」はベクトルを表す。バーコード310の表面に上記単位ベクトルvuおよびvvで張られる座標を(ξ,η)とすると、バーコード310上の点(ξ,η)の3次元座標(X,Y,Z)は次式(6)〜(8)で表される。
【数3】
ただし、ux2+uy2+uz2=1,vx2+vy2+vz2=1である。
【0018】
したがって、像面120上のバーコード310の像310Aの座標は、次式(9)、(10)となる。
【数4】
すなわち、バーコードの像310Aの中心の像面座標(x0,y0)、バーコードの像310Aのコード軸上の単位ベクトル、およびバーコードの像310Aのバー軸上の単位ベクトルは、それぞれ次式(11)〜(13)で表される。
【数5】
パソコン11は、画像データにおけるバーコードの像310Aの座標を上述したように表して、バーコードの候補の抽出処理と、周知の技術によりバーコードの属性情報を読み取る読み取り処理と、バーコードの形状の検出処理とを行う。パソコン11は、バーコードの候補から属性情報が読みとれないものは、バーコードでない、すなわち、タグではないとみなす。バーコード(タグ)の形状検出については後述する。
【0019】
図6は、パソコン11による特定結果がディスプレイ110に表示される例を表す図である。図6において、カメラ12で対象物31が撮影される。上述したように、パソコン11は、カメラ12で撮影された画像データの中からタグ310を抽出し、タグ310によって与えられる属性情報を用いて対象物31に関する情報をネットワーク41に設けられているデータベース42を使用して検索する。パソコン11は、カメラ12で撮影された画像111と、特定結果112と、検索して入手した情報113とをディスプレイ110に同時に表示する。
【0020】
上述したパソコン11で行われる情報検索処理の流れを示すフローチャートを図7に示す。図7のステップS11において、パソコン11は、カメラ12で撮影される画像データの中からタグ310を抽出したか否かを判定する。パソコン11がタグを抽出(発見)して肯定判定するとステップS12へ進み、タグを抽出できずに否定判定するとステップS17へ進む。ステップS12において、パソコン11は、属性情報を読み取ることが可能か否かを判定する。パソコン11が属性情報を読み取り可能であると肯定判定するとステップS13へ進み、読み取り不可能であると否定判定するとステップS11へ戻って別のタグを抽出する。ステップS13において、パソコン11は、タグ310から属性情報を読み取ってステップS14へ進む。
【0021】
ステップS14において、パソコン11は、読み取った属性情報から対象物31の製造メーカおよび商品名を特定してステップS15へ進む。ステップS15において、パソコン11は、属性情報に含まれるURLによってネットワーク41上のデータベース42〜44を検索し、対象物31に関する情報を得る。ステップS16において、パソコン11は、検索して入手した情報をカメラ12による画像とともにディスプレイ110に表示させて図7の処理を終了する。
【0022】
上述したステップS11で否定判定されて進むステップS17において、パソコン11は、タイムアウトか否かを判定する。パソコン11は、図7の処理が開始されて所定時間が経過している場合に肯定判定して図7の処理を終了する。これは、画像データにタグが発見されない場合に相当する。一方、パソコン11は、ステップS17において否定するとステップS18に進む。ステップS18において、パソコン11は、カメラ12の向きを変えてステップS11へ戻り、画像データの中からタグを抽出する。
【0023】
以上説明した第一の実施の形態によれば、次の作用効果が得られる。
(1)対象物31に抽出が容易な特徴を付与したタグ310を設け、パソコン11のカメラ12で撮影される画像データの中から、対象物31に設けられているタグ310の画像を探して対象物31を特定するようにした。タグ310を抽出容易にした結果、画像データの中から対象物31の画像を探す場合に比べて、短い時間で対象物31を抽出できる。また、対象物31の画像を探すために必要な対象物31の形状データに比べて、タグ310の画像を探すために必要なタグ310の形状データの方が少ないので、記憶に必要なメモリの容量を少なくできる。
(2)対象物31の属性情報をタグ310が有するようにしたので、パソコン11は、タグ310から与えられる属性情報によってタグ310が設けられている対象物31を特定することができる。したがって、対象物ごとに異なる属性情報を有するタグを設ければ、パソコン11は、タグが設けられている対象物の形状に関係なく対象物を特定することができる。また、属性情報に対象物31に関する情報が提供されているURLを含めたので、パソコン11は、ネットワーク41にアクセスして、データベース42〜44から対象物31に関する情報を検索することが可能になる。
【0024】
タグ310は、バーコードを例に説明したが、カメラ12で撮影した画像データから検出しやすい形状や色を有するパターン、商標でもよい。
【0025】
以上の説明では、ネットワーク41をインターネットとして説明したが、ネットワーク41は、イントラネットのようにオフィスや学校内などにおいて閉じたものにしてもよい。
【0026】
また、データベース42〜44をパソコン11のデータストレージ装置として構成し、ネットワーク41を介さずに対象物に関する情報を入手するようにしてもよい。
【0027】
−第二の実施の形態−
第二の実施の形態は、ロボットハンドを備えるロボットシステムに本発明を適用した場合の例である。ロボットは、あらかじめティーチング操作することなしに対象物を特定し、特定した対象物をロボットハンドで掴む。図8は、第二の実施の形態によるロボット11Aの概念図である。図8において、壁34,35および36に囲まれた部屋の中に、載置台33が備えられている。載置台33の上に対象物32が載置されている。壁36と壁38との間には通路37が設けられている。壁34〜36、載置台33,対象物32、壁38および通路37には、それぞれタグ340〜360,330,320,380および370が設けられている。
【0028】
ロボット11Aは、カメラ12と、ロボットハンド13と、移動装置14とを備える。カメラ12は対象物31などを撮影する。カメラ12で撮影された画像データは、ロボット11A内の不図示の演算回路により画像処理される。ロボットハンド13は対象物32を把持する。ロボットハンド13は不図示の駆動機構を有し、ロボット11Aの演算回路からの指令により駆動される。駆動装置14は、ロボット11Aの演算回路から指令が送られると、ロボット11Aを任意の方向に移動させる。また、ロボット11Aは不図示のネットワークインターフェイス回路を有し、ネットワークインターフェイス回路を介してネットワーク41に接続されている。ネットワーク41には、対象物32に関する情報を記憶している少なくとも1つのデータベース42が接続されている。
【0029】
ロボット11Aは、上述した▲1▼タグの発見段階、▲2▼属性情報の読み取り段階、▲3▼対象物に関する情報取得段階の他に、▲4▼タグの形状に関するデータとカメラ12により撮影されたタグの画像とを比較して、タグが設けられている対象物の姿勢を求め(幾何学情報の取得段階)、▲5▼発見したタグの情報をデータベース42へ蓄積する。
【0030】
ロボット11Aは、カメラ12で撮影された画像データの中からタグを抽出する。壁34〜36、37および通路37に設けられるタグには、現在地などの位置を表す属性情報も与えておく。ロボット11Aは、壁34〜36、37および通路に設けられたタグを抽出することで、建物の中でどの位置を移動しているかを検知する。ロボット11Aは、位置を表す属性情報を入手すると、ロボット11Aがその場所で抽出したタグの情報をデータベース42に送って蓄積させる。これにより、タグが付与されている対象物の位置情報が、位置を表す属性情報に関連してデータベース42に蓄積される。
【0031】
データベース42には、その場所でどのように行動するかという情報も記憶させておく。たとえば、通路37のタグ370を抽出した場所では、ロボットハンド13をたたむという情報を記憶させておく。ロボット11Aは、タグ370を抽出してデータベース42にアクセスし、ロボットハンド13をたたむという情報を得るとロボットハンド13をたたむ。
【0032】
ロボット11Aには、あらかじめ対象物32を探すようにプログラムされている。カメラ12で撮影された画像データから抽出したタグが対象物32のタグ320でない場合、ロボット11Aは新たなタグを探す。カメラ12で撮影される画像データに新たなタグが抽出されなくなると、ロボット11Aの演算回路の不図示の演算回路は、駆動装置14に指令を出してロボット11Aの向きを変える。
【0033】
ロボット11Aが対象物32のタグ320を抽出すると、タグ320によって与えられる属性情報を用いて対象物32に関する情報をデータベース42から検索する。ロボット11Aが取得する情報は、▲1▼対象物32のCADデータ(外形および寸法)、▲2▼対象物32上でタグ320が付与されている位置、▲3▼対象物32の把持すべき箇所(接触してはいけない箇所)、▲4▼対象物32を把持する際の力などである。ロボット11Aはさらに、カメラ12により撮影される画像データにおけるタグ320の形状に基づいて、対象物32とカメラ12との間の3次元的な位置関係を推定する。
【0034】
位置関係の推定は、タグ320の外縁を用いて行う。たとえば、タグ320がバーコードの場合を例にとれば、カメラ12がタグ320を正面から撮影すると、タグ320の外縁が長方形になる。カメラ12の位置がタグ320の正面から外れると、タグ320の外縁は、カメラ12の位置がタグ320の正面から外れた距離に応じて変化し、近似平行四辺形として撮影される。ロボット11Aは、撮影されたタグ320の外縁の歪み具合、すなわち、タグ320の形状からカメラ12とタグ320との位置関係を推定する。すなわち、タグ320の外縁である近似平行四辺形と、上述したバーの変化方向θEGを利用して算出される空間二次曲線とを当てはめて、タグ320をどの方向から撮影しているかを推定する。
【0035】
対象物32が直方体である場合を例にあげると、カメラ12の位置座標と姿勢とパラメータ、および対象物32の位置座標と姿勢は以下のように推定される。ロボット11Aは、データベース42から対象物32の3次元モデルを取得すると、取得した3次元モデルから平面上にない少なくとも4点の頂点位置情報を得る。たとえば、タグ320が設置された面の輪郭線の頂点から3点、その面に接続する別な面の、タグ320の設置面の交線とは異なる輪郭線の頂点から1点を選ぶ。ロボット11Aは、カメラ12により撮影される画像データにおいて、これら4つの頂点に相当する位置を探索し、タグ320の検出時に得られた対象物32の概略の位置と姿勢を利用して探索範囲を絞り込む。これにより、画像データにおける頂点の位置座標と3次元モデル上の頂点の位置座標との対応関係を検出し、カメラ12の正確な位置座標と姿勢とパラメータ、および対象物32の正確な位置座標と姿勢を推定する。
【0036】
ロボット11Aは、推定したタグ320の撮影方向と、ネットワーク41を介して取得した対象物32の外形および寸法の情報と、対象物32上でタグ320が付与されている位置の情報とから、カメラ12によって撮影される対象物32のイメージデータをシミュレートする。すなわち、カメラ12に備えられるレンズの焦点距離などを考慮して、カメラ12を通して撮影されたタグ320の像310A(図5)の大きさからカメラ12と対象物32との距離を推定し、対象物32のイメージデータを生成する。対象物32までの距離がロボットハンド13で掴める距離より長い場合は、駆動装置14を駆動して対象物32に近づく。
【0037】
ロボット11Aは、実際にカメラ12によって撮影された画像データと、生成したイメージデータとがぴったり一致するように、対象物32とカメラ12との3次元的な位置関係の推定精度を向上させる。カメラ12による画像データが生成したデータと一致するか否かの判定は、たとえば、対象物32の輪郭部分を用いて行う。位置関係の推定精度の向上は、対象物32までの距離や対象物32を撮影する方向などを表す値を修正し、再度イメージデータを生成することにより行う。対象物32の姿勢および位置関係を推定すると、ネットワーク41を介して得た対象物32の把持すべき箇所(接触してはいけない箇所)の情報を参照し、ロボットハンド13を駆動して対象物32を把持する。
【0038】
以上のロボット11Aで行われる制御処理の流れを示すフローチャートを図9に示す。図9のステップS21〜ステップS25までは図7の処理と同じため説明を省略する。ステップS26において、ロボット11Aは、特定した対象物が探している対象物32であるか否かを判定する。ステップS26において、特定した対象物が探している対象物32であると肯定判定するとステップS27へ進み、否定判定するとステップS31へ進む。ステップS27において、ロボット11Aは、対象物32の姿勢を推定する。ステップS28において、ロボット11Aは、対象物32がロボットハンド13で掴める範囲内にあるか否かを判定する。ステップS28において、対象物32が掴める範囲内にあると肯定判定するとステップS29へ進む。ステップS29において、ロボット11Aは、ロボットハンド13を駆動して対象物32を把持し、図9の処理を終了する。
【0039】
ステップS28において、対象物32が掴める範囲内にないと否定判定されるとステップS30へ進む。ステップS30において、ロボット11Aは、駆動装置14を駆動して対象物32に近づく。再びステップS27に戻り、ロボット11Aは対象物32の姿勢を推定する。上述したステップS26において、特定した対象物が探している対象物32でないと否定判定されると、ステップS31へ進む。ステップS31において、ロボット11Aは、特定した対象物が壁または通路か否かを判定する。ステップS31において、壁または通路であると肯定判定されるとステップS32へ進む。ステップS32において、ロボット11Aは、ステップS25における情報検索で得られた「その場でどのように行動するかの情報」にしたがって、たとえば、ロボットハンド13をたたむ。ロボットハンド13がたたまれるとステップS33へ進む。
【0040】
また、ステップS31において否定判定する場合にもステップS33に進む。ステップS33において、ロボット11Aは、抽出(発見)したタグの情報をデータベース42へ送る。タグの情報がデータベース42へ送られるとステップS21へ戻り、ステップS21において、画像データから新たなタグが抽出される。
【0041】
上述したステップS21で否定判定されて進むステップS34において、ロボット11Aは、タイムアウトか否かを判定する。ロボット11Aは、図9の処理が開始されて所定時間が経過している場合に肯定判定して図9の処理を終了する。これは、画像データに対象物32のタグ320が発見されない場合に相当する。一方、ステップS34において否定されるとステップS35に進む。ステップS35において、ロボット11Aは、駆動装置14を制御して移動する。再びステップS21へ戻り、ロボット11Aは、画像データの中から新たなタグを抽出する。
【0042】
以上説明した第二の実施の形態によれば、次の作用効果が得られる。
(1)対象物32の属性情報をタグ320が有するようにしたので、ロボット11Aは、タグ320から与えられる属性情報によってタグ320が設けられている対象物32を特定することができる。また、壁34〜36、37および通路37に設けられるタグは、現在地などの位置を表す属性情報を有するようにしたので、ロボット11Aは、壁34〜36、37および通路に設けられたタグを抽出することで、建物の中でどの位置を移動しているかを検知することができる。
(2)ロボット11Aがネットワーク41を介して検索するデータベース42に、タグが設けられている対象物に関する情報、タグが設けられている場所でどのように行動するかという情報、などを記憶させておくようにしたので、ロボット11A内のメモリにこれらの情報をあらかじめ記憶させておく必要がない。情報の追加や変更などはデータベース42側で行えばよいので、情報を管理しやすい。
(3)カメラ12により撮影されるタグ320の形状に基づいて推定したタグ320の撮影方向と、ネットワーク41を介して取得した対象物32の外形および寸法の情報と、対象物32上でタグ320が付与されている位置の情報とから、カメラ12によって撮影される対象物32までの距離を推定し、カメラ12で撮影される対象物32のイメージデータを生成する。そして、実際にカメラ12によって撮影された画像データと、生成したイメージデータとがぴったり一致するように対象物32とカメラ12との3次元的な位置関係の推定精度を向上させるようにしたので、ロボットハンド13を駆動して正確に対象物32を把持することができる。
【0043】
ロボット11Aと同様の複数のロボットを用いるようにしてもよい。複数のロボットでタグを抽出するとき、他のロボットが検知した情報もデータベース42に蓄えれば、タグが設けられている全ての物体の配置位置を知るのに要する時間は、ロボットを1台のみ用いる場合より短くできる。そして、ロボットに対して特定の対象物32を掴むように命令するとき、たとえば、対象物32に最寄りのロボットに命じることにより、所要時間を最短にすることもできる。
【0044】
以上の説明では、ロボットハンド13は対象物を掴むように説明したが、スイッチなどの操作部材を操作するようにしてもよい。この場合には、対象物となる操作部材にタグを設けておき、対象物をどのように取り扱うか、すなわち、操作部材をどのように操作するかの情報をデータベースに記憶しておく。ロボット11Aは操作部材のタグを抽出すると操作部材に関する情報をデータベースから取得し、操作部材を操作する。このようなロボット11Aは、ベッドの操作部材や食器などにタグを設けておけば介護ロボットとして利用できる。また、工場などで人が近づけない環境下に配設されているパイプや操作部材などにタグを設けておけば、日常点検や非常時に復旧を行う作業ロボットとして利用できる。
【0045】
−第三の実施の形態−
複数の対象物に同じタグが設けられている場合に、データベースに記憶されている情報と一致する対象物を特定することもできる。図7において、ロボット11Aが対象物のタグを抽出すると、タグによって与えられる属性情報を用いて対象物に関する情報を検索する。この場合には、▲1▼対象物のCADデータ(外形および寸法)と、▲2▼対象物上でタグが付与されている位置の情報を取得する。
【0046】
ロボット11Aは、カメラ12により撮影される画像データにおける各々のタグの形状に基づいて、それぞれの対象物とカメラ12との間の3次元的な位置関係を推定する。そして、推定したタグの撮影方向と、ネットワーク41を介して取得した対象物の外形および寸法の情報と、対象物上でタグが付与されている位置の情報とを用いて、各々の対象物のイメージデータをシミュレートする。実際にカメラ12によって撮影される画像データとぴったり一致するイメージデータは、データベースの情報と一致するタグから生成されたものである。すなわち、このタグが設けられている対象物が、データベースの情報と一致するものである。
【0047】
なお、一つの視点からとらえた画像データからでは判断できないときには、判断しやすい視点はどこかをCADデータより算出し、その視点へカメラ12を動かせばよい。たとえば、CRTディスプレイと液晶ディスプレイとを特定するとき、正面から撮影すると特定しにくいが、ディスプレイを横から撮影すると特定しやすくなる。
【0048】
カメラ12で撮影された画像において、画像からエッジを抽出すると、対象物の輪郭線を含む数多くのエッジが抽出される。対象物とカメラ12との位置関係および対象物の外形が分かっていると、エッジを含めたイメージデータを生成できる。この場合、どのエッジが対象物の輪郭線に相当するかを検出することは容易であるので、実際にカメラ12によって撮影される画像データと、エッジがぴったり一致するイメージデータを探すことができる。
【0049】
カメラ12で撮影される対象物の一部が、障害物などで隠蔽されていても、ロボット11Aはデータベースから取得した対象物の外形データから隠蔽されている部分の形状をシミュレートできる。これにより、カメラ12をどちらに動かせば、すなわち、ロボット11Aがどちらに移動すれば、対象物を隠蔽されることなく撮影できるかを判断できる。
【0050】
以上説明した第三の実施の形態によれば、カメラ12により撮影されるタグの形状に基づいて推定したタグの撮影方向と、ネットワーク41を介して取得した対象物の外形および寸法の情報と、対象物上でタグが付与されている位置の情報とから、カメラ12によって撮影される対象物までの距離を推定し、カメラ12で撮影される対象物のイメージデータを生成する。そして、実際にカメラ12によって撮影された対象物の画像データが、生成したイメージデータとぴったり一致するか否かを判定することにより、複数の異なる対象物の中からデータベースに記憶されている情報と一致する対象物を特定できる。これは、たとえば、同一メーカ製の新旧製品の中から、データベースと一致するモデルがどれかを探す場合に適用できる。
【0051】
−第四の実施の形態−
対象物が破損および変形していないか、あるいは汚れていないかを検査することもできる。図7において、ロボット11Aが対象物32のタグ320を抽出すると、タグ320によって与えられる属性情報を用いて対象物32に関する情報を検索する。この場合には、▲1▼対象物のCADデータ(外形、寸法、および色)と、▲2▼対象物32上でタグ320が付与されている位置の情報をネットワーク41上のデータベース42から取得する。
【0052】
ロボット11Aは、カメラ12により撮影される画像データにおけるタグ320の形状に基づいて、対象物32とカメラ12との間の3次元的な位置関係を推定する。そして、推定したタグ320の撮影方向と、ネットワーク41を介して取得した対象物32の外形、寸法および色の情報と、対象物32上でタグ320が付与されている位置の情報とを用いて、対象物32の3次元のイメージデータをシミュレートする。実際にカメラ12によって撮影される画像データとぴったり一致すれば異常なしと判定し、不一致の部分があれば何らかの異常が生じていると判定する。実際にカメラ12によって撮影された画像データは、検査結果としてネットワーク41を介してデータベース42に保存しておき、時間的な変化を蓄積する。
【0053】
1つの視点からとらえた画像だけでは、対象物の3次元形状を検査できない。一般に、3次元形状の検査はステレオの原理を用いて行われる。この検査は、カメラ12(ロボット11A)を移動させて、異なる2つ以上の視点から対象物32を撮影する。どの視点から対象物32を撮影するかは、対象物32の形状に依存する。したがって、対象物32の検査したい箇所や複雑な形状を有する箇所の情報と、これらの箇所の3次元形状を検査するのに有効な視点の情報、すなわち、カメラ12を移動させる情報とを、データベース42に記憶しておく。この場合には、ロボット11Aは、タグ320によって与えられる属性情報を用いてネットワーク41にアクセスして情報を検索するとき、3次元形状の検査に必要な情報も取得する。
【0054】
以上説明した第四の実施の形態によれば、カメラ12により撮影されるタグの形状に基づいて推定したタグの撮影方向と、ネットワーク41を介して取得した対象物32の外形、寸法および色の情報と、対象物32上でタグ320が付与されている位置の情報とから、カメラ12によって撮影される対象物までの距離を推定し、カメラ12で撮影される対象物の3次元イメージデータを生成する。そして、実際にカメラ12によって撮影された対象物の画像データが、生成したイメージデータとぴったり一致するか否かを判定することにより、対象物の検査を行うことができる。これは、工場などの製品検査に適用できる。
【0055】
以上の説明では、ロボット11Aが有線接続によるネットワーク41を介して情報を取得するようにしたが、無線接続によって情報を取得するようにしてもよい。
【0057】
【発明の効果】
本発明に係る情報検索装置、ロボットの動作制御装置、および情報検索方法によれば、内部メモリに予め記憶させておく情報量を増加させることなく、検索対象物を的確かつ容易に特定することができる。特に請求項2に係る発明によれば、撮像データとシミュレーションデータとの比較の情報処理量を増加させることなく、検索対象物を的確かつ容易に特定することができる。
【図面の簡単な説明】
【図1】第一の実施の形態による情報検索装置の概念を表す図である。
【図2】バーコードが印刷されている箱の一部の画像を表す図である。
【図3】図2の微分画像を表す図である。
【図4】バーコードの例を表す図である。
【図5】バーコードをカメラで撮影する場合の幾何学モデルを表す図である。
【図6】特定結果がディスプレイに表示される例を表す図である。
【図7】パソコンによる情報検索処理の流れを示すフローチャートである。
【図8】第二の実施の形態によるロボットの概念図である。
【図9】ロボットによる制御処理の流れを示すフローチャートである。
【符号の説明】
11…パソコン、 11A…ロボット、
12…カメラ、 13…ロボットハンド、
14…移動装置、 31,32…対象物、
33…載置台、 34〜36,38…壁、
37…通路、 41…ネットワーク、
42〜44…データベース、 110…ディスプレイ、
111…カメラで撮影された画像、 112…特定結果、
113…検索して得た情報、
310,320,330,340,350,360,370,380…タグ
Claims (7)
- 検索対象物をカメラで撮影することにより、前記検索対象物の形状に関するデータを外部データ記憶手段から検索して前記検索対象物を特定する情報検索装置であって、
前記カメラにより撮影された前記検索対象物の撮像データ中から、前記検索対象物に付与されている識別標識を抽出する識別標識抽出手段と、
前記識別標識抽出手段により抽出された前記識別標識に基づいて、前記識別標識の属性情報を予め内部データ記憶手段に記憶されているデータから読み出す属性情報読出手段と、
前記属性情報読出手段により読み出された前記属性情報に基づき前記検索対象物の形状データの情報入手先を特定し、前記外部データ記憶手段から前記検索対象物の形状に関するデータをネットワークを介して検索することにより前記検索対象物の検索範囲を限定するネットワーク検索手段と、
検索した前記検索対象物の形状に関するデータと、前記カメラで撮影した前記検索対象物の形状に関するデータとに基づいて前記検索対象物を判定する判定手段とを備えることを特徴とする情報検索装置。 - 請求項1の情報検索装置において、
前記ネットワーク検索手段で検索した前記検索対象物の形状に関するデータは、前記検索対象物に関する3次元モデルデータであり、
前記情報検索装置はさらに、
前記カメラにより撮影された前記識別標識の形状に基づいて、前記検索対象物と前記カメラとの間の3次元的位置関係を推定する位置関係推定手段と、
前記位置関係推定手段により推定された前記3次元的位置関係と、前記ネットワーク検索手段により検索された前記3次元モデルデータとに基づいて、前記カメラが撮影するであろう前記検索対象物のイメージデータを生成するシミュレーションデータ生成手段とを有し、
前記判定手段は、前記シミュレーションデータ生成手段により生成された前記イメージデータと、前記カメラにより実際に撮像された前記検索対象物の画像データとが一致しているか否かを判定し、一致しているとの肯定判定が得られたときには、前記検索対象物は前記外部データ記憶手段に記憶されている対象物であると特定することを特徴とする情報検索装置。 - 請求項2に記載の情報検索装置において、
前記判定手段は、前記シミュレーションデータ生成手段により生成された前記イメージデータと、前記カメラにより実際に撮像された前記検索対象物の画像データとが完全に一致していないときには、不一致の部分について何らかの異常が生じていると判定することを特徴とする情報検索装置。 - 請求項3に記載の情報検索装置において、
前記判定手段により何らか異常が生じていると判定された部分について、前記カメラにより実際に撮影した撮像データを前記外部データ記憶手段に記憶させる書き込み手段を更に備えることを特徴とする情報検索装置。 - 請求項1ないし4のいずれか一項に記載の情報検索装置と、
前記判定手段の判定出力と前記情報検索装置により入手された情報とに基づいて前記検索対象物を操作するロボットハンドの駆動手段と、
を備えたことを特徴とするロボットの動作制御装置。 - 請求項5に記載のロボットの動作制御装置において、
前記情報検索装置に含まれている前記ネットワーク検索手段は、前記3次元モデルデータに加えて、前記検索対象物を把持すべき箇所を表す箇所情報、および、前記検索対象物を把持する際の力を表す力情報を前記外部データ記憶手段から読み取ることを特徴とするロボットの動作制御装置。 - 検索対象物をカメラで撮影して得た撮像データをコンピュータに入力し、前記コンピュータに接続されているネットワークを介して、前記検索対象物を特定するための関連データを外部データ記憶手段から前記コンピュータが検索する情報検索方法として、
前記カメラにより撮影された前記検索対象物の撮像データ中から、前記検索対象物に付与されている識別標識を前記コンピュータが抽出する識別標識抽出工程と、
前記識別標識抽出工程により抽出された前記識別標識の属性情報を、前記コンピュータの内部データメモリに予め記憶されているデータから前記コンピュータが読み出す属性情報読出工程と、
前記属性情報読出工程により読み出された前記属性情報に基づき、前記検索対象物の形状に関するデータを、前記ネットワークを介して、前記外部データ記憶手段から前記コンピュータが検索することにより検索範囲を限定するネットワーク検索工程と、
検索した前記検索対象物の形状に関するデータと、前記カメラで撮影した前記検索対象物の形状に関するデータとに基づいて前記検索対象物を判定する判定工程と、
を有することを特徴とする情報検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001006350A JP4694701B2 (ja) | 2001-01-15 | 2001-01-15 | 情報検索方法、情報検索装置およびロボットの動作制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001006350A JP4694701B2 (ja) | 2001-01-15 | 2001-01-15 | 情報検索方法、情報検索装置およびロボットの動作制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002215655A JP2002215655A (ja) | 2002-08-02 |
JP4694701B2 true JP4694701B2 (ja) | 2011-06-08 |
Family
ID=18874247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001006350A Expired - Lifetime JP4694701B2 (ja) | 2001-01-15 | 2001-01-15 | 情報検索方法、情報検索装置およびロボットの動作制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4694701B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078619A (ja) * | 2002-08-19 | 2004-03-11 | Kazuhisa Kondo | 汎用コードを用いたデータ検索システム |
JP2004345053A (ja) * | 2003-05-23 | 2004-12-09 | Sony Corp | 情報収集システム及びロボット装置 |
JP4473849B2 (ja) * | 2003-06-02 | 2010-06-02 | パナソニック株式会社 | 物品取扱いシステムおよび物品取扱いサーバ |
JP2005088095A (ja) * | 2003-09-12 | 2005-04-07 | Denso Corp | 車載ロボットハンド |
JP3932363B2 (ja) * | 2003-09-18 | 2007-06-20 | 独立行政法人産業技術総合研究所 | ロボット及び物体処理方法 |
JP2005279804A (ja) * | 2004-03-29 | 2005-10-13 | Advanced Telecommunication Research Institute International | 対象物認識装置 |
JP4459735B2 (ja) * | 2004-06-30 | 2010-04-28 | 本田技研工業株式会社 | 商品説明ロボット |
CN1984756B (zh) * | 2004-07-13 | 2011-12-07 | 松下电器产业株式会社 | 物品保持系统、机器人以及机器人控制方法 |
JP2006102881A (ja) * | 2004-10-06 | 2006-04-20 | Nagasaki Prefecture | 把持ロボット装置 |
JP4460528B2 (ja) | 2004-12-14 | 2010-05-12 | 本田技研工業株式会社 | 識別対象識別装置およびそれを備えたロボット |
JP2009050970A (ja) * | 2007-08-28 | 2009-03-12 | Nec Access Technica Ltd | ロボットシステム、レスキューロボット |
JP5278955B2 (ja) * | 2009-03-27 | 2013-09-04 | 独立行政法人産業技術総合研究所 | 福祉用ロボット装置のロボットアーム操作方法 |
JP5071873B2 (ja) * | 2010-07-13 | 2012-11-14 | 独立行政法人科学技術振興機構 | タスク指示システム |
US8533192B2 (en) * | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
JP5181006B2 (ja) * | 2010-09-28 | 2013-04-10 | 環境設計株式会社 | 設備管理システム |
JP2012228756A (ja) * | 2011-04-27 | 2012-11-22 | Seiko Epson Corp | ロボット制御方法、ロボット制御装置およびプログラム |
JP2018134687A (ja) * | 2017-02-20 | 2018-08-30 | 大日本印刷株式会社 | ロボット、プログラム及びマーカ |
JP6356869B2 (ja) * | 2017-05-19 | 2018-07-11 | エンパイア テクノロジー ディベロップメント エルエルシー | バーチャルリアリティアプリケーション |
WO2024019105A1 (ja) * | 2022-07-21 | 2024-01-25 | 興和株式会社 | ピッキング制御システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148797A (ja) * | 1998-08-31 | 2000-05-30 | Sony Corp | 画像処理装置、画像処理方法、および画像処理プログラム格納媒体 |
JP2000254883A (ja) * | 1999-03-05 | 2000-09-19 | Sony Corp | 道具装置と道具認識方法および自動動作装置 |
-
2001
- 2001-01-15 JP JP2001006350A patent/JP4694701B2/ja not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148797A (ja) * | 1998-08-31 | 2000-05-30 | Sony Corp | 画像処理装置、画像処理方法、および画像処理プログラム格納媒体 |
JP2000254883A (ja) * | 1999-03-05 | 2000-09-19 | Sony Corp | 道具装置と道具認識方法および自動動作装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2002215655A (ja) | 2002-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4694701B2 (ja) | 情報検索方法、情報検索装置およびロボットの動作制御装置 | |
Liu et al. | Keypose: Multi-view 3d labeling and keypoint estimation for transparent objects | |
Taguchi et al. | Point-plane SLAM for hand-held 3D sensors | |
Zhang | A flexible new technique for camera calibration | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
Ilonen et al. | Fusing visual and tactile sensing for 3-d object reconstruction while grasping | |
JP2013043271A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
CN114097004A (zh) | 基于视觉嵌入的自主任务性能 | |
JP5699697B2 (ja) | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 | |
CN111958604A (zh) | 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法 | |
JP6973444B2 (ja) | 制御システム、情報処理装置および制御方法 | |
JP2009128191A (ja) | 物体認識装置およびロボット装置 | |
Loing et al. | Virtual training for a real application: Accurate object-robot relative localization without calibration | |
CN115205371A (zh) | 用于根据对象的摄像机图像定位对象的部位的设备和方法 | |
JP2010184300A (ja) | 姿勢変更システムおよび姿勢変更方法 | |
Jing | Coverage planning for robotic vision applications in complex 3d environment | |
Ogawara et al. | Marker-less human motion estimation using articulated deformable model | |
US20230100238A1 (en) | Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object | |
US20230150142A1 (en) | Device and method for training a machine learning model for generating descriptor images for images of objects | |
Bley et al. | Mobile manipulation based on generic object knowledge | |
Stefańczyk et al. | WUT visual perception dataset: a dataset for registration and recognition of objects | |
CN111178299A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
Tomizawa et al. | Object posture recognition for remote book browsing robot system | |
Xie et al. | Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot | |
US20240227195A9 (en) | Robot operation system, robot operation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4694701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |