JP4135556B2

JP4135556B2 - 映像認識装置

Info

Publication number: JP4135556B2
Application number: JP2003138086A
Authority: JP
Inventors: 功田澤; 史子紅山; 俊夫守屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-05-16
Filing date: 2003-05-16
Publication date: 2008-08-20
Anticipated expiration: 2023-05-16
Also published as: JP2004338889A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体に搭載されたカメラの映像を解析して物品に関する情報収集、管理を行うための映像認識装置に関する。
【０００２】
【従来の技術】
従来、例えば図書館等では、書籍管理のために図書の目録を使用している。目録は電子データとして蓄積され、コンピュータを使用した検索や管理が容易に行えるようになっている（例えば下記非特許文献１等参照）。
【０００３】
【非特許文献１】
永田治樹、“図書館目録の現状と将来：メタデータとOPAC”、情報の科学と技術、Vol.46、No.3、pp.106-113、1996．
【０００４】
【発明が解決しようとする課題】
書籍等の管理業務では、上記従来技術による目録の電子データの管理以外に、その情報と書籍の実際の状況の整合性を確認するために、人手で書籍そのものを確認するという作業が必要である。この作業は、作業者の大きな負担となる。
【０００５】
そこで、本発明では、移動体に搭載されたカメラの映像を解析して物品の情報収集や管理を自動的に実行するための映像認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では以下の手段を設ける。
(1)移動体は走行のための駆動装置を備え、カメラは移動体の上部に姿勢制御が可能なように設置されており、移動体およびカメラの姿勢を計測する姿勢計測手段と、移動体の駆動装置の回転数および回転角を取得することにより移動体の位置および速度を算出する駆動系状態計測手段と、一時刻前の移動体の位置、姿勢、速度の変更量に基づいて、移動体の位置、姿勢、速度の情報を推定する移動体パラメータ推定手段と、推定した移動体の位置、姿勢、速度を用いて、移動体が予め設定された運動を行うよう移動体の位置、姿勢、速度の変更量を決定し、移動体の運動を制御する移動体制御手段と、一時刻前のカメラの姿勢、ズーム値の変更量、および推定した移動体の位置および姿勢に基づいて、カメラの位置、姿勢、ズーム値の情報を推定するカメラパラメータ推定手段と、推定したカメラの位置、姿勢、ズーム値を用いて、カメラの姿勢およびズーム値の変更量を決定し、カメラを制御して所望の映像を取得する撮影手段と、取得した所望の映像の幾何変換を行い、映像上で前記物品を特徴づける文字や記号が存在する面の回転および歪を補正する映像補正手段と、補正により得られた映像データから物品を特徴づける文字や記号を認識する認識手段と、物品の所望の映像上での位置、および推定したカメラの位置、姿勢、ズーム値を用いて物品の位置を推定する位置推定手段を備えた装置を構成する。
(2)情報提示手段を備え、物品を格納する領域の地図上での物品の位置情報、物品の格納された棚等の場所での物品の詳細な位置情報、および物品の色や形状等が識別可能な映像を提示する。
(3)情報管理手段を備え、記号認識手段および位置推定手段で検出された物品の情報を用いて、物品の管理情報を更新する。
(4)領域情報推定手段を備え、撮影された映像を用いて物品を格納する領域における空き領域を推定する。
【０００７】
【発明の実施の形態】
本発明は、移動体に搭載されたカメラの映像を解析して物品の情報収集や管理を自動的に実行するための映像認識装置に関する。具体的には、下記の方法を実施するソフトウェア、またはハードウェアを作成することにより実現できる。
【０００８】
図１は、本実施例における映像認識装置の構成図である。本装置は、センサ群101から104、移動ロボット110、計算機120、コンソール130、および外部記憶装置140から構成される。
【０００９】
センサとしては、カメラ101、音響センサ102、駆動系状態計測用センサ103、および姿勢計測用センサ104a，104bを使用する。カメラ数、音響センサ数は1以上とする。カメラ101の焦点距離、姿勢等のパラメータはあらかじめ校正し、それをカメラパラメータの初期値とする。音響センサ102としては、音波を発信して反射波を観測することにより距離計測が可能であるアクティブソナーを使用する。駆動系状態計測用センサ103としてはロータリエンコーダやタコジェネレータを使用し、姿勢計測用センサ104としてはジャイロ等を使用する。
【００１０】
移動ロボット110にはコントローラ111が内蔵されている。コントローラ111では、移動ロボットに搭載の音響センサ102の観測データの取得や、駆動装置112（車輪）の状態計測、および制御を行う。
【００１１】
計算機120では、カメラ101の映像データの取得および画像処理、カメラ101や移動ロボット110の制御量の算出を行う。カメラ101の映像データの受信、移動ロボット110の状態パラメータの受信、および制御コマンドの送信には、無線もしくは有線の通信手段を使用する。
【００１２】
コンソール130では、カメラ映像の表示、移動ロボット110の状態等の表示、収集した物品情報の表示、および各種パラメータの設定等を行う。
【００１３】
外部記憶装置140には、物品の管理データ、物品を格納する領域の地図データ等が格納されている。
【００１４】
図２は、映像認識装置における処理のブロック図である。以下、各処理について説明する。なお、以下では、図３に示すように移動ロボット110を書棚301付近に移動させて、書棚の書籍302を撮影し、その映像より認識される書籍のタイトルから所望の書籍を探索する状況を仮定する。
【００１５】
映像入力部211では、カメラ101の映像データを取得する。このデータに対してA/D変換等の前処理を行い、処理後の映像データを出力する。
【００１６】
図４に映像入力部211で得られる映像データの例を示す。同じ書籍を撮影した場合でも、カメラ101や移動ロボット110の位置、姿勢により、異なる映像データが得られる。
【００１７】
姿勢計測部212では、姿勢計測用センサ104a，104bによりカメラ101および移動体110の姿勢を計測する。
【００１８】
駆動系状態計測部221では、駆動装置112の状態、すなわち回転数および回転角を取得する。これらのデータから移動ロボット110の位置、速度、および角度（進行方向）を算出する。ここで、位置および角度は移動ロボット110の初期位置を基準とした値として得られる。
【００１９】
移動体パラメータ推定部222では、後述の移動体制御部223で1時刻前に算出された状態パラメータ（移動体110の位置、姿勢、速度）の変更量に基づいて、移動体110の状態パラメータを更新する。また、姿勢計測部212、駆動系状態計測部221で得られた移動体110の位置、姿勢データを用いて状態パラメータを補正する。
【００２０】
カメラパラメータ推定部213では、後述のカメラ制御部214で1時刻前に算出されたカメラパラメータ（カメラ101の位置、姿勢、焦点距離（ズーム値））の変更量、および移動体パラメータ推定部222で算出された移動ロボット110の状態パラメータに基づいて、カメラパラメータを更新する。また、姿勢計測部212で計測した姿勢データや、時系列の複数の映像データを使用して推定した焦点距離、位置、姿勢データを用いてカメラパラメータを補正する。複数の映像データを使用したパラメータの推定方法としては、下記文献２等に記載の方法を使用することができる。
【００２１】
文献２：服部進ら、“ターゲット場の多重撮影による基準点のないCCDカメラキャリブレーション”、信学論D-II、Vol.82、No.9、pp.1391-1400、1999．
カメラ制御部214では、映像撮影部211で取得した映像データ、およびカメラパラメータ推定部213で算出したカメラパラメータに基づいて、カメラ101により所望の映像が得られるように、カメラパラメータの変更量（制御量）の算出、および制御コマンドの決定を行う。ここで、所望の映像とは、例えば書棚301の書籍302にピントが合っている映像等を意味する。算出した制御量および制御コマンドに基づいて、カメラの焦点距離および姿勢を制御する。
【００２２】
移動体制御部223では、移動体パラメータ推定部222で算出した移動ロボット110の状態パラメータに基づいて、移動ロボット110が所望の行動をとるように、変更量（制御量）の算出、および制御コマンドの決定を行う。ここで、所望の行動は、(a)設定された距離になるまで書棚301に接近する、(b)接近後書棚301と平行に移動する、などのようにあらかじめ設定しておく。算出した制御量および制御コマンドに基づいて、駆動装置の回転数および回転角を算出し、駆動装置を制御する。
【００２３】
記号認識部231では、映像データから物品を特徴づける記号や文字を認識する。ここでの処理は、映像補正処理、記号領域抽出処理および記号認識処理の３つに大別される。映像補正処理では、映像データの幾何変換を行い、物品上で記号や文字等が存在する面の回転や歪を補正する。本処理では、異なる条件で撮影した映像データを一定の条件で撮影した（例えば、書籍に正対した状態で撮影した）映像データに変換する。本処理は必要に応じて実行する。記号領域抽出処理では、映像データの中から認識対象となる記号や文字列の存在する領域を切り出す。記号や文字が複数存在する場合には、各記号、文字の切り出しも行う。記号認識処理では、切り出した記号や文字の特徴を解析して、その記号や文字の表す内容を認識する。認識の際には、外部記憶装置140内のデータと照合する。これらの具体的な方法としては、下記文献３等に記載の各種方法を使用することができる。
【００２４】
文献３：”信学技報（PRMU96-180〜191）”、電子情報通信学会、1997．
図５に画像401について映像補正処理を実行した例を示す。この例では、本処理により書籍のタイトルの回転を補正し、書籍の正面から撮影した映像に変換している。図６に画像501について記号領域抽出処理を実行した例を示す。この例に示すように、本処理により書籍のタイトル領域602のみが抽出される。また、各文字の切り出しも同時に行う。この抽出データを用いて、記号認識処理により各タイトルを認識する。
【００２５】
位置推定部232では、記号認識部231で抽出した物品のカメラ映像上の位置、およびカメラパラメータ推定部213で推定されたカメラパラメータを使用して、その物品の実空間内における位置を算出する。具体的には、その物品が撮影された複数の映像を使用して、各映像を撮影したカメラ位置とそのカメラ映像上の物品の検出位置を結ぶ直線の交点を算出する。本方法については、各映像上の検出位置に推定誤差がある場合等も含めて下記文献４に記載されている。
【００２６】
文献４：高木幹雄、下田陽久、“画像解析ハンドブック”、東京大学出版会、1991．
物品の位置は3次元の座標値として得られる。この座標と書棚の位置の対応を外部記憶装置140にあらかじめ格納しておくことにより、どの書棚の、どの位置に、どの書籍があるのかという情報を得ることができる。
【００２７】
情報管理部233では、記号認識部231で抽出した物品の情報と位置推定部232で推定したその物品の位置情報を用いて、外部記憶装置140内の物品に関する管理情報を更新する。
【００２８】
情報表示部234では、地図上での物品の位置情報、物品の格納された棚等の場所でのより詳細な位置情報、および物品の色や形状等が識別可能な映像を提示する。
【００２９】
図７に書籍の位置の推定結果をコンソール130上に表示した例を示す。図702には、各書棚703、移動ロボット110の位置704、書籍の位置705が表示され、その書籍の置かれた書棚を地図上で確認することができる。図706には、各書棚707、書籍の位置708が表示され、その書棚における書籍の位置を確認することができる。
【００３０】
上記記号認識部231では、物品を特徴づける記号や文字を認識し、物品そのものを検出する。それに対して、広域の領域を撮影した映像を使用することにより、物品を格納するための領域の空きを推定することも可能である。具体的な方法としては、記号認識部231、位置推定部232における物品の検出結果（物品の個数および位置）と、外部記憶装置140に格納された物品の情報（大きさ等）から空き領域を推定する。その他、上記文献４等に記載の、映像中のオブジェクトの分類手法等を使用することができる。
【００３１】
図８に広域の領域を撮影した映像の例を示す。このような映像から、書棚および書籍の領域802，803を推定することにより、書棚301内の空き領域804，805を推定する。
【００３２】
以上のように、移動ロボットを自動走行させて映像を撮影し、その映像から物品を特徴づける記号や文字を認識することにより、物品の情報収集および管理を自動的に実行することができる。
【００３３】
【発明の効果】
本発明によれば、移動体にカメラを搭載して、その運動を自動制御しながら映像を撮影し、その映像を使用して物品を特徴づける記号や文字を認識することにより、物品の情報収集や管理を自動的に実行する映像認識装置を提供することができる。
【図面の簡単な説明】
【図１】映像認識装置の構成図。
【図２】映像認識装置における処理のブロック図。
【図３】移動ロボットによる撮影状況の例。
【図４】映像撮影部で得られる映像データの例。
【図５】映像補正処理後の映像データの例。
【図６】記号領域抽出処理後の映像データの例。
【図７】物品位置推定結果の表示例。
【図８】広域映像の例。
【符号の説明】
101…カメラ、102…音響センサ、103…駆動系状態計測用センサ、104a，104b…姿勢計測用センサ、110…移動ロボット、111…コントローラ、112…駆動装置、120…計算機、130…コンソール、140…外部記憶装置、301…書棚、302…書籍、401…カメラ映像、501…映像補正処理後の映像、601…映像中の文字の検出結果、701…コンソールにおける情報提示例、801…広域映像の例。

Claims

移動体に搭載されたカメラの映像を解析して物品の情報を収集、管理する装置であり、
前記移動体は走行のための駆動装置を備え、
前記カメラは前記移動体の上部に姿勢制御が可能なように設置され、
前記移動体および前記カメラの姿勢を計測する姿勢計測手段と、
前記移動体の前記駆動装置の回転数および回転角を取得することにより前記移動体の位置および速度を算出する駆動系状態計測手段と、
一時刻前の前記移動体の位置、姿勢、速度の変更量に基づいて、前記移動体の位置、姿勢、速度の情報を推定する移動体パラメータ推定手段と、
推定した前記移動体の位置、姿勢、速度を用いて、前記移動体が予め設定された運動を行うよう前記移動体の位置、姿勢、速度の変更量を決定し、前記移動体の運動を制御する移動体制御手段と、
一時刻前の前記カメラの姿勢、ズーム値の変更量、および推定した前記移動体の位置および姿勢に基づいて、前記カメラの位置、姿勢、ズーム値の情報を推定するカメラパラメータ推定手段と、
推定した前記カメラの位置、姿勢、ズーム値を用いて、前記カメラの姿勢およびズーム値の変更量を決定し、前記カメラを制御して所望の映像を取得する撮影手段と、
取得した前記所望の映像の幾何変換を行い、前記映像上で前記物品を特徴づける文字や記号が存在する面の回転および歪を補正する映像補正手段と、
補正により得られた映像データから前記物品を特徴づける文字や記号を認識する認識手段と、
前記物品の前記所望の映像上での位置、および推定した前記カメラの位置、姿勢、ズーム値を用いて前記物品の位置を推定する位置推定手段と
を備えることを特徴とする映像認識装置。
請求項１において、
前記物品を格納する領域の地図上での前記物品の位置情報、前記物品が格納された棚等の場所での前記物品の位置情報、および前記物品の色や形状等が識別可能な映像を提示する情報提示手段
を備えることを特徴とする映像認識装置。
請求項１において、
前記認識手段および前記位置推定手段で検出された前記物品の情報を用いて、前記物品の管理情報を更新する情報管理手段
を備えることを特徴とする映像認識装置。
請求項１において、
撮影された前記所望の映像を用いて、
前記物品を格納する領域における未使用領域の大きさを推定する領域情報推定手段を備えることを特徴とする映像認識装置。