JP3910871B2 - ロボット及びロボットの視野制御方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は視覚機能を備え、人間と協調して行動するようなロボット及びその視野制御装置及び方法に関する。
【０００２】
【従来の技術】
社会生活を営む人間にとって相手が誰であるかということは不可欠な情報である。このため、人間と協調して働くロボット等の機械にも視覚機能を設ける必要性が認識されてきた。視覚機能のなかでも、とりわけ顔画像認識技術は優れた個人識別機能として近年急速に進歩しており、これをロボット等の機械に適用する試みがなされている。
【０００３】
一般的な視覚機能を備えたロボットの従来例としては、例えば愛玩用の犬型ロボットへのＣＣＤカメラ等の搭載例がある。このロボットは、音声を発したり特殊な動作をするなどして人間の注意を引き、その人間を被写体として捉えて画像を撮影するというものであり、撮影画像を外部出力することもできる。たとえば、着脱可能な小型メモリカードに撮影画像を記録したり、通信機能を利用して携帯電話やパーソナルコンピュータ（ＰＣ）等の別の機器に撮影画像を転送することができる。
【０００４】
このような視覚機能を備えたロボットにあっては、ロボットならではの次のような問題点がある。すなわち、小型で愛玩用ロボットなどが、いわゆる「盗撮」に悪用されるといった公序良俗上の問題である。愛玩用の犬型ロボットなどは公共場所等に持ち込まれる場合が多いと想定され、例えば公園で散歩させているときに、その所有者らによって盗撮に悪用されるかもしれない。
【０００５】
人間が地面にはりついて上を見上げていたら、それはまさしく何かを覗いている様であるから、女性は警戒感を抱くであろう。しかし、犬型など愛玩用のロボットがそのようにしている場合、外形が犬型であることなどから、生物の愛玩犬に対してそうであるのと同様に警戒感が生じにくい。したがって、例えば女性の足下に接近し、ロボットが備えるカメラによってスカート下が覗き見されるといった不適切な使用が故意又は過失によらず行われる可能性がある。この場合、特に問題となるのは、ロボットにて撮影された画像がその外部に取り出されることである。
【０００６】
【発明が解決しようとする課題】
本発明はかかる事情を考慮してなされたものであり、ロボットに搭載されたカメラによる視野を適切に制御でき、プライバシーを保護しつつ必要なコミュニケーション情報を提供可能なロボット及びその視野制御装置及び方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決し目的を達成するために本発明は次のように構成されている。
【０００８】
本発明に係るロボットは、画像を撮像するカメラと、前記カメラの視線方向と所定の基準方向とがなす視線角度を検出する検出手段と、前記検出手段により検出された視線角度が一定角度以上である場合に、このとき前記カメラにより撮像された画像を画像処理することに基づいてロボットの視野を制御する視野制御手段と、を具備することを特徴とする。
【０００９】
ここで、前記視野制御手段が、前記カメラにより撮像された画像の解像度を低下させる画像処理手段を具備する構成としてもよい。この場合、画像の解像度を低下させる画像処理は、（１）全体の解像度を落とす、又は（２）被写体の輪郭情報を抽出し、これを出力画像とする、又は（３）予め用意された情報を出力するといった処理を含む。
【００１０】
また、前記カメラにより撮像された画像から人物の顔を認識する顔画像認識手段を具備し、前記視野制御手段が、前記顔画像認識手段により認識された顔及びその周辺部分のみを前記撮像画像から抽出して出力画像とする構成としてもよい。
【００１１】
また、前記カメラにより撮像された画像をロボットから外部に出力する出力手段と、前記検出手段により検出された視線角度が一定角度以上である場合に、このとき前記カメラにより撮像された画像が前記出力手段から出力されることを禁止する出力制御手段と、を具備する構成としてもよい。
【００１２】
本発明に係るロボットの視野制御装置は、画像を撮像するカメラを備え、該カメラの視線方向を変更可能な視覚機能付きロボットの視野を制御する視野制御装置であって、前記カメラの視線方向と所定の基準方向とがなす視線角度を検出する検出手段と、前記検出手段により検出された視線角度が一定角度以上である場合に、このとき前記カメラにより撮像された画像を画像処理することに基づいて前記ロボットの視野を制御する視野制御手段と、を具備することを特徴とする。
【００１３】
また、本発明に係るロボットの視野制御方法は、画像を撮像するカメラを備え、該カメラの視線方向を変更可能な視覚機能付きロボットの視野を制御する視野制御方法であって、前記カメラの視線方向と所定の基準方向とがなす視線角度を検出するステップと、前記ステップにおいて検出された視線角度が一定角度以上である場合に、このとき前記カメラにより撮像された画像を画像処理することに基づいて前記ロボットの視野を制御する視野制御ステップと、を具備することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００１５】
図１は本発明の一実施形態に係るロボット視野制御システムの概略構成を示すブロック図、図２はロボット視野制御システムが適用された視覚機能を搭載するロボットの一例を示す正面図（ａ）及び側面図（ｂ）である。図２に示すロボットは二足歩行型のものであるが、これに限定されず種々のロボット、例えば四足歩行型、車輪駆動型、あるいは据え置き型で移動能力を備えていないものなど、視線方向を移動可能な視覚機能を備えているものであれば本発明に係るロボット視野制御システムは適用可能である。
【００１６】
本実施形態に係るロボット視野制御システムは、カメラ２及びセンサ６に接続されており、画像認識部４、画像処理部８、カメラ角度判定部１０、画像圧縮部１２、判定部１４、出力制御部１６、通信部１７、補助記憶装置１９、小型メモリカード２０から構成されている。本実施形態に係るロボットは、視覚機能を担うカメラ２によって外界の画像（例えば人間等の被写体）を静止画像又は動画像として撮影することができる。そして本実施形態に係るロボット視野制御システムは、このようなカメラ２による視野を画像処理によって適切に制御し、プライバシーを保護しつつ必要なコミュニケーション情報を提供するというものである。
【００１７】
本実施形態の視野制御システムにおいて、本発明に直接的に対応する構成要素はカメラ角度判定部１０、画像処理部８、出力制御部１６であり、その他の構成要素は本発明を実施する上で適宜省略され得る。例えば顔画像認識を行わない実施形態では、画像認識部４や判定部１４は必ずしも設けらる必要はない。
【００１８】
カメラ２及びセンサ６はロボットの基本構成部として設けられる。カメラ２は例えばＣＣＤカメラ及びレンズ光学系等からなり、図２に示すようにロボット頭部１において外界を良く見渡せるような顔の位置に配置される。同図に示すようにこのロボットは大別して頭部１、本体部３、脚部５からなる。
【００１９】
頭部１は本体部１に対して駆動機構部を介して接続されていて上下又は左右に傾斜可能であり、ちょうど人間が頭を上下させたり左右を向いたりするような動きをする。また本体部３は、脚部５に対して駆動機構部を介して接続されていて前方又は後方に傾斜可能であり、ちょうど人間が腰を曲げるような動きをする。また脚部５は人間の膝や足首の関節に相当する位置に駆動機構部を有しており、人間が膝を屈伸させたりするような動きをする。
【００２０】
図１に示すセンサ６は、このようなロボットの各可動部分にそれぞれ設けられるロータリーエンコーダ等の角度センサからなり、頭部１と本体部３との間の駆動機構部に設けられる。このセンサ６は、本体部３の主軸（長軸）に対して頭部１の主軸がなす角度θ４を検出するセンサ６０、脚部５の太股部分の主軸に対して本体部３がなす角度θ３を検出するセンサ６１、脚部５の脛部分の主軸に対して太股部分の主軸がなす角度θ２を検出するセンサ６２、鉛直方向と脚部５の脛部分の主軸がなす角度θ１を検出するセンサ６３から構成されている。これらのセンサからは、検出された角度に応じた信号が出力され、図１に示すカメラ角度判定部１０に送られる。各駆動機構部により可動部分が駆動し、自律的または外部からのコントロールによってロボットは歩行や移動することができる。また、正面を向いたり、上方を見上げたりといった様々な姿勢（体位）をとることができる。ロボットの姿勢変化に伴って、カメラ２の視線方向も変わり、視野が変化する。
【００２１】
図１に示す構成において、画像認識部４は、カメラ２により得られた撮影画像から顔画像を認識する部分である。顔画像認識については公知技術を利用できる。例えばカメラ２から得られた１枚の静止画像を用いるものや、異なる視点の複数画像を用いて認識を行うものである。多視点画像を用いた顔画像認識処理では、まずカメラ２から得られた画像中から顔領域を抽出する。次に、分離度フィルタとパターン認識の組み合わせにより両瞳（ひとみ）、両鼻孔を検出する。さらに、検出されたこれらの特徴点を基準に正規化された顔パターンを抽出する。この一連の処理を視点移動しながら繰り返し行い、正規化パターンが抽出されるたびに入力部分空間を更新する。入力部分空間と辞書部分空間を制約部分空間へ射影し、射影された二つの部分空間のなす正準角を類似度とする。全登録人物に対してこのような類似度算出を行い、得られた類似度のなかでもっとも類似度が高い人物を本人と認識する。
【００２２】
このような画像認識部４は、撮影画像中に顔画像が含まれているか否かを示すフラグ、撮影画像中のどの領域に顔部分が存在するかを示す位置情報、および顔画像の特徴量（顔インデックス）を出力する。
【００２３】
図１に示す構成において、画像処理部８はカメラ角度判定部１０から出力されたカメラ２の視線角度（θcamera）について角度条件の判定処理を行い、その結果に応じてカメラ２から得られた撮影画像に対しロボット視野制御に係る画像処理を施す部分である。この画像処理部８から出力された画像は画像圧縮部１２により圧縮処理が施された後、出力制御部１６に送られる。画像処理部８における画像処理の内容は本発明の特徴に係る事項であり、後に詳細に説明する。
【００２４】
判定部１４は、家庭内利用におけるいわゆる番犬ロボットやロボット監視システムへの応用例に係る構成要素であり、画像認識部４によって認識された被写体の顔画像の特徴量に基づき、個人情報データベースを参照して人識別を行う。個人情報データベースには、事前に登録されたロボット所有者の家族や知人の個人情報として、これらの人々の顔画像認識結果（特徴量）等が記録されている。このような判定部１４は、個人情報データベースの参照結果に基づいて不審人物等を特定し、その撮影画像情報（顔画像の特徴量を含む）を外部に転送し、警報を発するよう出力制御部１６に指示を与える。また、いわゆる留守番ロボットへの応用例としては、子供が外出から帰宅した際に、留守番ロボットが子供をカメラで撮影して顔認識し、子供が帰宅した旨を外出している母親に通知したり、その子供の顔画像を転送したりすることなどが挙げられる。
【００２５】
出力制御部１６は、画像圧縮部１２から出力された圧縮処理後の撮影画像を通信部１７や補助記憶装置１９、小型メモリカード２０等へ出力する際の制御を行う。また出力制御部１６は、カメラ角度判定結果や画像処理部８による画像処理の結果等に基づき、ロボット視野制御の一環として、特定の撮影画像が外部に出力されないよう、通信部１７、補助記憶装置１９、小型メモリカード２０等への出力（書き込み）動作を禁止するような制御を行うこともできる。
【００２６】
通信部１７は、例えばブルートゥース（Ｒ）やＩＥＥＥ８０２．１１、同８０２．１１ａ、同８０２．１１ｂ（及びそれ以降）等の無線通信規格に準拠した通信機能部であり、出力制御部１６から与えられた撮影画像等を無線通信によって外部機器に送信するための部分である。外部機器は、ＬＡＮ接続されたホームサーバやネット家電機器、セキュリティサーバ等に相当する。なお、無線に加え、イーサネット（Ｒ）等による有線通信機能を備えていても勿論良い。
【００２７】
補助記憶装置１９は例えばハードディスク装置等の大容量記憶装置からなる。また小型メモリカード２０は、スロットを介してロボットから着脱可能な記録媒体からなる。
【００２８】
以上のように構成された本実施形態について、カメラ角度検出に応じたロボット視野制御の手順を図３のフローチャートを参照して説明する。
【００２９】
ロボット２のカメラ２が起動され撮影動作が開始されると、先ずステップＳ１においてカメラ２の角度が所定の角度以上であるか否か、すなわちカメラ２の視線が異常に上向いているか否かを判定する。なお、角度条件については、ロボットの外形寸法やカメラ２の配置位置、ロボットが取り得る姿勢等に応じて適宜定めれば良い。
【００３０】
カメラ角度判定部１０によるカメラ２の視線角度（θcamera）の検出は次のようにして行われる。
図４は、図２に示した本実施形態のロボットが上方を見上げている場合を示す図である。この例ではロボットの接地面は水平である。カメラ２の視線角度（θcamera）は、水平を基準方向とするとき、この基準方向とカメラ２の視線方向とがなす角度とし、センサ６０、６１、６２、および６３からそれぞれ出力された角度信号θ４、θ３、θ２、およびθ１を利用して、次のように幾何学的に求めることができる。
θcamera ＝ Ｆ（θ１，θ２，θ３，θ４）
通常、ロボットは運動制御のために傾斜計を備えている。この場合を図５に示す。この例ではロボットの接地面は斜面である。１８は傾斜計であって、ロボットにおいて最も質量が大きい本体部３に取り付けられている。この傾斜計１８は本体部３の主軸と鉛直方向のなす角度θｂを検出する。ここで、カメラ２の視線角度（θcamera）をセンサ６０から出力された角度信号θ４と、傾斜計１８から出力されたθｂを利用して次のように求めることができる。
θcamera ＝ Ｆ（θｂ，θ４）
また、傾斜計１８のみならずジャイロセンサーを併用することでダイナミックレンジを広げているロボットもあり、カメラ２の視線角度（θcamera）をこれらの信号の両者を利用して求めてもよい。
【００３１】
図３のステップＳ１においてカメラ２の角度が所定角度以上ではないと判定された場合、画像処理部８はカメラ２から得られた被写体の撮影画像を原画像のまま画像圧縮部１２に送る。この場合、被写体の撮影画像には視野制御に係る画像処理は何ら行われず、視野全体の画像が出力されることになる。これを図６（ａ）に示す。
【００３２】
一方、ステップＳ１においてカメラ２の角度が所定角度以上であると判定された場合、すなわち図６（ｂ）に示すようにカメラ２の視線が異常に上向いていると判定された場合、カメラ２から得られた撮影画像に顔部分が含まれているか否かを判定する（ステップＳ３）。これは画像認識部４による上述した顔認識処理の結果に基づいて判定される。なお、顔認識を行わない実施形態の場合、当該ステップは省略され、ステップ５に移行する。
【００３３】
ステップＳ３において撮影画像に顔部分が含まれていると判定された場合、ステップＳ４において顔の周辺より外側の画像解像度を低下させるための画像処理を行う。かかる画像処理の一例を図７に示す。この図において、Ｉ０はカメラ２による撮影画像の原画像を示し、Ｉ１は処理後の画像を示している。なお、原画像Ｉ０は厳密には図６（ｂ）に示す視野全体の画像とは異なっているが、説明の便宜上、このように示してある。画像Ｉ１は、画像認識部４による顔画像の認識結果に基づいて図に示すように被写体の顔の周辺部分（ここでは楕円を境界としている）から外側の画像領域をマスク画像Ｍによりマスクしたものである。これは当該外側の画像領域の解像度を完全に消失させたものであるが、その他、モザイク処理を施すなどして解像度を低下させてもよい。当該ステップＳ４における画像処理は、広義には顔画像の抽出処理ということができる。かかる抽出処理によれば、被写体のスカート下などが盗撮され、プライバシーが侵害されるといった事態を回避できる。しかも、顔画像については視野制御に拘わらず必ず出力されることになるから、通信部１７等を通じて撮影画像をリアルタイムで外部伝送するような場合に、被写体についての必要なコミュニケーション情報をロボットから提供可能になる。
【００３４】
ステップＳ３において撮影画像に顔部分が含まれていないと判定された場合は、ステップＳ５において視野制御に係る次のような画像処理が行われる。すなわち、この画像処理は、カメラ２からの撮影画像について（１）全体の解像度を落とす、又は（２）被写体の輪郭情報を抽出し、これを出力画像とする、又は（３）予め用意された情報を出力するといった処理である。これら画像処理例を図８に示す。画像Ｉ２は、撮影画像の原画像Ｉ０の全画像領域にノイズパターンＮを重畳して解像度を下げたものであり、上記（１）の画像処理例である。解像度を落とすことによれば、撮影画像の内容は見づらくなる。
【００３５】
画像Ｉ３は、原画像Ｉ０から被写体の外輪郭線Ｏを抽出したものであり上記（２）に相当する。画像から輪郭線を抽出する処理は公知の手法を利用できる。そして、画像Ｉ４は、原画像Ｉ０をキャンセルし、これに代えて「画像は出力されません」といったメッセージＭの画像としたものである。これらの画像処理によれば、図６（ｂ）のようにカメラ２の視線が異常に上向いている場合に、被写体のスカート下などが盗撮され、プライバシーが侵害されるといった事態を回避できる。なお、これらステップＳ５の画像処理は、広義には、秘匿されるべきものがロボットの視野に存在するかもしれない場合に対応すべく、カメラ２の角度検出結果に応じてその視野を遮るような制御を画像処理に基づいて行うことに相当する。もちろん、このための画像処理としては図８に例示したものに限定されない。
【００３６】
なお、本発明に係るロボット視野制御は、これまで述べたような画像処理のみに基づくもののみではない。例えば、カメラ角度判定部１０から出力されたカメラ２の視線角度（θcamera）が所定角度以上であって、かつ撮影画像に顔画像が含まれていることを認識したとき、カメラ２の視線方向がそれ以上の角度とならないようにロボットの駆動機構部の動作を規制してもよい。この場合、何らかの警告音声を発したり、特別な行動シーケンスを実行させることも有効である。
【００３７】
また、本発明に係るロボット視野制御は、秘匿されるべきものがロボットの視野に存在し得る状況をカメラ視線角度の検出及び顔画像の認識によって検知した際に、このときカメラ２によって撮影された画像がロボットの外部に取り出されることを防止するための制御動作も含む。これは、上述したように出力制御部１６が通信部１７、補助記憶装置１９、小型メモリカード２０等への撮影画像の出力（書き込み）動作を禁止するような制御を行うことに相当する。
【００３８】
以上説明したように、本実施形態のロボット視野制御システムによれば、ロボットのカメラ２による視野を画像処理によって適切に制御し、プライバシーを保護しつつ必要なコミュニケーション情報を提供することができる。
【００３９】
なお、本発明は上述した実施形態に限定されず種々変形して実施可能である。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、ロボットに搭載されたカメラによる視野を適切に制御でき、プライバシーを保護しつつ必要なコミュニケーション情報を提供可能なロボット及びその視野制御装置及び方法を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るロボット視野制御システムの概略構成を示すブロック図
【図２】同実施形態に係るロボットの正面図および側面図
【図３】同実施形態に係るロボット視野制御システムの動作を示すフローチャート
【図４】同実施形態に係るロボットのカメラ角度を示す図であって、同ロボットが上方を見上げている場合を示す図
【図５】同実施形態に係るロボットのカメラ角度を示す他の図であって、斜面において同ロボットが上方を見上げている場合を示す図
【図６】同実施形態に係るロボットの視界及び被写体を説明するための図
【図７】同実施形態に係るロボット視野制御による出力画像を説明するための図
【図８】同実施形態に係るロボット視野制御による出力画像の他の例を説明するための図
【符号の説明】
１…ロボット頭部
２…カメラ
３…ロボット本体部
４…画像認識部
５…ロボット脚部
６…センサ
８…画像処理部
１０…カメラ角度判定部
１２…画像圧縮部
１４…判定部
１６…出力制御部
１７…通信部
１９…補助記憶装置
２０…小型メモリカード

Claims (2)

1. 画像を撮像するカメラと、
   前記カメラの視線方向と水平とがなす視線角度を検出する検出手段と、
   前記カメラにより撮像された画像から人物の顔を認識する顔画像認識手段と、
   前記検出手段により検出された視線角度が、自ロボットの外形寸法、前記カメラの配置位置、及び自ロボットが取り得る姿勢に基づいて予め定められる角度以上であって、かつ前記顔画像認識手段により人物の顔が認識できる場合には、前記顔画像認識手段により認識された顔及びその周辺部分のみを前記撮像画像から抽出して出力画像とし、前記視線角度が前記予め定められる角度以上であって、かつ前記顔画像認識手段により人物の顔が認識できない場合には、（１）前記カメラにより撮像された画像全体の解像度を低下させること、又は（２）前記カメラにより撮像された被写体の輪郭画像を抽出し、該輪郭画像を出力画像とすること、によりロボットの視野を制御する視野制御手段と、を具備することを特徴とするロボット。
2. 画像を撮像するカメラを備え、該カメラの視線方向を変更可能な視覚機能付きロボットの視野を制御する視野制御方法であって、
   前記カメラの視線方向と水平とがなす視線角度を検出する検出ステップと、
   前記カメラにより撮像された画像から人物の顔を認識する顔画像認識ステップと、
   前記検出手段により検出された視線角度が、自ロボットの外形寸法、前記カメラの配置位置、及び自ロボットが取り得る姿勢に基づいて予め定められる角度以上であって、かつ前記顔画像認識ステップにより人物の顔が認識できる場合には前記顔画像認識ステップにより認識された顔及びその周辺部分のみを前記撮像画像から抽出して出力画像とし、前記視線角度が前記予め定められる角度以上であって、かつ前記顔画像認識ステップにより人物の顔が認識できない場合には、（１）前記カメラにより撮像された画像全体の解像度を低下させること、又は（２）前記カメラにより撮像された被写体の輪郭画像を抽出し、該輪郭画像を出力画像とすること、によりロボットの視野を制御する視野制御ステップと、を具備することを特徴とするロボットの視野制御方法。

Images