JP5246162B2 - センシング装置、システム、制御方法、及び制御プログラム - Google Patents

Description

［関連出願の記載］
本発明は、日本国特許出願：特願２００７−１８８２８６号（２００７年７月１９日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、現地でセンシングした映像及び音声の一方又は両方を遠隔地へ伝送するセンシング装置、システム、制御方法、及び制御プログラムに関する。

近年、団塊世代の大量退職、少子高齢化等の要因により労働者不足が予想され、労働力の一部をロボットに代替させる動きが加速している。しかしながら、現状のロボットは周囲の環境や物体の認識能力や音声認識能力が十分でないので、家庭内や職場で完全自律的にこなせる作業には限界がある。そこで、遠隔地にいる人間がインターネット等のネットワークを通じてロボットを操作することが考えられる。ロボットを遠隔操作可能にすることで、ユーザの声を聞き分けて命令どおりに動作したり、物体の認識が必要な各種作業や障害物を回避して目的地へ移動するなど、これまでできなかったような知的で多様なサービスをロボットが提供することが考えられる。このような考え方を利用して、例えば、ロボットのユーザが、自分がして欲しい仕事をロボットを操作することで実行してくれる人をインターネット上で募集し、それに応募した人がロボットの遠隔操作を行い、何らかの対価を得るなどの仕組みが考えられる。

このようにロボットの遠隔操作での運用を考えたとき、遠隔操作のためにはロボットの周囲の映像や音声などを、操作を行う人間に伝送する必要がある。しかしながら、ロボットを利用しようとしているのが家庭内や職場である場合、そこには他人には見られたくないものや聞かれたくない音が存在する。また、場合によってはロボットが活動している場所がどこなのかや、誰のところでロボットが動作しているのかを遠隔操作している人間には知られたくないという状況もありうる。つまり、ロボットを遠隔操作で運用する場合、このようなプライバシーの問題を解決する技術が必要である。

そこで、プライバシーの問題を解決する従来技術として、例えば、特許文献１には周囲の状況を撮像するための撮像手段と、上記撮像手段の出力に基づく画像情報を上記操作装置に送信する送信手段と、上記送信手段が上記画像情報を上記操作装置に送信しているときに、外部に向けて所定の第１の警告を発する第１の警告手段とを備えるロボット装置が開示されている。また、特許文献２には画像を撮像するカメラと、前記カメラの視線方向と所定の基準方向とがなす視線角度を検出する検出手段と、前記検出手段により検出された視線角度が一定角度以上である場合に、このとき前記カメラにより撮像された画像を画像処理することに基づいてロボットの視野を制御する視野制御手段と、を具備することを特徴とする視覚機能を備えたロボットが開示されている。

特開２００２−３３１４８２号公報 特開２００３−２９１０８４号公報 黄瀬浩一、外３名、「カメラを用いた文字認識・文書画像解析の現状と課題」、電子情報通信学会パターン認識・メディア理解研究会、２００５年３月

なお、上記特許文献１及び２並びに非特許文献１の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
従来技術では、伝送する映像／音声を過剰に制約せず、見られたくないところや聞かれたくない音が、見られたり聞かれたりしているのではないかという不安感を、ロボットと一緒にいるユーザに抱かせないことようにすることができないおそれがある。その理由を以下に説明する。

特許文献２には、ロボットの首が上を向かないようにすることで下からのぞくような映像を取得しない第１の方法と、見られてもよい部分を映像中より検出しその部分以外の映像を加工して判別不能にしてしまう第２の方法が開示されている。しかしながら、第１の方法では、ロボットのカメラがユーザが見てほしくない方向を向かないので映像が伝送されていないと直感的に理解でき安心感があるが、一律に上向きの映像が取得できなくなってしまい、撮影しても問題のない映像まで伝送ができなくなるため、伝送先の操作者に情報が十分伝達できないおそれがある。また、第２の方法では、たとえ必要以外の情報を削除されることはわかっていても、例えば、ロボットのカメラなどのセンサがユーザが見てほしくない方向を向いているとユーザはもしかしたら見られているのではないかという不安を感じてしまうというおそれがある。

本発明の主な課題は、ロボットと共にいるユーザが遠隔地の操作者に見られたり聞かれたくない情報を精度良く検出し、ロボットの操作者には伝達しないようにすることである。

本発明の第１の視点においては、現地でセンシングした映像及び音声の一方又は両方を遠隔地へ伝送するセンシング装置であって、現地の状況をセンシングした少なくとも映像及び音声の一方又は両方を含む現地状況情報を取得する状況取得部と、前記状況取得部で前記現地状況情報が取得可能なセンシング範囲を変更するセンシング範囲変更部と、現地の周囲環境に対する前記状況取得部の位置を同定する位置同定部と、前記状況取得部で取得した前記現地状況情報から送信禁止対象である禁止内容を検出するとともに、前記禁止内容を検出できた場合に前記位置同定部からの同定位置情報に基づいて現地の周囲環境における前記禁止内容の位置を算出し、算出された現地の周囲環境における前記禁止内容の位置を含む禁止位置情報を記憶部に書込む禁止内容検出部と、前記記憶部に記憶された前記禁止位置情報に基づいて、前記センシング範囲に前記禁止内容の位置を含まないように前記センシング範囲変更部を制御するセンシング行動制御部と、を備え、前記禁止内容検出部は、前記禁止内容を検出できない場合に、前記状況取得部からの所定の前記現地状況情報を操作端末に向けて出力することを特徴とする。

本発明の第２の視点においては、現地でセンシングした映像及び音声の一方又は両方を遠隔地へ伝送するシステムであって、前記センシング装置と、前記センシング装置でセンシングした前記現地状況情報を出力する出力部を有する操作端末と、を備えることを特徴とする。

本発明の第３の視点においては、現地でセンシングした映像及び音声の一方又は両方を遠隔地へ伝送するように制御する制御方法であって、センシング装置にて、現地の状況をセンシングした少なくとも映像及び音声の一方又は両方を含む現地状況情報を取得する工程と、前記センシング装置にて、現地の周囲環境に対する自己の位置を同定する工程と、前記センシング装置にて、前記現地状況情報から送信禁止対象である禁止内容を検出するとともに、前記禁止内容を検出できた場合に同定された同定位置情報に基づいて現地の周囲環境における前記禁止内容の位置を算出し、算出された現地の周囲環境における前記禁止内容の位置を含む禁止位置情報を記憶する工程と、前記センシング装置にて、記憶された前記禁止位置情報に基づいて、前記センシング範囲に前記禁止内容の位置を含まないように前記センシング範囲を制御する工程と、前記センシング装置にて、前記禁止内容を検出できない場合に、取得した所定の前記現地状況情報を操作端末に向けて出力する工程と、を含むことを特徴とする。

本発明の第４の視点においては、現地でセンシングした映像及び音声の一方又は両方を遠隔地へ伝送するようにセンシング装置に実行させる制御プログラムであって、現地の状況をセンシングした少なくとも映像及び音声の一方又は両方を含む現地状況情報を取得するステップと、現地の周囲環境に対する自己の位置を同定するステップと、前記現地状況情報から送信禁止対象である禁止内容を検出するとともに、前記禁止内容を検出できた場合に同定された同定位置情報に基づいて現地の周囲環境における前記禁止内容の位置を算出し、算出された現地の周囲環境における前記禁止内容の位置を含む禁止位置情報を記憶するステップと、記憶された前記禁止位置情報に基づいて、前記センシング範囲に前記禁止内容の位置を含まないように前記センシング範囲を制御するステップと、前記禁止内容を検出できない場合に、取得した所定の前記現地状況情報を操作端末に向けて出力するステップと、をセンシング装置にて実行させることを特徴とする。

本発明によれば、伝送する映像／音声を過剰に制約せず、センシング装置と一緒にいるユーザに見られたくないところを見られているのではないかという不安感を抱かせずに映像／音声を伝送できる。つまり、禁止内容を操作端末に伝送しないようにするとともに見られたくないものや聞かれたくないことをセンシング装置が取得していないことをユーザに明示的に知らせることができる。

本発明の実施例１に係るセンシング装置の構成を模式的に示したブロック図である。 本発明の実施例１に係るセンシング装置における禁止内容検出部の構成を模式的に示したブロック図である。 本発明の実施例１に係るセンシング装置の動作を模式的に示したフローチャート図である。 本発明の実施例２に係るセンシング装置の動作を模式的に示したフローチャート図である。 本発明の実施例３に係るセンシング装置の動作を模式的に示したフローチャート図である。

符号の説明

１０ センシング装置
１１ 状況取得部
１２ センシング範囲変更部
１３ 記憶部
１４ 通信部
１５ 情報処理部
１５ａ 禁止内容検出部
１５ｂ センシング行動制御部
１５ｃ 位置同定部
２０ 操作端末
２１ 出力部
２２ 入力部
２３ 通信部
２４ 記憶部
２５ 制御部
３０ ネットワーク
４１ 文字認識部
４２ 禁止語句保持部
４３ 文字列照合部

本発明の前記センシング装置において、前記状況取得部は、センシング可能範囲の異なる複数のセンサからなり、前記禁止内容検出部は、前記状況取得部のセンサのうち前記操作端末に送信されないセンサの現地状況情報からも禁止内容を検出することが好ましい。

本発明の前記センシング装置において、前記センシング行動制御部は、操作端末からの操作コマンドを含む遠隔操作情報を受信したときに、その時点での前記位置同定部からの同定位置情報と、前記記憶部に記憶された禁止位置情報とを勘案して、前記遠隔操作情報における操作コマンドを実行した場合に前記禁止内容が前記センシング範囲に入るか否かを計算し、前記禁止内容が前記センシング範囲に入らない場合、前記操作コマンドに基づいて前記センシング範囲変更部を制御することが好ましい。

本発明の前記センシング装置において、前記センシング行動制御部は、前記禁止内容が前記センシング範囲に入る場合、前記操作コマンドに基づいて前記センシング範囲変更部を制御しないことが好ましい。

本発明の前記センシング装置において、前記センシング行動制御部は、前記禁止内容が前記センシング範囲に入る場合、前記禁止内容が前記センシング範囲に入らないような移動経路を含む安全経路情報を生成し、前記安全経路情報を生成できた場合に前記安全経路情報に基づいてセンシング範囲変更部を制御することが好ましい。

本発明の前記センシング装置において、前記センシング行動制御部は、前記安全経路情報を生成できない場合に前記操作コマンドに基づいて前記センシング範囲変更部を制御しないことが好ましい。

本発明の前記システムにおいて、前記操作端末は、遠隔操作情報を入力する入力部を有することが好ましい。

次に、本発明の実施例１に係るセンシング装置について図面を用いて説明する。図１は、本発明の実施例１に係るセンシング装置の構成を模式的に示したブロック図である。図２は、本発明の実施例１に係るセンシング装置における禁止内容検出部の構成を模式的に示したブロック図である。

センシング装置１０は、現地でセンシングした映像及び音声の一方又は両方を遠隔地へ伝送する装置、システムである。センシング装置１０は、例えば、カメラやマイクを備えるロボットに適用でき、この他にもカメラやマイクを備えるテレビ電話、Ｗｅｂカメラ、映像監視システム、監視ロボットなどといったカメラやマイクでセンシングした現地の状況を遠隔地へ伝送する装置、システムにも適用できる。センシング装置１０は、ネットワーク３０を介して操作端末２０と通信可能に接続されている。センシング装置１０は、状況取得部１１と、センシング範囲変更部１２と、記憶部１３と、通信部１４と、情報処理部１５と、を有する。

状況取得部１１は、現地の状況をセンシングした現地状況情報（少なくとも映像及び音声の一方又は両方）を取得する部分である。状況取得部１１は、取得した現地状況情報を情報処理部１５に向けて出力する。状況取得部１１は、センシング可能な態様が異なる複数のセンサからなり、例えば、ＣＣＤ、ＣＭＯＳ等のカメラやマイクなどを用いることができる。状況取得部１１は、映像のみ取得する構成でもよいし、音声のみ取得する構成でもよい。状況取得部１１は、現地状況の全ての方向の情報（映像、音声）を取得するのではなく、制限された指向性を有する情報（映像、音声）を取得する。状況取得部１１は、例えば、前方のみ視野をもつ第１のカメラと、側方や後方に視野を持つ第２のカメラで構成される場合、情報処理部１５には全てのカメラからの映像を送り、操作端末２０には第１のカメラの映像のみを送るという構成がありうる。この場合、情報処理部１５（禁止内容検出部１５ａ）では操作端末２０へ伝送する第１のカメラの映像以外の映像からも禁止内容を検出することが可能となる。

センシング範囲変更部１２は、状況取得部１１（カメラ、マイク）のセンシング範囲（方向、ズーム等）を変更する部分である。センシング範囲変更部１２は、状況取得部１１の向きを変える機能を有するもので、例えば、カメラやマイクを乗せた台と、その台をロボット本体に対して移動・回転させるモータと、から構成される。この他にも、ロボット本体全体（状況取得部１１を含む）を移動・回転させるような足または車輪等の移動のための装置で構成してもよい。

記憶部１３は、所定のデータ、プログラム等の情報を記憶する部分である。記憶部１３は、情報処理部１５の禁止内容検出部１５ａで検出された禁止内容の周囲環境における位置情報を記憶する。記憶部１３は、ロボット周囲のマップを持ち、禁止内容の対象物をそのマップに配置する形式で保存する方法を用いることができる。

通信部１４は、所定の情報を送受信する部分である。通信部１４は、ネットワーク３０に直接接続してもよく、コンピュータで中継してネットワーク３０に接続してもよい。

情報処理部１５は、プログラムに基づいて所定の情報処理を行う部分である。情報処理部１５は、プログラムに基づいて実現される主な動作部として、禁止内容検出部１５ａと、センシング行動制御部１５ｂと、位置同定部１５ｃと、を有する。

禁止内容検出部１５ａは、状況取得部１１で取得した現地状況情報（映像や音声）における、送信の禁止対象である禁止内容を検出する部分である。禁止内容検出部１５ａは、状況取得部１１で取得された現地状況情報（映像や音声）が入力され、入力された現地状況情報から、あらかじめ登録された禁止内容が検出できるか否かを判定する。禁止内容検出部１５ａは、禁止内容を検出できない場合に、入力された現地状況情報のうち操作端末２０に送信可能としているものを通信部１４に向けて出力する。禁止内容検出部１５ａは、禁止内容を検出できた場合に、位置同定部１５ｃからの同定位置情報に基づいて現地の周囲環境における禁止内容の位置（禁止位置）を算出し、算出された現地の周囲環境における禁止内容の位置を含む禁止位置情報を記憶部１３に書込む。なお、現地の周囲環境における禁止内容の位置の検出では、操作端末２０に送る画像上の位置に加えて、複数のカメラによるステレオ視やモーションステレオやレーザーレンジファインダなどの方法を用いて禁止内容とカメラの間の距離を求め、その距離と画像上の位置からカメラに対する禁止内容の相対位置を算出する方法を用いることができる。

ここで、禁止内容について、禁止内容とするものが映像であれば、例えば、特定の人の顔、特定の文字列、特定の物体、特定の領域などであり、音声であれば、特定の発話内容、特定の話者の発話、特定の会話、特定の背景音などである。

禁止内容検出部１５ａは、例えば、禁止内容が映像で特定の文字列である場合の構成として、文字認識部４１と、禁止語句保持部４２と、文字列照合部４３と、を有する（図２参照）。文字認識部４１は、状況取得部１１からの現地状況情報に係る映像から文字領域を検出し、検出した文字領域における文字列を認識する。文字認識部４１は、非特許文献１等に開示されている光学的文字読み取り技術を用いることで実現される。禁止語句保持部４２は、現地のユーザが送信されたくない禁止語句となる文字列を保持する。禁止語句保持部４２には、現地ユーザが開示したくない文字列、例えば、個人名、電話番号、メールアドレス、暗証番号などを登録しておくことができる。文字列照合部４３は、文字認識部４１で認識した文字列と、禁止語句保持部４２に保持された文字列と、を照合し、一致する場合は、同定位置情報（位置同定部１５ｃからの情報）に基づいて、文字列のサイズと、画像上での文字列の位置を算出して出力する。

センシング行動制御部１５ｂは、記憶部１３に記憶された全ての禁止位置情報に基づいて、状況取得部１１のセンシング範囲に、現地の周囲環境における禁止内容の位置を含まないように、センシング範囲変更部１２のセンシング範囲を制御する部分である。センシング行動制御部１５ｂは、禁止内容検出部１５ａで禁止内容を検出したとき、その禁止内容がセンシング範囲外になるようにセンシング範囲変更部１２を制御する。例えば、センシング行動制御部１５ｂは、禁止内容検出部１５ａで禁止内容である顔や文字列などが現地状況情報に係る映像中に検出された場合、その画像上の位置とカメラ固有のパラメータである画角や解像度などからカメラを何度動かせばカメラ画角の範囲外にその対象が出るかを算出する。例えば、画角が縦θｙ度であり横θｘ度である場合、取得される現地状況情報に係る映像がデジタル画像であり画素数が縦Ｓｙピクセル横Ｓｘピクセルであり、レンズ歪みが小さいと仮定できるのであれば、禁止内容の領域が画像上の座標（ｘ，ｙ）（画像中心を原点とする座標系）を中心とする縦Ｌｘピクセル横Ｌｙピクセルの画像上の領域に存在する場合を考える。この場合、禁止内容の方位は横方向（（２θｘ）ｘ／Ｓｘ）度、縦方向（（２θｙ）ｙ／Ｓｙ）度であるので、さらに禁止内容の大きさを考慮してカメラを横方向（（２θｘ）（ｘ＋（Ｌｘ／２）／Ｓｘ）度動かすことで画角の外に禁止内容を出すことができる。このように禁止した禁止内容の領域全体がカメラ画角の外に出るようにカメラを回転させるような制御を行う。もちろん、回転だけではなく、カメラ自体もしくはロボット全体を移動させることでカメラに映らないようにしてもよい。また、画像上の位置だけではなく複数のカメラによるステレオ視やモーションステレオやレーザーレンジファインダなどの方法を用いて禁止内容とカメラの間の距離を求め、その距離と画像上の位置からカメラに対する禁止内容の相対位置を算出し、さらにカメラ画角を勘案して画像に映らないようにカメラの位置や向きを変えてもよい。また、状況取得部１１でセンシング範囲が異なる複数のセンサを使いその一部のセンサの情報のみを操作端末２０へ送信する構成の場合は、操作端末２０へ送信しないセンサからの情報から禁止内容を検出し、さらに相対位置を算出し、その位置が、操作端末２０へ送信するセンサの情報のセンシング範囲に含まれないようにセンシング範囲変更部１２を制御するような構成でもよい。

位置同定部１５ｃは、現地の周囲環境に対するセンシング装置１０及び状況取得部１１の位置を同定（算出）する部分である。位置同定部１５ｃは、同定したセンシング装置１０及び状況取得部１１の位置、方位を含む同定位置情報を禁止内容検出部１５ａに向けて出力する。例えば、移動ロボット（センシング装置１０）にセンサ（状況取得部１１）を取り付け、そのロボット上でセンサが所望の位置や方向へ動くことができるような場合を考えると、この位置同定部１５ｃは、現地の周囲環境に対するロボットの位置、方位を同定し、同定したロボットの同定位置情報から現地の周囲環境に対するセンサの位置や方位を同定するという構成が考えられる。この場合、現地の周囲環境に対するロボットの位置、方位を同定する方法としては、車輪で移動するロボットの車輪回転量をエンコーダで取得して積分する方法や、あらかじめ現地の周囲環境に配置されたランドマークをカメラ等で観測し事前に計測したランドマーク配置と比較することで位置を求める方法などがある。

操作端末２０は、操作者が使用するコンピュータ端末であり、出力部２１と、入力部２２と、通信部２３と、記憶部２４と、制御部２５と、を有する。出力部２１は、映像や音声を出力する表示部（例えば、ＬＣＤ、ＣＲＴその他のディスプレイ）や音声出力部（例えば、スピーカー、ヘッドホン）である。入力部２２は、キーボードやマウスなどの入力手段により所定の情報を入力する部分である。通信部２３は、所定の情報を送受信する部分である。記憶部２４は、データ、プログラム等の情報を記憶する部分である。制御部２５は、各構成部を制御する部分であり、プログラムに基づいて所定の動作を行う。操作端末２０は、通信部２３で受信した現地状況情報を出力部２１で出力（表示出力、音声出力）する。

ネットワーク３０は、センシング装置１０と操作端末２０とを有線、無線等の伝送手段により接続する情報通信網である。なお、センシング装置１０と操作端末２０を直接有線又は無線で接続する場合は、ネットワーク３０を省略することができる。

次に、本発明の実施例１に係るセンシング装置の動作について図面を用いて説明する。図３は、本発明の実施例１に係るセンシング装置の動作を模式的に示したフローチャート図である。なお、センシング装置の各構成部については、図１を参照されたい。

まず、状況取得部１１は、現地状況情報（少なくとも映像及び音声の一方又は両方）を取得する（ステップＡ１）。次に、禁止内容検出部１５ａは、状況取得部１１で取得した現地状況情報から、あらかじめ登録された禁止内容が検出できるか否かを判定する（ステップＡ２）。

禁止内容を検出できない場合（ステップＡ２のＮＯ）、禁止内容検出部１５ａは、入力された現地状況情報のうち送信可能としているものを通信部１４を介して操作端末２０に送信する（ステップＡ３）。ステップＡ３の後、操作端末２０は、現地状況情報を受信することにより、現地状況情報を出力部２１で出力（表示出力、音声出力）し（ステップＡ４）、終了する。

禁止内容を検出できた場合（ステップＡ２のＹＥＳ）、禁止内容検出部１５ａは、位置同定部１５ｃの同定位置情報に基づいて、現地の周囲環境における禁止内容の位置（禁止位置）を算出し、算出された現地の周囲環境における禁止内容の位置を含む禁止位置情報を記憶部１３に書込む（ステップＡ５）。ステップＡ５の後、センシング行動制御部１５ｂは、記憶部１３に記憶された全ての禁止位置情報に基づいて、状況取得部１１のセンシング範囲に、現地の周囲環境における禁止内容の位置を含まないように、センシング範囲変更部１２のセンシング範囲を制御し（ステップＡ６）、再びステップＡ１に戻る。

実施例１によれば、禁止内容を操作端末２０に送信しないようにすることができ、見られたくないものや聞かれたくないことをセンシング装置１０が取得していないことをユーザに明示的に知らせることができるので、ユーザに不安感を抱かせずに映像／音声を送信できる。例えば、カメラ（状況取得部１１）そのものを禁止内容からそむけるように動作させることで、センシング装置１０とともにいるユーザはカメラに禁止内容が映像として映っていないことを明示的に確認することができる。

次に、本発明の実施例２に係るセンシング装置について説明する。

実施例２に係るセンシング装置は、操作者が操作端末（図１の２０）の入力部（図１の２２）を操作することによって、センシング装置（図１の１０）のセンシング行動制御部（図１の１５ｂ）の制御によりセンシング範囲変更部（図１の１２）のセンシング範囲の変更を可能にしたものである。その他の構成は、実施例１と同様である。

センシング行動制御部（図１の１５ｂ）は、操作端末（図１の２０）からの遠隔操作情報をネットワーク（図１の３０）及び通信部（図１の１４）を通じて受信することにより、その時点での位置同定部（図１の１５ｃ）の同定位置情報（状況取得部（図１の１１）の位置や方位）と、記憶部（図１の１３）に記憶された禁止位置情報の位置と、を勘案して、遠隔操作情報における操作コマンドを実行したらいずれの禁止内容が状況取得部（図１の１１）のセンシング範囲に入るか否かを計算する。その結果、センシング行動制御部（図１の１５ｂ）は、センシング範囲に入らないと判断した場合は、遠隔操作情報における操作コマンドに基づいてセンシング範囲変更部（図１の１２）を制御し、センシング範囲に入る場合は、遠隔操作情報における操作コマンドをセンシング範囲変更部１２へ送らない。

また、センシング行動制御部（図１の１５ｂ）の構成としては、操作コマンドよりセンシング装置（図１の１０）の移動先の目的地や、カメラを向けたい方向などの情報が送られた場合には、その移動先の目的地へ至る過程やカメラをその方向へ向けるのに至る過程でカメラの視野に入る領域に記憶部（図１の１３）に記憶されている禁止内容が入らないような、目的地へ至るセンシング装置（図１の１０）の経路やカメラを向けるときのカメラの経路を算出する構成であってもよい。

操作端末（図１の２０）の入力部（図１の２２）は、具体的には状況取得部（図１の１１）がカメラやマイクで構成される場合は、そのカメラやマイクの位置や方向・感度などを制御するためのヒューマンインタフェースを有する。入力部（図１の２２）は、操作者に操作されることで、操作コマンドを含む遠隔操作情報を通信部（図１の２３）を通じてセンシング装置（図１の１０）に送信する。これにより、遠隔地にいる操作者はセンシング装置（図１の１０）上でのセンサの位置や方位、またはセンシング装置（図１の１０）自体の位置や方位を制御することができる。

なお、実施例２は、遠隔地から出力部（図１の２１）を通じて状況を把握しつつセンシング装置（図１の１０）となるロボットを制御するようなアプリケーションで利用されるものを含む。例えば、遠隔地にいる操作者がロボットを操作してロボットとともにいるユーザにサービスを提供するような状況での利用も想定できる。

次に、本発明の実施例２に係るセンシング装置の動作について図面を用いて説明する。図４は、本発明の実施例２に係るセンシング装置の動作を模式的に示したフローチャート図である。

まず、センシング行動制御部（図１の１５ｂ）は、操作端末からの遠隔操作情報を待ち、遠隔操作情報があれば遠隔操作可能な状態へ遷移する（ステップＢ１）。次に、センシング行動制御部（図１の１５ｂ）は、センシング範囲変更部（図１の１２）が遠隔操作情報における操作コマンドによる動きを実現した場合にその移動経路上で記憶部（図１の１３）に記憶されている禁止位置情報の禁止位置が状況取得部（図１の１１）のセンシング範囲に入るか否かを判定する（ステップＢ２）。

センシング範囲に入らない場合（ステップＢ２のＮＯ）、センシング行動制御部（図１の１５ｂ）は、状況取得部（図１の１１）での現地状況情報を取得する（ステップＢ３）。次に、禁止内容検出部（図１の１５ａ）は、取得された現地状況情報のうち送信可能としているものを通信部（図１の１４）を介して操作端末（図１の２０）に送信する（ステップＢ４）。ステップＢ４の後、操作端末（図１の２０）は、現地状況情報を受信することにより、現地状況情報を出力部（図１の２１）で出力（表示出力、音声出力）する（ステップＢ５）。次に、センシング行動制御部（図１の１５ｂ）は、遠隔操作情報に基づいてセンシング範囲変更部（図１の１２）を制御し（ステップＢ６）、その後、ステップＢ１に戻る。

センシング範囲に入る場合（ステップＢ２のＹＥＳ）、ステップＢ１に戻る。

実施例２によれば、遠隔操作する場合にも実施例１と同様な効果を奏する。また、センシング装置（図１の１０）を遠隔操作する場合にも、実施例１と同様な効果を奏する。また、実施例２によれば、ユーザが操作者に送信したくない内容を検出し問題がある場合のみセンシング装置（図１の１０）の動きを制約するので、一律にセンシング装置（図１の１０）の動きを制約するのに比べより多くの映像／音声を送ることができる。

次に、本発明の実施例３に係るセンシング装置について説明する。

実施例３に係るセンシング装置は、遠隔操作の際、センシング行動制御部（図１の１５ｂ）にて、禁止位置情報の位置が状況取得部（図１の１１）のセンシング範囲に入らないような移動経路を含む安全経路情報を生成し、生成できた場合に安全経路情報に基づいてセンシング範囲変更部（図１の１２）を制御可能にしたものである。その他の構成は、実施例２と同様である。

次に、本発明の実施例３に係るセンシング装置の動作について図面を用いて説明する。図５は、本発明の実施例３に係るセンシング装置の動作を模式的に示したフローチャート図である。

まず、センシング行動制御部（図１の１５ｂ）は、操作端末からの遠隔操作情報を待ち、遠隔操作情報があれば操作可能な状態へ遷移する（ステップＢ１）。次に、センシング行動制御部（図１の１５ｂ）は、センシング範囲変更部（図１の１２）が遠隔操作情報における操作コマンドによる動きを実現した場合にその移動経路上で記憶部（図１の１３）に記憶されている禁止位置情報の禁止位置が状況取得部（図１の１１）のセンシング範囲に入るか否かを判定する（ステップＢ２）。

センシング範囲に入らない場合（ステップＢ２のＮＯ）、センシング行動制御部（図１の１５ｂ）は、状況取得部（図１の１１）での現地状況情報を取得する（ステップＢ３）。次に、禁止内容検出部（図１の１５ａ）は、取得された現地状況情報のうち送信可能としているものを通信部（図１の１４）を介して操作端末（図１の２０）に送信する（ステップＢ４）。ステップＢ４の後、操作端末（図１の２０）は、現地状況情報を受信することにより、現地状況情報を出力部（図１の２１）で出力（表示出力、音声出力）する（ステップＢ５）。次に、センシング行動制御部（図１の１５ｂ）は、遠隔操作情報に基づいてセンシング範囲変更部（図１の１２）を制御し（ステップＢ６）、その後、ステップＢ１に戻る。

センシング範囲に入る場合（ステップＢ２のＹＥＳ）、センシング行動制御部（図１の１５ｂ）は、記憶部（図１の１３）に記憶されている全ての禁止位置情報の位置が状況取得部（図１の１１）のセンシング範囲に入らないような移動経路を含む安全経路情報を生成する（ステップＢ７）。次に、センシング行動制御部（図１の１５ｂ）は、安全経路情報が生成できたか否かを判定する（ステップＢ８）。

安全経路情報が生成できない場合（ステップＢ８のＮＯ）、センシング行動制御部（図１の１５ｂ）は、遠隔操作情報によるセンシング範囲変更部（図１の１２）の制御を実行せず、ステップＢ１に戻る。

安全経路情報が生成できた場合（ステップＢ８のＹＥＳ）、センシング行動制御部（図１の１５ｂ）は、状況取得部（図１の１１）での現地状況情報を取得する（ステップＢ９）。次に、禁止内容検出部（図１の１５ａ）は、取得された現地状況情報のうち送信可能としているものを通信部（図１の１４）を介して操作端末（図１の２０）に送信する（ステップＢ１０）。ステップＢ１０の後、操作端末（図１の２０）は、現地状況情報を受信することにより、現地状況情報を出力部（図１の２１）で出力（表示出力、音声出力）する（ステップＢ１１）。次に、センシング行動制御部（図１の１５ｂ）は、安全経路情報に基づいてセンシング範囲変更部（図１の１２）を制御し（ステップＢ１２）、その後、ステップＢ１に戻る。

実施例３によれば、遠隔操作情報における操作コマンドによる動きを実現した場合にその移動経路上で禁止位置が状況取得部（図１の１１）のセンシング範囲に入る場合においても、直ちに遠隔操作を禁止せず、禁止位置がセンシング範囲に入らないような移動経路を含む安全経路情報を生成してセンシング範囲変更部（図１の１２）を制御するので、実施例２よりも多くの映像／音声を操作端末（図１の２０）に送ることができる。

以上の記載は、実施例に基づいて行ったが、本発明は、上記実施例に限定されるものではない。
本発明の全開示(請求の範囲を含む)の枠内において、更にその基本的技術思想に基づいて、実施態様ないし実施例の変更・調整が可能である。また本発明の請求の範囲(クレーム)の枠内において、種々開示要素の多様な組合せ・置換ないし選択が可能である。
本発明の更なる課題・目的及び展開形態は、クレームを含む本発明の全開示事項からも、明らかにされる。

Claims (10)

1. 現地の状況をセンシングした少なくとも映像及び音声の一方又は両方を含む現地状況情報を取得する状況取得部と、
   前記状況取得部で前記現地状況情報が取得可能なセンシング範囲を変更するセンシング範囲変更部と、
   現地の周囲環境に対する前記状況取得部の位置を同定する位置同定部と、
   前記状況取得部で取得した前記現地状況情報から送信禁止対象である禁止内容を検出するとともに、前記禁止内容を検出できた場合に前記位置同定部からの同定位置情報に基づいて現地の周囲環境における前記禁止内容の位置を算出し、算出された現地の周囲環境における前記禁止内容の位置を含む禁止位置情報を記憶部に書込む禁止内容検出部と、
   前記記憶部に記憶された前記禁止位置情報に基づいて、前記センシング範囲に前記禁止内容の位置を含まないように前記センシング範囲変更部を制御するセンシング行動制御部と、
   を備え、
   前記禁止内容検出部は、前記禁止内容を検出できない場合に、前記状況取得部からの所定の前記現地状況情報を操作端末に向けて出力することを特徴とするセンシング装置。
2. 前記状況取得部は、センシング可能範囲の異なる複数のセンサからなり、
   前記禁止内容検出部は、前記状況取得部のセンサのうち前記操作端末に送信されないセンサの現地状況情報からも禁止内容を検出することを特徴とする請求項１記載のセンシング装置。
3. 前記センシング行動制御部は、操作端末からの操作コマンドを含む遠隔操作情報を受信したときに、その時点での前記位置同定部からの同定位置情報と、前記記憶部に記憶された禁止位置情報とを勘案して、前記遠隔操作情報における操作コマンドを実行した場合に前記禁止内容が前記センシング範囲に入るか否かを計算し、前記禁止内容が前記センシング範囲に入らない場合、前記操作コマンドに基づいて前記センシング範囲変更部を制御することを特徴とする請求項１又は２記載のセンシング装置。
4. 前記センシング行動制御部は、前記禁止内容が前記センシング範囲に入る場合、前記操作コマンドに基づいて前記センシング範囲変更部を制御しないことを特徴とする請求項３記載のセンシング装置。
5. 前記センシング行動制御部は、前記禁止内容が前記センシング範囲に入る場合、前記禁止内容が前記センシング範囲に入らないような移動経路を含む安全経路情報を生成し、前記安全経路情報を生成できた場合に前記安全経路情報に基づいてセンシング範囲変更部を制御することを特徴とする請求項３記載のセンシング装置。
6. 前記センシング行動制御部は、前記安全経路情報を生成できない場合に前記操作コマンドに基づいて前記センシング範囲変更部を制御しないことを特徴とする請求項５記載のセンシング装置。
7. 請求項１乃至６のいずれか一に記載のセンシング装置と、
   前記センシング装置でセンシングした前記現地状況情報を出力する出力部を有する操作端末と、
   を備えることを特徴とするシステム。
8. 前記操作端末は、遠隔操作情報を入力する入力部を有することを特徴とする請求項７記載のシステム。
9. センシング装置にて、現地の状況をセンシングした少なくとも映像及び音声の一方又は両方を含む現地状況情報を取得する工程と、
   前記センシング装置にて、現地の周囲環境に対する自己の位置を同定する工程と、
   前記センシング装置にて、前記現地状況情報から送信禁止対象である禁止内容を検出するとともに、前記禁止内容を検出できた場合に同定された同定位置情報に基づいて現地の周囲環境における前記禁止内容の位置を算出し、算出された現地の周囲環境における前記禁止内容の位置を含む禁止位置情報を記憶する工程と、
   前記センシング装置にて、記憶された前記禁止位置情報に基づいて、前記センシング範囲に前記禁止内容の位置を含まないように前記センシング範囲を制御する工程と、
   前記センシング装置にて、前記禁止内容を検出できない場合に、取得した所定の前記現地状況情報を操作端末に向けて出力する工程と、
   を含むことを特徴とする制御方法。
10. 現地の状況をセンシングした少なくとも映像及び音声の一方又は両方を含む現地状況情報を取得するステップと、
    現地の周囲環境に対する自己の位置を同定するステップと、
    前記現地状況情報から送信禁止対象である禁止内容を検出するとともに、前記禁止内容を検出できた場合に同定された同定位置情報に基づいて現地の周囲環境における前記禁止内容の位置を算出し、算出された現地の周囲環境における前記禁止内容の位置を含む禁止位置情報を記憶するステップと、
    記憶された前記禁止位置情報に基づいて、前記センシング範囲に前記禁止内容の位置を含まないように前記センシング範囲を制御するステップと、
    前記禁止内容を検出できない場合に、取得した所定の前記現地状況情報を操作端末に向けて出力するステップと、
    をセンシング装置にて実行させることを特徴とする制御プログラム。

Images