JP6151451B2 - モバイルデバイスのための自律ロボット - Google Patents

Description

関連出願への相互参照

[0001] 本願は、２０１３年１１月２０日に出願された「AUTONOMOUS ROBOT FOR A MOBILE DEVICE」と題する米国特許仮出願第６１／９０６８５２号の利益を米国特許法第１１９条（ｅ）項に基づいて主張し、その開示は、それ全体が参照により本明細書に明確に組み込まれる。

[0002] 本開示のある特定の態様は一般に、ロボットに関し、より具体的には、モバイルデバイス内に定義されたカメラを介してキャプチャされた前向き（forward facing）画像に基づいてロボットを制御するためのシステムおよび方法に関する。

[0003] 自律ロボットのようなロボットは、モバイルデバイスのための筐体（housing）を含み得る。モバイルデバイスは、このロボットに結合され得、このロボットを制御するためのプロセッサとして使用され得る。追加的に、いくつかのケースでは、モバイルデバイスの前方（forward）のカメラおよび／または後方（rear）のカメラは、ロボットのための撮像デバイス（image capturing device）および／または画像センサとして使用され得る。従来のロボットでは、モバイルデバイスは、ロボットに直立位置で結合される。直立位置は、高い重心がロボットを不安定にさせ得るため、望ましくないだろう。追加的に、モバイルデバイスは、この直立位置によりダメージを受けやすいだろう。したがって、モバイルデバイスを低い重心でより安全な位置に収納（house）する能力のあるロボットを提供することが望まれる。

[0004] 本開示のある態様によれば、ロボットデバイスが開示される。ロボットデバイスは、モバイルデバイスを収納するように構成された筐体を含む。ロボットデバイスは、モバイルデバイスのカメラの視野（field of view）とアラインされた（aligned）連接画像ディレクタ（articulating image director）も含む。

[0005] 本開示の別の態様は、ロボットデバイスを制御する方法を開示する。方法は、ロボットデバイスに結合されたモバイルデバイスのカメラを介して前方方向を見ることを含む。方法は、カメラを介してキャプチャされた被写体および／またはカメラを介してキャプチャされた動きに基づいてロボットデバイスを制御することも含む。

[0006] 本開示のさらに別の態様は、装置を開示する。装置は、ロボットデバイスに結合されたモバイルデバイスのカメラを介して前方方向を見るための手段を含む。装置は、カメラを介してキャプチャされた被写体および／またはカメラを介してキャプチャされた動きに基づいてロボットデバイスを制御するための手段も含む。

[0007] 別の態様は、メモリと、このメモリに結合された１つ以上のプロセッサとを有する装置を開示する。プロセッサ（１つ以上）は、ロボットデバイスに結合されたモバイルデバイスのカメラを介して前方方向を見るように構成される。プロセッサ（１つ以上）は、カメラを介してキャプチャされた被写体および／またはカメラを介してキャプチャされた動きに基づいてロボットデバイスを制御するようにさらに構成される。

[0008] 別の態様では、ロボットデバイスを制御するためのコンピュータプログラム製品が開示される。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体を含む。コンピュータ可読媒体は、非一時的なプログラムコードを記憶しており、それは、プロセッサ（１つ以上）によって実行されると、ロボットデバイスに結合されたモバイルデバイスのカメラを介して前方方向を見る動作をプロセッサ（１つ以上）に行わせる。プログラムコードは、カメラを介してキャプチャされた被写体および／またはカメラを介してキャプチャされた動きに基づいてロボットデバイスを制御することをプロセッサ（１つ以上）に行わせる。

[0009] 本開示の追加の特徴および利点が以下に説明されるだろう。本開示が、本開示と同じ目的を実行するように他の構造を修正または設計するための基礎として容易に利用され得ることは、当業者によって認識されるべきである。また、このような等価の構成が、添付の特許請求の範囲に示される本開示の教示から逸脱しないことも、当業者によって認識されるべきである。さらなる目的および利点とともに、本開示の編成および動作の方法の両方について、本開示の特性であると考えられる新規な特徴は、添付の図に関連して考慮されるとき、以下の説明からより良く理解されるだろう。しかしながら、図の各々は、例示および説明のみの目的で提供されており、本開示の限定の定義と意図されるものではないことが、明確に理解されることとなる。

[0010] 本開示の特徴、性質、および利点は、同様の参照符号が全体にわたって相応に同一視される図面とともに考慮されるときに、以下に示される発明の詳細な説明からより明らかになるであろう。

[0011] 図１は、本開示のある態様に係るロボットデバイスのある図（view）を例示する。 図２は、本開示のある態様に係るロボットデバイスの別の図を例示する。 図３は、本開示のある態様に係るロボットデバイスのさらに別の図を例示する。 図４は、本開示のある態様に係るロボットデバイスのさらに別の図を例示する。 図５は、本開示のある態様に係るロボットデバイスのさらに別の図を例示する。 図６は、本開示のある態様に係るロボットデバイスのさらに別の図を例示する。 [0012] 図７は、本開示の態様に係る、ロボットを自律的に制御するための方法を例示するフローチャートである。

発明の詳細な説明

[0013] 添付の図面に関連して以下に示される発明の詳細な説明は、様々な構成の説明を意図したものであり、本明細書において説明される概念が実施され得る唯一の構成を表すことを意図したものではない。発明の詳細な説明は、様々な概念の完全な理解を提供することを目的とした特定の詳細を含む。しかしながら、これらの概念がこれらの特定の詳細なしに実施され得ることは当業者には明らかであろう。いくつかの事例では、そのような概念を曖昧にしないために、周知の構造および構成要素はブロック図の形式で示される。

[0014] 本教示に基づいて、本開示の何らかの他の態様から独立して実装されようと、本開示の何らかの他の態様と組み合わせて実装されようと、本開示の範囲が、本開示のあらゆる態様をカバーするよう意図されていることを、当業者は認識すべきである。例えば、示される任意の数の態様を使用して、装置が実装され得るか、あるいは方法が実施され得る。加えて、本開示の範囲は、示される開示の様々な態様に加えて、または、それ以外に、他の構造、機能性、または、構造と機能性を使用して実施されるこのような装置または方法をカバーするよう意図されている。開示されている開示の任意の態様が、特許請求の範囲の１つ以上の要素によって具現化され得ることは理解されるべきである。

[0015] 「例示的」という用語は、本明細書では、「例、事例、または実例として機能する」という意味で使用される。「例示的」として本明細書で説明される任意の態様は、必ずしも、他の態様よりも好ましいまたは有利であると解釈されるべきではない。

[0016] 特定の態様が本明細書で説明されるが、これらの態様の多くの変形および置換は、本開示の範囲内である。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、用途、または目的に限定されることを意図されない。むしろ、本開示の態様は、異なる技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるように意図されており、それらのうちのいくつかは、図においておよび好ましい態様の以下の説明において例として例示される。発明の詳細な説明および図面は、限定というよりはむしろ、本開示の単なる例示であり、本開示の範囲は、添付の特許請求の範囲およびそれらの同等物によって定義されている。

[0017] 本開示の態様は、モバイルデバイスのための筐体を有するロボットを対象としている。筐体は、モバイルデバイスが平らなまたは角度がついた位置に置かれ得るよう配置され得る。一構成では、筐体は、１５度のような特定の角度で配置される。一構成では、マグネットがセル電話を固定する（secure）。追加的または代替的に、モバイルデバイスは、モバイルデバイスへのダメージを減らすまたは防ぐためにロボットで囲まれ得る。

[0018] 前述したように、筐体は、モバイルデバイスが平らなまたは角度がついた位置に置かれ得るよう配置され得る。平らなまたは角度がついた位置は、ロボットが地面にある間、ユーザがモバイルデバイスのタッチスクリーンを操作することを可能にする。すなわち、モバイルデバイスのカメラおよび／またはタッチスクリーンのような機能性を使用するためにロボットが動かされる必要はない。

[0019] さらに、連接画像ディレクタ（例えば、ミラー）は、筐体に結合され得、モバイルデバイスのカメラの視野とアラインされ得る。すなわち、モバイルデバイスは、スクリーンが上を向いており、後向き（rear facing）カメラが連接画像ディレクタとアラインされた状態で、筐体に配置され得る。後向きカメラは、スクリーンとは反対側の、モバイルデバイスの表面上に定義されたモバイルデバイスのカメラを指す。カメラは、静止画またはビデオをキャプチャするように構成され得る。

[0020] さらに、デローテーションソフトウェア（de-rotation software）は、ミラーパンニング（mirror panning）による回転を補償するために指定される（specified）。具体的には、デローテーションソフトウェアは、ミラーの状態についての知覚情報（sensory information）を使用し得る。さらに、デローテーションソフトウェアは、画像の水平線（horizon）が、改善された画像処理のために、水平（level）となるよう画像を回転させるようにパラメータを設定し得る。さらに、画像は、１つ以上のカメラの複数の視界（view）からパノラマ画像を作り出すためにパンステッチ（pan-stitch）され得る。デローテーションソフトウェアは、人間オペレータにとって望ましいだろう。

[0021] 一構成では、ロボットは、ユーザに前向き視界を提供するリモート制御を介して制御される。ユーザは、リモート制御を用いて、ロボットを任意の方向に動かすように制御し得る。依然として、デローテーションなしに、ユーザが見ている方向は、逆方向であり得る。すなわち、画像は、ミラーパンニングにより反転または逆転され得る。ゆえに、デローテーションソフトウェアは、ユーザによるロボットのリモート制御を改善するために指定される。

[0022] 一構成では、ロボットは、モバイルデバイスのための携帯用ケース（carrying case）として指定される。追加的にまたは代替的に、本開示の態様は、モバイルデバイスの本体に組み込まれ得る。モバイルデバイスは、セル電話に限定されるわけではなく、本開示の態様はまた、タブレットコンピュータ、ラップトップ、ラップトップタブレットハイブリッド、および／またはカメラを含む他のデバイスのような他のデバイスに関して企図される。

[0023] ある例として、モバイルデバイスは、車道、そして歩行者の前向き視界を提供するために、車両のダッシュボード受け台に置かれ得る。この例では、画像ディレクタは、車がある角度にある間、例えば、車がターンしているときに前向き視界を提供するために、パン、チルト、および／またはロールし得る。前向き視界は、拡張された視野をドライバに提供する。追加的にまたは代替的に、画像ディレクタは、拡張した視野を提供するために、車の位置に対して任意の所望の角度にパン、チルト、および／またはロールし得る。さらに、モバイルデバイスは、ノイズ低減および／または改善された音声認識機能のために車用アプリケーションにおけるオーディオおよびビジュアルのマルチモーダル統合（multimodal integration）を容易にし得る。

[0024] 一構成では、筐体は、カメラが連接画像ディレクタとアラインされるように構成される。例えば、１つ以上のカメラの開口部は、モバイルデバイスのカメラを受けるように筐体内に定義され得る。カメラの開口部は、カメラが、連接画像ディレクタとアラインされることを可能にする。別の例として、筐体は、カメラが連接画像ディレクタとアラインされるよう、モバイルデバイスの一部をカバーしないだろう。

[0025] 一構成では、連接画像ディレクタは、ミラー、チューブ、ライトパイプ、光ファイバケーブル、または、画像がカメラに向けられることを可能にする他のデバイスであり得る。連接画像ディレクタは、画像ディレクタとも呼ばれ得る。画像ディレクタは、下向き（downward facing）カメラに前向き視界を提供するための特定の角度に設定され得る。すなわち、モバイルデバイスのカメラが画像ディレクタとアラインされているとき、カメラは、ロボットからの前向き視界を提供し得る。モバイルデバイスは、ＵＳＢのようなハードウェア接続を介して、または、Bluetooth（登録商標）のようなワイヤレス接続を介してロボットに結合され得る。ゆえに、モバイルデバイスは、ワイヤードおよび／またはワイヤレス接続を介してロボットのセンサおよびモータと通信し得る。

[0026] 追加的に、サウンドディレクタ（sound director）もまた、ロボット上に指定され得る。サウンドディレクタは、モバイルデバイスの１つ以上のスピーカからのオーディオ出力を方向付け（direct）得る。具体的には、サウンドディレクタは、オーディオが所望のロケーションに向けられ得るようモバイルデバイスのスピーカとアラインされる。サウンドディレクタは、チューブであり得るかまたはオーディオ波を方向付ける他の構造体であり得る。

[0027] 上述したように、画像ディレクタは、連接するように構成される。画像ディレクタの角度およびサイズに基づいて、前向き視界は、天井から床までの視界であり得る。１つ以上のサーボ（servo）またはモータは、アーティキュレーション（articulation）を提供するために画像ディレクタに結合され得る。すなわち、サーボまたはモータは、画像ディレクタをチルト、ロール、および／またはパンし得る。追加的にまたは代替的に、モバイルデバイスのカメラは、パンするように、その角度を調整するように、またはズームインおよびズームアウトするように構成され得る。さらに、一構成では、画像ディレクタの角度／方向は、Bluetooth（登録商標）のようなワイヤレス通信を介して調整され得る。追加的に、画像ディレクタは、カメラに異なる視界を提供するために、凹状または凸状の形状を有し得る。さらに、画像ディレクタは、異なるタイプの画像ディレクタが、望み通りにカメラとアラインされるよう交換可能であり得る。

[0028] ある例として、画像ディレクタは、通信会議を容易にし得る。すなわち、ロボットは、通信会議中、デスク上にまたは他の表面上に置かれ得る。ロボットは、据え置き型であり得るか、または、通信会議中の参加者の画像が画像ディレクタを介してキャプチャされるよう参加者へと動き得る。さらに、顔認識アルゴリズムが、通信会議への参加者の顔を検出するために、モバイルデバイスにおいて指定され得る。

[0029] キャプチャされた画像は、ロボットに、改善されたサーチアルゴリズムを提供し得る。さらに、ロボットの低背化（low profile）は、ロボットの環境において障害物との改善された相互作用を提供する。すなわち、モバイルデバイスは、障害物を回避し、ロボットの環境をマッピングするために、ロボットにオンボードビジョンを提供する。環境検知改善のために、１つ以上のセンサがロボット上に設けられ得る。モジュール式モータおよび車輪配列は、四輪、三輪、トレッド駆動、および／または中輪構成のような様々な車輪構成を提供し得る。

[0030] 一構成では、レーザーのような測距デバイスは、奥行き情報を提供し得る。すなわち、測距デバイスは、この測距デバイスの光が画像ディレクタから（off of）反射するように、モバイルデバイス上にまたはロボットのフレーム上に定義され得る。カメラは、カメラ軸の交点からのオフセットに基づいて奥行き情報を決定し得る。例として、レーザーは、画像ディレクタから光を反射するために、カメラに隣接して定義される。別の構成では、奥行き情報は、ステレオ撮像（stereo imaging）に基づいて算出され得る。奥行き情報は、モバイルデバイスのアプリケーションによって使用され得る。別の構成では、画像ディレクタは、前向き方向を照射するためにフラッシュライトまたはＬＥＤからの光を反射し得る。

[0034] さらに、ロボットに移動（locomotion）を提供するために、車輪が筐体上に定義され得る。一構成では、車輪は、差動駆動車輪であり得る。依然として、本開示の態様は、車輪に限定されず、他のデバイスが移動を提供し得る。例えば、脚、振動運動、トレッド、および／または全方向性車輪が移動を提供し得る。さらに、車輪は、表面に対するジャミングおよび／または表面の擦傷を防ぐために角度がつけられ得る。

[0032] 図１は、本開示のある態様に係るロボット１００を例示する。図１に示されるように、ロボット１００は、第１の開口部１０４のある筐体１０６を含む。一構成では、ロボット１００はまた、第２の開口部１０２を含み得る。本開示の態様はまた、１つの開口部（例えば、第１の開口部１０４）だけまたは複数の開口部を有するロボットに関して企図される。第１の開口部１０４は、モバイルデバイスの後向きカメラが第１の開口部１０４とアラインされるように配置される。

[0033] 図１に示されるように、ロボット１００は、回路基板１１０も含み得る。回路基板１１０は、プリント回路基板（ＰＣＢ）またはロボット１００のための電気的な構成要素を収納するように構成された他のタイプの基板であり得る。ロボット１００はまた、１つ以上のセンサ１１２および１つ以上の車輪１１４を含み得る。前述したように、車輪１１４は、図１に例示される車輪に限定されるわけではなく、四輪構成、三輪構成、および／またはトレッドのような、ロボット１００に可動性を提供する任意のタイプの配列であり得る。センサ１１２は、ロボット１００の周囲をカバーする。モバイルデバイスをよりコンパクトな水平方位に置くことで、より少ない数のセンサが、より大きな表面積を有する従来の直立型ロボットと比べて、周囲をカバーするために指定される。

[0034] 一構成では、画像ディレクタは、第１の開口部１０４の下に配置される（図１に示されない）。画像ディレクタは、ロボット１００の前方視界を、モバイルデバイスのカメラに提供する。前方視界は、図１の矢印１１６の方向でのフィールドを指す。ロボット１１０に利用可能な視界は、特定のエリアに限定されるわけではない。すなわち、画像ディレクタの位置のため、ロボット１００は、床から天井までの視界を有し得る。さらに、画像ディレクタも、左にパンする、右にパンする、ロールする、および／またはチルトし得るように、サーボが画像ディレクタに結合され得る。ゆえに、視野は、ロボット１００自体を動かすことなく調整され得る。

[0035] 図２は、本開示のある態様に係るロボット２００の側面図である。図２に示されるように、ロボット２００は、筐体２０２、画像ディレクタ２０４、車輪２０６、およびフォークリフト２０８を含む。画像ディレクタ２０４は、モバイルデバイス２１０のカメラ（示されない）とアラインされるように配置される。すなわち、モバイルデバイス２１０は、筐体２０２内に置かれ、モバイルデバイス２１０のカメラが筐体２０２の開口部（示されない）の上に配置されるように配置される。画像ディレクタ２０４は、ロボット２００の前方フィールドの天井から床までの視界のような特定の視界を可能にする角度で配置される。ゆえに、筐体２０２の開口部の下に置かれることで、画像ディレクタ２０４は、モバイルデバイス２１０のカメラに前向き視界を提供する。サーボまたはモータ（示されない）は、画像ディレクタ２０４を連接するために指定され得る。具体的には、サーボまたはモータは、画像ディレクタ２０４をパン、チルト、および／またはロールし得る。画像ディレクタ２０４は、モバイルデバイスの後向きカメラに前向き視界および／または拡張された視界を提供するためのミラー、または、他の表面であり得る。

[0036] 一構成では、リフティングのようなタスクを行うために、フォークリフト２０８がロボット２００に結合され得る。画像ディレクタ２０４は、フォークリフト２０８が、図２に示されるような位置のような平らな位置にある間、または、フォークリフト２０８が、上がった位置にあるとき、前向き視界をロボット２００に提供する。別の構成では、ロボット２００は、フック（hook）、クロー（claw）、および／またはホッケースティック（hockey stick）のような、タスクを行うための別の物体に結合され得る。一例では、カメラを用いて獲得された視界に基づいて、ロボット２００は、ホッケーパックのような物体に接触するために前後にスウィープ（sweep）するようホッケースティックを制御し得る。

[0037] 図１および２に示されるように、筐体および／またはロボットのフレームは、特定の材料または形状に限定されるわけではない。本開示の態様は、筐体および／またはロボットのフレームについて任意の材料および形状を企図する。一構成では、図２に示されるように、ロボット２００の回路基板はフレームとして使用され、筐体２０２としても使用され得る。さらに、筐体２０２は、モバイルデバイス２１０の様々な形状因子（例えば、サイズ）に順応するよう調整可能であり得る。

[0038] さらに、本開示の態様は、筐体の開口部の上に置かれている後向きカメラに限定されるわけではない。複数の態様はまた、前向きカメラが画像ディレクタを介して、拡張された視界を有し得るように、前向きカメラが筐体の開口部の上に置かれることに関して企図される。さらに、一構成では、第２の画像ディレクタは、ロボットが、２つの画像を処理できるように（例えば、ステレオ画像処理）、モバイルデバイスの前向きカメラ上に定義され得る。すなわち、ロボットは、モバイルデバイスの後向きカメラとアラインされた第１の画像ディレクタを介して前向き画像を受信し得る。追加的に、ロボットは、モバイルデバイスの前向きカメラとアラインされた第２の画像ディレクタを介して後向き画像を受信し得る。当然ながら、第２の画像ディレクタは、後方視界にのみ限定されるわけではなく、本開示の態様は、第２の画像ディレクタがロボットに他の視界を提供することを企図する。第２の画像ディレクタはまた、他のロボットが、モバイルデバイスのスクリーンを見ることを許可するようにも構成され得る。

[0039] ロボットは、ロボットのフレームに結合されたバッテリソースによって動力供給され得る。バッテリソースは、リチウムイオンバッテリのような再充電可能なバッテリ、または、ＡＡＡまたはＡＡバッテリのような使い捨てバッテリを含み得る。ロボットはまた、モバイルデバイスを充電するように構成され得る。モバイルデバイスは、ハードワイヤ接続および／または誘導充電を介して充電され得る。

[0040] 例えば、ロボット上のインターフェース基板は、ロボットおよび／またはモバイルデバイスにトリクル充電を提供し得る。さらに、画像ディレクタを介した前向き視界は、バッテリが閾値を下回るときにモバイルデバイスおよび／またはロボットを充電するためのドッキングステーションの位置を特定し得る。ドッキングステーションは、誘導性チャージャであり得る。誘導性充電のためのコンタクトは、フレームおよび／またはロボットの車輪上に定義され得る。

[0041] 前述したように、モバイルデバイスは、ワイヤードおよび／またはワイヤレス接続を介してロボットのセンサおよびモータと通信し得る。追加的に、ロボットは、ワイヤードおよび／またはワイヤレス接続を介して、ユーザおよび／またはロボットに結合されていない別のデバイスと通信し得る。例えば、ユーザは、ワイヤードまたはワイヤレスリモート制御でロボットを制御し得る。リモート制御は、ロボットを制御するためのソフトウェアを有する別のモバイルデバイスであり得る。ワイヤード接続は、ＵＳＢのような接続であり得る。ワイヤレス接続は、Bluetooth（登録商標）またはＷｉＦｉのような接続であり得る。

[0042] 一構成では、ロボットは可動式ではない。例えば、ロボットは、本棚上に置かれ得る。ロボットの車輪は、本棚のような様々な表面への配置を容易にするために取り外し可能であり得る。画像ディレクタは、依然として、静止状態のままでありつつ、モバイルデバイスが、異なる視界を見ることを可能にするだろう。カメラに取り付けられた画像ディレクタは、１つ以上のサーボ／モータを介したパン、チルト、および／またはロールメカニズムを含み得る。画像ディレクタは、それ自体の電源を含み得るか、ロボットの電源を介して動力供給され得る。

[0043] 図３は、本開示のある態様に係るロボット３００の側面図を例示する。図３に示されるように、フォークリフト３０２は、後向きカメラまたは画像ディレクタ３０４の視野をブロックすることなく上げられ得る。すなわち、本構成では、ロボット３００は、フォークリフト３０２が上がっている間、モバイルデバイス３０６の、後向きカメラのようなカメラおよび画像ディレクタ３０４からの前方視界を有し得る。

[0044] 図４は、本開示のある態様に係るロボット４００の図を例示する。図４に示されるように、ロボット４００の前方方向４０８に位置する被写体４０４、例えば、人物、は、モバイルデバイス４０６のディスプレイ上で可視であり得る。被写体４０４は、モバイルデバイス４０６の後向きカメラ（示されない）および後向きカメラにアラインされたロボット４００の画像ディレクタ（示されない）を介して可視である。一構成では、カメラによってキャプチャされる被写体４０４のジェスチャ、例えば、手を動かすこと、が、前方方向４０８、後方方向４０２、または、前方方向４０８および／または後方方向４０２と直交する任意の方向のロボットの動きを制御し得る。

[0045] 図５は、本開示のある態様に係るロボット５００の図を例示する。図５に示されるように、様々なセンサ５０２が、ロボット５００のフレーム上に定義され得るか、またはそれに結合され得る。センサ５０２は、モバイルデバイスのカメラとともに、ロボットが、ロボットの環境にある物体を検知すること可能する。さらに、図５は、取り外された画像ディレクタ５０４を例示する。前述したように、画像ディレクタ５０４は、ミラーまたはライトパイプのような異なるタイプの画像ディレクタが望み通りに取り付けらえ得るように取り付け可能であり得る。

[0046] 図６は、本開示のある態様に係るロボット６００の図を例示する。図６に示されるように、ロボット６００の筐体６０２は、モバイルデバイスのカメラが画像ディレクタ６０６にアラインされることを可能にするために、ロボット６００のフロント近くが完全には囲まれていないだろう。さらに、図６に示されるように、トレッド６０４は、ロボットの車輪間に置かれ得る。

[0047] 図７は、本開示の態様に係る、ロボットを自律的に制御するためのフローチャート７００を例示する。ブロック７０２に示されるように、ロボットは、このロボットに結合されたモバイルデバイスのカメラを介して前方方向を見る。カメラは、このカメラにアラインされた画像ディレクタを介して動画または静止画をキャプチャする。ブロック７０４に示されるように、ロボットは、カメラを介してキャプチャされる被写体および／または動きに基づいてアクションを行う。

[0048] 一構成では、ロボット１００のようなロボットは、収納するための手段を含む自律動作用に構成されている。一態様では、収納するための手段は、筐体であり得る。ロボットはまた、見るための手段を含むように構成される。一態様では、行うための手段は、画像ディレクタであり得る。別の態様では、前述の手段は、これらの前述の手段によって列挙された機能を行うように構成された任意のモジュールまたは任意の装置であり得る。

[0049] 上述された方法の様々な動作は、対応する機能を行うことができる任意の適切な手段によって行われ得る。これら手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含むがそれらに限定されるわけではない、様々なハードウェアおよび／またはソフトウェア構成要素（１つ以上）および／またはモジュール（１つ以上）を含み得る。一般に、動作が図中に示されている場合、それらの動作は、同様に番号付けされている、対応する対照のミーンズプラスファンクション構成要素を有し得る。

[0050] 本明細書で使用される場合、「決定する」という用語は、幅広いアクションを包含する。例えば、「決定する」は、算出する、計算する、処理する、導出する、調査する、ルックアップする（例えば、表、データベース、または別のデータ構造をルックアップする）、確定する、等を含み得る。追加的に、「決定する」は、受信する（例えば、情報を受信する）、アクセスする（例えば、メモリ内のデータにアクセスする）、等を含み得る。さらに、「決定する」は、解決する、選択する、選ぶ、確立する、等を含み得る。

[0051] 本明細書で使用される場合、項目のリスト「のうちの少なくとも１つ」を参照する表現は、単一のメンバを含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーすることが意図される。

[0052] 本開示に関連して説明された実例となる様々な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成要素、あるいは本明細書で説明された機能を行うよう設計されたそれらの任意の組み合わせで実装されるかまたは行われ得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替的に、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン（state machine）であり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに連結した１つ以上のマイクロプロセッサ、あるいは任意の他のそのような構成との組み合わせとして実装され得る。

[0053] 本開示に関連して説明されたアルゴリズムまたは方法のステップは、直接ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、または両者の組み合わせで具現化され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体中に存在し得る。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、等が含まれる。ソフトウェアモジュールは、単一の命令または多数の命令を備え得、いくつかの異なるコードセグメントにわたって、異なるプログラム間で、および複数の記憶媒体にわたって、分散され得る。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替的に、記憶媒体はプロセッサに一体化され得る。

[0054] 本明細書で開示された方法は、説明された方法を達成するための１つ以上のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いと置き換えられ得る。換言すると、ステップまたはアクションの特定の順序が明記されていない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく修正され得る。

[0055] 説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実装され得る。ハードウェアにおいて実装される場合、例となるハードウェア構成は、デバイスに処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の用途と設計制約全体に依存して、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサ、機械可読媒体、およびバスインタフェースを含む様々な回路を互いにンクさせ得る。バスインタフェースは、とりわけ、バスを通じて処理システムにネットワークアダプタを接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。ある特定の態様について、ユーザインターフェース（例えば、キーパッド、ディスプレイ、マウス、ジョイスティック、等）もまた、バスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調節器、電力管理回路、等の様々な他の回路をリンクさせ得、それらは当技術分野内では周知であり、したがってこれ以上は説明されない。

[0056] プロセッサは、バスの管理と、機械可読媒体に記憶されているソフトウェアの実行を含む汎用処理と、を担い得る。プロセッサは、１つ以上の汎用および／または専用プロセッサを用いて実装され得る。マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路が例に含まれる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれる場合も、その他の名称で呼ばれる場合も、命令、データ、またはそれらの任意の組み合わせを広く意味するものと解釈されるものとする。機械可読媒体には、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取専用メモリ（ＲＯＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の適切な記憶媒体、あるいはそれらの組み合わせが含まれ得る。機械可読媒体は、コンピュータプログラム製品で具現化され得る。コンピュータプログラム製品は、パッケージ材料を備え得る。

[0057] ハードウェアの実装では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者が容易に認識することになるように、機械可読媒体またはその任意の部分は、処理システムに外付けであり得る。例として、機械可読媒体は、伝送回線、データによって変調されるキャリア波、および／またはデバイスとは別個のコンピュータ製品を含み、それらすべては、バスインタフェースを通じてプロセッサによってアクセスされ得る。代替的にまたは加えて、機械可読媒体、またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルを伴うような場合、プロセッサに一体化され得る。ローカル構成要素のような、説明された様々な構成要素は特定のロケーションを有するとして説明されているが、それらはまた、ある特定の構成要素が分散型コンピューティングシステムの一部として構成されるような様々な方法で構成され得る。

[0058] 処理システムは、プロセッサ機能性を提供する１つ以上のマイクロプロセッサと、機械可読媒体の少なくとも一部を提供する外部メモリとを有し、すべてが外部バスアーキテクチャを通して他のサポート回路と互いにリンクされている、汎用処理システムとして構成され得る。代替的に、処理システムは、本明細書で説明されるニューロンモデルおよびニューロンシステムのモデルを実装するために１つ以上の神経形態学的プロセッサを備え得る。別の代替として、処理システムは、プロセッサ、バスインタフェース、ユーザインターフェース、サポート回路、および単一のチップに一体化された機械可読媒体の少なくとも一部を有する特定用途向け集積回路（ＡＳＩＣ）で、あるいは、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラムマブル論理デバイス（ＰＬＤ）、コントローラ、ステートマシン、ゲート論理、ディスクリートハードウェア構成要素、または何らかの他の適切な回路、あるいは本開示全体を通して説明されている様々な機能性を行うことができる回路の任意の組み合わせで実装され得る。当業者は、システム全体に課された設計制約全体および特定の用途に依存して処理システムに関する説明された機能性をどのように実装することが最善であるかを明確に認識するだろう。

[0059] 機械可読媒体は、多くのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されると、様々な機能を処理システムに行わせる命令を含む。これらのソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイスに存在し得るか、または複数の記憶デバイスにわたって分散され得る。例として、ソフトウェアモジュールは、トリガイベントが発生すると、ハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュール実行中、プロセッサは、命令のうちのいくらかをキャッシュへとロードして、アクセススピードを上げることができる。次に、１つ以上のキャッシュラインは、プロセッサによる実行のために、汎用レジスタファイルにロードされ得る。以下においてソフトウェアモジュールの機能性を指す場合、そのソフトウェアモジュールから命令が実行されると、そのような機能性がプロセッサによって実装されることは理解されるであろう。

[0060] ソフトウェアで実装される場合、これら機能は、コンピュータ可読媒体上の１つ以上の命令またはコードとして、記憶または送信されることができる。コンピュータ可読媒体は、ある箇所から別の箇所へのコンピュータプログラムの移送を容易にする任意の媒体を含むコンピュータ通信媒体およびコンピュータ記憶媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされることができる任意の入手可能な媒体であり得る。限定ではなく例として、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはデータ構造または命令の形式で所望のプログラムコードを記憶または搬送するために使用されることができ、かつコンピュータによってアクセスされることができる任意の他の媒体を備え得る。加えて、任意の接続は厳密にはコンピュータ可読媒体と称され得る。例えば、ソフトウェアが、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、電波、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、電波、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。本明細書で使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびBlu-ray（登録商標）ディスクを含み、ディスク（disk）は、通常磁気的にデータを再生し、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。ゆえに、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（例えば、有形媒体）を備え得る。加えて、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（例えば、信号）を備え得る。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。

[0061] ゆえに、ある特定の態様は、本明細書で提示された動作を行うためのコンピュータプログラム製品を備え得る。例えば、そのようなコンピュータプログラム製品は、命令を記憶（および／または符号化）しているコンピュータ可読媒体を備えることができ、これら命令は、本明細書で説明された動作を行うために１つ以上のプロセッサによって実行可能である。ある特定の態様に関して、コンピュータプログラム製品は、パッケージ材料を含み得る。

[0062] さらに、モジュールおよび／または本明細書で説明された方法および技法を行うための他の適切な手段が、適宜ユーザ端末および／または基地局によってダウンロードされ得ること、および／または、それ以外の方法で取得され得ることは認識されるべきである。例えば、このようなデバイスは、本明細書で説明された方法を行うるための手段の移送を容易にするためにサーバに結合され得る。代替的に、本明細書で説明された様々な方法は、ユーザ端末および／または基地局が、デバイスへの記憶手段の結合または提供により様々な方法を取得できるように、記憶手段（例えば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理的な記憶媒体、等）を介して提供され得る。さらに、本明細書で説明された方法および技法をデバイスに提供するための任意の他の適切な技法が利用され得る。

[0063] 特許請求の範囲が上に例示されたとおりの構成および構成要素に限定されないことは理解されるべきである。様々な修正、変更、および変形が、特許請求の範囲から逸脱することなく、上述された方法および装置の配列、動作、および詳細に対してなされることができる。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ロボットデバイスであって、
モバイルデバイスを収納するように構成された筐体と、
前記モバイルデバイスのカメラの視野とアラインされた連接画像ディレクタと
を備えるロボットデバイス。
［Ｃ２］
前記筐体は、前記連接画像ディレクタを介して前記カメラに前方視界または後向き視界を提供するための角度で配置される、
Ｃ１に記載のロボットデバイス。
［Ｃ３］
移動装置をさらに備える、Ｃ１に記載のロボットデバイス。
［Ｃ４］
前記移動装置は、少なくとも、角度がついた車輪、角度がついたトレッド、角度がついた脚、またはそれらの組み合わせを備える、Ｃ３記載のロボットデバイス。
［Ｃ５］
前記連接画像ディレクタの動きを制御するために、少なくとも１つのモータをさらに備える、Ｃ１に記載のロボットデバイス。
［Ｃ６］
前記動きを制御するために、少なくとも１つのセンサをさらに備える、Ｃ５に記載のロボットデバイス。
［Ｃ７］
前記動きは、少なくとも、ロールすること、チルトすること、パンすること、またはそれらの組み合わせを備える、Ｃ５に記載のロボットデバイス。
［Ｃ８］
前記連接画像ディレクタは、ミラーまたはライトパイプである、Ｃ１に記載のロボットデバイス。
［Ｃ９］
前記ミラーは、凸状または凹状である、Ｃ８に記載のロボットデバイス。
［Ｃ１０］
前記画像ディレクタは、前記モバイルデバイスの光源とさらにアラインされる、Ｃ１に記載のロボットデバイス。
［Ｃ１１］
ロボットデバイスを制御する方法であって、
前記ロボットデバイスに結合されたモバイルデバイスのカメラを介して前方方向を見ることと、
前記カメラを介してキャプチャされた被写体、前記カメラを介してキャプチャされた動き、またはそれらの組み合わせに少なくとも部分的に基づいて前記ロボットデバイスを制御することと
を備える方法。
［Ｃ１２］
連接画像ディレクタは、前向き視界または後方視界を前記カメラに提供するために前記カメラとアラインされる、Ｃ１１に記載の方法。
［Ｃ１３］
前記連接画像ディレクタの動きを制御することをさらに備える、Ｃ１２に記載の方法。
［Ｃ１４］
前記動きは、少なくとも、ロールすること、チルトすること、パンすること、またはそれらの組み合わせを備える、Ｃ１３に記載の方法。
［Ｃ１５］
装置であって、
前記装置に結合されたモバイルデバイスのカメラを介して前方方向を見るための手段と、
前記カメラを介してキャプチャされた被写体、前記カメラを介してキャプチャされた動き、またはそれらの組み合わせに少なくとも部分的に基づいて、前記装置を制御するための手段と
を備える装置。
［Ｃ１６］
見るための前記手段は、前向き視界または後方視界を前記カメラに提供するために前記カメラとアラインされる、Ｃ１５に記載の装置。
［Ｃ１７］
見るための前記手段の動きを制御するための手段をさらに備える、Ｃ１６に記載の装置。
［Ｃ１８］
前記動きは、少なくとも、ロールすること、チルトすること、パンすること、またはそれらの組み合わせを備える、Ｃ１７に記載の装置。
［Ｃ１９］
ロボットデバイスを制御するためのコンピュータプログラム製品であって、
非一時的なプログラムコードを記録した非一時的なコンピュータ可読媒体を備え、前記プログラムコードは、
前記ロボットデバイスに結合されたモバイルデバイスのカメラを介して前方方向を見るためのプログラムコードと、
前記カメラを介してキャプチャされた被写体、前記カメラを介してキャプチャされた動き、またはそれらの組み合わせに少なくとも部分的に基づいて前記ロボットデバイスを制御するためのプログラムコードと
を備える、コンピュータプログラム製品。
［Ｃ２０］
連接画像ディレクタは、前向き視界または後方視界を前記カメラに提供するために前記カメラとアラインされる、Ｃ１９に記載のコンピュータプログラム製品。
［Ｃ２１］
前記プログラムコードは、前記連接画像ディレクタの動きを制御するためのプログラムコードをさらに備える、Ｃ２０に記載のコンピュータプログラム製品。
［Ｃ２２］
前記動きは、少なくとも、ロールすること、チルトすること、パンすること、またはそれらの組み合わせを備える、Ｃ２１に記載のコンピュータプログラム製品。

Claims (19)

1. ロボットデバイスであって、
   モバイルデバイスを収納するように構成された筺体と、
   前記モバイルデバイスの第１のカメラの視野とアラインされた、前記ロボットデバイスの前方方向の視界を前記第１のカメラに提供するための連接画像ディレクタと、ここで、前記モバイルデバイスは、前記第１のカメラによってキャプチャされた画像を、外部オペレータによって見られたときに前記画像の水平線が水平となるように、回転させるためのデローテーションソフトウェアを備える、
   前記モバイルデバイスの第２のカメラによって見られるジェスチャに基づいて、前記ロボットデバイスを移動するように構成された、複数の車輪、複数のトレッド、またはそれらの組み合わせのうちの少なくとも１つと
   を備え、前記第２のカメラは、前記第１のカメラが向けられている方向の逆の方向を向いている、ロボットデバイス。
2. 前記複数の車輪は、角度がついた車輪を備え、前記複数のトレッドは、角度がついたトレッドを備える、請求項１記載のロボットデバイス。
3. 前記連接画像ディレクタの動きを制御するために、少なくとも１つのモータをさらに備える、請求項１に記載のロボットデバイス。
4. 前記連接画像ディレクタの前記動きを制御するために、少なくとも１つのセンサをさらに備える、請求項３に記載のロボットデバイス。
5. 前記連接画像ディレクタの前記動きは、ロールすること、チルトすること、パンすること、またはそれらの組み合わせのうちの少なくとも１つを備える、請求項３に記載のロボットデバイス。
6. 前記連接画像ディレクタは、ミラーまたはライトパイプである、請求項１に記載のロボットデバイス。
7. 前記ミラーは、凸状または凹状である、請求項６に記載のロボットデバイス。
8. 前記連接画像ディレクタは、前記モバイルデバイスの光源とさらにアラインされる、請求項１に記載のロボットデバイス。
9. ロボットデバイスを制御する方法であって、
   前記ロボットデバイスにモバイルデバイスを結合することと、
   前記ロボットデバイスの前方方向の視界を第１のカメラに提供するための前記ロボットデバイスの連接画像ディレクタとアラインされた、前記モバイルデバイスの前記第１のカメラを介して前記前方方向を見ることと、
   前記第１のカメラによってキャプチャされた画像を、外部オペレータによって見られたときに前記画像の水平線が水平となるように、回転させることと、
   第２のカメラによって見られるジェスチャに基づいて前記ロボットデバイスを制御することと
   を備え、
   前記第２のカメラは、前記第１のカメラが向けられている方向の逆の方向を向いている、方法。
10. 前記連接画像ディレクタの動きを制御することをさらに備える、請求項９に記載の方法。
11. 前記連接画像ディレクタの前記動きは、ロールすること、チルトすること、パンすること、またはそれらの組み合わせのうちの少なくとも１つを備える、請求項１０に記載の方法。
12. ロボットデバイスをコンピュータが制御するための非一時的なプログラムコードを記録した非一時的なコンピュータ可読記憶媒体であって、前記プログラムコードは、前記コンピュータによって実行され、
    前記ロボットデバイスに結合されたモバイルデバイスの第１のカメラを介して前記ロボットデバイスの前方方向を見るためのプログラムコードと、ここで、前記前方方向の視界は、前記前方方向の前記視界を前記第１のカメラに提供するための、前記第１のカメラの視野とアラインされた、前記ロボットデバイスの連接画像ディレクタを介して提供される、
    前記第１のカメラによってキャプチャされた画像を、外部オペレータによって見られたときに前記画像の水平線が水平となるように、回転させるためのプログラムコードと、
    第２のカメラによって見られるジェスチャに基づいて前記ロボットデバイスを制御するためのプログラムコードと
    を備え、前記第２のカメラは、前記第１のカメラが向けられている方向の逆の方向を向いている、非一時的なコンピュータ可読記憶媒体。
13. 前記プログラムコードは、前記連接画像ディレクタの動きを制御するためのプログラムコードをさらに備える、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
14. 前記連接画像ディレクタの前記動きは、少なくとも、ロールすること、チルトすること、パンすること、またはそれらの組み合わせを備える、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
15. 装置であって、
    モバイルデバイスを収納するための手段と、ここで、前記収納するための手段は、前記モバイルデバイスの下の表面に対して角度をなして配置される、
    前記装置の前方方向の視界を第１のカメラに提供するための、前記モバイルデバイスの前記第１のカメラの視野とアラインされた、画像方向付けするための手段と、ここで、前記モバイルデバイスは、前記第１のカメラを介してキャプチャされた画像を、外部オペレータによって見られたときに前記画像の水平線が水平となるように、回転させるためのデローテーションソフトウェアを備える、
    第２のカメラによって見られるジェスチャに基づいて、前記装置に移動を提供するための手段と
    を備え、前記第２のカメラは、前記第１のカメラが向けられている方向の逆の方向を向いている、装置。
16. 前記画像方向付け手段の動きを制御するための手段をさらに備える、請求項１５に記載の装置。
17. 前記画像方向付け手段の前記動きをさらに制御するために、検知するための手段さらに備える、請求項１６に記載の装置。
18. 前記画像方向付け手段の前記動きは、ロールすること、チルトすること、パンすること、またはそれらの組み合わせのうちの少なくとも１つを備える、請求項１７に記載の装置。
19. 前記複数の車輪は、第１のセットの車輪および第２のセットの車輪を備え、前記第１のセットの車輪の直径は、前記第２のセットの車輪の直径よりも大きい、請求項１記載のロボットデバイス。

Images